PaLM 2 とは. 世界を変える Google の大規模言語モデル

こんにちは、クラウドエース編集部です。
 

昨年 11 月に登場した ChatGPT は驚くべきスピードで人気を博し、史上最速となるリリースからわずか 2 ヶ月で利用者数が 1 億人に達しました。この成功は生成 AI（人工知能による文章生成）のブームを全世界で引き起こし、Google も新たなサービス「Bard」を発表しました。このような背景から、2023 年は対話型生成 AI サービスの勃興の年と言えるでしょう。そしてこれらのサービスの中核にあるのが、大規模言語モデル（LLM）と呼ばれる先進的な言語処理技術です。
 

本記事では、Google が発表した次世代言語モデル「PaLM 2」の概要や特徴、活用事例について紹介します。

PaLM2 とは

PaLM2 は、2023 年 5 月 に Google が発表した大規模言語モデルです。PaLM2 を理解するために、まずは、大規模言語モデルとは何か、PaLM2 の前身となった PaLM とはどのようなものかについて紹介します。
 

大規模言語モデル（LLM）とは

大規模言語モデル（Large Language Model＝LLM）とは、大規模なデータセットによってトレーニングされた自然言語処理モデルのことです。
 

大規模言語モデルに大量の文章や会話を事前に学習させると、テキストデータを解析して、言語の文法や意味を理解できるようになります。その結果、人間のように自然な言葉でテキスト生成や文章の分類、質問応答、機械翻訳、文章の要約などのタスクを実行できます。
 

例えば、大規模言語モデルに質問を投げかけると、まるで人間が考えたような文章で最も適切な答えを返してくれます。この答えは、辞書や百科事典などのデータから情報を検索して表示したものではなく、学習したデータから導き出したものです。
 

このような大規模言語モデルは、検索エンジンをはじめ Siri や Alexa などの AI アシスタント、翻訳、感情分析、カスタマーサービス、医療診断など、多くの分野で活用されています。
 

なお、PaLM2 以外の有名な大規模言語モデルには、Google の「BERT」、OpenAI の「GPT」、Meta の「LLaMA」、Microsftの「MT-NLG」などがあります。
 

PaLM 2 の前身「PaLM」とは

Google は、2022 年 4 月に大規模言語モデル「PaLM」を発表しています。これは、PaLM 2 の前身となるモデルです。
 

PaLM の特徴は、5,400 億個のパラメータを採用し、7,800 億個のトークンを使用して学習していることです。
 

参照: https://arxiv.org/pdf/2204.02311.pdf
 

言語モデルにおける「パラメータ」とは、モデルが学習する際の設定や特性を決定する数値であり、パラメータの数が多いほど、より複雑で高度なタスクに対応できることを示します。GPT-3.5 のパラメータが 3,550 億個、MT-NLG のパラメータが 5,300 億個であり、PaLM はこれらを超える能力を持っていると言えます。
 

一方「トークン」とは、テキストデータを小さな単位に分割したときの最小の要素です。1 つの英単語が 1 トークンに換算されるため、PaLM は 7800 億に相当する英単語を学習したことになります。
 

PaLM 2 は、このような高度な能力を持つ PaLM をさらに発展させたものです。PaLM よりも多言語に対応し、推論やコーディング機能が向上した最先端の言語モデルと言えます。
 

PaLM 2 のすごいところ

ここからは、PaLM 2 の特長について詳しく見てみましょう。
 

高度な処理能力

1 つ目の特徴は、高度な処理能力を保有していることです。
 

PaLM 2 の構築のために学習させたデータセットには、数式を含む科学論文やウェブページが含まれています。その結果、ロジックや数学、推論に関する能力が向上しています。
 

ここで言う「推論」とは、与えられた情報や文脈から、新しい情報や結論を導き出す能力のことです。この能力が高いということは、その言語モデルがより正確に文脈を理解し、高品質なアウトプットを生成できることを示します。Google は、複数の推論テストにおいて、 PaLM 2 が PaLM や競合他社サービスよりも高いスコアを獲得していると発表しています。
 

参照:https://ai.google/static/documents/palm2techreport.pdf
 

100 以上の言語に対応

2 つ目の特徴は、100 以上の言語に対応していることです。
 

PaLM 2 は、日本語を含む 100 以上の言語のテキストで学習しています。学習に用いられたテキストデータには、慣用句や詩、なぞなぞ、ことわざなどのあらゆるタイプの表現が含まれています。それにより、PaLM 2 はあらゆる言語を深く理解、生成、翻訳できるようになっています。実際に、Google は「PaLM 2 は、上級レベルの言語能力試験で『習得』レベルに合格した」と示しています。
 

参照:https://japan.googleblog.com/2023/05/palm-2.html
 

4 つのサイズから選択可能

3 つ目の特徴は、4 つのサイズから選択可能であることです。
 

PaLM 2 には、軽量な順に Gecko、Otter、Bison、Unicorn という 4 つのサイズが用意されています。特に Gecko は、非常に軽量で容量が少なく、モバイル端末でもスケールを縮小して動作し、オフライン環境でも自然なやりとりを実現できるサイズです。PaLM 2 は汎用性も高く、幅広い用途をカバーできるようになったと言えます。
 

多言語でのコード生成が可能

4 つ目の特徴は、多言語でのコード生成が可能であることです。
 

PaLM 2 は、自然言語だけでなく、大量の公開されているプログラミング言語も学習しています。その結果、Python、R、C++、C#、Rust、JavaScript、TypeScript、PHP などの人気の言語はもちろん、Prolog、Fortran、Verilog などの言語でコードを生成することもできるようになっています。また、PaLM 2 を使えば、Python コードを C# に翻訳するなど、プログラミング言語間の翻訳も可能です。
 

PaLM2 の活用例

ここからは、PaLM2 を利用して具体的にどのようなことができるのかについて解説します。
 

言語翻訳

1 つ目のユースケースは、言語翻訳です。
 

100 以上の言語をあらゆるタイプのテキストで学習した PaLM2 を利用することで、文法や語彙、文化的な背景などを考慮した自然で正確な翻訳を行えます。もちろん、翻訳はリアルタイムで瞬時に行われます。このような高度な翻訳能力を持った PaLM2 は現在、Google 翻訳などのプロダクトでも応用されています。
 

なお、Google は PaLM 2 と、音声ベースの言語モデル「AudioLM」を統合した「AudioPaLM」というサービスも発表しています。これを利用すれば、音声から音声への翻訳や、音声からテキストへの翻訳なども可能となります。
 

テキスト・コード生成

2 つ目のユースケースは、テキストやコードの生成です。
 

PaLM 2 を利用することで、指定したトピックやスタイルに基づいた文章を生成できます。例えば「〇〇というタイトルで××文字のブログ記事を作成して」と指示出すと、その通りのブログ記事を自動生成することができます。同じように、メールの文章やニュース記事、小説、レポートなどを生成可能です。
 

また先述の通り、PaLM 2 は自然言語だけでなく、プログラミング言語も学習しています。例えば、PaLM 2 をベースとした Google Cloud の基盤モデル「Codey」を利用すれば、自然言語による指示に基づいてコードを生成したり、チャットでの会話形式でコード関連の疑問を解消したりすることが可能です。
 

大量・複雑な文章の要約

3 つ目のユースケースは、大量・複雑な文章の要約です。
 

PaLM2 は、新たな文章を生成するだけでなく、大量のドキュメントから必要な情報を抽出したり、要約を作成したりすることも可能です。対象となる資料を取り込み、抽出したい情報を指示するだけで瞬時に必要な情報を得られます。
 

要約できるテキストは、ニュース記事や研究論文、ビジネスレポートなど多岐にわたります。資料を読み込むことなく、効率的な情報収集を実現するこの機能は、研究職やマーケティングにおける市場調査をはじめとして、あらゆる業務などで活用できます。
 

質問応答

4 つ目のユースケースは、質問への応答です。
 

例えば、顧客からの質問に答えるチャットボットに PaLM2 を利用すれば、ユーザーからの質問に対して、関連性の高い情報や回答を瞬時に返すことが可能となります。利用者の質問意図を正確に理解して適切な答えを返すことができる  PaLM2 は、 チャットボットだけではなく、仮想のカスタマーエージェントの構築や、オンライン教育、情報検索などの幅広い分野での活用が期待されます。
 

PaLM2 が搭載されている Google の製品例

PaLM 2 は現在、Google が提供している 25 以上の製品に搭載されています。最後に、PaLM 2 が搭載されている Google の製品をいくつか見てみましょう。
 

Bard

Bard は、「ChatGTP」のような対話型 AI サービスです。PaLM 2 が Bard に搭載されたことで、日本語を含む 40 以上の言語に対応できるようになりました。プログラミングコードの生成や、コードに対する改善提案、コードの内容を説明するコメントの生成なども可能となっています。
 

Med-PaLM 2

Med-PaLM 2 は、PaLM 2 をベースに構築された医学向けの大規模言語モデルです。これを利用することで、専門性が高く難解な医学文章の内容を用いて質問に答えたり、洞察をまとめたりすることができます。
 

Med-PaLM 2 は、医師としての適性を測るテストにおいて合格点を超える結果を出しています。さらに米国医師国家試験形式の質問では「エキスパート」レベルを達成しています。現在は一般提供されていませんが、将来的には X 線やマンモグラフィーなどの情報を統合する機能などの追加も行われ、医療業界に大きく貢献することが期待されています。
 

Sec-PaLM

Sec-PaLM は、 PaLM 2 をベースにサイバーセキュリティ向けにトレーニングされた大規模言語モデルです。これは、悪意のあるスクリプトの動作を分析・説明してくれるモデルです。Sec-PaLM を利用することで、組織に実際に脅威を与えるスクリプトを迅速に検出できるようになります。
 

Duet AI for Google Workspace

Duet AI for Google Workspace は、グループウェア「Google Workspace」に搭載された生成 AI 機能です。例えば、Gmail ではメールの件名を入力するだけで、推奨される本文を自動で生成してくれます。 また、Google ドキュメントでは、書きたいトピックを入力するだけで原稿を生成したり、多言語対応のスペルや文法に対する校正機能が追加されました。
 

まとめ

ここまで、Google が開発した大規模言語モデル「PaLM 2」について解説してきました。本記事を参考に、業務効率化に PaLM2 を活用してください。
 

また、クラウドエースは Google Cloud 生成 AI ソリューションパートナー 『パートナーカテゴリ：生成 AI ロケットスターターパッケージ*』に選出されました。

詳しくはこちら：https://cloud.google.com/blog/ja/topics/partners/generative-ai-partner-ecosystem-in-japan/
 

生成 AI の導入における技術的な支援をご検討されている企業様、ぜひ弊社までお問い合わせいただけましたら幸いです。
 

お問い合わせ窓口はこちら
 

※ Google、および Google Cloud は Google LLC の商標です。
 

この記事を共有する

合わせて読みたい