• Google Cloudに関する記事
7分で読める

Vertex AI Embeddings for Text とは. 機能やユースケースを解説

こんにちは、クラウドエース編集部です。
 
生成系 AI への注目度が高まっている中、Google Cloud はより高度で信頼性の高い検索結果の回答を実現する機能「Vertex AI Embeddings for Text」を発表しました。
 
この記事では、Google Cloud が提供する AI サービス「Vertex AI Embeddings for Text」の機能やユースケースについて詳しく解説していきます。

Vertex AI Embeddings for Text とは

Vertex AI Embeddings for Text とは、Google Cloud が 2023 年に発表した、機械学習のフローを強化するための新しい生成 AI 機能です。
 
簡単に言えば、大量の自然言語テキストを浮動小数点の配列に変換してマッピングすることで、機械学習アルゴリズムにより簡単に使用できるようにします。これにより、セマンティック検索*や、ファインチューニング*なしでの高精度のテキスト分類を実現できるようになります。
 

*セマンティック検索とは
「セマンティック検索」は、単なるキーワード(検索したい単語)だけでなく、その単語の意味や文脈を理解して、より正確な検索結果を出す技術のことを指します。例えば「明日」「天気」という検索から、「明日の天気予報を知りたい」というニーズを読み取り、それに対する最適な結果(あなたの地域の明日の天気予報)を表示します。
*ファインチューニングとは
すでに学んだことを元に、新しいことを効率的に学べるようにする手法。例えば AI に「猫」を理解させるために大量のデータで学習させた後、「犬」を理解させる場合、また一から学習し直すのではなく、すでに学習済みの「猫」との誤差をインプットしチューニングさせることで効率的な学習を行う。

Vertex AI Embeddings for Text の機能について、もう少し詳しく見ていきましょう。

エンべディング(Embedding)とは

まずは、プロダクト名にある「Embedding(エンべディング)」とは何かについて見ていきましょう。

エンべディングとは、深層学習を使用して、画像やテキストなどの高次元データを低次元にマッピングするプロセスのことです。
 
今までの情報検索システムでは、ほとんどのデータはデータベースや検索エンジン内の単純なキーワード、ラベル、カテゴリを使用して構造化データや表形式データとして編成されていました。
 
対照的に、エンベディングでは、テキスト、画像、ツイートなどの特定のコンテンツを AI が数値ベクトルに変換し、単純なデータ構造に配置します。これは単語の意味や文脈を捉えるように設計されており、コンテンツの意味を示す座標のような役割を果たします。
 
エンベディングを用いた検索では、テキストや画像を入力すると、AI がそのコンテンツが座標上のどの位置にあるのかを特定してくれます。つまり、キーワードが一致するかどうかだけでなく、検索意図を理解した上で適切な結果を返してくれるのです。
 
もう少し噛み砕いた説明も載せておきましょう。
 
たとえば、「犬」という単語を AI に理解させたい場合、それを[1, 0, 0]というベクトルに、そして「猫」を[0, 1, 0]というベクトルに変換するかもしれません。
それぞれの数字は、その単語の特徴を表現しています。例えば、’犬’という単語のエンベディングで1番目の数字は’動物である’という特徴を、2番目の数字は’ペットである’という特徴を表していると考えることができます。
 
このように、エンベディングは情報を数字の形で表現することで、AI がその情報を理解し、それに基づいて学習したり、予測したりするのに役立ちます。

エンべディング(Embedding)の具体例

ここからは、エンべディングの具体例を見てみましょう。
 
例えば、「映画」、「音楽」、「俳優」について話している文章があったとします。その文章が「映画」について10%、「音楽」について 2 %、「俳優」について 30 %話しているとすると、その文章をエンベディングすると、「0.1」「0.02」「0.3」という3つの数字になります。これは、文章が「映画」、「音楽」、「俳優」の話題にどれくらいフォーカスしているかを表しています。AI はこれらの数値を使って、その文章が何について話しているのかを理解します。
 
そして、AI はこの数値を使って、文章を空間に「マッピング」(配置)します。この空間をエンベディングスペースと呼びます。例えば、似たようなトピックについて話している文章は、この空間の中で近い場所に配置されます。
 
これを利用して、AI は検索や推薦を行うことができます。例えば、ある映画が好きな人がいるとしたら、AI はその映画と似た映画(つまり、エンベディングスペースで近い場所にある映画)を推薦することができます。これは現在、Google が Google 検索や、Youtube などの多くのサービスでデータを整理し、関連コンテンツをレコメンドするためにも使われています。
 
さらに、エンベディングは言語の違いを越えることもできます。例えば、日本語の文章と英語の文章が同じ内容を話している場合、それらはエンベディングスペースでは近い場所に配置されます。だから、AI は異なる言語の文章でも、その内容が同じであることを理解することができるのです。これは、たとえば英語の文章を日本語に翻訳するときなどに非常に役立ちます。

Vertex AI Embeddings for Text で実現できること

ここからは、Vertex AI Embeddings for Text を利用することで、どのようなことが実現できるのかについて見ていきましょう。

より精度の高い検索結果の提供

1 つ目は、より精度の高い検索結果の提供です。
 
先述の通り、Vertex AI Embeddings for Text では、検索内容の微妙なニュアンスを捉えたエンベディングを生成します。このエンベディングとベクトル検索技術*を組み合わせることで、検索意図を深く理解したセマンティック検索を高速に実行します。

*ベクトル検索とは
ベクトル検索とは、画像や音声などの情報をベクトル(いくつかの数値のリスト)という形で表現し、それぞれの情報がどれだけ似ているか(距離が近いか)を計算する方法です。

あなたが Google で「大人向けの数学の参考書」と検索したとき、Vertex AI Embeddings for Text を使用すると、単に「数学」や「参考書」のキーワードに合致する結果を表示するのではなく、実際の意図、つまり「大人向け」であることを理解し、「数学を学び直したい社会人向けの参考書」というユーザーの意図に基づいた結果を上位に表示します。これは、このツールが文章の「意味」を把握し、それをベースに検索を行うからです。

高精度なテキスト分類

2 つ目は、事前学習なしでの高精度なテキスト分類です。
 
Vertex AI Embeddings for Text では、一旦正しいカテゴリラベルにマッピングするモデルを学習すると、その後、新しいテキストをインポートした場合もそのエンべディングに基づいて分類することができます。
 
これまでの言語モデルでは、特定のタスクに特化した学習が不可欠でした。しかし、Vertex AI Embeddings for Text ではさまざまな文脈を深く理解した上でエンべディングを生成できるため、事前学習やファインチューニングせずに高精度のテキスト分類に使用できるようになるのです。

検索結果の信頼性の向上

3 つ目は、検索結果の信頼性の向上です。
 
ここまで見てきた通り、Vertex AI Embeddings for Text では、さまざまなテキストの文脈を深く理解した上でエンべディングが生成され、そこから検索結果が返されます。検索結果にモデルが人工的に生成した文章が使われることはありません。
 
これまでの生成系 AI では、記憶量に制限があったり、人工知能が学習したデータからは正当化できないはずの回答を堂々とする「幻覚(ハルシネーション)」が起きたりといった課題が指摘されていました。しかし、Vertex AI Embeddings for Text ではこのような問題が起こることはありません。
 

Vertex AI Embeddings for Text のユースケース

最後に、Vertex AI Embeddings for Text がビジネスや組織でどのように活用できるのか、具体的なユースケースについて紹介します。

大量の論文から必要な情報を抽出

1 つ目の例は、大量の論文から必要な情報を素早く・正確に抽出することです。これは、Vertex AI Embeddings for Text を利用した Google Cloud のプロダクト「Enterprise Search」を使うことで可能となります。
 
Enterprise Search は、Google 検索を使うかのように社内情報を検索することができるサービスです。これを利用することで、ドキュメント、プレゼンテーション、市場調査レポートなどの企業にとって価値の高い情報を、社内で簡単かつ効率的に検索できるようになります。
 
例えば、あるレポートを作成するために、大量の論文を読む必要があるとします。Enterprise Search を使用すれば、論文ファイルをインポートして、知りたい情報についてクエリを実行するだけで必要な情報を得ることができます。クエリの意図および論文の意味を理解した上で、全てのファイルから関連するメッセージを瞬時に見つけられるのです。
 
さらに、Enterprise Search では文章の概要・要約を生成することもできます。これにより、関連するファイルを 1 ページずつ読むことなく、要点を瞬時に把握できます。もちろん、検索結果や概要は実際にインポートした論文から生成されるため、信頼性も高いです。

精度の高い製品のレコメンデーション

2 つ目の例は、E コマースなどにおける精度の高い製品のレコメンデーションへの活用です。
 
Vertex AI Embeddings for Text を使って製品をマッピングし、クエリと候補の間の関係を学習させることで、より精度の高いレコメンデーションを実現できます。データをユーザの検索意図や、製品が持つ意味などビジネスにおけるエンべディングに編成するため、より消費者のニーズに近いものを提案できるようになるのです。これは単純なキーワード検索を超える精度で、なおかつ非常に関連性の高いレコメンドとなり得ます。
 
なお、Google Cloud では今後、ドキュメントや Web テキストだけでなく、画像などメディアも検索対象としたサービスを提供する予定とのことです。例えば製品画像の意味をキャプチャすることで、製品の説明文のみでなく、画像の意味による検索ができるようになります。

まとめ

ここまで、Vertex AI Embeddings for Text の機能やユースケースについて解説してきました。Vertex AI Embeddings for Text は、意味による検索を実現し、より精度の高い検索結果を得るのに役立つサービスです。生成系 AI の信頼性を高めたい方や、大量データを正確に LLM に記憶させたいと考えている方は、活用を検討してみてください。
 
Google Cloud、Vertex AI は Google LLC の商標です。

この記事を共有する

合わせて読みたい