【ITニュース解説】Embeddings Turn Text Into Numbers. But There’s More Than One Way to Do It

現代のITシステム、特にAIを活用した検索や情報抽出の分野では、「エンベディング」という技術が非常に重要な役割を担っている。エンベディングとは、簡単に言えば、人間が日常的に使うテキスト情報をコンピュータが理解しやすい数値の形に変換する技術のことである。例えば、「犬が走った」という文章を、コンピュータが計算や比較を行えるような数列に変換するのである。

このテキストを数値に変換する方法には、いくつかのアプローチが存在する。特に重要なのが「スパース表現」と「密なエンベディング」という二つの手法だ。それぞれが異なる特性を持ち、得意なことと苦手なことがあるため、システムの目的に応じて使い分けられたり、組み合わせられたりする。

まず、スパース表現について見ていこう。これは、テキストに含まれる個々の単語に注目して数値化する方法である。例えば、世界中のあらゆる単語を網羅した巨大な辞書があると想像してみよう。その辞書に50,000語が登録されているとする。ある文章をスパース表現で数値化する場合、この50,000語それぞれに対応する位置に値を割り当てる。その文章に登場する単語、あるいはその文章にとって重要だと判断される単語の位置には、意味のある（ゼロではない）値が与えられ、それ以外のほとんどの単語の位置にはゼロが割り当てられる。そのため、出来上がる数値の並び（ベクトルと呼ばれる）のほとんどがゼロで構成され、一部にだけ非ゼロの値が存在するため「スパース（まばら）な」表現と呼ばれるのだ。

具体的な例を挙げよう。もし辞書に「猫、犬、走る、速い、食べ物、食べる、青、空、車、運転する」という10語しか登録されていないとする。そして「犬は速く走る」という文章を数値化する場合、この文章に含まれる「犬」「走る」「速い」の各単語に対応する位置に「1」という値が割り当てられ、他の単語の位置には「0」が割り当てられる。結果として、「0, 1, 1, 1, 0, 0, 0, 0, 0, 0」のような数値の並びが生成される。この表現は、どの単語が文章中に存在し、どれくらいの重要性を持つかを示すのに適している。

スパース表現は、文章中の「特定の単語」が検索や比較において非常に重要である場合に有効である。例えば、商品コードやエラーメッセージ、固有名詞など、一字一句が正確に一致する必要がある場面では、その単語の有無を直接的に表現できるスパース表現が力を発揮する。しかし、この手法には限界もある。例えば、「買う」と「購入する」は意味は同じだが、異なる単語であるため、スパース表現ではそれぞれを別のものとして扱ってしまう。また、同じ質問でも「荷物がなぜこんなに遅れているの？」と「配送遅延について」のように、全く異なる単語で言い換えられると、単語の重複が少ないためにこれらが関連する情報であると認識しづらいという問題が生じる。

このようなスパース表現の限界を克服するために登場するのが「密なエンベディング」である。密なエンベディングは、単語そのものの存在だけでなく、テキスト全体の「意味」や「文脈」を捉えることに重点を置く。スパース表現が巨大な辞書の各単語に注目するのに対し、密なエンベディングは、より抽象的で、しかし情報量の多い、数百から数千の数値でテキストを表現する。この数値の並び（ベクトル）は、そのほとんどがゼロではない値で構成されるため、「密な」エンベディングと呼ばれる。

密なエンベディングの大きな利点は、意味的に似た文章であれば、使われている単語が異なっていても、近い数値の並びとして表現できる点にある。例えば、「犬が速く走った」と「子犬が駆け抜けた」という二つの文章を考えてみよう。これらの文章には、「犬」と「子犬」、「走った」と「駆け抜けた」のように、共通する単語が一つもない。しかし、両者は同じような「速く移動する動物」という状況を表している。密なエンベディングを生成するモデルは、このような意味的な関係性を学習しているため、これらの文章は互いに近い数値ベクトルとして表現される可能性が高いのだ。これにより、ユーザーが異なる言葉で検索しても、意味的に関連性の高い情報を探し出す「セマンティック検索」が可能となる。

しかし、密なエンベディングも万能ではない。テキストの広い意味的な関係性を捉えるのは得意だが、厳密な単語の一致が求められる場面では、その効果が薄れることがある。例えば、「SKU-4471B」のような特定の製品コード、正確な固有名詞、あるいは珍しい技術用語やエラーコードなどを検索する場合、密なエンベディングが捉える「意味」の類似性よりも、その「文字列そのもの」の正確な一致が重要となる場合が多い。このようなケースでは、スパース表現のように単語の存在を直接的に示す手法の方が、より正確な結果をもたらすことがある。

まとめると、エンベディングはテキストを数値に変換する強力な技術だが、その方法は一種類ではない。スパース表現は、テキスト中の特定の単語の存在や重要性を明確に表現し、厳密な単語の一致が求められる場面で有効である。一方、密なエンベディングは、テキスト全体の意味や文脈を捉え、異なる言葉で表現された意味的に似た情報を探し出すのに適している。これらの違いを理解することは、現代のAIシステム、特にRAG（Retrieval-Augmented Generation）システムなどが、なぜ密なエンベディングだけでなく、複数の情報検索手法を組み合わせて利用するのかを理解する上で非常に重要である。システムは、情報の種類や検索の目的に応じて、これらの異なるエンベディング手法を賢く使い分け、最適な情報提供を目指しているのである。