【ITニュース解説】コサイン類似度について改めて整理する

生成AI（ジェネレーティブAI）が社会に浸透し、私たちの生活や仕事に大きな影響を与えている。ChatGPTやClaudeといった大規模言語モデル（LLM）は、人間が話すような自然な言葉を理解し、文章を生成する能力を持つ。しかし、これらのAIには根本的な限界がある。それは、学習したデータに基づいてしか知識を持たない点だ。そのため、最新の情報や特定の組織内の独自データ、あるいは個人の専門知識など、学習データには含まれない情報に基づいて回答することはできない。この課題を解決し、LLMの能力を最大限に引き出すために登場したのが、RAG（Retrieval-Augmented Generation：検索拡張生成）という技術である。

RAGは、その名の通り「検索（Retrieval）」と「生成（Generation）」を組み合わせた技術だ。具体的には、ユーザーからの質問や指示（プロンプト）に対して、まず外部の知識ベースやデータベースから関連性の高い情報を「検索」し、その検索結果をLLMに与えて回答を「生成」させる。これにより、LLMは自身の学習データにはない最新の情報や特定のドメインの知識を取り込み、より正確で信頼性の高い回答を生成できるようになる。例えば、企業の顧客サポートで自社製品のマニュアルから回答を作成したり、最新ニュースを基に要約文を作成したりする際にRAGは非常に有効だ。

RAG技術の中核をなすのは、まさに「検索」の機能である。ユーザーの質問に対して、どのような情報が「関連性が高い」と判断され、LLMに渡されるべきか。この「関連性の高さ」を測る指標が「類似度」であり、その中でも特に広く用いられているのが「コサイン類似度」である。

コサイン類似度を理解するためには、まず「テキストを数値化する」という考え方が必要だ。コンピュータは言葉そのものを直接理解することはできないため、文章や単語が持つ意味を数値の並び、つまり「ベクトル」という形で表現する。このプロセスを「埋め込み（エンベディング）」と呼ぶ。例えば、「リンゴ」と「ミカン」という単語は似た意味を持つため、埋め込み後のベクトルは互いに近い位置に配置されるように学習される。一方、「リンゴ」と「自動車」は意味が大きく異なるため、ベクトルは遠い位置に配置される。このようにして、あらゆる単語や文章が多次元空間内の点の位置として表現されるのだ。

コサイン類似度とは、このベクトル化されたデータ間の「向き」がどれだけ似ているかを測る指標である。二つのベクトルが指し示す方向がどれだけ近いか、つまりベクトル間の「角度」に着目する。角度が小さいほどベクトルは同じ方向を向いており、互いに「似ている」と判断される。逆に角度が大きいほど、ベクトルは異なる方向を向いており、「似ていない」と判断される。コサイン類似度は、この角度のコサイン値（数学的な関数の一つ）を用いて算出され、-1から1の間の値を取る。1に近いほど類似度が高く、-1に近いほど類似度が低いことを示す。

なぜベクトル間の「向き」が重要なのか。それは、文章の長さや単語の出現頻度といった表面的な情報ではなく、文章が持つ「意味的な内容」の類似性を正確に捉えることができるからだ。例えば、「これは美味しいリンゴだ」という短い文章と、「このリンゴは大変美味で、品質が高い」という長い文章があったとする。もし文章の長さに影響される類似度指標を使えば、これらは似ていないと判断されるかもしれない。しかし、コサイン類似度を使えば、どちらも「美味しいリンゴ」という共通の意味を持っているため、高い類似度を示すことが多い。これは、ベクトルの「長さ」ではなく「向き」に注目することで、文書の長さに正規化され、本質的な意味の類似性を評価できるという特性を持つためだ。

RAGにおいてコサイン類似度はどのように利用されるのだろうか。ユーザーがLLMに対して質問を投げかけると、まずその質問文が埋め込み技術によってベクトルに変換される。次に、RAGシステムは事前にベクトル化されてデータベースに格納されている大量の文書（企業の製品マニュアル、Webサイトの記事、FAQなど）の中から、ユーザーの質問ベクトルとコサイン類似度が高い文書を探索する。コサイン類似度が高い、つまり「意味的に似ている」と判断された文書が、ユーザーの質問に関連性の高い情報として抽出される。この抽出された情報がプロンプトの一部としてLLMに渡され、LLMはその情報を参考にしながら回答を生成するのだ。

このように、コサイン類似度は生成AIの裏側で、ユーザーの意図を正確に汲み取り、膨大な情報の中から適切な知識を見つけ出すという非常に重要な役割を担っている。システムエンジニアを目指す上で、生成AIやRAGといった最新技術の理解は不可欠であり、その基盤を支えるコサイン類似度のような基本的ながらも強力なツールを把握しておくことは、これからの開発において大いに役立つだろう。コサイン類似度の理解は、AIがどのように情報を処理し、どのように意味を判断しているのかを知る第一歩であり、現代のAIアプリケーション開発に携わる上で欠かせない知識と言える。