【ITニュース解説】「ベクトルDB不要」なRAG手法「PageIndex」を解説

大規模言語モデル（LLM）が外部の知識を参照して回答を生成する技術「RAG（Retrieval-Augmented Generation）」は、AIの回答精度を飛躍的に向上させる手法として注目されている。これは、LLMが学習していない最新情報や、企業内の非公開文書といった特定の知識を基に、より正確で信頼性の高い回答を作るための仕組みである。このRAGの性能を大きく左右するのが、ユーザーの質問に対して、膨大な資料の中からどの部分をLLMに提示するかを決定する「検索（Retrieval）」のプロセスだ。この検索の精度が低いと、LLMは不適切な情報を基に回答を生成してしまい、結果として誤った答えを返してしまう。この問題を解決するため、多くのRAGシステムでは「ベクトル検索」という技術が用いられてきた。これは、文章を「ベクトル」と呼ばれる数値の配列に変換し、質問と意味的に近い文章を高速に見つけ出す手法で、そのデータを格納するために「ベクトルデータベース（DB）」が利用される。しかし、このベクトル検索にも課題があった。意味が似ているというだけで、文脈が異なる無関係な情報を検索結果として返してしまうことがあるのだ。この検索精度の課題を克服し、さらにシステム構成を簡素化する可能性を持つ新しいアプローチとして「PageIndex」という手法が登場した。

PageIndexの最も大きな特徴は、RAGシステムからベクトルDBを不要にする点にある。その代わりに、LLM自身に検索のための「索引（インデックス）」を作成させるという独創的なアイデアに基づいている。具体的には、二つの主要なステップで構成される。一つ目は「インデックス生成」である。まず、対象となる文書群を、扱いやすいように小さな塊（チャンク）に分割する。次に、分割した一つ一つのチャンクに対して、LLMに「このチャンクが最適な答えになるような質問を複数生成してください」と指示を出す。例えば、「製品Aの保証期間は購入日から1年間です」というチャンクがあれば、LLMは「製品Aの保証期間はどのくらいですか？」や「製品Aはいつまで保証されますか？」といった、ユーザーが実際に問いかけそうな「仮想的な質問（Hypothetical Questions）」を自動で生成する。この生成された「仮想的な質問」と、その元となった「チャンク」をペアにして保存する。このペアの集合体が、PageIndexにおける索引となる。

二つ目のステップは、この索引を使った「検索」プロセスだ。ユーザーから実際に質問が入力されると、システムはその質問文と、インデックスとして保存されている膨大な数の「仮想的な質問」とを照合する。ここで使われるのはベクトル検索ではなく、キーワードの一致度などを基にスコアを計算するBM25のような、より伝統的で実績のある検索アルゴリズムである。照合の結果、ユーザーの質問と最も関連性が高いと判断された「仮想的な質問」が特定される。そして、その仮想的な質問とペアになっている「元のチャンク（文書の一部）」をLLMに提供する。LLMは、この選び抜かれた情報を基にして、ユーザーへの最終的な回答を生成する。この仕組みにより、ユーザーがどのような言葉で質問しても、LLMが事前に生成した多様な質問パターンがその意図を捉え、最適な情報源へと導くことが可能になる。

PageIndexがもたらす利点は大きい。第一に、検索精度の向上が期待できる。LLMが生成する多様な質問パターンが、ユーザーの様々な言い回しや表現の揺れを吸収するため、従来のベクトル検索よりも文脈に即した、より的確な情報を発見しやすくなる。第二に、システム構成の簡素化である。専門的な知識や運用ノウハウが求められるベクトルDBを導入する必要がなくなり、代わりにElasticsearchのような汎用的な検索エンジンを利用できる。これにより、開発コストや運用負荷の低減につながる可能性がある。さらに、なぜそのチャンクが検索結果として選ばれたのかが、ユーザーの質問と合致した「仮想的な質問」を見ることで直感的に理解しやすくなり、システムの透明性や解釈可能性が高まるというメリットもある。一方で、インデックスを生成する際にLLMを繰り返し呼び出すため、その分のコストと時間が発生するという考慮点も存在する。PageIndexは、RAGの心臓部である検索プロセスをLLMの能力で革新するアプローチであり、ベクトルDBに代わる有力な選択肢として、今後のRAGシステムの発展に大きく貢献する可能性を秘めた技術だと言える。