【ITニュース解説】Can Retrieval Tell Which Source to Trust?

近年、大規模言語モデル（LLM）と検索システム（Retrieval）を組み合わせたRAG（Retrieval Augmented Generation）システムが注目されている。これは、チャットボットなどが手持ちの知識だけでなく、外部のドキュメントを参照して回答を生成する強力な技術だ。しかし、この便利なRAGシステムには、まだ解決すべき課題がある。最も顕著な問題の一つは、情報源の「信頼性」を適切に判断できないことだ。例えば、サポート用チャットボットが、今年の払い戻しポリシーと去年のポリシーを両方取得し、誤って古いポリシーを引用してしまう可能性がある。これは、単に間違った情報を提供するだけでなく、顧客とのトラブルにもつながりかねない問題である。

この問題の根本原因は、RAGシステムが情報の「関連性」を評価することには優れていても、その情報が「正しいかどうか」、つまり「信頼性」を判断する能力が低い点にある。検索結果の順位を再調整するリランカーといった仕組みは、質問とドキュメントの内容がどれだけ似ているかを数値化する。そのため、たとえ古くなったポリシーであっても、現在のポリシーに関する質問と内容が非常に似ているため、「関連性が高い」と判断され、上位に表示されてしまうのだ。これは、システムが設計通りに「関連性」を測定しているだけであり、故障しているわけではない。

Manoj Kumar Vohra氏の研究はこの課題を浮き彫りにし、信頼できる情報源を選ぶためには、ドキュメントの内容だけでなく、その情報源に関する詳細な情報が必要だと指摘している。特に重要なのが、「3つの日付」の役割だ。まず、「有効日（effective date）」は、ルールがいつから適用されるかを明確にし、現在の質問に対してドキュメントが有効かを判断する最も重要な基準である。次に、「公開日（publication date）」は、ドキュメントが最初に公開された日であり、異なるバージョンの順番を決定する際に役立つ。そして、「最終更新日（last-modified date）」は、ドキュメントが最後に変更された日だが、誤字脱字の修正でも更新されるため、ルールの有効性や最新性を示すには不向きである。

Vohra氏は、新しいドキュメントが古いドキュメントを「明示的に廃止する（explicitly supersedes）」という情報が記録されている場合、それが最も強力な判断基準となると提案している。これは、たとえ複数の古いドキュメントが同じ内容を主張していても、新しいポリシーが古いポリシーを置き換える旨を宣言していれば、新しいポリシーが優先されるべきだという考え方である。RAGパイプラインがこのような判断を下すためには、ドキュメントの本文情報だけでなく、「ソースの詳細」、すなわち情報源のタイトル、タイプ、ステータス（現在のもの、廃止されたもの、下書き、未検証など）、そして前述の「日付」といったメタデータが必要となる。これらの情報がなければ、システムは単に内容の関連性でしか判断できず、情報の新鮮さや信頼性を正確に見分けることができない。

また、新しいポリシーが公開されたが、実際に適用されるのが未来の日付であるケースも考慮する必要がある。この場合、RAGシステムは、質問された時点では古いポリシーが適用されるが、いつから新しいポリシーが施行されるかという情報も同時に提示できるべきである。単に公開日が新しいという理由だけで、まだ有効でないポリシーを回答してしまうのは間違いである。さらに、複数の情報源が互いに矛盾する場合、単にどちらが「古いバージョン」なのかと判断するだけでなく、「置き換え」、「並行する見解」、そして「日付不明の組み合わせ」といった複数の種類の矛盾が存在することを認識する必要がある。例えば、ビジネス上の開始日と技術的な開始日が異なる場合など、どちらも間違いではないが視点が異なる「並行する見解」として提示する必要があるのだ。

RAGシステムが真に信頼できる情報源を選択できるようになるためには、ドキュメントがシステムに取り込まれる段階で、有効日、公開日、ステータス、明示的な廃止情報などの「ソースの詳細」を正確に記録することが不可欠だ。これらのメタデータをモデルが参照できるようにパイプラインを構築する必要がある。自身のRAGパイプラインが情報を適切に処理しているかを確認するためには、具体的なテストケースを用いることが推奨される。例えば、明示的な廃止情報があるケース、未来の有効日を持つポリシーがあるケース、最終更新日のみが新しい古いドキュメントがあるケースなどを用意し、システムが期待通りの回答を生成するかを検証することで、そのパイプラインがどの情報を信頼性の判断基準としているかを理解できるだろう。RAGシステムは強力なツールだが、その回答の信頼性を高めるためには、情報源そのものの信頼性に関するメタデータを活用する工夫が求められている。