Webエンジニア向けプログラミング解説動画をYouTubeで配信中!
▶ チャンネル登録はこちら

【ITニュース解説】Judge noise or answer noise? What really moves RAG evaluation scores

2026年10月19日に「Dev.to」が公開したITニュース「Judge noise or answer noise? What really moves RAG evaluation scores」について初心者にもわかりやすく解説しています。

作成日: 更新日:

ITニュース概要

RAG評価スコアの変動要因を分析した結果、生成される回答のばらつきが忠実性や関連性指標の主な原因であり、文脈関連指標は評価用LLMの判断ブレによることがわかった。信頼性のある比較には、ある程度のスコア差が必要だ。

ITニュース解説

RAG(Retrieval-Augmented Generation)とは、質問応答システムをより賢くするための技術である。これは、ユーザーからの質問に対して、まず広大な情報源の中から関連する情報を探し出し(Retrieval=検索)、その情報に基づいて回答を生成する(Generation=生成)という二段階のプロセスを経て動作する。従来のLLM(大規模言語モデル)単体では、学習データに含まれない情報や最新の情報に対応できない、あるいは誤った情報を「でっち上げる」(ハルシネーション)問題があったが、RAGはこの問題を軽減し、より正確で根拠のある回答を提供することを目指す。

RAGシステムを開発する上で、その性能を客観的に評価することは非常に重要である。評価を通じてシステムの改善点を見つけ、より良いRAGシステムを構築できる。しかし、RAGシステムの評価スコアは、システムの設定を全く変更していない場合でも、実行するたびに変動することがある。この変動は「ノイズ」と呼ばれ、開発者にとってシステムが本当に改善されたのか、あるいは単なる偶然の変動なのかを判断することを難しくする。本稿では、この評価スコアの変動がどこから来るのか、つまり「LLMジャッジ(評価者としてのLLM)のノイズ」によるものなのか、それとも「生成された回答のノイズ」によるものなのかを明らかにし、その影響を理解するための実験結果と考察を詳しく説明する。

実験では、15の学術論文からなる情報源と18の質問を用いたRAGシステムが用いられた。回答を生成するモデルは「gpt-oss-20b」、評価を行うジャッジモデルは「Gemini 3.5 Flash Lite」で、RAGASという評価フレームワークを通じて次の四つの評価指標が使われた。

  • Faithfulness(忠実性): 生成された回答が、検索で取得した情報源にどれだけ忠実か。情報源にない内容が含まれていないかを見る。
  • Answer Relevancy(回答の関連性): 生成された回答が、元の質問に対してどれだけ適切で関連しているか。
  • Context Recall(コンテキスト再現率): 検索で取得した情報源(コンテキスト)が、回答に必要な情報をどれだけ網羅しているか。参照回答(人間が作成した正しい回答)と比較される。
  • Context Precision(コンテキスト適合率): 検索で取得した情報源(コンテキスト)の中に、質問に答えるために本当に必要な情報がどれだけ含まれているか。無駄な情報が少ないかを見る。

これらの評価指標において、LLMジャッジの「温度(temperature)」設定が重要になる。温度はLLMが単語を選ぶ際のランダム性を制御するパラメータで、0に設定するとモデルは常に最も可能性の高い単語を選び、理論的には同じ入力に対して同じ出力を返すことが期待される。この実験では、ジャッジの温度は0に設定され、生成モデルの温度はプロバイダのデフォルト設定(通常はランダム性を持つ)が使われた。

二つの主要な実験が行われた。一つは「ジャッジのみ」の実験で、一つの回答セットを一度生成し、それを保存して、ジャッジに同じ回答を三回評価させることで、ジャッジ自体のノイズを測定した。もう一つは「生成とジャッジ」の実験で、同じ設定で三つの異なる回答セットを生成し、それぞれ一度ずつ評価することで、回答の変動が評価に与える影響を測定した。

実験結果は興味深いものだった。まず「ジャッジのみ」の実験では、ジャッジの温度を0に設定しても、同じ回答を評価する際にスコアに変動が生じることが判明した。例えば、Faithfulnessは回答を複数の「クレーム」(主張)に分割して評価するが、ジャッジは同じ回答でも分割するクレーム数が毎回異なり、これがスコアの変動につながった。Context PrecisionとContext Recallは、検索で取得した情報源が回答に必要な情報を含んでいるかどうかのYes/No判定に基づくため、この判定が少しでも変わるとスコアに大きく影響した。対照的に、Answer Relevancyは、ジャッジが回答から質問を生成し、それを元の質問と埋め込みモデルで比較するというプロセスを経るため、ジャッジの微細な表現の揺らぎが吸収され、比較的安定したスコアを示した。

次に「生成とジャッジ」の実験では、新しい回答を生成するたびにスコアが大きく変動することが明らかになった。FaithfulnessとAnswer Relevancyの評価スコアの変動の大部分(Faithfulnessで約85%、Answer Relevancyでほぼ全て)は、ジャッジではなく、生成される回答自体の違いに起因していた。これは、回答モデルのランダム性が評価に大きな影響を与えることを意味する。一方で、Context RecallとContext Precisionは、RAGASの仕組み上、生成された回答を読まずに、質問と検索で取得した情報源、そして参照回答のみに基づいて計算される。このシステムでは検索が毎回同じ情報源を返すため、回答を再生成してもこれらのスコアは変動せず、これらの指標の変動は全てジャッジのノイズによるものと結論づけられた。これは、多くの開発者がジャッジのノイズが評価全体に与える影響を過大評価し、回答のノイズを過小評価している可能性があるという、直感に反する発見だった。

これらの結果から、システムエンジニアがRAGシステムの異なる設定を比較する際に、「意味のある差」がどのくらいなのかという基準が導き出された。たとえば、Faithfulnessで約0.15、Answer Relevancyで約0.08、Context Recallで約0.09、Context Precisionで約0.10以上のスコア差がなければ、それは単なるノイズの範囲内であり、真の性能差とは言えないとされた。この基準は、2つの設定をそれぞれ1回ずつ実行した場合の比較において、その差が偶然ではないことを95%の信頼度で示すための目安である。

この知見は、過去のRAG評価の結論にも影響を与えた。例えば、以前の実験で「k=8(検索する情報源の数)が最適」とされた結果は、今回のノイズ分析によって再評価された。実際には、異なる質問セットで評価されていたことや、各設定が一度しか実行されていなかったことが原因で、ノイズの範囲内であったことが判明した。また、「LLMジャッジがパラメータ変更よりもスコアを動かす」という以前の結論は、今回の実験でジャッジのノイズが特定されたことにより、さらに強化された。

これらの発見に基づき、RAG評価をより信頼性の高いものにするためのいくつかの推奨事項が提示された。

  • 質問リストの固定とカバレッジの報告: 評価対象とする質問リストを固定し、各平均スコアとともに、そのスコアが何問中何問のデータに基づいているかを必ず報告する。
  • LLMなしの検索評価: 可能であれば、LLMジャッジを使わずに、単純なカウント(例: 検索結果が正しい文書IDを含んでいるか)によって検索性能を評価する。これにより、ジャッジのノイズを排除できる。
  • 評価指標の性質の理解: FaithfulnessやAnswer Relevancyのような回答に関連する指標を評価する場合は、回答を再生成する必要がある。Context RecallやContext Precisionのような検索に関連する指標を評価する場合は、同じ回答に対してジャッジを再実行すれば十分である。
  • ノイズバーの計算: 異なる設定を比較する前に、それぞれのノイズバー(意味のある差の閾値)を計算し、その基準を満たさない差は偶然の変動と見なす。
  • 参照回答の記述: 単一の文ではなく、複数の検証可能なクレームとして参照回答を作成することで、ジャッジのノイズを減らし、より正確な評価を可能にする。
  • ジャッジ情報の明記: 使用したジャッジモデルの名称、バージョン、および評価ライブラリのバージョンを明確に報告する。

これらの推奨事項は、RAGシステムの評価をより堅牢で信頼性の高いものにするための実践的なガイドラインとなる。この研究は、限られたデータセットとモデルに基づいているものの、RAG評価におけるノイズの重要性と、それを適切に測定し管理する方法について重要な示唆を与えている。

関連コンテンツ

関連IT用語