【ITニュース解説】When strong models agree on a different GSM8K answer, the answer key is usually wrong

AI（人工知能）の能力を評価する際、「ベンチマーク」と呼ばれるテスト問題のセットが使われる。しかし、もしこのテスト問題の「正解」自体に誤りがあったら、AIの真の能力を測ることはできない。今回の研究は、AIモデル自身を使って、この「テストの正解キーの誤り」を発見しようとする画期的な試みである。

この研究の基本的な考え方はこうだ。複数の強力なAIモデルが、既存の正解とは異なる同じ答えに「合意」した場合、それはAIが間違っているのではなく、テストの正解キーが間違っているのではないか、という仮説を立てた。この仮説を検証するため、二種類のAI評価用データセットが使われた。一つは多様な知識を問う選択式の「MMLU（Massive Multitask Language Understanding）」、もう一つは小学校レベルの算数問題を集めた、答えが数字である「GSM8K（Grade School Math 8K）」だ。

特にGSM8Kは、この研究にとって重要だった。答えが数字なので、たまたま複数のAIモデルが同じ間違った数字を導き出す可能性が低いと考えられたからだ。さらに、GSM8Kには「GSM8K-Platinum」という改良版のデータセットが存在する。これは、元のテスト問題一つ一つに「問題として削除すべき」「答えを修正した」「確認したが問題なし」といった、人間による詳細なレビュー結果がラベル付けされている。これにより、AIの多数決で「正解が怪しい」と判断された問題が、本当に問題だったのかどうかを客観的に検証できるメリットがあった。

研究では、Stanford CRFMのHELM Liteを使って、90種類のAIモデルがGSM8Kの1,000問に回答した結果を集めた。そして、「最も成績の良い上位10モデルのうち、少なくとも6モデルが既存の正解とは異なる同じ数字を回答した場合」に、その問題に「フラグ」を立てるというルールを設定した。これが、AIの多数決によって正解の誤りを検出する具体的な方法である。

このルールを適用した結果、合計で22問のGSM8Kの問題にフラグが立てられた。これらのフラグ付き問題が本当に問題だったのかをGSM8K-Platinumのレビュー結果と照らし合わせたところ、驚くべき結果が得られた。22問中19問、実に86.4%もの問題が、GSM8K-Platinumによって「削除すべき」か「答えを修正すべき」とマークされていたのだ。これは、GSM8K全体の問題のうち約9.0%が何らかの問題を抱えているという通常の発生率と比較しても、圧倒的に高い的中率だった。この結果は、AIの多数決によってテストの正解の誤りを非常に高い精度で発見できることを明確に示している。

また、この検出の精度は、AIモデルの「強さ」に大きく依存することも明らかになった。最も成績の良い上位10モデルのグループがフラグを立てた問題では、90.9%が実際に問題のある正解キーだった。しかし、成績が低いモデルのグループになるほど、その精度は低下し、41位から50位のモデルのグループでは、的中率は43.2%にまで落ち込んだ。このことから、AIモデルの多数決を利用して正解の誤りを検出する際には、できるだけ強力で信頼性の高いAIモデルを用いることが重要だとわかる。

この手法が検出できる問題の種類についても興味深い発見があった。このAI多数決によるフラグ付けは、「正解キー自体が間違っている問題」を特定するのに非常に優れていた。GSM8K-Platinumで回答が修正された6問のうち、なんと5問をこの手法が正確に検出し、さらに、AIモデルが合意したその「間違った」数字は、Platinumが修正した「正しい」答えと完全に一致していた。つまり、この手法は正解キーの誤りを発見するだけでなく、その修正案までも同時に提示できる能力を持つということだ。

しかし、この手法が苦手とする問題の種類もあった。それは「質問自体が曖昧な問題」だ。GSM8K-Platinumで曖昧さのために削除された84問のうち、AIの多数決がフラグを立てたのはわずか14問に過ぎなかった。これは、強力なAIモデルであっても、質問が曖昧な場合、人間が意図したであろう解釈、つまり元の正解キーが想定する解釈で一致してしまう傾向があるためだと考えられる。

さらに、AIの多数決が間違った正解を指し示すこともあった。フラグが立った3問は、GSM8K-Platinumによって正解が維持された問題だった。これらのケースでは、強力なAIモデルが共通して、質問文の指示の一部を見落としたり、特定のパターンで解釈しすぎたりするような「不注意な読み間違い」をしていたことが判明した。これは、たとえ多くの賢いAIが同じ答えに到達したとしても、それが必ずしも「正解」であるとは限らない、という重要な教訓を示している。AIも人間と同じように、文脈の解釈や細かな指示の読み取りで誤りを犯す可能性があるということだ。

この研究は、AIを開発・評価するシステムエンジニアを目指す者にとって、非常に重要な示唆を与える。AIの性能は、それを評価するデータセットの品質に大きく左右される。もし評価データセットの正解キーに誤りが多ければ、AIの真の能力を測ることはできないし、AIの改善方向も間違ってしまう可能性がある。この研究で示されたAIの多数決を利用した正解キーの誤り検出方法は、そのようなデータセットの品質を効率的に向上させる強力な手段となる。

具体的には、もし自由記述の答えを持つベンチマークの正解をチェックする必要がある場合、この「AIの多数決チェック」を既存のAIモデルの出力に対して実施すれば、ほとんど追加コストなしで非常に高い精度で正解の誤りを発見できる。その際、最も高性能なAIモデルを使うことが重要であり、成績の低いモデルでは検出精度が落ちることに注意が必要だ。また、この方法は正解キーの誤りを見つけるのには有効だが、質問自体が曖昧な問題を見つけるのには不向きだということも理解しておくべきだ。曖昧な質問は、「どんな強力なAIモデルでも間違えた」という基準で広く候補を集め、最終的には人間が内容を読んで判断する必要がある。

結論として、この研究は、AIが進化する現代において、AI自体の力を借りて、その評価基盤であるデータセットの品質を高めるという、新しいアプローチを提示する。システムエンジニアとしてAI技術を扱う上で、データセットの品質がいかにAIの性能や信頼性に直結するかを理解し、その改善に取り組むことの重要性を再認識させる画期的な成果と言える。