【ITニュース解説】When an AI model doubts evidence that was sound

最近、人工知能（AI）の技術、特に大規模言語モデル（LLM）の進化は目覚ましく、私たちの仕事や生活に大きな影響を与え始めている。システムエンジニアを目指す皆さんも、将来的にAIを開発したり、AIを活用したシステムを構築したりする機会が増えるだろう。しかし、AIがどれほど進化しても、まだ完璧ではないという現実を理解しておくことは非常に重要だ。今回紹介するニュースは、AIが「確かな証拠」を誤って疑ってしまうという、AIの判断の課題を示す興味深い研究結果である。

この研究では、AIが提供された情報（証拠）をいかに正確に評価できるかを検証した。具体的には、米国のAI企業Anthropicが開発した大規模言語モデルである「Claude」の二つのバージョン、すなわち「Claude Sonnet」と「Claude Haiku」が実験に使われた。これらのAIに対して、合計70種類の「主張」と、その主張を裏付けるための「証拠」のペアが提示された。

提示された主張の内容は多岐にわたる。例えば、あるウェブサイトが特定のテクノロジーを利用しているという主張や、ブロックチェーン上での支払いが行われたという主張、あるいはウェブページが特定の状態にあるという主張などである。それぞれの主張には、それを裏付けるための検証結果やデータが「証拠」として添えられた。AIは、これらの主張と証拠のペアを受け取り、人間からの具体的な指示なしに、その証拠が本当に主張を「立証しているか」、つまり「主張が正しいと判断できる十分な根拠になっているか」を判断するよう求められた。

実験で特に注目されたのは、AIが「不十分な証拠」と「確かな証拠」それぞれをどのように評価するかという点だった。

まず、「不十分な証拠」に対するAIの判断について見てみよう。この研究では、証拠として不適切であるにもかかわらず、AIがそれを正しいと判断してしまう可能性が懸念されていた。例えば、ウェブサイトへのアクセスが成功したことを示す単なる「HTTPステータス200」という情報だけでは、そのウェブサイトが特定の機能を持っていることを証明するには不十分な場合が多い。このような、一見正しそうに見えても実は何も証明していない証拠をAIが鵜呑みにしてしまうのではないか、というのが当初の懸念だった。

しかし、実験結果は意外なものだった。Claude Sonnetは、45回与えられた不十分な証拠のうち、わずか1回だけそれを「立証済み」と誤って判断したに過ぎない。さらにClaude Haikuに至っては、不十分な証拠を一度も「立証済み」と判断することはなかった。これは、AIが提示された情報の中から、本質的に不足している点や、主張を裏付けるには不十分な点を比較的よく見抜くことができるという、ポジティブな側面を示唆している。つまり、AIは無意味な情報をそのまま受け入れるほど単純ではなかった、ということだ。

次に、この研究で特に重要な発見となったのが、「確かな証拠」に対するAIの判断だった。これは、人間が見れば明らかにその主張を裏付けるのに十分な、正しく有効な証拠であるにもかかわらず、AIがそれを誤って「立証できていない」と却下してしまうケースが多く見られた、という点である。

具体的には、実験で提示された25件の「確かな証拠」について、Claude Sonnetはそのうち9件を「証拠不十分」として却下してしまった。これは全体の3分の1以上にあたる割合だ。さらにClaude Haikuでは、同じく25件の確かな証拠のうち、実に12件を却下した。これは半数近い証拠をAIが誤って否定したことになり、非常に高い割合である。

この結果は、AI、特に大規模言語モデルをシステムに組み込む際に、私たちが注意すべき重要なポイントを浮き彫りにしている。AIは一見賢そうに見え、不十分な情報を拒否する能力は高いものの、人間にとっては明白な「正しい証拠」であっても、何らかの理由でそれを認識できず、却下してしまう可能性があるということだ。

システムエンジニアを目指す皆さんにとって、この研究結果はAI活用の難しさと可能性の両方を教えてくれる。将来、皆さんがAIを活用した自動化システムや意思決定支援システムを開発する際、AIの判断をそのまま鵜呑みにすることは非常に危険だということを意味する。例えば、AIに顧客からのクレームに対する証拠を評価させたり、金融取引の正当性を判断させたりする場合、AIが「この証拠は不十分だ」と判断したときに、それが本当に不十分なのか、それともAIが誤って却下しているのかを見極める仕組みが不可欠になる。

この研究は、AIが誤った情報に騙されにくい一方で、正しい情報まで疑ってしまうという「過度に慎重な傾向」がある可能性を示唆している。これは、AIの設計や学習データの特性に起因するのかもしれない。私たちがAIを社会の重要な意思決定プロセスに導入する際には、AIがなぜそのような判断をしたのかを説明できる「説明可能性」の確保や、AIの判断を人間が最終的に検証する「ヒューマン・イン・ザ・ループ」の仕組みを導入することが、ますます重要になってくるだろう。

AIは強力なツールだが、その限界を理解し、適切に利用することが、安全で信頼性の高いシステムを構築するための鍵となる。今回の研究は、AIの判断能力についてより深く理解し、その結果をこれからのシステム開発にどう活かすべきかを考える良いきっかけとなるだろう。