【ITニュース解説】The AI may know when it is guessing

現在のAI技術は目覚ましい進歩を遂げ、私たちが質問すると、非常に流暢で自信に満ちた回答を生成するようになった。しかし、この自信が時に危険な側面を持つことがある。AIが生成する回答の中には、あたかも真実であるかのように聞こえるにもかかわらず、実際には事実に基づかない、つまり「でっち上げられた」情報が含まれているケースがあるのだ。これは「AIのハルシネーション（幻覚）」と呼ばれ、AIの回答が間違っているだけでなく、その間違いが完全に確信に満ちたトーンで提示される点が大きな問題となる。ユーザーがAIの回答を鵜呑みにしてしまうと、誤った情報に基づいて判断を下したり、行動したりするリスクが生じる。

このようなAIのハルシネーション問題に対処するため、新しい研究が行われている。この研究の重要な問いは、「AIがまだ回答を終える前に、そのAIが不確かさを感じている瞬間を私たちが知ることができたらどうなるか」というものだ。研究者たちはこのアイデアを「InnerExpert（インナーエキスパート）」と名付けている。InnerExpertは、特定の種類のAIモデルの内部を監視し、そのモデルが持つ内部の「専門家たち」の意見の不一致を早期警告のサインとして利用する仕組みだ。

このInnerExpertが着目するのは、「Mixture-of-Experts（エキスパートの混合）」、略してMoE（エムオーイー）と呼ばれる種類のAIモデルである。MoEモデルは、その名前の響きは複雑に聞こえるかもしれないが、その基本的な考え方は比較的理解しやすいものだ。このモデルの内部には、さまざまな専門分野に特化した複数の小さなAI（専門家）が多数存在するとイメージできる。例えば、ある専門家は歴史の知識に長け、別の専門家は医療情報に詳しい、さらに別の専門家はプログラミングコードに関する深い知識を持つといった具合だ。

AIに何らかの質問やテキスト処理のタスクが与えられた際、MoEモデル内部の「ルーター」と呼ばれる部分が、そのタスクの内容に応じて最も適切だと判断される少数の専門家を選び出す。すべての専門家が毎回活動するわけではなく、ルーターがその都度、最適な専門家グループを特定して彼らにタスクを割り振るのだ。選ばれた専門家たちはそれぞれ与えられたテキストについて処理を行い、彼らの出した「信号」をモデルが統合して、次に生成すべき単語を決定していく。つまり、MoEモデルは、タスクごとに適切な内部専門家を選び、彼らの協力を得て回答を生成する仕組みなのである。

MoEモデルのこの内部的な動作、つまりルーターが専門家を選び、専門家たちが処理を進める過程には、AIが「推測している」手がかりがいくつか存在する。通常のAIシステムでは、このような内部的な議論や判断の過程はユーザーには見えず、最終的に生成された文章だけが表示される。しかし、回答が作成されている最中に、ルーターはすでに有用な手がかりを生み出しているのだ。

一つ目の手がかりは「ルーターの不確かさ」である。これは、ルーターがどの専門家グループにテキストの処理を依頼すべきか迷っている状態を指す。タスクの内容が曖昧だったり、複数の専門分野にまたがっていたりする場合に、ルーターが自信を持って専門家を選べなくなることがある。

二つ目の手がかりは「専門家の意見の不一致」である。これは、ルーターによって選ばれた複数の専門家たちが、与えられたテキストに対して同じ結論に達していない状態を示す。例えば、ある専門家がAという結論を導き出す一方で、別の専門家がBという異なる結論を出しているような状況だ。

InnerExpertは、これらの「ルーターの不確かさ」と「専門家の意見の不一致」という二つの手がかりを分析し、「警告スコア」として出力する。このスコアは、次に生成される単語が必ずしも間違っていると証明するものではない。むしろ、「この部分に関しては、モデル自身の内部専門家たちが確信を持てていない。注意深く確認する必要がある」というメッセージを私たちに伝えるものだ。

具体的な例を考えてみよう。もし顧客サポートAIが、商品の返品に関する質問に答えている場面を想像する。例えば、「商品は30日以内に返品可能です」という文章を生成する際、モデルの内部専門家たちは会社の返品ポリシーに基づいてこの情報に同意する可能性が高い。この場合、InnerExpertの検出器は静かなままだ。

しかし、そのAIが続けて「返品ラベルは常に無料であり、返金はきっかり2営業日以内に到着します」という詳細な情報を提供し始めたとする。これらの詳細が会社の実際のポリシーに記載されていない、あるいは専門家によって意見が分かれるような内容であった場合、内部の専門家たちが異なる方向へ判断を引っ張り合う状態になり得る。このような状況で、InnerExpertはその単語やフレーズを「レビューが必要な箇所」としてフラグを立てるのだ。

InnerExpertは、それ自体が会社のポリシーを知っている「事実チェッカー」ではない点に注意が必要だ。これは、AIの回答に問題解決機能は持たず、人間による確認を促す役割を果たすものだ。InnerExpertは、AIの回答に「要確認」のサインを出すことで、人間がその部分を詳しく調べたり、追加の情報を参照したりするきっかけを提供するものなのである。

この研究論文のテストでは、InnerExpertの警告信号が、AIによってでっち上げられた回答と信頼できる回答をかなりの精度で区別できることが示された。最も良い報告結果として、回答レベルのAUROCスコアが0.91、トークンレベルのAUROCスコアが0.76という数値が示されている。AUROC（エーユーロック）は、検出器が危険な回答を安全な回答よりも高い順位で検出する能力を測る指標だ。このスコアが0.50であれば完全にランダムな推測と同じであり、1.00に近いほど検出器の性能が高いことを意味する。したがって、0.91というスコアは、InnerExpertが危険な回答を非常に高い頻度で優先的に識別できたことを示している。トークンレベルのスコアは、回答の中の特定の疑わしい部分をピンポイントで指摘できる能力を示している。

この技術の重要な工学的利点は、そのコストの低さにある。InnerExpertは、AIモデルが質問を処理する通常の過程で発生する内部的な信号を読み取るだけで機能する。つまり、回答の正確性を判断するために、別のAIモデルを追加で稼働させたり、比較のために10個もの追加の回答を生成させたりする必要がないのだ。これは、システムに余分な計算コストや時間をかけずに、AIの信頼性を向上させる可能性を秘めている。

現在、企業などでAIの回答をチェックする方法は、一般的にコストがかかる3つの方法が用いられている。一つ目は、別のAIモデルに最初のAIモデルの回答をレビューさせる方法。二つ目は、同じ質問をモデルに複数回尋ねて、それぞれの回答を比較する方法。三つ目は、データベースを検索し、AIの主張を関連するドキュメントと照合する方法だ。これらの方法は有用ではあるが、いずれも追加の時間、費用、そして新たな失敗の可能性を伴う。InnerExpertは、これらの既存の方法に加えて、AIモデル自身の内部的な「ためらい」を安全システムの一部として活用するという、第四の選択肢を提案している。

具体的な製品への応用を考えると、例えば、顧客サポートボットであれば、InnerExpertが不確かだと判断した文章だけを人間のオペレーターに転送し、確認を促すことができる。研究アシスタントAIの場合であれば、その主張に「この情報は検証してください」というラベルを自動で追加する機能が考えられる。さらに、データベースの内容を変更するような権限を持つAIエージェントであれば、InnerExpertの警告が出た際には、より強力な確認プロセスが完了するまでその操作を一時停止するといった、安全機構を組み込むことが可能になる。

このパターンは非常にシンプルで有用だ。AIモデルが回答を生成し、その内部で専門家たちの意見が食い違う時に警告が発される。そして、その警告に基づいて、製品やシステムが「どの情報にセカンドオピニオンが必要か」を判断するという流れである。

ただし、この論文が証明していることと、そうではないことには注意が必要だ。InnerExpertは、AIのハルシネーションを完全に消し去るわけではない。自信に満ちたAIモデルが間違った回答をすることもあるし、InnerExpertが不確かさを指摘したAIモデルの回答が、実際には正しい場合もあり得る。また、この研究はまだ初期段階の結果であり、世の中で使われているすべてのAIモデルではなく、特定の2種類のMoEアーキテクチャでテストされたものだ。

さらに、InnerExpertの検出器は、別のAIジャッジが生成したラベルを使って学習している。これは手動でラベル付けするよりもコストが低いという利点がある一方で、そのAIジャッジが持つ間違いが検出器の学習に影響を与える可能性も指摘されている。そのため、今後さらに独立したテスト、より多くのモデルファミリーでの検証、そして実際の製品環境での実験が必要とされている。

この研究が示すより大きなアイデアは、InnerExpertという名称や具体的なスコアの数値よりも、その「方向性」にある。それは、AIシステムが発する「自信」を無条件に信頼するのではなく、システムの「内部」に証拠を探すという考え方だ。数学の証明アシスタントが計算ステップの妥当性をチェックしたり、危険なツール呼び出しをエージェントがブロックしたりするのと同様に、MoEモデルが事実をでっち上げる前に、その内部の不一致を外部に開示できるかという問いに取り組んでいる。これらの異なるツールは、全て「人々に具体的な検査対象を提供する」という同じ目標を共有している。

もしこの研究から一つだけ記憶に留めるとすれば、それは「AIがどれほど流暢で完璧な文章を生成しても、それがAIが正解を知っている証拠にはならない」という点だ。しかし、もしそのAIの内部の専門家たちが意見を異にしているのであれば、その意見の不一致は、私たちに立ち止まって確認するべきだという、低コストで有用な信号を与えてくれる可能性がある。