【ITニュース解説】You can't fight probabilism with probabilism

近年の大規模言語モデル（LLM）をはじめとするAIモデルは、与えられた入力に対して最も可能性の高い次の単語や応答を予測する「確率的」な特性を持っている。この特性は、人間のような自然な会話を生成するチャットボットのような消費者向けサービスでは非常に有用な「機能」となる。

しかし、この確率的な性質が問題となる場面も少なくない。例えば、金融取引の支払い処理、保険金の請求、あるいは規制当局の監査対象となるような厳格なシステムでは、不確実性やあいまいさは許されない。このような環境において、AIの確率的な振る舞いは「負債」となってしまう。この問題を解決するため、一般的には確率的なAIモデルを、常に同じ予測可能な出力や動作を保証する「決定論的なコントロール」で囲むことが推奨されてきた。

ところが、この標準的な解決策だけでは十分ではないことが明らかになっている。なぜなら、本来決定論的であるべきコントロール自体が、実は「秘密裏に確率的」な性質を帯びているケースが多いためだ。見かけ上は厳格なシステムに見えても、その内部でAIの確率的な特性が忍び込み、システムの信頼性を損ねる可能性がある。これは特に、悪意のある入力（敵対的入力）や、システムの運用状況が予測不能に変化する状況（分布シフト）下で顕著になる。

具体的な失敗例をいくつか挙げる。一つ目は、LLMをユーザーの「意図分類器」として使用し、それをシステムの安全ゲートとして機能させるケースだ。例えば、ユーザーの入力意図をLLMに分類させ、その結果が「安全」と判断された場合にのみ次の処理に進ませるような仕組みである。しかし、この分類器自体がLLMであるため、悪意のある入力に対しては、本来ブロックすべき危険な意図を「安全」と誤分類してしまう可能性がある。これは確率的な要素を別の確率的な要素で防御しようとする試みであり、本質的な脆弱性を解決していない。安全ゲートが、守るべき弱さを受け継いでしまうことになる。

二つ目の例は、「行動信頼スコア」に基づいてエージェント（AI）に特定の機能や権限を与えるケースである。システムはエージェントの過去の振る舞いを評価し、信頼スコアを付与し、このスコアに応じてエージェントが実行できる操作の範囲を制限する。しかし、このスコアはエージェント自身の振る舞いから計算される経験的な値（ヒューリスティック）であり、本質的に不確実性を含む。調整が不十分な場合、問題のあるエージェントを過度に信頼したり、正当なエージェントを不当に制限したりする可能性がある。特に、巧妙に操作されたエージェントは、重要な行動を取る直前まで「良い振る舞い」を続けることができ、スコアだけを頼りにすると誤った判断につながるリスクがある。

三つ目は、エージェントの「確信度」に基づいて人間の介入（エスカレーション）を決定するケースである。例えば、AIモデルがある判断に対して「0.7の確信度があるから、人間の確認は不要」と判断し、そのまま処理を進めてしまうような状況だ。ここで問題なのは、人間の監視が必要かどうかの判断を、監視されるべきAI自身が生み出すシグナル（確信度）に委ねている点にある。これは、チェックする対象が、チェックを行うかどうかの決定権を持っているに等しく、モデルの確信度が人間によるレビューの必要性を排除するような仕組みは、絶対に避けるべきである。

これらの例からわかるように、見かけ上はコントロールに見えるこれらの仕組みは、敵対的な圧力やシステムの運用状況の変化に対して、保護するはずの確率的シグナル自体が歪んでしまい、期待通りの防御を果たせないという点で共通の失敗を犯す。

では、確率的なAIとどのように向き合うべきか。重要なのは、「AIか非AIか」や「決定論的か確率的か」という二分法で考えることではない。システムには両方の要素が必要となる。大規模言語モデルのような確率的なコンポーネントは、言語の理解、行動の提案、人間とのコミュニケーションといった特定のタスクにおいて並外れた能力を発揮する。これらのタスクを決定論的なプログラムに任せることは現実的ではない。

真の問いは、「各部分にどのような責任を持たせるべきか」である。この責任の境界線こそが、最も重要で揺るぎないラインとなる。具体的には、コミュニケーションや提案といった役割は確率的であっても問題ない。しかし、権限の付与、行動の結果、そしてコンプライアンス（法令順守）に関わる責任は、必ず決定論的であり、かつ明確に宣言されていなければならない。

AIモデルはどのような行動でも提案できる。しかし、その行動が実際に実行されるかどうかは、決定論的なゲートによって判断されなければならない。モデルはユーザーに対して友好的な案内を表現できるが、規制上の拒否応答は、ポリシーによって固定された文字列であるべきで、その場でAIが生成するべきではない。モデルはユーザーが何を望んでいるかを解釈できるが、そのユーザーが誰であるか、そしてそのユーザーがどの情報にアクセスできるかは、暗号的に署名されたトークンとデータベースの情報から決定されなければならない。さらに、「リスク」という要素でさえ、決定論的な側に位置する。つまり、「この行動には人間の確認が必要である」というルールは、人間がその行動に対して事前に宣言しておくべきものであり、モデルが実行時に推測するリスクスコアは、ただの「信頼を求める確率」に過ぎない。

したがって、確率的なコンポーネントは、その最も得意な仕事、つまり変動しても許容される、あるいは変動することが価値となる領域に配置すべきだ。そして、何があっても常に同じ結果が求められる責任からは、徹底的に遠ざけるべきである。

この原則を基に、構築しようとしているコントロールが「本物」であるかどうかをテストする簡単な方法がある。「あなたが信頼していないそのものが、コントロールの決定に影響を与えられるか？」という問いを投げかけるのだ。もしモデルの出力がコントロールの決定を変更できるのであれば、それはモデルが自己評価する「提案」に過ぎない。本物のコントロールは、モデルが偽造できない入力のみを読み取る。例えば、暗号的に署名されたユーザーID、データベースに確定的に記録された状態、あるいは人間が事前に明確に宣言した値などがこれに該当する。このテストに照らし合わせると、前述した意図分類器ゲート、行動信頼スコア、そして確信度によって回避される人間へのエスカレーションといった「偽装された」コントロールは、すべて不合格となる。一方で、署名されたトークンに基づく承認、ポリシーで固定された拒否文字列、人間が事前に承認した行動の確認などは、このテストに合格する。AIモデルのシグナルは、システムをより慎重に（例えば、追加の確認を促す、あるいはAIが生成したものではない定型文で拒否する）することはできるが、それは常に注意を追加する方向であるべきで、決して許可を与える方向に働いてはならない。

この問題は、規制が厳しい分野で特に深刻な影響を及ぼす。98%の確率で正しい確率的なコントロールは、消費者向け製品では許容されるかもしれない。しかし、規制当局の監査においては、残りの「2%」が重大な問題となる。「モデルは通常は正しかった」という説明は、規制当局に対して通用する防御策にはならない。規制は単なる正確性以上のものを要求する。それは「実証可能なコントロール」である。求められるのは、確率的な「正答率」ではなく、ある特定の入力に対してコントロールがどのように動作するかを具体的に説明し、記録として提示できることである。確率的なコントロールは「通常は正しい」という統計しか提供できないが、検査官は具体的な動作の実演を求めているのだ。

結論として、確率的なAIモデルに安全策（ガードレール）を講じようとする姿勢は正しいが、その安全策自体が確率的な要素から組み立てられていると、結果として避けようとしていた不確実性を取り込んでしまうことになる。真に求められる規律は、「システムの各部分がどのような責任を持つことを許されるのか」を決定し、確率的なコンポーネントには、それが真に最も適した仕事だけを任せることである。そして、常に同じ結果が求められる責任は、どれほど性能指標（ベンチマーク）が優れていようとも、決して確率的な要素に持たせてはならない。この明確な境界線を一度引くだけでなく、新しいコントロールが追加されるたびにその境界線がずれないように維持することこそが、最も重要な作業となる。