【ITニュース解説】What SHAP Can't Explain About Agentic AI Fraud

システムエンジニアを目指す皆さんは、日々のITニュースで「AI」という言葉を目にしない日はないだろう。特に、社会に大きな影響を与える分野の一つに「不正検知」がある。金融機関やEコマースサイトでは、日々膨大な数の取引が行われ、その中から不正なものを素早く見つけ出す必要がある。これまで、この不正検知の分野では、統計的なモデルや、そのモデルの判断理由を後から説明するためのツールが広く使われてきた。その代表的なツールの一つが「SHAP（Shapley Additive exPlanations）」だ。

SHAPは、ある取引が「なぜリスクが高いと判断されたのか」という問いに対し、その取引に含まれる様々な情報、例えば「短期間での取引回数（速度）」や「購入された商品の種類（マーチャントカテゴリ）」といった「特徴量」が、モデルの最終的なリスクスコアにどれだけ寄与したかを具体的に示してくれる。これにより、アナリストはモデルの判断根拠を理解し、必要に応じて対策を講じることができた。SHAPは、モデルがどのような特徴を重視して判断を下したのかを教えてくれるため、多くの不正検知システムで重要な役割を果たしてきた。

しかし、近年「エージェント型AI」と呼ばれる新しいタイプのAIが登場し、この状況は大きく変わりつつある。エージェント型AIとは、単に与えられたデータから何かを判断するだけでなく、自律的に目標を立て、計画を練り、外部の様々なツール（APIなど）を呼び出して情報を取得したり、それに基づいて行動したりできる、より高度なソフトウェアエージェントのことだ。金融システム全体にわたって、自分で判断し、行動する能力を持つAIが現れたことで、不正検知の問いは「なぜこの取引が疑わしいのか」から、さらに一歩進んで「AIの一連の自律的な行動が、どのようにしてこの疑わしい状況を生み出したのか」へと変化した。

ここで、従来のSHAPの限界が浮き彫りになる。SHAPは、単一のモデルが特定の取引に対してどのように判断したか、つまり「その取引のどの特徴が重要だったか」を説明するのには非常に優れている。例えば、「この取引は、通常よりも高額な商品が短時間に複数回購入されているという特徴があるため、リスクが高い」といった説明はSHAPの得意分野だ。しかし、エージェント型AIの場合、事態はもっと複雑になる。エージェントが「どのツールを、どのような順序で、なぜ呼び出したのか」「ポリシーをどのように変更し、その変更がどのように最終的な判断に影響したのか」といった、エージェント自身の内部的な推論プロセスや、複数の行動の連鎖については、SHAPは全く説明できないのだ。

具体的に、エージェント型AIが引き起こす新たな説明可能性の問題はいくつかある。第一に、「ツール使用と計画」の不透明さだ。エージェントは、最終的なリスクスコアを出す前に、例えば「信用情報API」のような外部サービスを呼び出して追加の情報を取得することがある。しかし、エージェントが「なぜそのAPIを呼び出す必要があったのか」、そして「そのAPIから得られた情報が最終的な判断にどう影響したのか」は、SHAPには見えない。SHAPは、APIから返された「結果」としてのデータは分析できても、エージェントがその結果を得るためにとった「行動」そのものや、その行動の意図を捉えることはできない。

第二に、「ポリシーのドリフト」の問題がある。エージェント型AIの中には、常に学習を続け、不正検知のルールやポリシーを自律的に更新していくものも存在する。今日有効だった不正ルールが、明日にはエージェントの学習によって変更されているかもしれない。しかし、SHAPは「いつ」「なぜ」ルールが変更されたのか、その変更が不正検知の判断にどのような影響を与えているのかを説明する能力を持たない。これは、システムがブラックボックス化し、問題が発生した際に原因特定が非常に困難になることを意味する。

第三に、「Human-in-the-Loop（HITL）の過負荷」という問題も深刻だ。エージェント型AIが普及し、自律的な行動を取るエージェントの数が増えれば増えるほど、人間のオペレーターがエージェントの全てのアクションを詳細にレビューすることは現実的に不可能になる。人間は、迅速に状況を理解し、判断を下す必要があるため、エージェントの行動や判断の「説明」は、簡潔でありながら、潜在的なリスクや問題点を浮き彫りにする十分な情報量を持っていなければならない。従来のSHAPのような特徴量の寄与度だけでは、もはや十分な情報を提供できない場合がある。

そして第四に、「行動生体認証の模倣」だ。高度なエージェント型AIは、人間が行うような多様な行動パターンを学習し、それを模倣できるようになっている。これにより、従来の不正検知で使われていた「人間らしさ」と「ボットらしさ」の間のギャップが曖昧になりつつある。特徴レベルの説明では、エージェントがどのようにして人間の行動を合成し、再現しているのか、その背後にある複雑なロジックを捉えることができない。

これらの説明可能性のギャップを埋めるために、いくつかの新しい技術が開発され、注目されている。一つは「Explain-Then-Actパターン」だ。これは、エージェントが何らかの重要なツールを呼び出すなど、具体的な行動を起こす前に、その「行動を起こす理由」を明示的に説明させるパターンだ。例えば、「ユーザープロファイルデータベースにアクセスする。なぜなら、最近の取引速度が設定されたポリシーの閾値を超過したためだ」というように、エージェントに自分の意図と根拠を事前に示させることで、その意図が不明瞭だったり、ポリシーに違反していたりする場合には、システム側でその行動をブロックするなどの対策が可能になる。これにより、エージェントの自律的な行動が暴走するリスクを抑え、人間の理解を深めることができる。

次に、「Human-in-the-Loopによる要約」という技術がある。これは、特に高いリスクを伴うエージェントの行動や判断について、人間が理解しやすい言葉で「正当化の理由」を生成し、提示する仕組みだ。人間は、エージェントが生成した生のコードや複雑なデータではなく、簡潔にまとめられた説明を承認することで、高リスクな行動に対する最終的なコントロールを維持できる。これにより、人間の介入が効率化され、重要な意思決定における透明性が向上する。

さらに、「アクションレベルの監査ログ」も非常に重要だ。これは、エージェントが行うすべてのツール呼び出し、使用されたパラメータ、そしてその結果といった、エージェントのあらゆる行動の履歴を詳細に記録する仕組みだ。これにより、後から問題が発生した際に、エージェントがどのような思考プロセスを経て、どのような行動を取ったのかを、時系列に沿って詳細に追跡し、原因を特定するための「フォレンジック分析」が可能になる。従来のSHAPが静的な「特徴の重要性」に焦点を当てるのに対し、これらの新しい方法は、エージェントの動的な「行動の由来」に焦点を移すものだ。

実際の事例として、ある不正検知システムでSHAPを使い、アラートの原因を特定していたケースがある。ある時、システムのデータ品質が突然低下するという問題が発生したが、SHAPはそれでも以前と同じ「高影響度の特徴」を指摘し続けたため、根本的なエージェントの障害が隠されてしまった。しかし、この問題を解決したのは、前述の「Explain-Then-Act」チェックポイントだった。この仕組みがあったおかげで、エージェントは「最近の取引速度がポリシーの閾値を超過したため、ユーザープロファイルデータベースにアクセスしている」という理由を明示的に示した。この説明によって、データパイプラインが壊れているという、SHAPでは見つけられなかった根本的な原因が明らかになり、システムの復旧につながったという。

このように、エージェント型AIが複雑な自律行動をとる現代において、単一のモデルの判断根拠を説明するSHAPだけでは、もはや十分な透明性を確保できない。システムエンジニアとして、エージェントの内部動作、行動の連鎖、ポリシーの動的な変化といった、より深いレベルでの説明責任を果たすための新しい技術やアプローチを理解し、これらをシステム設計に取り入れていくことが、これからのAIシステムを構築する上で非常に重要になるだろう。