【ITニュース解説】The calibration bug that taught our fraud agent to wave fraud through

金融業界における不正検知は、常に高度な技術と深い洞察が求められる分野である。この記事は、自動的に不正を調査するシステム（AIエージェント）を構築する過程で直面した課題と、そこから得られた重要な教訓について詳しく解説している。システムエンジニアを目指す皆さんにとって、実世界のデータがいかに複雑で、表面的な成功指標がいかに誤解を招くか、そして厳密な検証がいかに重要かを学ぶ良い機会となるだろう。

このプロジェクトの目標は、従来の「不正か否か」を単純に分類するシステムではなく、人間のアナリストのように「どのような不正か」「どこまで広がっているか」「どう対処すべきか」「いつ行動に移るべきか」を判断できるエージェントを構築することだった。使用されたデータセットには「不正である」という直接のフラグがなく、銀行独自のリスクスコアと過去の調査記録（不正が確定したもの、誤検知でクリアされたもの）しかなかったため、エージェントは限られた情報から「調査」を進める必要があった。

システム設計の核となったのは、不確実な情報の下でも一旦「暫定的な行動」を決め、その後に必要な追加証拠を収集し、最終的な行動を「改訂」するというループである。これは、人間が情報を段階的に評価し、判断を修正していくプロセスを模倣している。特に重要な設計思想として、大規模言語モデル（LLM）の「創造性」と、銀行が規制当局に対して説明責任を持つべき「核となる決定ロジック」を厳密に分離した点が挙げられる。LLMは、グラフから得られた証拠を人間が理解しやすい文章にまとめたり、調査概要を作成したりする役割に限定され、最終的な判断、不正判定の確率計算、承認経路の決定といった部分は、LLMのインポートが禁止された「確定的で検証可能なコード」で実装された。これにより、システムはLLMのAPIキーなしで完全に動作し、判断の信頼性と再現性が保証された。

グラフデータベースであるTigerGraphは、この不正調査エージェントの基盤技術として活用された。単にデータ間のつながり（トラバーサル）を追うだけでなく、過去の調査事例を「意味の類似性（自然言語処理によるベクトル検索）」と「共有エンティティ（同じカード、デバイス、顧客などの物理的なつながり）」の両方で検索し、融合させる複雑なクエリをデータベース内で効率的に実行する。これにより、「過去に似たようなケースはあったか」というアナリストの感覚をシステムが再現できた。また、匿名化された339種類の行動特徴量を次元削減し、トランザクションごとに64次元の「行動ベクトル」としてグラフに保存することで、「この不正と似た行動パターンを持つトランザクションはどれか」という問いを、言語モデルの解釈に頼らずデータに基づいて直接的に解決できるようになった。

しかし、開発の過程で二つの大きな「測定の誤り」が明らかになった。

一つ目の誤りは、「閉鎖済み調査データ」の母集団の偏りだった。システムは当初、「既知のデバイスや地域で、典型的な金額の取引」ほど不正である可能性が高いと学習した。これは直感に反する結果だったが、実は学習データに問題があった。不正と確定されたケースの多くは、カード保有者自身が不審な請求に気づいて銀行に連絡したものであり、それらの取引はむしろ金額が小さく、目立たないものが多かった。一方、誤検知として「クリアされた」ケースは、銀行のリスクモデルで高リスクと判定されたものの、実際には正当な（しかし異常に見える）旅行中の高額購入や新しいデバイスでの取引などだった。結果として、システムは「異常に見える取引は正当、普通に見える取引は不正」という、現実とは逆のバイアスを学習してしまっていたのである。この問題を修正するため、調査対象にならなかった「通常の取引」を負例として追加し、より現実の状況に近いデータで学習し直した。

二つ目の誤りは、「カード保有期間」による交絡（見せかけの相関）だった。最初の修正後も、「既知のデバイスや地域での取引」が不正と関連付けられる傾向は残っていた。これは、長期間利用されているカードほど取引履歴が豊富で、「既知のデバイスや地域」と判定されやすくなるため、不正との間に直接的な因果関係がないにもかかわらず相関が見られたためである。この問題を解決するため、不正が確認された取引ごとに、その不正取引と同じカードで行われた別の正常な取引を比較対象として選ぶ「マッチングコントロールデザイン」を導入した。これにより、カードの利用履歴という交絡要因が解消され、システムは「この特定の取引が、このカードの通常の行動とどう異なるか」という、アナリストが本当に知りたい問いに答えられるようになった。

これら二つの修正を適用した結果、システムの不正検出精度は0.93から0.57へと大きく低下した。この数字は一見すると「壊れた」ように見えたが、実際には「データが正しい問いに正直に答えた結果」だった。このデータセットにおける不正の多くは、カード保有者が気づくまでは目立たない、ごく普通の取引だったのである。この経験は、表面的な高精度な指標がいかにデータの選択バイアスを忠実に学習した結果に過ぎないか、そして直感に反する「兆候（サイン）」こそが問題の根本を指し示す重要な手がかりであること、さらに、指標の「悪化」が実はシステムの「修正（バグフィックス）」である場合があるという、貴重な教訓を与えている。安易に数字の向上だけを追い求めると、かえってシステムの信頼性を損ねる可能性があることを示唆している。

さらに、このプロジェクトでは、文書化されていない二つの新しい不正パターン（例えば、単一取引では検知されない少額の連続購入や、匿名プロキシを介したデバイスの共有リング）を発見し、それを検知するルールを組み込んだ。また、エージェントが次の証拠を収集する際に、情報量と顧客への負担（摩擦コスト）のバランスを考慮して最適な質問を選択する仕組みや、自信がない場合や追加情報収集の費用対効果が低い場合に人間のアナリストにエスカレートする停止ルールなども導入された。

この不正検知エージェントの構築事例は、技術的な挑戦だけでなく、データサイエンスにおける基礎的な落とし穴と、それを乗り越えるための厳密な測定と検証の重要性を強く示している。単にAIを導入するだけでなく、データが語る真実を理解し、その偏りに惑わされないことが、実世界で信頼性の高いシステムを構築する上で不可欠であると、我々に教えてくれている。