【ITニュース解説】When Your Judge Can't Decide

CauterRuleは、システムが繰り返し失敗する経験から、それを防ぐためのルールを自動で学習し、新たなシステムに適用するオープンソースのツールだ。これは、AIエージェントや自動化システムが何かうまくいかなかった場合に、その失敗履歴から教訓を抽出し、テストし、将来の失敗を防ぐための永続的な規則にする役割を果たす。システムをより賢く、より堅牢にすることを目指しているツールである。

通常、システムの評価では「成功」か「失敗」かの二択で結果を見ることが多い。しかし、CauterRuleのフィールドテストでは、「判断不能（Inconclusive）」という第三の結果が非常に重要であることが明らかになった。これは、システムが提示したルールが「良い」とも「悪い」とも明確に判断できなかったケースを指す。この「判断不能」という結果は、多くの評価レポートでは見落とされがちだが、データ全体の半分以上を占める場合があり、これを無視すると評価の精度を大きく損ない、誤った結論を導くことにもつながりかねない。

CauterRuleのフィールドテストでは、4種類のAIモデルを使って合計1,538個のルール候補が生成された。その結果、成功と判断されたルールは365個（23.7%）、失敗は359個（23.3%）だった。しかし、最も多かったのは「判断不能」で814個（52.9%）にも上った。これは、評価エンジンがルールを「良い」とも「悪い」とも断言できず、「どちらとも言えない」という状態が過半数を占めたことを意味する。これは例外的な結果ではなく、評価全体の大部分を構成する重要なデータであることが判明した。

モデルによって判断不能率は異なったが、必ずしも高性能なモデルほど低いとは限らなかった。最も強力なクラウドモデルの一つであるLlama 3.1 8Bは判断不能率が42.9%と比較的低かったが、別の有料クラウドモデルであるGPT-4o-miniは62.9%と最も高い判断不能率を示した。これは、単に成功した数だけを見ていると見過ごしてしまう重要な点だ。GPT-4o-miniは、評価エンジンが「判定できない」ルールを多く生成しただけで、それが直接的に「悪いモデル」を意味するわけではない。むしろ、そのモデルが生成する出力が、現在の評価方法では明確な判断を下しにくい性質を持っていたことを示している。

「判断不能」の具体的な意味を掘り下げると、評価エンジンは候補となるルールが正しい状況で発動するか、そして間違った状況では発動しないかを確認する。両方が十分に高ければ「成功」、明らかに間違っていれば「失敗」と判断される。どちらの条件も明確に満たされない場合に「判断不能」となる。この判定には、ルールに含まれるキーワードが元の失敗履歴にどれだけ含まれているかといった、単純な文字列や単語の重なりを見るヒューリスティックな（経験則に基づいた）手法が使われている。そのため、「判断不能」には二つの異なる原因が含まれる可能性がある。一つは、モデルが抽出したルール自体が「コマンドが失敗した場合」のように曖昧すぎて、判定が難しいケース。もう一つは、モデルが良いルールを抽出したにもかかわらず、判定エンジンの能力が低いために、そのルールが適用されるべき状況を正確に認識できなかったケースだ。

この「判断不能」という問題は、評価に使われるデータの種類によって大きく異なることがわかった。事前に整理され、失敗パターンが明確な「キュレーションされたデータ」では、判断不能率は管理可能な範囲（最も低いもので14.9%）だった。しかし、未加工の、より複雑な「生のデータ」では、どのモデルでも判断不能率が50%を超え、GPT-4o-miniでは70.7%に達した。特に特定の生のデータセットでは判断不能率が非常に高く、評価エンジンが事実上機能停止する状態だった。これは、評価エンジンのヒューリスティックな判定方法が、生のデータの複雑な形式に適していないことを強く示唆している。

より強力なAIモデルを使えば、判断不能率が減るはずだと考えるかもしれない。確かに、最も強力なモデルでは判断不能率がわずかに改善したものの、判断不能は依然として最大のカテゴリーとして残り、最良のモデルでも生成されたルールの大部分について明確な判断を下すことはできなかった。これは、問題の本質がルールを「抽出する」能力だけでなく、抽出されたルールを「評価する」能力にあることを示している。AIモデルがいくら優れた出力を生成しても、それを正しく判断するシステムがなければ、その価値を十分に引き出すことは難しい。

「判断不能」という結果は、単に情報不足を意味するだけでなく、実質的なコストを発生させる。まず、成功率や失敗率といった重要な指標を歪め、実際のパフォーマンスを正確に把握できなくする。例えば、多くの判断不能な結果がある場合、本当の成功率は見かけよりも高いかもしれないし、逆に隠れた失敗が含まれている可能性もある。さらに、実際のシステム運用では、判断不能なルールは自動的に採用されず、人間の手による追加レビューやより高度な評価を待つことになる。もし生成されたルールの半分以上が判断不能であれば、システムが新しいルールを生成する速度に、人間がそれを評価する速度が追いつかず、ルールの採用プロセスが滞ってしまう。これは製品の成長を妨げ、根本的な問題点を見えなくする。

現在の判定エンジンは、文字列の単純な一致に頼っている。しかし、より良い「判断者」になるためには、いくつかの機能強化が必要だ。一つは「意味的マッチング」で、単語の重なりだけでなく、異なる表現であっても同じ意味を指すかどうかを理解する能力が求められる。二つ目は「データに応じたキャリブレーション」で、データの種類に合わせて柔軟に判定基準を調整する能力だ。三つ目は「判断不能の理由説明」で、なぜ判断できなかったのかを具体的に示すことで、改善の方向性を明確にする必要がある。

この経験から得られた最も重要な教訓は、「判断不能」という結果を真剣に受け止めることの重要性だ。システムが「決定できない」ことは、「間違った決定をする」ことよりも、場合によっては深刻なリスクとなる。間違った決定は後で修正できるが、判断不能な結果は宙に浮いたままとなり、システム全体の進行を止めてしまう可能性がある。AIシステムの評価において、その品質の上限は、AIモデル自体の性能だけでなく、それを評価する「判定エンジン」の能力によって決まる。また、「判断不能率」は、単なるベンチマークの数値ではなく、製品の健全性を示す重要な指標として捉えるべきだ。この数値を追跡することで、製品が「判断力」においてどれだけ向上しているかを測ることができる。CauterRuleの次の目標は、まさにこの「明確な判断を下せる判定エンジン」の構築にある。