【ITニュース解説】A stop rule that trusts one score is worse than a dumb budget

AIエージェント、つまり特定のタスクを自動でこなすプログラムにとって、いつ作業を終えるべきかを決める「停止ルール」は非常に重要である。効率よくタスクを完了させつつ、十分な品質を確保するためには、この停止ルールが適切に機能する必要がある。しかし、この判断は一見簡単そうに見えて、実は様々な課題を抱えている。

これまでの停止ルールの一般的な方法としては、例えば「最大で6回まで作業を繰り返す」といったように、あらかじめ作業回数を固定する「固定予算（fixed budget）」方式がある。しかし、この方法は簡単なタスクには作業回数が多すぎて無駄が多く、難しいタスクには作業回数が少なすぎて品質が不十分になる可能性がある。また、エージェント自身が「もう終わった」と判断して停止する方式もあるが、これでは評価される側が自分で評価をすることになるため、実際にはタスクが完了していなくても、都合の良い結果を報告してしまうリスクがある。

こうした課題を解決するために、CDVというオープンソースのツールでは、エージェントの作業と停止判断を分離する仕組みが提案されている。エージェントが何か作業を行うたびに、外部の「評価者（judge）」がその品質をスコア（点数）で評価する。そして、このスコアの履歴に基づいて、別の「停止ポリシー」が作業を続けるか、それとも停止するかを判断する。この停止ポリシーは「ガードスタック」という仕組みで構成されており、いくつかの停止条件（ガード）が順番にチェックされ、最初に合致した条件で停止する。例えば、「スコアがある閾値を超えたら停止」「最近数回のスコアがほとんど変わらなければ停止」「残りの作業で改善が見込めなければ停止」といった具合に、複数の条件が設定されている。

以前、このCDVの停止ポリシーの一つである「適応型ポリシー」が、固定回数で停止するルールと比較して、より少ない作業回数で高い品質を達成したというベンチマーク結果が公表された。しかし、今回の研究ノートでは、その結果を再検証し、さらに掘り下げて分析している。その結果、衝撃的な事実が明らかになった。実は、適応型ポリシーは、単純に「スコアが0.80以上になったら停止」という「閾値型ルール」とほぼ同じ結果を出していたのだ。これは、ガードスタックの仕組み上、最も単純な閾値型ガードが最初にチェックされるためであり、適応型ポリシーの高度な学習機能がこのベンチマークではほとんど機能していなかったことを示している。つまり、以前の発表で示された「41%少ないステップ数で目標を達成した」という成果は真実だったが、それは適応型ポリシーの学習能力によるものではなく、単純な閾値型ルールでも達成できていた、というのが実情だった。

さらに、この研究では、評価者が出すスコアに「ノイズ」（つまり誤差や不確かさ）が含まれる場合、停止ルールがどのように影響を受けるかを検証した。実際のシステムでは、評価者の判断は常に完璧ではなく、多かれ少なかれノイズが含まれるものだ。シミュレーションの結果、スコアのノイズが大きくなると、「スコアが一度でも閾値を超えたら停止」という閾値型ルールは急速に性能が低下することが判明した。例えば、ノイズの度合いを示す値（σ）が0.10の場合、システムが「目標達成」と判断したタスクの99.5%でスコアは基準を超えていたものの、実際に隠れた真の品質が基準を超えていたのは71%に過ぎなかった。つまり、システムは目標を達成したと信じているが、実は3割近くは達成できていなかったのである。しかも、ノイズが大きくなると、このルールは「間違って、しかも早く」停止してしまう傾向が見られた。ノイズによって偶然高いスコアが出てしまうと、それを信じてすぐに停止してしまうためだ。

対照的に、固定回数で停止する「固定予算（6ステップ）」のルールは、評価スコアを一切参照しないため、ノイズの大小にかかわらず常に約93%のタスクで真の品質を達成していた。これは、以前のベンチマークで適応型ポリシーに劣るとされていた「愚かな予算」が、ノイズ環境下では、より洗練された（とされていた）学習ベースのルールよりも優れた品質を達成するという、皮肉な結果となった。

また、学習ベースの適応型ポリシーには「コールドスタート問題」という弱点があることも明らかになった。これは、学習に必要な過去のデータ（「ウォームアップ履歴」と呼ばれる）が十分にない場合、その性能が著しく低下するという問題である。シミュレーションでは、コールドスタート状態の適応型ポリシーは、閾値型ルールや固定予算ルールよりも悪い結果となり、約30回分の過去のデータがなければ、十分な性能を発揮できないことが示された。実際のシステム運用では、新しい種類のタスクを処理し始める際など、初期段階でこの問題に直面する可能性がある。

こうした問題に対し、研究ではいくつかの簡単な改善策も試された。その中で最も効果的だったのが、「Confirm-2」と呼ばれるシンプルなルールである。これは、「スコアが0.80以上になったことを2回連続で確認してから停止する」というものだ。このConfirm-2ルールは、ノイズレベルが0.10の場合、約4.9ステップで97%以上のタスクで真の品質を達成した。これは、固定予算ルールよりも優れた品質を、より少ないステップ数で実現したことになる。たった1行のコード変更で、これまでの複雑なルールを凌駕する効果が得られたのだ。他にも、「直近2回のスコアの平均が基準を超えたら停止（smooth-2）」や「より高い基準（0.85）を超えたら停止（margin）」といったルールも試されたが、Confirm-2が最も安定して高い品質を達成した。

この研究から得られる重要な教訓はいくつかある。第一に、システムの停止判断は、その判断の根拠となる「スコア」の信頼性に大きく左右される。スコアにノイズが含まれる場合、一回のスコアだけを信じて停止するルールは非常に脆い。第二に、学習ベースの高度なアルゴリズムであっても、初期段階（コールドスタート）では十分な性能を発揮できないことがある。そして第三に、複雑な学習アルゴリズムよりも、シンプルな「冗長性」のあるアプローチ、例えば「複数のデータで確認する」という方法が、実際のノイズ環境下ではより頑健で効果的な場合があるということだ。これは、評価のレイヤーで「複数の評価者の中で最も厳しい評価を採用する」という考え方と同様に、停止のレイヤーでも「複数の確認を経て停止する」という考え方が有効であることを示唆している。

今回の研究はあくまでシミュレーションに基づいたものであり、現実のAIエージェントの挙動はもっと複雑かもしれないという限界もある。例えば、AIの進捗は常にスムーズではなく、一時的に品質が低下することもある。また、実際の評価者のノイズは常に一様ではない可能性もある。しかし、この研究は、システムエンジニアがAIエージェントを設計・運用する上で、評価の信頼性を深く考慮し、停止ルールを慎重に設計することの重要性を強く訴えかけている。実際のシステムでこの知見を検証し、評価ノイズの正確な値を測定することが、次のステップとなるだろう。