【ITニュース解説】Why Agent Auto-Routing Stalls: We Benchmarked SentioGate vs. OpenRouter on Autonomous Tasks

自律型AIエージェントや、開発者の作業を支援するマルチターンのコーディングアシスタント、あるいはコマンドラインインターフェース（CLI）を用いた複雑なワークフローが普及するにつれて、膨大な種類の中から最適な大規模言語モデル（LLM）を選ぶ「ルーティング」の重要性が増している。これまでのモデル選択は、単に料金の安さやパラメータ数といった表面的な基準で行われることが多かったが、現代の高度なタスクにおいては、それだけでは不十分な課題が浮上している。

特に、実運用されるエージェントのパフォーマンスと利用コストには、二つの大きなボトルネックが存在する。一つは「ウォールクロック完了時間」で、これは開発者やバックグラウンドで実行されるジョブが、エージェントがツール呼び出しを繰り返し実行する間、どれだけの時間を待つかを示す指標である。もう一つは「ターン効率とトークン肥大化」であり、これはモデルが直接的なツール呼び出しではなく、会話の前置きのような余計な出力を生成することで、無駄なAPI通信を繰り返し、結果として試行錯誤のサイクルを増やし、大量のトークンを消費してしまう問題である。

OpenRouterのようなマルチプロバイダー集約サービスは、OpenRouter/autoのようなユニバーサルな自動ルーターを提供し、数百ものLLMへのアクセスを容易にした。これらのルーターは、一般的にヒューリスティック（経験則）に基づいて動作する。しかし、複雑なマルチターンの開発タスクを自律型エージェントに実行させる際、このようなヒューリスティックベースのルーターが、実績に基づいた性能指標を用いるルーターと比較して、どれほどの性能差があるのかは重要な問題であった。

そこで、SentioGateと呼ばれる新しいアプローチの自動ルーターと、OpenRouterの自動ルーターを直接比較する実験が行われた。この評価では、テストスイートの修正、POSIXスクリプトの作成、アサーションの実行、ライブデバッグといった、実際の自律型ワークフローをカバーするタスクが用いられた。評価方法と設定は、標準的なOpenAIクライアントライブラリで再現可能である。

このベンチマークの結果は、両プラットフォームが割り当てられたタスクを100%完了できた点で同じであったが、その完了方法と消費された計算リソースには大きな性能差があることが明らかになった。具体的な数値を見ると、平均ウォールクロック時間において、OpenRouterが119.64秒であったのに対し、SentioGateは22.74秒を記録し、SentioGateが5.2倍高速（時間の81%削減）であった。さらに、中央値ウォールクロック時間では、OpenRouterが141.56秒、SentioGateが23.37秒であり、SentioGateが6.0倍高速な実行を示した。トークンの使用効率においても、平均総トークン数はOpenRouterが51,282であったのに対し、SentioGateは35,840に留まり、SentioGateは30.1%少ないトークンでタスクを解決した。また、タスク解決までの平均インタラクションターン数も、OpenRouterの4.2ターンに対し、SentioGateは3.2ターンと、より少ない往復で問題を解決している。

この結果から明らかになった重要な点の一つは、ヒューリスティックな自動ルーターにおける「ストールループ」という問題である。人間がチャットボットと会話する際、応答に30秒余計にかかっても許容範囲かもしれない。しかし、自律型エージェントのワークフローでは、このような遅延が積み重なることで、パイプライン全体が停止状態に陥ることがある。ベンチマーク中、OpenRouterの自動ルーターは頻繁に数分間続くストールループに陥り、個々の実行には140秒から218秒もの時間がかかった。これは、一般的な自動ルーターが名目上の価格、大まかな経験則、またはラウンドロビン方式でモデルをルーティングするためだ。エージェントが微妙なBash構文の要件や厳格なテスト制約に遭遇すると、選ばれたモデルはしばしば試行錯誤を繰り返したり、正確なツール実行ではなく会話的な説明を生成したりした。その結果、リトライが発生するたびに新たなターンが生じ、レイテンシが増加し、コンテキストトークンウィンドウが肥大化していったのである。

一方、SentioGateは一貫して20秒から27秒でタスクを完了した。SentioGateのモデル選択は、リアルタイムのベンチマーク性能指標（実際のコード生成能力や形式論理の正確性を評価）と、リアルタイムのプロバイダー遅延追跡の両方に基づいて行われる。これにより、SentioGateは最初のターンから、そのタスクに対する能力がすでに実証されているモデルにプロンプトをルーティングできるのである。

もう一つの重要な発見は、トークン効率とコンテキストキャッシュの安定性に関するものだ。自律型エージェントの開発における見落とされがちな隠れたコストは、トークンの肥大化である。マルチターンの実行では、コンテキストが拡大するにつれて、入力トークンは各ターンで課金される。前述の通り、SentioGateはOpenRouterよりも30.1%少ないトークン（35,840対51,282）で同一タスクを解決した。これは、タスクをより少ないターンで解決できることが、プロンプトの繰り返しを直接削減することにつながるためだ。さらに、SentioGateは連続するターン間でプロンプトキャッシュの安定性を維持し、古くなったツール結果に対して構造化されたエッジプルーニングを適用する。これにより、正確なコードブロックのフォーマットやインデントが維持され、コーディングエージェントがコードの差分破損やキャッシュの無効化を経験することがない。

SentioGateは、標準のOpenAI SDKやLangChainなどの一般的なエージェントフレームワークと100%互換性があり、既存のコードに簡単に組み込むことが可能である。新しい依存関係を追加する必要はなく、PythonやTypeScript/JavaScriptなどのコードから、OpenAIクライアントのbase_urlをSentioGateのエンドポイントに設定し、modelとしてsentiogate/autoを指定するだけで、経験的なベンチマークに基づいて最適なモデルに自動的にルーティングされる仕組みを利用できる。

このように、自律型AIエージェントが直面するウォールクロック完了時間やトークン効率といった課題に対し、SentioGateのような経験的性能に基づいた自動ルーティングは、大幅な性能向上とコスト削減をもたらすことが示された。これは、開発者がより効率的で信頼性の高いAIエージェントを構築するための重要な進歩である。SentioGateのライブベンチマークハブやインタラクティブなルーティングシミュレーターといったツールは、その仕組みをさらに深く理解し、実際に試すためのリソースとして提供されている。