【ITニュース解説】Deterministic vs autonomous agents

システム開発において、近年注目を集める「AIエージェント」は、特定のタスクを自動で実行するプログラムの一種である。これらのエージェントにどこまで自律性を持たせるかは、開発における重要な課題となっている。ある開発者の経験談から、自律性が高すぎるエージェントがもたらす問題点と、それに対する「決定論的なアプローチ」の有効性を見ていこう。

筆者は、ユーザーのカレンダーを管理するAIエージェントシステムを構築した。このシステムでは、エージェントがカレンダースケジュール調整に必要なツール全てに対して「完全な自律性」を持っていたという。つまり、エージェントは自分で判断し、必要なツールを自由に選択して使用できる状態だった。しかし、このアプローチは「劇的な失敗」に終わった。

具体的には、システムを稼働させるたびに、エージェントはシステムとAIモデルの間を何度も行き来した。データベースの記録を一つずつ確認し、そのたびに大量の情報をAIモデルに送りつけていたのだ。もちろん、開発途上だったため、システム自体に技術的なエラーがあったことも事実だが、それを修正したとしても、AIモデルへの呼び出し回数はせいぜい50%しか減らせないと筆者は見積もっている。これはつまり、根本的な設計に問題があり、持続可能なシステムではなかったということだ。

特に問題だったのはコストである。テキストベースのシステムだったにもかかわらず、たった一つのメッセージを処理するだけで、1ドル以上のトークン料金が発生してしまったという。これはAIモデルを使用する際の料金が、処理する情報の量（トークン数）に比例することを考えると、非常に高額であり、実用化は困難であると判断せざるを得ない状況だった。

この反省から、筆者は全く新しいシステムを設計し直した。ユーザーから見れば、メッセージを送ればAIが応答し、会話しながらタスクを完了できるという点で、以前と変わらないように見える。しかし、その内部のアーキテクチャは劇的に変化していた。

以前のシステムが、複数のツールを自由に操る「一つの大きなAIの脳」のようなイメージだったのに対し、新しいシステムは、「それぞれが特定のツールを守り、メッセージを互いにルーティングする複数のAIゲートやスイッチ」のような構造になっている。筆者は、単一の自律的なAIの脳を、完全に「決定論的なシステム」に置き換えたのだ。

この決定論的なアプローチの核心は、AIがシステムに対して持つ自律性を徹底的に削減することにある。これは、情報セキュリティの分野でよく使われる「最小権限の原則」をAIシステムに応用したものと考えることができる。AIが「プロンプトに従えば何でもできる」状態から、その行動が「他のノードからの特定のフラグ（合図）」によってのみトリガーされるように制限されたのである。

例えば、新しいシステムでは、まず一つのAIノードがユーザーからのメッセージを受け取って内容を読み取る。もしそのメッセージがシステム内の「特定の機能X」に関するものだと判断した場合、そのワークフローステータス（処理の状態を示す情報）に「X」というタグを付ける。次に、システム内の「スイッチ」と呼ばれる部分がこのタグを読み取り、メッセージを「X機能」を処理する担当の部分へとルーティングする。

「X機能」を担当する部分にたどり着いたメッセージは、さらに別のAIノードによってワークフローステータスが読み取られ、メッセージが詳しく評価される。もし、そのAIノードの管轄内にある「特定のツールY」に関わる内容だと判断されれば、今度はワークフローステータスに「Y」というタグが付けられる。その後、次のスイッチがこの「Y」というタグを読み取り、最終的にメッセージを「Yツール」へと渡して処理が実行される、という流れになる。もし途中のAIノードが「このメッセージは自分の担当ではない」と判断すれば、別の適切な部分へルーティングすることも可能だ。

このように、メッセージはシステム内を決められた経路に沿って移動し、必要な場所でのみAIによる判断やツールの実行が行われる。AIは全体を自由に操るのではなく、それぞれの段階で最小限の、かつ明確に定義された役割しか持たない。

この決定論的なシステムを導入した結果、得られたメリットは非常に大きかった。まず、最大の効果は「実行コストの削減」である。AIモデルへの無駄な呼び出しが減り、トークン消費量も大幅に抑えられた。しかし、筆者が気づいたのは、コスト削減だけではない。

この方法は、以前よりもはるかに「安全で信頼性の高い」システムを構築できるという点だ。システム全体に対する筆者の「コントロール」は大幅に向上し、反対にAIが持つコントロールは大幅に減少した。これは、AIの予測不能な挙動や意図しない誤動作のリスクを低減することにも繋がる。

開発者は、この新しい技術の時代において、システムに対する「AIの自律性をどこまで許容するか」という問いを常に自問自答する必要がある。AIに完全な自由を与えるのではなく、安全かつ効率的に機能させるためには、システム全体に対する人間のコントロールを確保し、AIには必要最小限の役割と権限を与える「決定論的なアプローチ」が、今後ますます重要になるだろう。