【ITニュース解説】Why Agentic AI Governance Can't Be Bolted On

AI技術の進化が目覚ましい現代において、特に「AIエージェント」と呼ばれる新しい形のAIが注目を集めている。このAIエージェントは、単なるチャットボットや自動補完機能とは異なり、まるで人間の同僚のように企業内のシステムやデータにアクセスし、具体的なタスクを実行し、時には現実世界に影響を与える変更を行う能力を持つ。

歴史を振り返ると、蒸気機関や自動車、さらにはクラウドインフラといった革新的な技術が登場した際、まずその利便性や機能が先行して広まり、安全性や管理体制は後から追いつくのが常だった。蒸気機関の爆発事故がきっかけで検査制度が導入されたり、自動車が普及した後にシートベルトが義務化されたりしたように、技術の安全確保は往々にして事故や問題を経て初めて本格的に検討される傾向にある。現在のAI革命も例外ではなく、AIエージェントが急速に普及する一方で、その安全性や管理（ガバナンス）の重要性はまだ十分に認識されていないのが現状である。

しかし、AIエージェントに関しては、従来の技術のように「とりあえず使ってみて、問題が起きたら対策する」という後付けのガバナンスでは不十分であると指摘されている。なぜなら、AIエージェントは企業の重要なシステムやデータに直接関与し、影響力の大きい行動を取る可能性があるからだ。そのため、AIエージェントのガバナンスは、技術開発の「初日から」設計に組み込む必要があり、後から簡単に「ボルトで締め付ける」ようにはいかない。

AIエージェントを「同僚」と考えるならば、人間が職場に持つものと同じように、AIエージェントにも専用の「職場」が必要となる。人間が会社で仕事をする際、社員としての身分（アイデンティティ）、入退室管理のためのアクセスバッジ、職務内容、行動記録、そして退職プロセスといったものがある。これらの仕組みは、誰が、いつ、どこで、何をしたかを明確にし、責任を追及できるようにするためのものである。AIエージェントも同様に、独自のアイデンティティ、作業エリア、アクセス権限、行動記録、そして使用終了時のプロセスが必要である。ガバナンスとは、まさにAIエージェントが安全かつ適切に業務を遂行するための「職場環境」そのものを構築することなのだ。

では、ガバナンスされたAIエージェントの実行は具体的にどのようなものになるのだろうか。一般的なAIエージェントの実行プロセスが「推論 → エージェントの意思決定 → 実行 → 出力」であるのに対し、ガバナンスされたプロセスでは、さらにいくつかの重要なステップが追加される。それは、「エージェントのアイデンティティ → 推論 → エージェントの意思決定 → 権限 → セキュアな実行 → 証拠」という流れだ。これらの追加ステップは、エージェントが勝手な行動を取ったり、意図しない結果を招いたりするリスクを最小限に抑えるためのものである。

まず「エージェントのアイデンティティ」は、文字通り、そのAIエージェントが誰であり、誰のために、どのような文脈で行動しているのかを明確にするためのものである。人間でいえば、氏名、所属部署、役職などがそれに当たる。これにより、エージェントの行動に責任を持たせ、問題発生時に追跡できる基盤が構築される。特定のユーザーやサービスアカウント、プロジェクト、実行環境、セッションなどと紐付けられた、短期間有効な検証可能なアイデンティティが付与されることで、そのエージェントのアクセス範囲やポリシー適用、そして行動の証拠収集が可能になる。

次に「推論」のステップでは、エージェントがタスクを処理するためにどのAIモデルを使用するか、そしてその際に扱われるデータがどこで処理されるかを管理する。機密性の高い作業の場合、コードや指示、文脈といったデータが顧客自身の管理下にあるインフラ内で処理される「自己ホスト型推論」が望ましい。これにより、モデルの柔軟性（商用モデル、オープンソースモデル、自己ホスト型モデルの選択）を保ちつつ、データの所在や制御を失わないことが目標となる。

「エージェントの意思決定」は、エージェントがどのようにタスクを計画し、実行し、必要なツールを呼び出すかを制御する部分である。このプロセスもまた、厳格な管理下でなければならない。

そして「権限」は、ガバナンスの中核をなす要素の一つだ。AIエージェントはツールを呼び出し、リポジトリへの読み書きを行い、APIにアクセスするが、そのすべてが許可されるわけではない。権限とは、エージェントがどのようなアクション、ツール、データ、接続先、予算を利用できるのか、そしてどのような場合に人間の承認が必要となるのかを明確に定義したポリシーである。このポリシーは、エージェントが実際にアクションを起こす際に強制され、単に「結合しないでください」といった指示だけでは済まされない。

「セキュアな実行環境」は、エージェントが実際にコードを実行する場所に関するものだ。開発者のノートパソコンは、これまで蓄積された認証情報、設定ファイル、内部データなどが詰まっているため、AIエージェントの実行環境としては非常に危険である。もしエージェントがそのローカル環境から脱走した場合、非常に大きな権限を持った環境へとアクセスできてしまうからだ。代わりに、エージェントはタスクごとにスコープ化されたアクセス権限と、制限されたネットワーク接続、そして開発者の環境から引き継がれた状態を持たない、隔離されたクラウドワークスペースで実行されるべきである。さらに、これらのワークスペースは一時的で、定期的にクリーンな状態にリセットされるべきであり、継続的に使い続けることで不必要な情報やリスクが蓄積されないようにする。

最後の「証拠」は、ガバナンスされたAIプラットフォームにおいて極めて重要である。誰がそのAIエージェントの実行を開始したのか、どのエージェントが行動したのか、どのようなポリシーが適用されたのか、どのモデルやツールが使用されたのか、そしてなぜ特定のアクションが許可されたのか、拒否されたのか、あるいは人間の介入が必要とされたのか。これらのすべての行動について、改ざん不能な監査証跡が記録される必要がある。システムは完璧ではなく、いつか必ず問題が発生する。そのような時に、これらの詳細な証拠が残されていれば、チームは実行を再構築し、何が問題だったのか、そしてポリシーや統合、あるいはエージェント自身の振る舞いをどのように修正すべきかを理解できる。これにより、単に「行動できる」AIエージェントではなく、「管理・運用できる」AIエージェントとなる。

このような包括的なAIガバナンスの枠組みを今から構築することは、セキュリティや利便性、コスト効率の向上だけでなく、将来的に避けられない規制への対応という観点からも重要である。OWASP（Open Web Application Security Project）が発表したAgentic Applications向けのTop 10リスクリストでは、ツールの悪用、アイデンティティと権限の乱用、サプライチェーンの脆弱性、メモリとコンテキストの汚染、連鎖的な障害といったリスクが挙げられている。これらは単一の対策で解決できる問題ではなく、エージェントの実行プロセス全体にまたがる課題である。

さらに、EU AI Actのような法規制も段階的に適用が始まっており、特定の高リスクAIシステムには2027年12月から規則が適用される予定だ。すべてのAIエージェントが「高リスク」と見なされるわけではないが、規制対象となるか、または機密性の高い文脈でAIエージェントを運用する組織は、その制御、監視、記録管理、堅牢性、セキュリティを実証する必要性が増していくだろう。

したがって、AIエージェントが企業の業務に深く組み込まれる前に、責任あるエージェント運用に不可欠な技術的基盤、すなわちアイデンティティ、権限、セキュアな実行環境、そして証拠収集の仕組みを構築することが、これからのシステムエンジニアにとって極めて重要となる。後になって安全に後付け改修しようとするよりも、今から計画的にこれらを組み込んでおくことが、将来のガバナンスやコンプライアンス要件を満たすための確かな道となる。