【ITニュース解説】Containment by Design: Securing High-Privilege AI Agents with Blast-Radius Analysis and Hard Boundaries

システムエンジニアを目指す皆さんにとって、新しい技術の登場は常に学びの機会であり、同時に新たな課題をもたらします。近年、人工知能（AI）の進化は目覚ましく、特に「大規模言語モデル（LLM）」を基盤とした「AIエージェント」は、これまでのソフトウェア開発の常識を大きく変えようとしています。従来、AIと言えば、与えられたデータに基づいて予測や分類を行うものが主流でしたが、AIエージェントは自ら状況を判断し、さまざまな「ツール」（例えばデータベースへのアクセス、クラウドインフラの操作、社内APIの利用など）を組み合わせてタスクを自律的に実行できます。

しかし、この自律性こそが、これまでにない深刻なセキュリティリスクを生み出しています。これまでの「プロンプトエンジニアリング」（AIへの指示の仕方を工夫する技術）では、誤った指示や悪意のある指示による影響は、通常、特定のユーザーセッション内に留まっていました。しかし、AIエージェントが「管理者権限」のような高い権限を持ってデータベースやクラウドインフラに直接アクセスできるようになると、問題の規模は一変します。もしAIエージェントが悪意のある命令を受け入れたり、あるいはモデルが「幻覚」を起こして誤った操作を実行したりした場合、その影響はシステム全体に及び、壊滅的な被害につながる可能性があります。これを「システムのブラスト・ラディウス（爆発半径）」が広がる、と表現します。

従来のソフトウェアのセキュリティは、プログラムが常に決まった動きをするという前提で設計されていました。入力検証や出力の無害化といった対策も、攻撃される可能性のある箇所が予測可能だからこそ効果を発揮します。しかし、AIエージェントは自然言語を解釈し、計画を立て、ツールを呼び出すという、ある種の非決定的なプロセスを持っています。この非決定性が二つの主要な攻撃経路を生み出します。一つは「プロンプトインジェクション」と呼ばれるもので、攻撃者が巧妙な指示をデータの中に紛れ込ませることで、AIエージェントが本来の制約を無視して不正な操作を実行してしまうというものです。もう一つは「幻覚による特権昇格」で、AIモデルがタスクを誤解し、本来アクセス権のない操作を試みたり、誤った権限エラーを「修正」しようとして新しいユーザーを作成したり、アクセス権限設定（IAMポリシー）を変更したりしてしまうケースです。もしAIエージェントが長期的な管理者トークンを持っていた場合、これらの攻撃はシステムの根幹を揺るがす大惨事となりかねません。

この問題に対処するために提唱されているのが、「Containment by Design」（設計による封じ込め）というアプローチです。これはAIエージェントを、完全に信頼できるユーザーではなく、「侵害される可能性のあるコンポーネント」として扱い、厳格に制約をかけるという考え方です。具体的には、「動的なブラスト・ラディウス分析」と「変更不可能な厳格な境界（ハードバウンダリ）」を組み合わせることで、強力でありながらも安全に動作する自律システムを構築することを目指します。

「ブラスト・ラディウス分析」とは、AIエージェントが万が一侵害された場合に、システムに与えうる最大の損害を定量的に評価する正式な手法です。エージェントがアクセスできるすべてのツールを「リスクスコア」と「復旧の複雑さ」でマッピングします。例えば、ユーザープロファイルの読み取りのような「読み取り専用」の操作はリスクが低く、データベースの削除や資金の送金のような「不可逆的・破壊的」な操作はリスクが極めて高いと評価します。さらに、この分析は静的なものではなく「動的」に行われます。たとえば、データベースへのアクセス権限があっても、特定のSQLクエリが「SELECT文のみ」に制限されていればリスクは低く、一方で「DELETE文」が含まれていればリスクは高まります。また、メール送信機能も、社内への連絡なら低リスクですが、外部への大量送信であれば「情報漏洩」のリスクが高まり、中リスクと評価されます。この分析によって、エージェントの行動が現在のセッションで許容される最大のリスク範囲を超えた場合に、そのアクションを拒否するか、さらなる確認を求めるかを決定します。

ブラスト・ラディウス分析が「知性」を提供する一方で、「ハードバウンダリ」は実際の「強制力」を提供します。これらは、AIエージェントがいかに高度な推論をしたり、悪意のあるプロンプトインジェクションを受けたりしても、決して迂回できない厳格な制約です。ハードバウンダリの最初の原則は「AIのための最小権限の原則（PoLP）」です。これは、AIエージェントに広範な権限を持つグローバルトークンを絶対に与えない、というものです。代わりに、各セッションごとに有効期間が数分程度と短く、特定の操作（例：ログの読み取りのみ）に限定され、さらに特定のユーザーセッションにのみ有効な「一時的でスコープ化された資格情報」を発行します。

また、AIエージェントがコードを実行する場合（例えばデータ分析のためにPythonコードを実行するなど）、その実行は完全に「隔離された環境（サンドボックス）」で行われる必要があります。これにより、CPU、メモリ、I/Oなどのリソース使用量を厳しく制限し、直接的なインターネットアクセスを禁止し、すべての外部通信を情報漏洩パターンを検査するプロキシ経由で行わせます。さらに、ファイルシステムは読み取り専用とし、書き込みは特定の一時領域に限定することで、基盤となるOSイメージへの不正な変更を防ぎます。

さらに重要なのが「ヒューマン・イン・ザ・ループ」という考え方です。もしAIエージェントの計画が、データベースの削除のような「Tier 3」（不可逆的・破壊的）なアクションを含む場合、システムはエージェントの実行を一時停止し、人間の明示的な承認を要求する必要があります。これはプロンプトによる指示（迂回される可能性がある）ではなく、オーケストレータ（エージェントの動作を調整するシステム）における状態遷移として実装されます。つまり、人間が別の、安全な経路（アウト・オブ・バンド・チャネル）を通じて有効な署名を与えない限り、エージェントは次のステップに進むことができません。

これらの厳格な境界を、基盤となるLLMを変更することなく実装するために、「ポリシープロキシ（またはガードレールゲートウェイ）」というアーキテクチャパターンが導入されます。これは、AIエージェントの動作を調整するオーケストレータと、エージェントが実際に使用する「ツール」の間に配置される中間層です。エージェントオーケストレータが「データベースからユーザーを削除せよ」というツール呼び出しを生成すると、ポリシープロキシはこれを傍受します。プロキシはLLMが「本当に削除したかったのか」を確認するのではなく、「システムがこの削除を許可するか」をチェックします。ブラスト・ラディウスエンジンがSQLクエリを解析し、それが「DELETE」文であることを検知すると、エージェントセッションに関連付けられたユーザーロールが「DELETE」権限を持っているかを確認します。もし権限がなければ、「権限がありません」というエラーメッセージをエージェントに返し、実際のデータベース操作は行いません。この分離が非常に重要です。LLMはアクションの「提案者」であり、ポリシープロキシはアクションの「強制者」です。LLMがプロキシを説得して危険なアクションを許可させることはできません。なぜなら、プロキシのロジックは確率的なテキストではなく、決定論的な（常に同じ結果を返す）コードだからです。

具体的な実装としては、Go言語で開発された「トークンスコープサービス」の例が挙げられます。このサービスは、セッション開始時に、グローバルな管理者トークンではなく、ユーザーのコンテキストに基づいた短い有効期間のJWT（JSON Web Token）を発行します。このJWTには、特定のユーザーID、セッションID、許可された操作のリスト（例：データベースの読み取り、メール送信）、有効期限、そして「最大ブラスト・ラディウス」が組み込まれています。このサービスが発行するトークンは「クローズドリスト」方式で、明示的に許可された操作のみを許容し、リストにない操作は即座に拒否します。また、データベースの削除のような破壊的な権限が含まれる場合は、トークンの有効期間を通常の数分からわずか2分に短縮します。これにより、エージェントが異常なループに陥ったり、長期間停止したりしても、トークンが期限切れとなり、継続的な攻撃を防ぐことができます。ポリシープロキシのミドルウェアは、すべてのツール呼び出し時にこのトークンを検証し、権限とブラスト・ラディウスのチェックを行い、安全が確認された場合のみ実際のツール実行に進めます。

AIエージェントを安全に運用するには、これらの「封じ込め」の仕組みだけでなく、稼働後の「監視」も不可欠です。すべてのツール呼び出しをログに記録し、ユーザーID、セッションID、ツール名、引数のハッシュ値、リスクスコアなどの情報を蓄積します。そして、これらのログを元に、通常とは異なるパターンを検出する「異常検知」システムを導入します。例えば、普段は読み取り操作しかしないユーザーが、短時間に多数の書き込み操作を行った場合など、異常な行動を検知した場合は、そのセッションにフラグを立てて警告を発します。さらに、重大な異常（高リスクスコアの連続、繰り返し発生する権限エラーなど）が検出された場合に備え、「グローバルキルスイッチ」を実装します。これは、問題のあるセッションのすべての有効なトークンを即座に失効させることで、エージェントの動作を強制的に停止させる仕組みです。

AIエージェントのセキュリティは、単にプロンプトを改善するだけでは解決できない「アーキテクチャ上の課題」です。設計による封じ込めという考え方を採用することで、安全性の責任を、予測が難しいLLMから、予測可能で信頼できるインフラストラクチャへと移行させることができます。AIエージェントはサンドボックス内で自由に創造的かつ自律的に活動できますが、そのすべてのアクションは、ブラスト・ラディウスを計算し、厳格なハードバウンダリを強制するポリシーエンジンを通してフィルタリングされます。

自律型AIシステムの未来は、完璧なモデルではなく、「完璧な檻（ケージ）」の中で動作する不完全なモデルにかかっています。まず、その「檻」を堅固に構築することが、AI時代のシステムエンジニアに求められる重要な役割となります。