【ITニュース解説】16 Minutes from Perimeter to PLC: The Booz Allen OT Study and What It Means for AI Agents

最近発表されたBooz Allen Hamiltonの研究結果は、システムエンジニアを目指す皆さんにとって、今後のセキュリティ対策やAI技術の進化を理解する上で非常に重要な内容を含んでいる。この研究は、二つの先進的なAIモデルが、専門家なしに産業制御システム（Operational Technology、略してOT）への攻撃を単独で実行できることを示したものだ。これは、これまで考えられていたAIの危険性とは異なる、新たな脅威の出現を意味している。

具体的には、Booz Allen Hamiltonの研究所で実施されたテストで、特定の名前は伏せられているものの、最先端のAIモデルが、OT環境における八つの攻撃シナリオすべてをクリアした。これには、物理的にロボットアームを動かすことや、外部ネットワークの侵入口からわずか16分で産業制御ネットワーク（Industrial Control System、略してICS）に侵入するといった内容が含まれている。この研究結果が示す最も重要な点は、「AIは危険だ」ということ自体よりも、「重要インフラを攻撃するためのボトルネックが大きく崩壊した」ということだ。これまでは、このような攻撃には数年間の専門的な訓練と知識を持ったスペシャリストが必要だったが、AIエージェントを使えば「週末の作業」で可能になるレベルにまで敷居が下がったのだ。

この研究では、AIモデルは厳しい防御体制が敷かれた環境ではなく、一般的な攻撃者でも構築可能な現実的なOT環境に対してテストされた。つまり、AIが専門知識なしにどれだけ深く侵入できるかが試されたのである。結果として、偵察、初期侵入、内部での横断的な移動、認証情報の悪用、安全計装システム（Safety-Instrumented System、略してSIS）とのやり取り、そして物理的な操作といった、攻撃の一連の段階（キルチェーンと呼ばれる）すべてを、二つのAIモデルが完遂した。これは、単にAIが人間の攻撃者を補助するのではなく、「AIが攻撃全体を自律的に実行する」という点で、過去のOT攻撃に関する研究とは一線を画している。

なぜこのような事態になったのだろうか。これまで、OTシステムへの攻撃は非常に困難だった。ModbusやProfinet、S7commといった、工場などの特定の機器で使われる通信プロトコルや、PIDループのような複雑な制御技術を理解し、実際に攻撃を実行できる人材は非常に限られていたからだ。有名なStuxnet（スタックスネット）のような攻撃は、国家レベルのリソースと長い年月を要したとされる。しかし、優れた指示を与えられ、基本的なネットワーク通信の知識を持つAIエージェントは、この専門知識の壁を乗り越えてしまった。AIモデルは、見慣れないプロトコルについても推論し、環境が仕様と異なる場合でも適応する能力を持っている。もちろん、間違いを起こすこともあるが、その修正サイクルが非常に速いため、短期間での目標達成が可能になっているのだ。

一方で、OT環境の防御側は、このAIの進化の速度に追いついていないのが現状だ。多くのOTシステムは、物理的およびネットワーク的な隔離（エアギャップと呼ばれる、外部ネットワークから完全に分離された状態）を前提に設計されてきたが、近年普及が進むIIoT（Industrial IoT）などの影響で、その隔離は徐々に失われつつある。ネットワークのセグメンテーション（区画分け）は不十分で、どの資産があるかのリスト（資産インベントリ）も完全ではない場合が多く、危険回避のための安全システムであるSISネットワークも、驚くほど多くの工場で外部から到達可能な状態にある。つまり、「攻撃側の能力が防御側の能力よりも早く進化している」という状況が生まれているのだ。これは、単に「AIの問題」と片付けるのではなく、「政策や調達、そしてOTシステムの運用に関する課題が、AIという新たな脅威によって顕在化した」と捉えるべき問題だ。

AIが持つ「エージェント性」、つまり自律的に目標を立て、計画し、ツールを使いこなし、結果を見て自己修正する能力は、これまでブラウザ操作やスケジュール管理、メール対応といった生産性向上の文脈で語られることが多かった。しかし、今回のOT攻撃の事例は、このエージェント性が物理的な世界に及んだときに何が起こるかを示している。AIが標的を選び、マニュアルを読み、適切なツールを選んで実行し、その結果を評価して自律的に適応する。この一連のループが、今や現実の運用に耐えうるほど短縮され、その実行コストも劇的に下がっているのだ。Mac上で便利なアシスタントエージェントを構築する際に使われる、長期的計画、ツールの活用、自己修正、エラーからの回復といった能力が、物理ハードウェアに接続された制御システムに対して向けられたとき、途端に危険な能力へと変貌する。これら便利な機能と危険な機能の間には、明確な技術的な分離は存在しないのだ。

この研究結果について、「単なる研究室での検証であり、実際の攻撃ではない」という意見もあるかもしれない。しかし、このようなレッドチーム（攻撃側視点でのテスト）の結果は、常に新たな脅威の可能性を示すものだ。過去にも、「単なる研究結果」とされたものが、後に実運用される攻撃に転じた例は枚挙にいとまがない。重要なのは、テスト環境と実際の生産環境との間に、もはや大きな能力差がない、あるいはその差が急速に縮まっているという事実である。

また、「AI開発ラボが安全対策を施せば解決する」という見方も適切ではない。今回のケースでは、AIはシステムを「脱獄」させたわけではなく、与えられたタスクをそのまま遂行したに過ぎない。つまり、AIを騙す必要すらなかったのだ。したがって、この問題の解決策は、AIモデルの安全性に関する訓練（アライメントトレーニング）だけではなく、AIの利用に関するポリシーや、実際にシステムをデプロイする（展開する）際のルールといった、より上位の層での介入が必要となる。

さらに、「これは重要インフラ固有の問題であり、AIの問題ではない」という考え方も一面的な見方だ。確かに、重要インフラの運用者は自身のシステムの安全性に責任を負うべきだが、現在の防御側の対策が追いつかないほど脅威の様相が急速に変化しているのは、AIの能力が根底から変化をもたらしたためである。ITやOTの側面だけで対策を講じても、AIが引き起こす変化の速度には対処できない。AI開発側と重要インフラ運用側の双方が、同時に連携して対策を進める必要があるのだ。

この状況を踏まえ、様々な関係者にとっての具体的な影響と取るべき行動が提言されている。

AIラボに対しては、AIモデルがOTシステムに影響を及ぼすような能力を持つ場合、その情報開示を、モデルが一般公開される前に行うべきだとしている。また、AIモデルの「システムカード」（モデルの性能や安全性に関する情報が書かれたもの）に、「敵対的な条件下での能力の上限」という新しいセクションを追加し、モデルが何を実行し、何を拒否するのかを明確に、かつテスト可能な形で記述する必要がある。さらに、特定の危険な能力を持つモデルは、一般消費者向けのサービスではなく、より制限された環境でのみ提供する「コンピューティング能力に応じたリリース」も検討すべきだと述べている。

重要インフラの運用者に対しては、インターネットに接続されている管理システムは、2027年までに侵害される可能性があると仮定し、それを前提に計画を立てるべきだとしている。また、資産インベントリ（自社の全てのシステムや機器のリスト）の作成と維持は、もはや選択肢ではなく必須であり、これをおろそかにした場合のコストは月単位で増大すると警告している。そして、エアギャップは時代遅れになったわけではなく、むしろ脅威の進化速度に対抗できる唯一の有効な手段として、その重要性が再認識されている。さらに、AIツールを組み込んだレッドチーム演習を実施し、監査では見過ごされたがAIであれば発見できるような潜在的な脆弱性を特定する必要があるとしている。

政策立案者に対しては、AIの安全性に関する自主的な協定だけでは不十分であり、OTシステムへの具体的な脅威に対応できる規制が必要だと提言している。特に、OTシステムに影響を与えうるAIモデルの能力開示に関する明確なルールが急務であり、また、重要インフラのセキュリティ調達仕様書に、AIを活用した攻撃者に対する対策を明示的に含めるよう更新を求めるべきだとしている。

エージェント開発者に対しては、AIエージェントが持つ危険な可能性を真剣に受け止めるよう促している。特に、「ツールレイヤーでの能力制限」が重要であり、AIモデルがリクエストを拒否することを期待するのではなく、AIが使用できるツールの範囲や、それがアクセスできる物理的・財務的な世界の範囲を制限すべきだとしている。また、物理的または財務的な世界に影響を与える可能性のある行動については、徹底した監査ログを記録し、万一の際に原因を追跡できるようにするべきだ。さらに、エージェントが引き起こしうる影響範囲（ブラスト半径）の責任を明確にし、匿名で運用されるエージェントは安全ではないと強調している。そして、元に戻せないような重要な行動については、必ず人間の確認（ヒューマン・イン・ザ・ループ）を必須とすることが、最も確実な安全策であると指摘している。

今後の注目点としては、この研究結果が他のAIモデルや異なるネットワーク構成でも再現されるか、AIラボがOT関連の能力開示において、より透明性の高い姿勢を示すか、CISAやENISAといった機関がAIを活用した攻撃者を明確に意識したセキュリティガイダンスを更新するか、そして残念ながら、実際にAIが関与したOTインシデントが発生しないか、といった点が挙げられる。

今回のBooz Allen Hamiltonの研究結果は、最先端のAIモデルの能力を注視してきた人々にとっては驚きではないかもしれないが、「重要インフラを攻撃するための実用的なボトルネックが、専門家による数年間の訓練から、AIエージェントと週末の作業へと変化した」という具体的な主張を、最も明確な形で示したものだ。これは脅威モデルの根本的な変化を意味し、AIエージェントを開発する人々が、そのシステムの構築方法について深く再考する必要があることを示している。

この新たな脅威に対しては、AIラボ、重要インフラ事業者、そしてエージェント開発者の三者が、同時に多層的な介入を行う必要がある。AIラボは、OTシステムに影響を与えうる能力の開示を、開発のペースに合わせて迅速に行わなければならない。重要インフラの運用者は、AIによって増強された攻撃者が既に存在するという前提で、システムの隔離や区画分けを徹底する必要がある。そして、エージェント開発者は、たとえMac上で便利なアシスタントを作ろうとしている場合であっても、そのエージェントが引き起こしうる影響範囲について真剣に責任を持つ必要がある。エージェントを便利にするための技術が、同時に危険性をもたらすという事実から目を背けることは、人々を危険に晒すことに繋がるだろう。