【ITニュース解説】Nobody keeps watching an AI that is almost always right

AIがほぼ常に正確に動作するようになった現代において、人間がそのAIを継続的に監視し続けることは非常に難しいという問題が浮上している。この問題は、自動運転技術の進化で特に顕著になっている。例えば、テスラ車の「Full Self-Driving (Supervised)」、略してFSD（監視付き完全自動運転）は、ドライバーに常に注意を払い、いつでも運転を代わる準備をするよう求めている。しかし、実際にFSDが数百回も問題なく走行を成功させると、ドライバーはシステムに慣れ親しみ、次第に注意を怠るようになる。実際に、あるテスラ車がFSD中に事故を起こした際、運転手が「寝ていた」と証言した事例も報告されている。これは、システムが「ほとんどの場合うまくいく」からこそ、人間が油断してしまうという人間の心理的な傾向を示している。

この人間の監視における限界は、新しい問題ではなく、1983年に心理学者のリザンヌ・ベインブリッジが「自動化の皮肉」という論文で既に指摘していたことだ。自動化されたシステムは、人間に「機械を監視し、故障時に介入する」という役割を残す。しかし、人間は、ほとんど何も起こらないものを30分以上効果的に監視し続けることが苦手だ。さらに、機械が長く正常に動作し続けるほど、人はその監視を怠るようになることが研究で示されている。

この人間の特性は、現代のAIシステムでも同様に確認されている。2024年の研究では、テスラ車のオートパイロットを使用するドライバーが、システムの警告を無効化して携帯電話に注意を向けていたことが明らかになった。また、プログラミングを助ける「コーディングAIエージェント」の利用でも同じ傾向が見られる。多くのコーディングAIは、プログラムの実行やファイルの編集といった操作を行う前に、人間の承認を求める。しかし、実際にはほとんどのユーザーが、深く内容を確認せずに「はい」をクリックしているというデータがある。ある実験では、危険なコマンドをAIエージェントの操作に忍び込ませたところ、セッションの初期段階では比較的多くの危険なコマンドが人間によって阻止されたが、50回ほどの操作が続くと、その検知率は大幅に低下した。これはまさに、人間が機械の監視に慣れることで注意力が散漫になる現象の現れであり、自動化の皮肉が現代のAIシステムでも繰り返されていることを示している。

このような人間の監視における限界を踏まえると、AIシステムは人間の注意だけに頼らず、システム自体に安全性を組み込む形で設計されるべきだ。具体的には、次の三つのアプローチが考えられる。

一つ目は「ガードレール」の導入である。これは、AIエージェントが実行しようとするコマンドを事前に自動でチェックし、危険な操作や禁止されている操作をシステムがブロックする仕組みを指す。例えば、重要なデータを消去する可能性のあるコマンドをAIが提案した場合、人間が承認する前にシステムがそれを止め、より安全な代替案を提示する。これにより、人間の注意力が一時的に低下しても、システムが自動でリスクを軽減できる。

二つ目は、AIエージェントが行ったすべての操作を「ログ」として記録することだ。これにより、万が一システムで予期せぬ問題が発生した場合でも、後からログを辿って何が起こったのか、どの操作が原因で問題が発生したのかを詳細に調査できる。これは、システムの透明性を確保し、問題解決や改善に役立つ重要な要素である。

三つ目は、AIエージェントが直接アクセスできない安全な場所にデータの「分離されたコピー」を保持することだ。これは、AIが誤ってデータを破損したり削除したりするリスクに備えるための最終手段であり、最悪のシナリオが発生した場合でも、データを復旧できるようにする重要なバックアップ対策となる。

このように、AIシステムを設計する際には、人間は常に集中し続けることができず、ミスを犯す可能性があるという前提に立つことが重要である。人間による承認は、データの削除や金銭の支払い、本番環境へのデプロイなど、一度実行すると取り返しがつかないような極めて重要な操作に限定し、その数を最小限に抑えるべきだ。そうすることで、一つ一つの承認の重みが増し、人間が真剣に内容を確認するようになる。

「監視付き」という言葉が示すように、人間の監視は確かに重要だが、人間が居眠りしたり、内容を確認せずに「はい」をクリックしたりするなら、その監視は機能しない。ほとんど常に正しく動作するAIこそが、人間の油断を招き、最も危険な状況を生み出す可能性があるため、AIエージェントのガードレールは、まるで誰も見ていないかのように厳重に構築する必要がある。人間の限界を理解し、それを補うようなシステム設計が、これからのAI活用においては不可欠となる。