【ITニュース解説】Introducing Physical-Engineering’s Last Exam for agents
2026年11月03日に「Google Cloud Blog」が公開したITニュース「Introducing Physical-Engineering’s Last Exam for agents」について初心者にもわかりやすく解説しています。
ITニュース概要
Googleが、物理工学分野のAI評価基準「PLE」を発表した。これは機械、電気、土木、構造などの実世界タスクをAIが安全かつ効率的に解決できるかを測るもので、実際の現場に近い多様なファイルを扱う。既存のAIモデルはまだ50%以下のスコアで、実用には課題が多いことを示した。AI開発者はこの公開基準で能力向上を目指せる。
ITニュース解説
Google AI & Infrastructureチームは、Mercorとの協力により、新しいベンチマーク「Physical-Engineering’s Last Exam (PLE)」を発表した。これは、機械工学、電気工学、土木工学、構造工学といった物理工学の分野で、最先端のAIモデル、通称フロンティアモデルがどの程度現実的なタスクを実行できるかを評価するための新たな基準であり、オープンな競争の場でもある。この取り組みは、AIが物理世界の構築を支援する作業をどこまでこなせるかを測定し、その能力を向上させるための研究コミュニティを支援することが目的だ。
これまでもAIの能力を測るベンチマークは存在した。例えば、AIの一般的な知識を測る「Humanity's Last Exam」や、AIがデジタルな専門業務をこなす能力を測る「Agents' Last Exam」などがある。しかし、物理工学の分野、具体的には高層ビル、電力網、コンピュータチップなどの設計といった、物理的な世界を構築する作業をAIが最初から最後まで(エンドツーエンドで)実行できるかをテストする既存のベンチマークはなかった。システムエンジニアを目指す皆さんにとって、AIが単にコードを生成するだけでなく、物理的な設計の世界にまでその適用範囲を広げようとしていることは、今後のシステム開発の可能性を考える上で非常に興味深い点だ。
従来のAIベンチマークは、ほとんどが教科書的な問題や、単一のツールを呼び出すだけのシンプルなタスク、あるいは小さな自己完結型の設計問題に限定されていた。フロンティア言語モデルは、これらの学術的なベンチマークでは90%を超える高いスコアを出すことが多くなっている。しかし、物理工学分野向けのエージェント(自律的にタスクを実行するAI)を開発するAI開発者や研究者にとって、既存のベンチマークでは、エージェントが「安全で、法令を遵守し、かつ費用対効果の高い設計」を、実際の資格を持つエンジニアのレビューと管理のもとで生成できるかどうかを評価することはできなかった。インフラ開発への需要が資金調達のペースを上回っている現状において、AIエージェントがエンジニアを支援し、このギャップを埋める大きな機会が生まれている。
PLEは、このような評価のギャップを埋めるために開発された。このベンチマークには、機械工学(30タスク)、電気工学(27タスク)、土木工学(18タスク)、構造工学(10タスク)の四つの主要分野にわたる、合計85もの「長期間にわたる(ロングホライズン)タスク」が含まれている。これらのタスクは、単に一つの質問に答えるだけのものではない。エージェントは、MercorのArchipelago環境をベースとした「コンテナ化されたプロジェクトフォルダ」内で作業する。これは、実際の現場で働くエンジニアが仕事で受け取る環境を忠実に再現したものだ。
各タスクのプロジェクトフォルダには、平均で61ものファイルが含まれており、ベンチマーク全体では5,170ものファイルに及ぶ。これにはPDF文書、スプレッドシート、電子メール、2D CAD(コンピュータ支援設計)図面、3D BIM(Building Information Modeling)モデル、さらには文書の改訂履歴など、多岐にわたる種類のファイルが含まれる。エージェントは、これらの膨大なファイルを論理的に分析し、適用される建築基準や物理的な限界を特定し、必要な計算を実行し、最終的に「生産準備完了レベル」の成果物(設計図や報告書など)を生成することが求められる。この成果物は、資格を持つレビュアーが問題なくレビューし、承認できる品質であることが不可欠だ。これは、システムエンジニアが要件定義から設計、実装、テスト、そして最終的なレビューを受ける一連のプロセスと多くの共通点がある。AIも、単にコードを生成するだけでなく、多様な情報を分析し、最終的な製品に結びつける能力が求められる時代になっているのだ。
PLEのタスクは、実際の専門家との協力のもと、二つの方法で作成された。一つは「エキスパート作成タスク」で、44のタスクがこれにあたる。これは、実際に現場で働くエンジニアたちが、現実の専門的な工学タスクに基づいて、プロジェクトフォルダ、指示(プロンプト)、そして採点基準を作成したものだ。もう一つは「共同作成タスク」で、41のタスクがこれに含まれる。ここでは、まず現場エンジニアが初期のタスクを設計し、その後AIエージェントのパイプラインが、ライセンスされた工学基準からタスクの環境と採点システムを構築した。さらに、エンジニアがそのAIが構築したタスクを検証し、難易度を上げていったという。このように、AIが実際の現場で役立つためにはどのような能力が必要か、という視点からタスクが設計されているのだ。
このPLEベンチマークを用いて、Googleは14のフロンティアモデルを、7つの公開されているエージェントハーネス(AIが動作するための環境やフレームワーク)を使ってテストした。PLEでは、設計の法令遵守だけでなく、費用対効果も評価されるため、エージェントが生成した設計が「すべての厳格な安全性チェック」を最初にパスしない限り、部分的に正しくてもポイントは与えられない。この基準は、現実世界の工学設計における安全性の重要性を反映しており、非常に厳格だ。
ベースラインとなるテスト結果を見ると、現在のAIモデルと現実世界の工学要件との間にはまだ大きな隔たりがあることが明らかになった。すべてのフロンティアモデルは、プライベートテストセットで50%未満のスコアにとどまり、最も性能の高いモデルでも平均スコアは48.3%だった。特に注目すべきは、「ハードセーフティゲート」と呼ばれる厳格な安全性チェックの通過率だ。共同作成タスクにおいて、最も高得点のエージェント構成は個々の制約の91%を満たしたが、それでも「すべての厳格な安全性および実現可能性チェック」をパスした成果物はわずか41.3%に過ぎなかった。これは、部分的な正しさだけでは実際の現場では受け入れられないことを示しており、AIが本当に実用的な設計を生み出すためには、さらなる発展が必要であることを意味している。また、テスト結果からは、エージェントの性能は「ハーネス」(実行環境)の選択よりも「モデル」(AIの本体)の選択によって大きく左右されることも分かった。
このように、現実的なプロジェクトファイル、厳格な安全規則、そして材料コストといった要素を考慮してAIエージェントを評価することは、物理エンジニアにとって本当に役立つツールを構築するための具体的な一歩となる。PLEは、AI研究者や開発者がAIモデルを改善し、実際の工学問題解決能力を高めるための貴重なツールを提供するものだ。
システムエンジニアを目指す皆さんにとって、これはAI技術が単なるソフトウェア開発の枠を超え、物理的な世界の設計・構築というより広範な領域に進出しようとしている最前線を知る良い機会となる。将来、AIが設計したビルディングや橋、複雑な機械が私たちの生活を支える日が来るかもしれない。その実現のために、AIがどのように進化していくのか、そしてそれを支えるシステムがどのように構築されるのか、PLEはその道のりにおける重要なマイルストーンとなるだろう。この新たなベンチマークは、研究コミュニティに対して、より賢く、より安全で、より実用的なAIエージェントの開発を促す大きな動機付けとなるに違いない。興味を持った開発者は、PLEの技術詳細を論文で確認し、GitHubから公開タスクやツールをダウンロードして、自分のエージェントを評価に提出することも可能だ。Googleがスポンサーするモデルを使って無料で評価に参加できる機会もあり、今後の展開にも期待が集まる。