【ITニュース解説】How One Model is Revolutionizing AR, Drones, and Robots in Real Time

ChronoReplayという新しいAIモデルが登場し、拡張現実（AR）、ドローン、ロボットといった分野で、私たちがこれまで実現できなかったリアルタイムでの「見る・理解する・判断する」能力を大きく進化させようとしている。これは、動画ストリームから得られる情報をAIが瞬時に分析し、「これは何か」「どこにあるか」「どう動けばよいか」といった、これまで複数のAIで分担していた問いに、たった一つのAIモデルで同時に答えられるようにする技術である。

これまで、ロボットが目の前の環境を理解し、特定の行動を起こすためには、いくつかの異なるAIモデルを組み合わせて使う必要があった。例えば、キッチンのロボットが人間が野菜を刻むそばで棚からマグカップを取るというタスクを想像してみよう。このロボットは、連続する動画から、まず「マグカップはボウルの左にあるか、右にあるか」（分類）、次に「マグカップはロボットのgripperからどれくらい離れているか」（距離計測）、そして「まな板にぶつからずにマグカップに到達するには、どこへ動けばよいか」（経路案内）という三つの情報を毎フレーム、つまり動画のコマごとに瞬時に判断しなければならない。

従来のシステムでは、これらのタスクごとに専用のAIモデルを用意し、それぞれが独立して処理を実行していた。例えば、物体が左右どちらにあるかを判断するモデル、距離を推定するモデル、そしてその距離情報に基づいて安全な経路を計算するモデルといった具合だ。これら複数のモデルが順番に処理を行うため、どうしても遅延が発生しやすかった。また、それぞれのモデルが動くために、多くの高性能なコンピューターのメモリ（GPUメモリ）を消費するという問題もあった。さらに深刻なのは、「インターフェースロックイン」と呼ばれる現象だ。これは、例えば「左右の判断」という一つのタスクの精度を上げるためにAIモデルを学習し直すと、その影響で「距離計測」や「経路案内」といった他のタスクの性能が意図せず下がってしまう、という困った問題である。まるで、一つのスキルを磨くと、別のスキルが錆びついてしまうような状況だった。

ChronoReplayは、この「一つの答えですべてに対応」が困難だった壁を打ち破るために、「ビジョン言語モデル（VLM）」と呼ばれる、画像とテキスト情報を同時に理解できる強力なAIモデルを基盤としている。このVLMには、前述の「左右の判断」「距離計測」「経路案内」という三つの異なるタスクに対応するための「空間ヘッド」と呼ばれる出力部分が備わっている。そして、このChronoReplayの中核をなすのが「異種リプレイバッファ」という仕組みだ。

異種リプレイバッファは、AIがこれまでに学習した大量のデータの中から、特に重要と思われるごく一部（元のデータの約5%程度）を種類ごとにバランスよく保存しておく「記憶の貯蔵庫」のようなものだ。AIが新しい情報を学習する際、このリプレイバッファに保存された過去のデータも同時に少しずつ繰り返し学習する。これにより、AIが特定のタスクに特化した学習を進めても、以前に学んだ他のタスクに関する知識を「忘れてしまう」ことを強力に防ぐ。具体的には、学習プロセスにおいて、現在の新しいデータとリプレイバッファからの古いデータが交互にAIに与えられ、学習のバランスが保たれる。さらに、もし「距離計測」の精度が急に悪化するようなことがあれば、リプレイバッファから「距離計測」に関連するデータの学習量を自動的に増やすことで、性能の低下を食い止める仕組みも備わっている。

このChronoReplayの導入により、前述のロボットの例では、マグカップの位置関係、距離、そして安全な移動経路の三つの情報を、わずか20ミリ秒以下という驚くべき速さで同時に判断できるようになった。これは、AR/VRヘッドセットで遅延なく快適な操作をするために求められる速度と同じくらい速い。しかも、この高速な処理速度を維持しながら、それぞれのタスクで90%以上の高い精度を保つことができる。例えば、距離計測の誤差が0.15メートル減るだけでも、ドローンが狭い場所を飛行する際に、安全に通過できるか衝突するかという大きな違いにつながる。また、リプレイバッファに必要なデータ量が全体のわずか5%で済むため、大量のデータを保存するコストや手間を大幅に削減できる点も実用上大きなメリットとなる。

しかし、ChronoReplayにもまだいくつかの課題が残されている。一つは、リプレイバッファに保存されたデータが「静的」、つまり時間が経つと古くなってしまう可能性だ。もしロボットが、リプレイバッファが学習したことのない全く新しい環境（例えば、これまでの家とは全く違う建物）に入った場合、過去の記憶が現在の状況に合わなくなり、AIの判断性能が落ちてしまうかもしれない。将来的には、環境の変化に合わせてリプレイバッファの内容を自動的に更新する仕組みが必要になるだろう。

また、現状では三つのタスクに対応しているが、実際の産業現場ではもっと多くの種類の判断（例えば、物体の材質、用途、ロボット自身の姿勢推定など）を同時にAIに求められることがある。タスクの数が増えたときに、このリプレイバッファの仕組みがどれだけ効果的に機能し、データの保存量が増えすぎないか、という点も今後の検証が必要だ。

さらに、ChronoReplayは現時点では「NVIDIA A100」のような非常に高性能なGPU（グラフィック処理装置）と特定の高速化技術を利用して、その低遅延性能を実現している。しかし、スマートグラスや小型ドローンといった、バッテリー駆動で動く「エッジデバイス」では、このような高性能なGPUは搭載できないことが多い。これらの低電力デバイスでChronoReplayを動かすためには、AIモデルを軽量化するなどの最適化が必要となり、その過程で性能が多少犠牲になる可能性もある。

加えて、現在の性能評価は、比較的きれいに準備されたデータセットで行われている。実際の現場でロボットやドローンが使う動画ストリームは、手ブレ、暗い場所、物が隠れて見えない「オクルージョン」といったノイズが非常に多い。このような実世界の厳しい条件下で、ChronoReplayがどれほどの頑健性（ロバストネス）を発揮できるか、さらなる検証が求められている。

これらの課題は残されているものの、ChronoReplayが持つ可能性は非常に大きい。近い将来には、ChronoReplayがクラウドサービスとして提供され、開発者が複雑なAIモデルの管理やGPUの準備に頭を悩ませることなく、簡単に動画ストリームをAIで分析し、その結果を利用できるようになるかもしれない。これにより、ARアプリケーションの開発者は、よりユーザー体験の向上に集中できるようになるだろう。

まとめると、ChronoReplayは、これまでストリーミング動画をリアルタイムで分析するAIが抱えていた「インターフェースロックイン」という大きな課題に、一つの実用的な解決策を提示した。軽量なリプレイバッファを導入することで、単一のAIモデルが複数のタスクで同時に高い精度とリアルタイム性能を維持できることを実証したのだ。これにより、AIが「これは何？」「どれくらい遠い？」「どこへ行くべき？」という三つの問いに同時に、かつリアルタイムで答えられるようになり、AR、ロボット、ドローンなどの技術が大きく前進することは間違いないだろう。今後の数ヶ月で、この革新的な研究が、実際に社会を動かす実用的なシステムへと発展していくのかが注目される。