【ITニュース解説】Latent 3D Gaussian memory enables real‑time rendering

L3G-Worldという新しい技術は、リアルタイムでの世界生成を可能にし、これまでの技術と比較して圧倒的な速度と高い視覚的品質を実現する。この技術は、VAE（Variational Autoencoder）と呼ばれるニューラルネットワークが生成する「潜在特徴」を直接活用することで、3Dシーンのレンダリングにおいて画期的な進歩を遂げた。この進歩により、これまでオフライン処理に限られていた複雑な放射輝度場（ラディアンスフィールド）のワークフローが、インタラクティブな体験へと変化する。

これまでのインタラクティブな世界生成モデルにはいくつかの課題があった。例えば、既存のシステムは、短い時間範囲のシーンを繋ぎ合わせるか、生成されるビデオの長さに応じてどんどん大きくなる3Dメモリを保持する必要があった。しかし、より大きな問題は、これらのアプローチが、3Dシーンから生成されるRGB画像（人間が見る通常の画像）を、再度「潜在生成器」が理解できる「潜在特徴」へとエンコードし直す必要があった点である。この「RGB→潜在特徴への再エンコード」のステップは非常に計算コストが高く、リアルタイムで高解像度の画像を生成する上での大きなボトルネックとなっていた。

L3G-Worldは、この課題を解決するために「潜在3Dガウスメモリ」という新しいアプローチを採用している。ここでいう「ガウス」とは、3D空間における小さな「ぼんやりとした点」や「楕円体」のような基本的な形状要素を指す。L3G-Worldでは、これらのガウスが従来の3D情報を直接格納するのではなく、VAEによって抽出された「潜在特徴」を格納する。潜在特徴とは、複雑なRGB画像データから本質的な意味合いだけを抽出して圧縮した、コンピュータが効率的に扱える抽象的な情報のことだ。

この技術の最も顕著な利点の一つは、使用する3Dプリミティブの数を劇的に削減したことにある。論文によれば、既存の最も効率的なガウスベースの手法であるNeoVerseと比較して、最大で38.6倍も少ない3Dプリミティブでシーンを表現できるという。プリミティブ数が少なければ、コンピュータのメモリ使用量が大幅に削減され、さらに、レンダリング時に3D空間を探索する「レイマーチング」という処理が格段に速くなる。これにより、より軽量で高速なシステムが実現する。

また、L3G-Worldのアーキテクチャは、メモリの更新速度も大幅に向上させている。新しい領域をユーザーが探索する際にも、ガウスの情報を洗練しながら、メモリ更新速度を3.2倍高速化することに成功した。これにより、レンダリングが途切れることなく、ユーザーの動きに合わせてリアルタイムでシーンの整合性を維持できる。これは、インタラクティブな体験において非常に重要な要素だ。

さらに重要なのは、各ガウスがVAEの潜在特徴を直接格納しているため、レンダリング処理が「潜在空間」内で直接行われる点である。これにより、前述の高コストな「RGB→潜在特徴への再エンコード」ステップが完全に不要となる。この画期的な改善により、RGB画像のレンダリング速度は8.3～10.4倍も高速化され、VAEへの条件付けスループット（潜在特徴を生成器に渡す処理の効率）は、なんと349～359倍という驚異的な向上を達成した。これまでの3Dメモリ手法で課題となっていた高価な再エンコードステップが解消されたことは、リアルタイム生成の実現に大きく貢献している。

しかし、この技術にはまだいくつかの制約が存在する。現在の評価では、インタラクティブな生成におけるフレームレートは9 FPS（Frames Per Second）にとどまっている。また、検証は2つの屋内データセットに限定されており、屋外の広大なキロメートルスケールの環境や、高フレームレートが求められるVR（仮想現実）環境へのスケーラビリティは、まだ証明されていない。加えて、この潜在空間のみのパイプラインは、事前に学習済みのVAEモデルへのアクセスを前提としているため、まったく新しい種類のアセット（物体や素材）を扱う際の柔軟性に限界がある可能性も指摘されている。

これらの課題が今後解決され、もしこの高速化がより広範なシーンにおいても維持されるならば、AR（拡張現実）やVRの開発者にとっては非常に大きな意味を持つだろう。将来的に、従来のNeRF（Neural Radiance Fields）のような高品質だが計算コストの高いラスタライズ（3Dデータを2D画像に変換する）バックエンドは、「潜在3Dガウスメモリ」レイヤーに置き換えられ、遅延が厳しく求められるパイプラインの性能評価基準も大きく変わる可能性がある。L3G-Worldは、リアルタイムで没入感のあるデジタル世界を生成するための、次世代の基盤技術となる潜在力を秘めている。