【ITニュース解説】Over the last 9 months, I built a generative video model that can take any image and build a playable world around it ✨

最新のIT技術動向として、画期的なジェネレーティブビデオモデルの構築に関するニュースが注目を集めている。このモデルは、たった一枚の画像から、まるでゲームの世界のようにプレイ可能な環境を自動的に作り出す能力を持つという。開発者はこのプロジェクトに約9ヶ月を費やし、最近では一台の高性能グラフィックカード、RTX 5090上でリアルタイムでの動作を可能にしたと報告している。これは、現在のAI技術の進歩がいかに速く、その応用範囲が広いかを象徴する出来事だと言えるだろう。

この技術の核となるのは、「Diffusion Transformer」という種類のモデルである。これは、近年画像生成分野で目覚ましい成果を上げているDiffusionモデルと、自然言語処理の分野で大きな影響力を持つTransformerモデルの要素を組み合わせたものだと理解できる。具体的には、与えられた画像を基に、動画の各フレーム（コマ）を一つずつ生成していくことで、連続した動きのある世界を作り出している。まるでパラパラ漫画を描くように、前のコマの内容や全体的な文脈を理解しながら次のコマを描き続けることで、自然で一貫性のある動画、ひいてはゲームのような環境を作り上げているのである。

このモデルの大きな特徴は、ゼロからエンドツーエンドで学習されている点だ。これは、既存の大きなAIモデル（例えば、インターネット上の膨大なデータで事前に学習された基盤モデルなど）を微調整する「ファインチューニング」とは異なり、開発者が独自のデータセットと設計に基づいて、完全に最初から最後までモデルを訓練したことを意味する。このようなアプローチは、特定のタスクに特化した性能を極限まで高めることが可能となる反面、非常に多くの計算資源と時間を要する。実際、開発者はこのモデルの学習に、高性能なGPUであるNVIDIA A100を4枚から8枚使い、しかもそれぞれの学習実行には何日もかかることが多かったと説明している。これは、モデルが膨大な量のデータを学習し、複雑なパターンを理解するために、いかに多くの計算が行われているかを示している。

現在の公開デモ版のデータセットは、主に人気ゲーム「グランド・セフト・オート（GTA）」のクリップが使われている。そのため、現状では三人称視点のゲームに特化した世界を生成するのに優れている。しかし、この技術の真の目標はさらに広範であり、開発者は「文字通りどんな画像からでも」ゲームを生成できる最終モデルを訓練中だと述べている。例えば、自分が撮影した一枚の写真をAIに入力するだけで、その写真から独自のゲームの世界が生まれるといった、未来の可能性を示唆している。これは、AIが現実世界と仮想世界の間にある壁をさらに低くする力を持つことを意味する。

リアルタイムでのスムーズな動作を可能にしている技術的な要素として、「KVキャッシュ」（Key-Valueキャッシュ）が挙げられている。特に「Flash Attention 2」という最適化されたAttentionメカニズムのKVキャッシュ機能が使われているという。Transformerモデルでは、Attentionメカニズムという部分で、入力データ内の各要素が他の要素とどれくらい関連があるかを計算する。この計算は特に長いシーケンス（ここでは動画の長いフレーム列）を扱う場合に計算コストが非常に高くなる。KVキャッシュは、以前計算したAttentionの結果（KeyとValue）を一時的に保存しておき、次の計算でそれを再利用することで、計算量を大幅に削減する。これにより、モデルは長時間の動画を生成する際にも、前のフレームとの連続性や一貫性を保ちながら、高速に次のフレームを生成できるようになる。結果として、RTX 5090という一台のGPUでも、まるでゲームをプレイしているかのように遅延なく、動画をリアルタイムでストリーミング表示することが可能になったのだ。

この技術は、今後lucidml.aiというプラットフォームを通じてリリースされる予定だ。これは、単なる動画生成にとどまらず、ユーザーがアップロードした画像を元に、パーソナライズされた仮想世界やゲーム環境を瞬時に作り出すという、これまでにない体験を提供する可能性を秘めている。エンターテインメント分野はもちろんのこと、シミュレーション、教育、仮想現実（VR）など、様々な分野での応用が期待される。一枚の静止画から、ダイナミックでインタラクティブな世界を生成するこの技術は、人工知能が私たちのクリエイティブな活動や日常にどのような変革をもたらすかを示す、まさに最先端の事例と言えるだろう。