【ITニュース解説】A beginner's guide to the Vggt-1b-Depth model by Vufinder on Replicate

Vggt-1b-Depthは、Vufinderによって開発されたAIモデルで、画像や動画から3Dシーンの情報を推測するためのツールである。このモデルは、Meta AIとオックスフォード大学のVisual Geometry Groupの研究を基盤とし、わずか1秒以内にシーンを再構築できる高速性が特徴だ。特にデプス（深度）マップの生成に特化しており、画像内の各点がカメラからどのくらいの距離にあるかを示す情報を高精度に出力する。その他にも、カメラの姿勢を示すカメラパラメータ、3D空間における点の集まりである点群、そして時間の経過とともに点がどのように動くかを示す3D点追跡といった情報も提供する。このモデルは、10億ものパラメータを持つトランスフォーマーベースのネットワークで構築されており、入力された画像はまずアスペクト比が調整され、最長辺が最大518ピクセルにリサイズされてから処理される。

このモデルの最も優れた利用シナリオの一つは、ロボット工学や自律走行システムにおける「知覚」の分野だ。例えば、ロボットが周囲の環境を認識し、障害物を避けながら移動したり、物体を掴む計画を立てたりする際に、このモデルが生成するデプス（深度）マップと信頼度スコアがリアルタイムで役立つ。単一の画像から複数の連続した画像まで、多様なセンサー構成に対応できる柔軟性も持つ。また、複合現実（MR）アプリケーションにおいても、環境の3Dマッピングを迅速に行う必要がある場合に非常に有用だ。このモデルは、後処理の最適化を必要とせずにジオメトリ（形状情報）を再構築するため、従来の3D再構築手法よりも高速で優れた結果を出せる。さらに、ラベル付きのデプスデータがない状況でも、単一画像から深度を推定する「ゼロショット単眼デプス推定」が可能で、幾何学的理解を必要とするコンピュータビジョンタスクの基盤としても活用できる。動画分析では、連続するフレームを処理することで、時間的に一貫した3Dジオメトリを推測し、統合された点追跡機能と合わせて、動画内の特徴点を追跡するアプリケーションで強みを発揮する。研究者やエンジニアが合成データセットを生成する際にも、画像コレクションから自動的にデプス（深度）マップ、カメラポーズ、点群を生成できるため、3Dデータの作成を効率化できる。

しかし、このモデルにはいくつかの制限も存在する。まず、デプス出力の解像度が最大518ピクセルに制限されるため、小さな物体や微細な幾何学的詳細は正確に再現できない可能性がある。また、単一の画像入力でも動作するが、最適な結果を得るためには複数の画像ビューが必要となる。単一画像からの再構築は、専用の単眼デプス推定器と比較すると信頼性が劣る場合がある点に注意が必要だ。モデル自体は1秒以内にシーンを再構築できるが、生成された3D点群を視覚化（画面に表示）するには、追加のレンダリング処理が必要となり、数十秒かかる場合がある。このため、リアルタイムでデプスやポーズデータだけが必要な場合は問題ないが、リアルタイムの可視化を求めるアプリケーションでは考慮が必要だ。さらに、このモデルの基盤となっているオリジナルのチェックポイントは非商用ライセンスであり、Replicate上での展開も同様であるため、商用利用には別途申請が必要となる。反射の多い表面、透明な物体、水、空などの領域は3D再構築の精度を低下させる傾向があり、これらの問題領域を適切に処理するためには、入力前にマスクを適用するなどの前処理が必要となる場合がある。現在のところ、ライブセンサーフィードのようなリアルタイムのデプスストリーミングや、新しいフレームが到着するたびに増分的にデプスを更新する機能は組み込まれていない。

VufinderはVggt-1b-Depthの他にも類似のモデルを提供している。例えば、「vggt-1b」は汎用的な兄弟モデルで、デプス、カメラ、点群、点追跡といった全ての3D属性をまとめて出力する。デプス情報が主な目的であればVggt-1b-Depthを選択し、フルセットの属性が必要な場合や、事前にどの属性が必要かわからない場合はvggt-1bを選ぶと良いだろう。「vggt-1b-point」は点群の出力に特化している。デプス特化型と点群特化型が存在するのは、デプス（深度）マップから3D座標を計算する方が、直接点群を予測するよりも正確な3D座標を生成できるためだ。カメラキャリブレーションや幾何学的制約を重視するならデプス特化型を、幾何学的な一貫性よりも密な点群密度を優先するなら点群特化型を選ぶと良い。「map-anything」もVufinderが提供するユニバーサルな3D再構築モデルだが、Vggt-1b-Depthはデプス予測の品質に特化しており、そのアプローチはCVPR 2025のベストペーパーとして評価されている。

技術的な側面を見ると、Vggt-1b-Depthは10億個のパラメータを持つトランスフォーマーベースのフィードフォワードネットワークであり、画像と動画の両方を入力として受け入れる。前処理として、入力は単一のアスペクト比にパディングされ、最長辺が最大518ピクセルになるようにリサイズされる。モデルのアーキテクチャには、カメラパラメータ（OpenCVの規約に従った外部行列と内部行列）、信頼度スコア付きのデプス（深度）マップ、信頼度スコア付きの点群マップ、そして3D点追跡といった各出力タイプに対応する個別の予測ヘッドが組み込まれている。推論は、Ampereクラス（Compute Capability 8.0以上）のGPUではbfloat16精度で実行され、古いハードウェアではfloat16精度にフォールバックする。不要なピクセルをマスキングする機能もサポートされており、複雑なセグメンテーションマスクを必要とせず、ピクセル値を0または1に設定するだけで対応できる。動画入力の場合、フレームのサンプリングレートを設定でき、最初のフレームと最後のフレームは常に含まれる。

モデルへの入力は、画像または動画ファイルのURLを配列として指定する。出力形式をbase64文字列にするか、点群ファイルやデプス（深度）画像を返すかなどのブール値フラグを設定できる。動画のフレームサンプリングレートも指定可能だ。出力として、モデルは構造化されたJSONファイルを返す。このファイルには、デプス（深度）マップ（形状とデータ型のメタデータを含むfloat配列）、標準形式の点群データ、カメラの外部行列と内部行列、デプス（深度）および点群の信頼度マップ、そしてクエリされた点の3D点追跡座標と可視性・信頼度スコアが含まれる。これらの出力は、設定に応じてbase64エンコードされた配列または生のバイナリファイルとして利用できる。

Replicate上でこのモデルを利用する際には、PythonのReplicateライブラリを使うのが一般的だ。たとえば、複数の画像URLのリストをinput_imagesとして準備し、replicate.run関数を呼び出してモデルを実行する。この際、inputsパラメータに画像URLリストを渡し、to_base64、return_pcd、return_depthなどのオプションを設定することで、出力形式や内容を制御できる。動画を入力する場合は、inputsに動画URLを一つだけ渡し、sampling_rateを設定することで、処理するフレーム数を調整できる。

よくある質問として、Replicate上のベースモデルは非商用ライセンスであり、商用利用にはMeta AIが提供するVGGT-1B-Commercial variantへの申請と承認が必要である点が挙げられる。従来のステレオ方式やSfM（Structure-from-Motion）といった手法と比較して、このモデルは1秒以内に再構築を完了できる高速性が強みであり、ベンチマークにおいては幾何学的最適化を必要とする手法よりも優れた性能を示す。しかし、単眼デプス推定に特化したモデルとは異なり、単一画像でのデプス精度を多少犠牲にして、複数ビューにおける一貫性とカメラパラメータ推定能力を向上させている。単一画像を渡した場合でも動作し、ゼロショット単眼デプス推定が可能だが、複数ビュー入力時よりも信頼性は低い。反射や水などの問題領域は、入力前にピクセルを0か1に設定する簡単なマスキングで対処でき、モデルはマスキングされた領域を再構築から除外する。出力されるデプス（深度）とカメラポーズデータは、OpenCV規約の行列形式であり、COLMAPやGaussian splattingなどの他の3Dツールと連携させることが可能だ。モデルはMP4、AVI、MOV形式の動画をサポートし、設定可能なサンプリングレートでフレームを処理する。2026年5月時点でもメモリ効率の改善や入力フレーム数の増加など、活発なメンテナンスが行われており、2025年7月には学習コードも公開された。CVPR 2025でベストペーパー賞を受賞している。GPUメモリ要件は明記されていないが、最近の最適化によりメモリ効率が向上しているため、本番環境に展開する前に自身のハードウェアでテストすることが推奨される。