【ITニュース解説】A beginner's guide to the Sharp-Ml model by Kfarr on Replicate

SHARP-Mlは、Appleが開発した「SHARP」と呼ばれるAIモデルである。このモデルの主な役割は、たった1枚の普通の写真から、そのシーンのリアルな3D表現を瞬時に作り出すことにある。具体的には、「3Dガウシアンスプラット」という特殊な形式で3Dデータを生成する。

この技術の最大の特徴は、その驚異的な処理速度と高い品質だ。従来の多くの3D生成手法では、複雑な計算や複数の視点からの情報が必要だったが、SHARP-Mlは「ニューラルネットワークの順方向パス」という、AIモデルの情報を一度通すだけの処理で、1秒もかからずに3Dを生成できる。これは、競合する他の手法と比較して、推論速度が約1000倍も速いことを意味する。生成される3Dモデルの品質も非常に高く、画像と実際の見た目の違いを示す指標である知覚損失（LPIPS）を25～34%低減し、構造的な違いを示すDISTSも21～43%改善している。さらに、特定の用途に合わせて細かく調整しなくても、様々な種類の写真から良好な3Dを生成できる「ゼロショット汎化」という能力も持っているため、非常に汎用性が高い。生成された3Dデータは、リアルタイムで様々な角度からレンダリングできるだけでなく、現実世界と同じメートル単位のスケールを保持しているため、カメラの動きを正確に表現できる点も重要だ。

SHARP-Mlは、多様な分野での活用が期待されている。たとえば、Eコマース分野では、商品撮影者が高品質な写真を1枚撮るだけで、その商品のインタラクティブな3Dモデルをすぐに生成できる。これにより、顧客はウェブサイト上で商品を様々な角度から自由に確認できるようになり、高価な複数カメラによる撮影システムや、手作業での3Dモデリングのコストを大幅に削減できる。商品の物理的な寸法が正確に保たれるため、現実感のある表示が可能だ。建築や不動産の分野では、不動産販売員や建築家が、建物内部や外部の写真を1枚撮るだけで、その空間を仮想的に歩き回れる3D環境を作り出せる。これにより、潜在的な購入者や関係者は、元の写真には写っていない視点からも物件を探索できるため、より深い理解を促せる。ゲーム開発においては、2Dのコンセプトアートや参考画像から、ゲーム内で使用する初期の3Dジオメトリを素早く生成できる。これは、手作業でブロックアウトモデリングを行う手間を省き、アセット制作のプロセスを加速させる。VRコンテンツ制作の現場でも、既存の1枚の画像からステレオ（立体視）対応の3D表現を生成し、没入感のあるVR体験を提供できる。深度センサーや複数枚の写真を必要としない点がメリットだ。視覚効果（VFX）や動画合成の作業では、背景となる写真から迅速に3Dジオメトリを作成し、深度情報を推定したり、カメラの動きに合わせて新しい視点からレンダリングしたりする合成作業を支援する。

しかし、SHARP-Mlにはいくつかの制限事項もある。まず、入力は必ず1枚の画像でなければならない。同じシーンを複数枚撮った画像や動画を入力として使い、3D再構築の精度を向上させることはできない。また、生成された3Dガウシアンスプラットから動画（カメラの動きに合わせた連続画像）を生成するには、NVIDIAのCUDA技術に対応した高性能なGPUが必要だ。CPUやAppleのMPS（Metal Performance Shaders）デバイスでも3Dスプラット自体の生成は可能だが、動画としてのレンダリング出力には対応していない。出力される3Dデータは、一般的な3Dモデリングツールで使われるような「メッシュジオメトリ」ではなく、「3Dガウシアンスプラット」という特殊な形式であるため、これに対応するサードパーティ製のレンダリングソフトウェアが必要になる場合があり、標準的な3Dモデリングツールとの互換性には課題がある。生成される3D表現は、元の写真が撮影された場所から大きく離れた視点からのレンダリングでは品質が著しく低下する傾向がある。このモデルは、比較的近い視点での移動に最適化されており、360度回転や極端に離れた視点からの予測には向いていない。さらに、複雑な形状の遮蔽物、非常に薄い構造物、またはテクスチャがほとんどない領域では、3Dモデルに不自然な部分（アーティファクト）が生じたり、一部の形状が欠落したりする可能性がある。出力される3Dデータの座標系は、OpenCVというコンピュータビジョンライブラリの慣例（x軸が右、y軸が下、z軸が前方）に従っており、シーンの中心はだいたい(0, 0, +z)のあたりに配置される。そのため、もし別の座標系（例えば、ゲームエンジンなどでよく使われるz軸が上を向く慣例）を使用するレンダラーに統合する場合は、手作業で3Dデータを回転させたり位置を調整したりする必要がある。Replicateというプラットフォームでの入出力に関する仕様が最小限に抑えられているため、画像をモデルに入力する際の具体的な前処理要件や最大画像サイズに関する詳細な情報が不足している点も留意すべきだ。

SHARP-Mlと同様の機能を持つ他のモデルも存在する。TripoSplatも2D画像を3Dガウスに変換するが、SHARP-Mlは推論速度とメートルスケールの精度、絶対的なカメラ移動のサポートで優れている。Kandinsky 5.0 Pro Image-to-Videoは画像から直接動画を生成するが、SHARP-Mlはインタラクティブな3D探索と精密な幾何学的制御が必要な場合に適している。Kling Native 4K Image-to-Videoは4K動画を直接生成するが、SHARP-Mlは真の3Dジオメトリ、メートル精度、視点制御が重要な場面で選択される。Stable Diffusion Videos (Mo-Di)は生成的な動画スタイルや動きの柔軟性を重視するが、SHARP-Mlは物理的に根拠のあるメートルスケールの3D表現を提供する。SHARP-Mlは、特にリアルタイム性と正確な3D表現が求められる場合にその真価を発揮する。

技術的な側面を見ると、SHARP-Mlは、単一のフィードフォワードニューラルネットワークとして機能し、1枚の画像から3Dガウス表現に必要な様々なパラメータを直接的に推定している。このモデルはPyTorchという人気の機械学習フレームワークで実装されており、CPU、CUDA対応GPU、そしてAppleのMPSデバイスで動作する。モデルのデータは、初回実行時に自動的にダウンロードされ、ローカルにキャッシュされる。3Dガウシアンスプラットを動画としてレンダリングするための「gsplatレンダラー」は、特にCUDA対応GPUに最適化されており、初めて起動する際に多少の初期設定に時間がかかることがある。出力されるデータは、OpenGL PLYファイルという形式で、これは様々な公開されている3Dガウシアンスプラットレンダラーと互換性がある。シーンのジオメトリはOpenCVの座標慣例に従い、世界座標の約(0, 0, +z)を中心として配置される。モデル全体でメートルスケールが維持されるため、正確な空間関係を保ったままカメラを動かせる。

SHARP-Mlを利用するには、ReplicateというAIモデル実行プラットフォームのクライアントライブラリを使うのが一般的だ。Pythonで数行のコードを書くだけで、入力として画像のURI（ウェブ上の場所を示すアドレス）を渡し、出力として生成された3DガウシアンスプラットのPLYファイルへのURIを受け取れる。このPLYファイルをダウンロードすれば、対応するツールで3D表示や操作が可能となる。

よくある質問として、SHARP-Mlが受け入れる画像形式や最大解像度については、ReplicateのAPIではURI形式の画像しか指定されていないため、詳細な情報が提供されていない。一般的なWeb画像形式（JPEG、PNGなど）が推奨される。出力される3Dガウシアンスプラットは、従来のBlenderやMayaのような3Dモデリングソフトウェアに直接インポートして編集するのは難しい場合がある。これは、スプラットが点群のような形式であるためで、専門のプラグインや変換ツール、あるいは3Dガウシアンスプラット専用のレンダラーが必要となる。SHARP-Mlの商用利用については、Appleが定めたライセンス（GitHubリポジトリのLICENSE_MODELファイルを参照）に準拠する必要があるため、利用前に必ず確認することが重要だ。動画レンダリングにCUDAが必要なのは、gsplatレンダラーがCUDAアーキテクチャの計算能力を最大限に活用するように設計されているためであり、CPUやMPSではレンダリング処理の複雑さに対応できないからである。複雑な遮蔽や薄い構造物があるシーンでは、1枚の画像から3D情報を推測するため、品質の低下や欠落が生じやすい点も理解しておくべきだ。モデルは2026年2月24日に最新バージョンがデプロイされており、Replicateで利用できるが、今後の開発状況はAppleの継続的な研究方針に依存する。