【ITニュース解説】Making a Bulin 47 AI Video That Actually Looks Like You: What We Learned With Seedance 2.5

ニュース記事は、最近TikTokなどで流行している「Bulin 47 AI動画」と呼ばれる、特定の動画クリップの人物を、別の人物（自分や友人、ペットなど）に置き換える人工知能（AI）を活用した動画生成技術について、開発者が直面した課題とその解決策を共有している。システムエンジニアを目指す初心者の皆さんにとって、これはAIを活用した開発の現場でどのような工夫が行われているか、具体的な問題と向き合い、解決していくプロセスを知る良い機会となるだろう。

まず、「Bulin 47 AI動画」とは何かを説明する。これは、ドミニカのアーティストBulin 47がストリートでフリースタイルを行っているオリジナルの動画があり、この動画のBulin 47の顔だけを、ユーザーが提供した写真の顔に置き換えるAI動画だ。元の動画のカメラの動き、背景にいる群衆、照明、そしてリズムはそのまま維持されるのが特徴だ。

このような動画を作成する方法には、大きく分けて二種類ある。一つは「Image-to-video」という手法で、これは一枚の写真と「男性がスピーカーを持ってクラブの外でフリースタイルしている」といった指示（プロンプト）を与えることで、全く新しいシーンの動画を生成するものだ。しかし、この方法ではカメラワークや背景、タイミングなどが元の動画とは異なってしまうため、流行している「Bulin 47 AI動画」とは少し違うものになる。もう一つは「Video editing（Subject replacement）」という手法で、元の動画を「参照クリップ」としてAIに与え、そこにユーザーの写真を加えることで、元の動画の中の一人の人物を写真の人物に置き換える。この方法だと、カメラの動きや背景、照明、リズムが元の動画と寸分違わず保たれるため、人々が期待する「Bulin 47 AI動画」を作成できる。今回の開発では「Seedance 2.5」という技術の編集モードを使い、この参照クリップ方式を採用している。

開発者がこの技術を実際に提供する中で、最も難しかったのは、生成された動画の顔が、ユーザーが提供した写真の人物に「そっくりに見える」ようにすることだった。多くのユーザーが「自分に似ていない」と不満を述べたという。この課題に対し、開発チームはいくつかの教訓を得た。

第一の教訓は、「参照クリップから音声を削除する」ことだった。最初の試みでは、オリジナルの音声を含んだ参照クリップを使うと、AIモデルが動画の生成を拒否してしまう問題が発生した。この解決策は非常にシンプルで、音声を含まないサイレントな参照クリップをAIモデルに渡し、音声なしで動画を生成することだ。もし元の音声が必要な場合は、動画生成後にMP4ファイルに後から追加する。これは、元の動画の音声トラックを、生成された映像トラックに結合する作業で、再エンコード（動画の品質を損なう変換）は不要だ。

第二の教訓は、「置き換える人物をAIに正確に伝える」ことだ。Bulin 47の元の動画には、彼以外にも複数の人が映っている。もしAIへの指示（プロンプト）が単に「男性を置き換えて」という曖昧なものだと、AIは誤って別の人物を選んでしまうことがあった。これを避けるためには、置き換えたい人物を名前ではなく、その位置や服装で具体的に記述する必要がある。例えば、「ポータブルスピーカーを持っている人物の後ろに立っている、薄いピンクのシャツを着たパフォーマー」といった具体的な指示を与えることで、AIは正しい人物を特定できるようになった。

第三の教訓は、「サングラスが閉じた目を引き起こす」という問題だ。Bulin 47は元の動画で黒いサングラスをかけている。AIがそのサングラスを取り除いて新しい顔を生成しようとすると、目がどのように見えるべきか分からなくなり、初期の動画では目が閉じているか、半分閉じているような顔が生成されることが頻繁にあった。この問題は、プロンプトに「彼の目ははっきりと開いていて自然で、通常のまばたきをし、カメラと群衆を見ている。彼は写真でサングラスをかけている場合にのみサングラスを着用している」という一文を追加することで、ほとんどのケースで解決できた。これは、AIに具体的な視覚的特徴と条件を明確に指示することの重要性を示している。

第四の教訓は、そして最も重要な点だが、「全身写真が『似ていない』という不満の主な原因である」ことだ。ユーザーからの最も多い苦情は、生成された顔が丸みを帯びていたり、元のパフォーマーの顔と平均化されてしまっているというものだった。アップロードされた写真と生成された動画を比較すると、このパターンの原因が明確になった。ユーザーは全身写真をアップロードすることが多く、その場合、顔が画像全体の幅のわずか5～10%程度しか占めていなかった。つまり、AIモデルは顔に関する非常に少ないピクセル情報しか得られず、その不足分を元のパフォーマーの特徴で補ってしまうため、似ていない顔が生成されてしまっていたのだ。また、元のBulin 47がよく笑うため、笑っている顔は一般的に幅広くなる傾向があり、これも影響していた。

この大きな課題に対し、開発チームは三つの改善策を実施した。まず一つ目は、ユーザーに対して「適切な写真」を提供するよう促すことだ。具体的には、高解像度で、胸から上が写っており、カメラに正面を向き、均一な照明の下で、サングラスをかけておらず、他の人が写っていない写真が良いと明示的に説明し、アップロード画面の横に良い例と悪い例を提示した。二つ目は、「ブラウザ上での写真の自動トリミング」機能の実装だ。ユーザーがアップロードした写真の顔が小さい場合、軽量な顔検出器（約0.5MB、ユーザーのデバイスで動作）を使って顔を検出し、胸から上の部分に自動でトリミングしてからAIモデルに送るようにした。これにより、ユーザーは最適な状態で写真を提供できるようになった。三つ目は、「顔のクローズアップを第二のリファレンスとして送信する」ことだ。同じユーザーの写真から、顔のクローズアップ部分（顔の幅の約1.8倍の正方形、髪、耳、顎などを含む、1024×1024ピクセルにリサイズ）を切り出し、これを[Image2]としてAIモデルに送るようにした。そして、プロンプトで「[Image1]と[Image2]は同じ人物を示しており、顔は[Image2]と一致しなければならない」と指示した。この方法により、単一の写真を使うよりもはるかに高い類似性が得られることが、比較テストで確認された。

第五の教訓は、「顔を肯定的に記述する」ことの重要性だ。開発チームが最初に顔の類似性を高めるために使ったプロンプトは、「元のパフォーマーと混同するな」「顔を丸くするな」といった否定的な指示ばかりだったが、これではほとんど結果が変わらなかった。そこで、これを肯定的な記述に書き換えたところ、より良い結果が得られた。例えば、「彼の顔は[Image2]と全く同じである：同じ顔の形、目、眉毛、鼻、唇、顎のライン、顔の毛、肌の色である。彼の髪型と服装は[Image1]と一致する。彼が微笑んだり、笑ったり、頭を向けたりするあらゆるフレームで、彼が同じ人物として明確に認識できる」といった具体的な指示が効果的だった。これは、AIに「何をすべきか」を明確に伝えることの重要性を示している。

第六の教訓は、「解像度と動画の長さ」に関するものだ。元のクリップの解像度が480pの場合、動画内の顔の幅は数十ピクセル程度にしかならず、細部が表現されにくいという問題があった。HD（高解像度）出力にすることで、より多くの顔のディテールが保持されるようになった。また、動画が長くなると、時間の経過とともに写真の人物との類似性が失われやすくなる傾向があった。例えば、15秒の動画の方が30秒の動画よりも、写真に似た状態を維持しやすい。最後に、動画の生成には時間がかかること（15秒のクリップで約10分、30秒ではさらに長い）も重要な考慮点だ。ユーザーが生成中にページを閉じても、完了時にメールで通知を受け取れるようにすることで、多くのユーザーが「壊れている」と誤解するのを防ぐことができる。

AI技術を利用する上での責任ある利用についても述べられている。これはシステムエンジニアを目指す皆さんも常に意識すべき点だ。具体的には、自分自身の写真、または利用に同意した成人の写真のみを使用し、著名人や公人の写真は使用しないことが求められる。また、AIによって生成された動画であることを、投稿時に明記することも重要だ。

これらの教訓は、単にAI動画を作成する技術的な話に留まらない。AIを開発し、ユーザーに提供する際に、どのような問題が発生し、それをどのように分析し、具体的な技術的・運用的な解決策を講じていくかという、システム開発のプロセス全体を示している。特に、ユーザーのフィードバックを真摯に受け止め、AIモデルの挙動を深く理解し、プロンプトの記述方法から画像の処理方法、UI/UXの改善に至るまで、多角的にアプローチしていく姿勢は、今後のAI開発において非常に重要となるだろう。