【ITニュース解説】I tried removing burned-in text from videos with VideoDetext

デジタル動画の活用が当たり前になった現代で、動画に元々含まれているテキストや字幕が、後から動画を再利用したり編集したりする際に問題となるケースがしばしばある。例えば、オンラインストアを運営する友人の話では、既存の商品紹介動画を別のキャンペーンに使い回したい時や、動画の一部を修正したい時に、既に動画に固定された商品名や説明文といったテキストが邪魔になり、編集に手間取ることが多いという。このような「焼き付けられたテキスト」は、動画の一部として映像そのものに組み込まれてしまっているため、単純な編集ソフトでは簡単には消せない。通常、こうしたテキストを消すには、動画を一枚一枚の画像に分解し、テキストがある部分を周囲の映像で塗りつぶすといった非常に時間と手間のかかる作業が必要となる。これは「フレームごとの編集」と呼ばれ、動画の尺が長くなるほど非現実的な作業量になる。

このような課題を解決するため、開発者は動画からテキストを自動的に、かつ効率的に除去する方法を探し始めた。既存のツールや、様々なサービスが提供する「API（アプリケーションプログラミングインターフェース）」、つまりソフトウェア同士が連携するための窓口のようなものを試していく中で、Alibaba社が提供する「VideoDetext」という技術に出会った。これは、動画の中からテキスト部分を自動的に検出し、その部分を周囲の映像と自然になじませて消去する技術だ。

「VideoDetext」を実際に使ってみた結果、開発者がテストしていた動画の種類では十分な効果が得られたという。特に、オンラインストアで使うような、比較的シンプルな背景にテキストが表示されている動画では、テキストがきれいになくなり、まるで最初からテキストがなかったかのような動画が生成できた。また、この「VideoDetext」のAPIを直接利用するコストも比較的安価だったため、費用対効果の面でも魅力的だった。

しかし、「VideoDetext」のAPIは、主にプログラマーやシステム開発者が直接コードを書いて利用することを想定しているため、誰でも簡単に使えるものではなかった。そこで彼は、このAPIをもっと多くの人が気軽に利用できるように、シンプルな「Webインターフェース」を開発した。これが「Video Text Remover」というツールだ。Webインターフェースとは、ウェブブラウザを通じてソフトウェアの機能を利用できるような画面のことで、これを使えば複雑なプログラミングの知識がなくても、マウス操作だけで動画のテキスト除去ができるようになる。

現在の「Video Text Remover」を使ったワークフローは非常に分かりやすい。まず、テキストを除去したい動画ファイルをウェブサイトにアップロードする。次に、ツールが動画内のテキストを自動的に検出してくれるのを待つか、もし自動検出がうまくいかない場合や特定の領域だけを消したい場合は、ユーザーが手動でテキストの場所を選択する。そして、最後に処理ボタンをクリックすれば、テキストが除去された新しい動画が生成される仕組みだ。

このツールは非常に便利だが、まだ完璧とは言えない部分もある。彼のテストによると、テキストが比較的単調でシンプルな背景、例えば青空や壁、単色の背景などに表示されている場合には、非常に高い精度でテキストを除去できる。しかし、テキストが動画の中で動いている人や物、あるいは非常に細かい模様や複雑な風景といった詳細な背景と重なっている場合には、テキストが除去された後の部分が不自然に見えてしまうことがあるという。これは、テキストのあった部分を周囲の映像で「再構築」する際に、複雑な背景だと元の映像を正確に推測することが難しくなるためである。

このような難しいケース、特に動画全体を通してテキストが消えた部分が時間的に一貫して自然に見えるようにするには、さらなる技術的な工夫が必要だ。専門的には「動画のインペインティング」と呼ばれる、動画内の欠損部分を周囲の情報から補完する技術や、時間的な連続性を考慮してテキストを除去するモデルの改善が求められている。彼は現在、これらのより難しい課題に対する最善のアプローチを模索しており、もし同様の課題に取り組んだ経験を持つ開発者や研究者がいれば、どのような手法を試したか、どのような成果があったかといった情報共有を求めている。また、彼が開発した「Video Text Remover」の使い勝手や、出力される動画の品質に関するフィードバックも積極的に受け付けており、今後のツール改善に役立てたいと考えている。この挑戦は、デジタルコンテンツ制作の効率化という点で非常に重要な意味を持つものだ。