【ITニュース解説】Building a Licensed Anime Upscaling Test Set in Public

超解像技術とは、解像度の低い画像をコンピュータの力で、より鮮明に、より大きくする技術のことである。特にアニメの画像を超解像する技術は、美しいイラストやキャラクターを扱うため、非常に繊細な処理が求められる。しかし、これまでの超解像技術のデモンストレーションは、一枚の劇的な壁紙拡大を示すことが多く、見た目のインパクトはあっても、実際に技術がどれだけ優れているかを厳密に評価する「受け入れテスト」としては不十分な側面があった。

例えば、あるモデルがキャラクターの線画を驚くほどきれいにしても、その隣にあるはずの単色（フラットカラー）の部分を不自然にしたり、漫画で使われる点々模様（スクリーントーン）を潰してしまったり、あるいは透明な部分を持つ画像（透過PNG）の周りに余計な色の縁（フリンジ）を作り出してしまったりするような問題が起こることがあった。このような問題は、見た目の派手なデモでは気づきにくいが、実際のサービスに導入する際には重大な品質低下につながる。そこで、私たちは、このような隠れた失敗を事前に見つけ出すための、より厳格なテストセットを構築する必要があると考えた。

このテストセットは、新しい超解像モデルを開発するのではなく、まず「どのような失敗が起こりうるか」と「どのような画像をソースとして使うか」という点に焦点を当てて作られた。私たちは、外部のクリエイターが作成し、テストや公開が許可されているライセンスを持つ、信頼できる18枚の画像を収集した。最初の公式なテストスイートでは、現代のアニメやイラストから選ばれた15枚の画像を使い、「加工されていないきれいな状態」「JPEG形式で品質70に圧縮された状態」「JPEG形式で品質40に圧縮された状態」という3つの異なるバリアントを用意した。これにより、合計45通りのテストが可能となる。さらに、コスプレ写真や印刷物の写真、歴史的な木版画といった「モダンアニメ」の枠には収まらない画像もいくつか含めた。これらは、テストの境界線を広げ、多様な入力に対するモデルの挙動を確認するために役立つ画像である。

実際にテストセットに含まれる画像は、非常に多様である。例えば、アニメでよく見られるセル画風や単色塗りのキャラクター画像（低解像度のJPEG画像も含む）、繊細でかすかな線画、鉛筆画やグレースケールの質感を持つ画像、透過PNG画像、細部まで描き込まれたデジタル壁紙、絵画のようなアニメ風イラスト、そしてグレースケール、スクリーントーン、カラーの3種類のバリアントを持つ漫画のポートレートなどが含まれる。漫画の3つのバリアントは、同じ構図を持つ画像であり、超解像の処理が通常のグレースケールの影、規則的なドットパターン、カラーのハイライトにそれぞれどのように作用するかを比較するために意図的に用意された。一方で、現在のテストセットには、ライセンスのある現代のアニメーションフレームや、より複雑な自然の背景、グラデーションが不自然になる「バンディング」の明確な例などがまだ不足していることも把握している。しかし、不足している部分を明記したテストスイートは、「どんなケースでも対応できる」と曖昧に主張するよりも、はるかに有用だと考えている。

このテストセットの重要な特徴の一つは、ライセンスの管理である。使用するすべての画像には、作成者、出典ページ、オリジナルのファイル、ダウンロードしたバージョン、寸法、ファイルのハッシュ値（SHA-256）、そしてライセンス情報が記録された台帳（マニフェスト）が存在する。利用が許可されるライセンスは、パブリックドメイン、CC0、CC BY、CC BY-SAなど、公開や利用が明確に認められているものに限られる。出所が不明瞭な画像は、公開するベンチマークには一切含めない。画像のライセンス情報は個々に異なり、たとえば「Share-alike（継承）」という条件のライセンスを持つ派生画像は、公開する際にも同じライセンス条件を維持する必要がある。このような地道な作業によって、私たちが公開する品質評価ページやダウンロード可能なデータ、ブログ記事などで、謎の出所不明のアニメアートではなく、実際の入力画像を自信を持って示すことができるようになる。

具体的な画像の劣化と超解像のテスト手順は以下の通りだ。まず、公式テストスイートに含まれる各モダンアニメの画像は、その最も長い辺が960ピクセルに収まるようにリサイズされる。これは、ブラウザでテストを行う際の負荷を軽減し、一貫した基準点を得るためである。次に、このリサイズされた画像を、元画像の4分の1のサイズに粗く（バイキュービック法という一般的な方法で）ダウンサンプルする。その後、このダウンサンプルされた画像を、必要に応じてJPEG形式で品質70または40で圧縮し、さらにそれを再びデコードする。最終的に、この劣化した画像を、実際にサービスで使われる超解像モデルに通し、元の4倍のサイズに戻す。

「加工されていないきれいな画像」と「JPEG圧縮された画像」のパスを分けることで、二つの異なる重要な疑問を検証できる。一つは「モデルがきれいな線画や単色を、余計な加工やダメージなしに拡大できるか」という点。もう一つは「JPEG圧縮で生じたノイズやブロック状の歪みを、あたかも本物のテクスチャであるかのように増幅してしまわないか」という点である。テストの結果は、PSNRやSSIMといった数値指標でリサイズ前の元画像と比較されるが、これらの数値が良いからといって、必ずしも見た目が「美しい」とは限らない。モデルが高いスコアを出しても、人間が見ればすぐに気づくような線画の破れが生じることもある。そのため、すべてのテストケースについて、特定の範囲を切り取った画像（固定クロップ）を用意し、さらに人間が目視で「合格」「注意」「失敗」「未評価」といった評価を行う。2倍の超解像パスも別途評価している。現在、私たちが利用しているClearPixという技術は、2倍の超解像を行う際に、一度4倍の超解像を行ってから結果をダウンサンプルするという処理をしているが、このような工夫やトレードオフも隠さずに開示している。

超解像の「失敗」とは具体的にどのようなものか。私たちは、アニメの視聴者が実際に気づきやすい点を中心に、以下の項目で評価を行う。線画が破れたり、太くなったり、二重になったりしていないか。きれいなエッジの周りに明るいまたは暗い余分な縁ができていないか。単色部分に変な合成されたテクスチャが現れていないか。スクリーントーンが消えたり、くっついたり、意図しない別のパターンに変化したりしていないか。グラデーション部分に不自然な縞模様（バンディング）が生じていないか。JPEG圧縮で生じるブロックノイズやモスキートノイズといった粗さが、かえって目立つようになっていないか。肌や髪、ハイライトの色が不自然に変化していないか。そして、透明なはずのピクセルが不透明になったり、透明部分の境界線（アルファエッジ）の周りに暗いまたは明るいフリンジが生じたりしていないか、などである。開発中に、私たちが使っている共通の超解像器が、全ての出力ピクセルに対して不透明を意味する「アルファ255」を書き込んでしまうことが判明した。これは、アニメ特化モデルだけで解決できる問題ではなく、アルファチャンネルは出力サイズで元画像から再構築し、RGBの色品質とは別に検査する必要があるという教訓も得た。

私たちは、超解像モデルが「素晴らしい」と主張する前に、このテストセットを公開することにした。現在、私たちが本番環境で使っているモデルは、realesr-general-x4v3という汎用的なモデルである。Real-ESRGANプロジェクトにはアニメに特化したモデルも存在するが、そのモデルがあるからといって、すぐにそのモデルが必要だとは限らないし、ファイル名に「アニメ」と入っているからといって、ブラウザでの動作において必ず優れているという証拠にはならない。

そのため、まずは汎用モデルでテストを行う。もしこの汎用モデルが、線画、単色、スクリーントーン、透明度、そして圧縮された入力画像を十分にうまく処理できるのであれば、私たちはよりシンプルな汎用モデルのパイプラインを維持する方針だ。もし主要なケースで失敗するようであれば、その時初めて、アニメに特化した別のモデルを検討する。その際も、同じ入力画像、同じ切り取り範囲、同じ処理時間、そして同じダウンロード容量という条件で、汎用モデルを上回る性能を発揮できるかを厳しく評価することになる。

私たちは、このような意思決定のプロセスが外部からも検証できるように、品質データと実際の出力画像を公開している。付随するベースラインレポートには、合格しなかったケースも含め、何が起こったのかが詳細に記録される。最終的に採用されるアニメ画像超解像モデルは、デモ用ではない、本番環境と同じパイプラインを使用することになる。

このようにテストセットを公開する目的は、超解像の品質評価に関する私たちのページが、曖昧な主張ではなく、具体的な「証拠」に基づいて事実を説明できるようにするためである。