【ITニュース解説】Same matte, MSE 1.41 or 9.03: what a matting report has to state first

この記事は、画像や動画から特定の被写体を背景から正確に切り抜く技術である「マッティング」の評価方法について、その報告の仕方が極めて重要であることを指摘している。システムエンジニアを目指す上で、開発したシステムの性能を正しく評価し、その結果を他者に正確に伝える能力は不可欠だが、マッティングのような技術では、単に数値だけを並べるだけでは不十分で、かえって誤解を招く危険性があるという。

筆者は、あるマッティング評価のテスト結果を検証している中で、MSE（平均二乗誤差）という評価指標の数値が提示されても、それがどのような条件で算出されたものか分からず困惑した経験から、評価レポートがまず明確にすべき三つの点を挙げている。それは「各評価指標がどの範囲（領域）をカバーしているか」「各評価指標がどのように正規化（数値のスケール変換）されているか」「そして、正解データ（グラウンドトゥルース）がどこから来たのか」という三点だ。これらの情報が欠けていると、たとえ同じマッティング手法の同じエラー数値を扱っていても、全く異なる結論が導き出されかねないという。

まず、評価する領域が結果に与える影響は非常に大きい。記事の例では、同じマッティング処理で得られた結果に対して、フレーム全体を対象としたMSEが1.41だったのに対し、被写体の輪郭部分（「エッジバンド」と呼ばれる領域）のみを対象としたMSEは9.03になったと報告されている。同じ誤差を測っているにもかかわらず、その値が6倍以上も違ってしまったのだ。これは、MSEが誤差の「平均」を取る指標であるため、分母となるピクセル数が異なれば、当然ながら平均値も大きく変動するためである。エッジバンドとは、真のアルファ値（透明度を示す値）がほぼ不透明な部分（0.99以上）とほぼ透明な部分（0.01以下）をそれぞれ一定のピクセル数（ここでは7ピクセル）だけ縮小してできた、不透明でも透明でもない曖昧な境界領域を指す。このエッジバンドはフレーム全体の約15.8%を占めるに過ぎないが、マッティングの成否は主にこの領域で決まる。しかし、この評価領域の定義（閾値や縮小サイズ）が明確でなければ、他の人が同じ条件で再現することもできない。 また、SAD（差分絶対値和）のような合計値を出す指標では、領域によってエラーが「隠れてしまう」可能性もある。例えば、あるクロマキー処理では、フレーム全体のSADが93.37だったのに対し、エッジバンドのみのSADは40.65だった。これは、誤差の半分以上がエッジバンド以外の領域に存在していたことを示唆しており、もしエッジバンドのみを評価対象としていたら、その大きな誤差を見落としてしまっていたことになる。

次に、評価指標の正規化方法も重要な要素だ。SADは総和を1000で割っており、解像度が上がれば値も大きくなる。MSEは1ピクセルあたりの平均値だが、内部的な生の値とレポートで表示される値で1000倍の差がある場合がある。このようなスケール変換の有無や方法は、同じ数値でも意味合いを大きく変える。 特に時系列的な変化を測る指標では、正規化の仕方が結果を完全に逆転させてしまうこともある。記事では、dtSSDという時系列の安定性を示す指標と、ピュアなフリッカー（ちらつき）を測る指標が比較されている。グラウンドトゥルースのエッジバンドにランダムノイズを乗せただけの「ピュアなフリッカー」のコントロール結果が、dtSSDでは1.93と最も低い（つまり最も安定している）と評価された一方で、フリッカー指標では11.844と最も高い（最もちらつく）と評価された。これは、ノイズが乗っているのはエッジバンドの約15.8%のピクセルだけなのに、dtSSDがフレーム全体のピクセル数で割って平均化してしまうことで、ノイズの影響が「希釈」されてしまい、結果的に安定しているように見えてしまったためだ。このように、評価対象の範囲をどう設定するか、そしてその数値をどのようにスケーリングするかによって、評価結果の解釈は大きく変わってしまう。

最後に、正解データ（グラウンドトゥルース）の出所も明確にすべき点である。今回のテストでは、手作業で作成された正解データではなく、RVM ResNet50という別のAIモデルが出力したアルファマットが正解データとして用いられている。これはつまり、「真に正しい」アルファマットではなく、「あるAIモデルが生成したアルファマット」が正解とされていることを意味する。もし正解データを作成したモデル自体が髪の毛の切り抜きで誤りがあった場合、その誤りも正解データとして引き継がれてしまう。また、評価対象のAIマッティングモデル（RVM MobileNetV3）が、正解データを作成したモデルと同じファミリーのモデルであるため、AIグループに有利なバイアスがかかっている可能性も否定できない。さらに、背景画像も評価結果に影響を与える重要な要素であり、異なる背景を使用すればそれは異なるテストとなるため、正解データの説明には背景の情報も含まれるべきだ。

これらの詳細を評価レポートの冒頭に明確に記載することで、初めてその評価結果が他の結果と比較可能になり、第三者がその妥当性を判断できるようになる。数値の羅列だけでは何も語れないことを、この事例は強く示唆している。システムエンジニアにとって、技術的な成果を正しく評価し、その条件を明確に伝えることの重要性は、マッティングの分野に限らず、あらゆる開発において共通する基本原則だと言えるだろう。