【ITニュース解説】ROC-AUC vs PR-AUC: Why Rare Events Need More Than One Metric

AIモデルを評価する際、一つの指標だけでその性能を判断すると、実態を見誤り、予期せぬ問題に直面することがある。特に、発生頻度が非常に低い「希少なイベント」（レアイベント）を検出するシステムでは、表面上は高い評価値が出ていても、実際に運用してみると使い物にならないという状況に陥ることがある。例えば、山火事の際にソーシャルメディアから重要な投稿（避難指示、道路閉鎖、新たな危険情報など）を検出するシステムを想像してみよう。何千もの投稿が毎時間流れてくるが、そのほとんどは日常的な会話であり、本当に重要な情報はごくわずかだ。

このような状況は「不均衡なデータセット」と呼ばれ、検出したい対象（陽性クラス）がデータ全体のごく一部である場合に発生する。山火事の例では、10,000件の投稿のうち、重要な情報を含むのはわずか100件（1%）で、残りの9,900件（99%）は重要ではない投稿である。これは詐欺検知、サイバー攻撃の監視、機器の故障予測など、多くの現実世界の課題で頻繁に見られる。もしモデルが単純に「全ての投稿は重要ではない」と予測するだけであれば、99%という高い精度を達成できてしまうが、これは本当に重要な100件の投稿を一つも見つけられないため、実用上は全く意味がない。このことから、使用する評価指標が、解決しようとしている問題の本質を反映していることが極めて重要であるとわかる。

ここで、代表的な二つの評価指標であるROC-AUCとPR-AUCについて見ていこう。まず、ROC-AUC（Receiver Operating Characteristic - Area Under the Curve）は、モデルが陽性の例と陰性の例をどれだけうまく区別してランク付けできるかを示す指標である。これは、真陽性率（再現率や感度とも呼ばれ、実際に陽性であるものの中から正しく陽性と判断できた割合）と偽陽性率（実際に陰性であるものの中から誤って陽性と判断してしまった割合）の関係を図にしたROC曲線の下の面積で表される。ROC-AUCが1.0に近いほど完璧なモデルであり、0.5はランダムな予測とほぼ同じ性能を示す。しかし、偽陽性率の計算では、分母にすべての陰性データが含まれるため、陰性データが非常に多い希少なイベントのケースでは、偽陽性率がたとえ小さな値であっても、実際には誤検知の絶対数が膨大になる可能性があるという限界がある。

これに対し、Precision-Recall（PR）曲線は適合率（Precision）と再現率（Recall）の関係を図にしたもので、その下の面積であるPR-AUC（またはAverage Precision、平均適合率）は、特に不均衡なデータセットにおける誤検知の実用的な影響をより明確に示す。適合率とは、「モデルが陽性と予測したもののうち、実際に陽性だった割合」を指す。再現率とは、「実際に陽性であるもののうち、モデルが陽性と予測できた割合」を指す。PR-AUCは、モデルが陽性予測をどれだけ信頼できるか、またどれだけ多くの陽性を見つけられたかのバランスを捉えるため、希少なイベントの検出においてより実用的な側面を評価する。

この二つの指標がどのように異なる結果を示すかを、具体的な数値例で検証してみよう。全10,000件のソーシャルメディア投稿のうち、重要な情報（陽性）が100件、重要ではない投稿（陰性）が9,900件というデータセットを考える。このデータに対して、モデルが以下のような予測スコア（高いほど陽性の可能性が高い）を出したと仮定する。9,900件の陰性投稿のうち495件が、全ての陽性投稿よりも高いスコア（0.90）を持ち、残りの9,405件の陰性投稿は低いスコア（0.10）を持つ。一方、100件の陽性投稿のうち80件は中高スコア（0.80）、残りの20件は中スコア（0.60）を持つとする。

このモデルのROC-AUCは0.95という非常に高い値を示した。これはモデルが陽性・陰性を区別する能力が高いように見えるため、一見すると優れたモデルだと判断できるかもしれない。しかし、PR-AUC（Average Precision）は0.1449と非常に低い値だった。さらに、スコア0.5を閾値として「陽性」と判断した場合の結果を見てみよう。実際に陽性で、モデルも陽性と予測した数（真陽性）は100件だった。これは全ての重要な投稿を見つけられたことを意味し、再現率は100%だ。しかし、実際は陰性なのに、モデルが陽性と誤って予測してしまった数（偽陽性）は495件もあった。つまり、重要ではない投稿を500件近くも誤って「重要」と判断してしまったのだ。この場合、モデルが「重要」とフラグを立てた投稿は合計で595件（真陽性100件＋偽陽性495件）になる。この595件の中で実際に重要なのはわずか100件だけなので、適合率は約16.81%（100 / 595）と非常に低い。これは、モデルは全ての重要なケースを見つけたものの、フラグが立てられた投稿の8割以上が実際には重要ではない、ということを示している。災害対応チームが595件の投稿を一つずつ確認しなければならないとしたら、その作業負担は非常に大きいだろう。この例は、ROC-AUCが非常に高くても、PR-AUCが低く、多くの誤検知が発生することで、運用上の課題が顕在化する可能性を示している。

ROC-AUCとPR-AUCのどちらを重視すべきかは、解決しようとしている問題の性質と、誤り（誤検知や見逃し）のコストによって異なる。ROC-AUCは、閾値に依存しないモデルの全体的なランキング性能を評価するのに優れており、陽性・陰性の両方のクラスが同等に重要な場合に有効である。一方、PR-AUCは、陽性クラスが希少であり、かつ誤検知（偽陽性）が運用上大きな負担となる場合に特に力を発揮する。例えば、緊急事態において一つでも重要な情報を見逃すのが非常に危険な場合（見逃しのコストが高い）は、再現率を最大化するために多少の誤検知は許容できるだろう。しかし、人間のレビュー能力が限られており、誤検知が多いとシステムが麻痺してしまう場合（誤検知のコストが高い）は、適合率の高いモデルが求められる。このように、単に高いAUC値を目指すだけでなく、エラーのコストを考慮して最適な閾値と評価指標を選択することが重要だ。

この考え方は、ソーシャルメディアの異常検知やファクトチェックに応用できる。異常検知システムは、「何か通常とは違う投稿がある」という信号を出す役割を果たすが、これは必ずしも「その投稿が誤情報である」という意味ではない。異常を検出することと、内容の真偽を検証することは異なるタスクであり、それぞれのシステムは異なる責任と評価基準で評価されるべきである。

結論として、希少なケースを扱う場合、一つの指標だけでモデルの性能を判断するのは危険である。クラスの分布を常に確認し、ROC-AUCだけでなく、PR-AUC、適合率、再現率、そしてどの種類の誤りがどれだけ発生したかを示す混同行列など、複数の指標を組み合わせてモデルを評価することが重要である。そして最も重要なのは、モデルが支援する実際のタスクと、発生しうるエラー（誤検知や見逃し）のコストを考慮して、最適な閾値と評価方法を選択することである。単に高いスコアを出すだけでなく、そのスコアが実際に何を意味し、何がまだ不確かであるかを理解することが、AIを活用した意思決定において不可欠となる。