【ITニュース解説】Do SNLI and MultiNLI share any examples? Ten reproducible censuses of gold-label integrity in NLI and QA benchmarks

AIモデルが賢く学習し、正確に性能を評価されるためには、その「先生」となるデータが非常に重要である。この「先生」の役割を果たすのが、AIモデルの学習や評価に用いられる「データセット」であり、そのデータセットに含まれる「正解ラベル」、通称「ゴールドラベル」である。もし、このゴールドラベルに矛盾や誤りがあれば、AIモデルは正しい知識を身につけることができず、また、その能力を正確に測ることも難しくなるだろう。今回の研究は、まさにこのゴールドラベルの信頼性に焦点を当てたものだ。

研究チームは、自然言語処理（NLI: Natural Language Inference）や多肢選択式質問応答（QA: Question Answering）といった分野で広く使われている主要なベンチマークデータセットを対象に、「ゴールドラベルの整合性」を検証した。整合性とは、データの矛盾がなく、一貫性が保たれている状態を指す。具体的には、以下の二つの観点からデータセットを調査した。

一つ目は「データセット内でのゴールドラベルの矛盾」である。これは、同じ質問や例がデータセット内に複数回登場するにもかかわらず、それぞれに異なる「正解」が付けられている状況を指す。想像してみてほしい。もし同じテスト問題に「A」という答えが正解とされたり、別の時には「B」という答えが正解とされたりしたら、試験を受ける生徒は混乱し、何が正しいのか分からなくなるだろう。AIモデルも同様で、自己矛盾した正解データで学習すると、その学習効果は大きく損なわれる。

二つ目は「異なるデータセット間での重複とそのラベルの一致」である。AIモデルの性能を高めるため、複数のデータセットを組み合わせて学習に用いることがある。例えば、SNLIとMultiNLIという二つのNLIデータセットを結合して「AllNLI」という大規模なデータセットを作ることが一般的だ。このとき、もしSNLIにもMultiNLIにも全く同じ質問が存在し、しかもそれぞれのデータセットで付けられた正解ラベルが異なっていたらどうなるだろうか。これもまた、モデルの学習に深刻な混乱を招くことになる。

研究チームは、これらの問題を探るために、非常に厳密な方法で10種類の調査（「センサス」と呼ぶ）を実施した。各調査は再現可能であることを重視し、まず手作業で作成した小さなテストケースを用いて期待される結果を確定させた後、実際の公式データセットに対して、外部からの影響を受けない閉鎖的な環境で実行した。調査における「例の同一性」の判断基準は、NLIデータセットでは「前提文と仮説文のペア」、QAデータセットでは「質問の幹と選択肢のセット」をテキストとして厳密に比較した。

今回の調査で得られた主な発見は以下の通りである。

まず、「データセット内でのゴールドラベルの矛盾」について、NLIデータセットであるSNLI、MultiNLI、ANLIの「学習データ（train split）」において、自己矛盾する重複ペアが実際に発見された。SNLIでは、厳密に同じテキストのペアが64件、空白や大文字小文字を無視して正規化した後に同じと見なされるペアが82件、それぞれ異なる正解ラベルを持つ矛盾として存在した。MultiNLIでも同様に、厳密に同じペアが83件、正規化後に同じと見なされるペアが86件、異なる正解ラベルを持っていた。ANLIでも、2件の厳密一致と3件の正規化後一致の矛盾ペアが見つかっている。これらの矛盾は、モデルが学習する際に、何が正しいのかを判断しにくくする要因となる。

しかし、これらの矛盾が全て「学習データ」に限定されていた点は注目に値する。研究チームが調査したすべてのデータセットにおいて、モデルの最終的な性能評価に使われる「開発データ（dev split）」や「テストデータ（test split）」には、このような自己矛盾する重複ペアは一切存在しなかった。これは、現在AIモデルの性能が評価されているリーダーボードのスコア報告にとっては安心材料だ。なぜなら、評価されるデータ自体は「クリーン」であり、矛盾によって不当にスコアが低くなる心配はないからである。しかし、これらのデータセットを使ってAIモデルを学習させる開発者にとっては、学習データに潜在的なノイズ（矛盾）が含まれていることを認識し、必要であれば重複排除などの対策を講じる必要があることを示唆している。

次に、「異なるデータセット間での重複」について、特にSNLIとMultiNLIという二つの有名なNLIデータセットの間に重複があるかどうかを調査した。これら二つのデータセットは頻繁に結合されて使用されるため、重複の有無は非常に重要な問題である。今回の調査の結果、SNLIの約56万件のユニークなペアとMultiNLIの約41万件のユニークなペアを比較したところ、厳密なテキスト一致でも、空白や大文字小文字を無視して正規化した後でも、両データセット間で「全く共通のペアが存在しない」ことが明確に示された。これは、SNLIとMultiNLIの著者が意図的にデータセットを分離して作成したという記述を、データレベルで初めて裏付ける結果となった。この発見により、両データセットを結合して「AllNLI」を作成しても、データセット間で新たな重複や矛盾が生じることはなく、既存の学習データ内の矛盾がそのまま引き継がれるだけであることが保証された。

NLIデータセット以外の多肢選択式質問応答データセットについても調査が行われた。BoolQ、PIQA、CommonsenseQA、GSM8Kといったデータセットでは、今回のような自己矛盾するゴールドラベルはほとんど見つからなかった。PIQAには一部重複する例があったが、それらの例には全て一貫した正解ラベルが付けられており、矛盾は確認されなかった。

今回の研究は、AIモデルの学習と評価の基盤となるデータセットの品質と信頼性を改めて浮き彫りにした点で、非常に重要な意義を持つ。特に、学習データに含まれる潜在的な矛盾は、モデルの性能に影響を与える可能性があるため、AIシステムの開発者は、使用するデータセットの特性を深く理解し、データの整合性を定期的に検証することの重要性を再認識する必要があるだろう。今回の調査で用いられた方法論やコード、結果は全て公開されており、誰もがその検証プロセスを追跡し、再現することが可能である。これは、AI研究における透明性と信頼性を高める上で模範的な取り組みであると言える。