敵対的サンプル(テキタイテキサンプル)とは | 意味や読み方など丁寧でわかりやすい用語解説

敵対的サンプルとは、機械学習モデル、特に深層学習モデルが誤った判断を下すように、ごくわずかな変更が加えられたデータのことである。人間がそのデータを見ても、元のデータとほとんど区別がつかないほどわずかな改変であるにもかかわらず、AIにとっては全く異なるものとして認識され、誤分類や誤検出を引き起こす可能性がある。これはAIシステムの信頼性やセキュリティ、安全性を脅かす深刻な問題として認識されている。例えば、猫の画像に人間の目には見えないような特定のノイズをわずかに加えることで、AIがその画像を「犬」や「鳥」と誤って識別してしまうような現象が、敵対的サンプルの典型的な例として挙げられる。

この現象は、AIが人間とは異なる方法でデータを「見て」学習していることに起因する。AIモデルは、大量のデータからパターンや特徴を抽出して学習を進めるが、その過程で学習データに含まれる特定の微細な特徴やノイズに対しても敏感に反応するように最適化されてしまうことがある。敵対的サンプルは、このAIモデルが持つ特性を逆手に取り、モデルの「弱点」を突くように設計される。具体的には、モデルが特定の入力をどのように分類するか、その分類の根拠となる内部の「勾配」情報を利用して、最も効果的にモデルを騙せるような微細な摂動（ノイズ）を計算し、元のデータに加える。この摂動は、モデルが学習した高次元空間における決定境界を意図的に超えさせるように最適化されるため、人間には感知できないわずかな変化であっても、モデルにとっては分類結果が大きく変わる決定的な要因となる。

敵対的サンプルにはいくつかの種類がある。最も一般的なのは、画像データに微小なノイズを加える「摂動型」の敵対的サンプルである。これは、元の画像に人間の目には見えないランダムに見えるノイズを加えることで、AIモデルが元の画像を全く別のクラスとして認識するように仕向ける。また、単に誤分類させるだけでなく、特定の目標クラスに分類させるように設計された「標的型」の敵対的サンプルと、とにかく正しくないクラスに分類させようとする「非標的型」の敵対的サンプルが存在する。さらに、デジタルデータだけでなく、物理世界で機能する敵対的サンプルも研究されている。例えば、自動運転車のカメラが認識する道路標識に特定の模様のステッカーを貼ることで、停止標識を速度制限標識と誤認させたり、衣服に特定のパターンを印刷することで、人物認識システムから自身の存在を隠したりといった事例が報告されている。これらは現実世界のAIシステムに直接的な脅威を与える可能性がある。

敵対的サンプルを生成する攻撃手法は、モデルの内部情報が攻撃者に知られているか否かによって、主に「ホワイトボックス攻撃」と「ブラックボックス攻撃」に分けられる。ホワイトボックス攻撃は、モデルのアーキテクチャや重み、学習アルゴリズムなどの詳細な情報が攻撃者に完全に開示されている場合に用いられる。この場合、攻撃者はモデルの勾配情報を直接利用して、非常に効果的な敵対的サンプルを効率的に生成できる。代表的な手法として、FGSM（Fast Gradient Sign Method）やPGD（Projected Gradient Descent）などがある。一方、ブラックボックス攻撃は、モデルの内部構造が攻撃者には未知であり、モデルへの入力と、その出力（例えば、分類結果や信頼度スコア）しか得られない場合に適用される。この種の攻撃では、モデルに多数のクエリを送信して出力の傾向を分析したり、他の既知のモデル（代理モデル）で敵対的サンプルを生成し、その「転移性」を利用してターゲットモデルを攻撃したりする手法が用いられる。

敵対的サンプルは、AIシステムのセキュリティと安全性に深刻な影響を及ぼす。セキュリティの観点では、顔認証システムが本人ではない人物を認証してしまったり、マルウェア検出システムが敵対的サンプルによって改変されたマルウェアを見逃してしまったりする可能性がある。安全性の観点では、自動運転車が歩行者や障害物を誤認識して事故につながるリスクや、医療画像診断支援システムが病変を見落としたり誤診したりするリスクが考えられる。これらの脅威は、AIシステムの社会実装を進める上で、その信頼性を大きく損なう要因となる。

このような脅威に対抗するための防御手法も多岐にわたる研究が進められている。最も効果的とされる防御策の一つに「敵対的学習（Adversarial Training）」がある。これは、通常の学習データに加えて、敵対的サンプルを意図的に生成し、それらをAIモデルに学習させることで、モデルが敵対的摂動に対しても頑健な（影響を受けにくい）判断を下せるように訓練する方法である。また、入力データに対してランダムなノイズ除去や圧縮、画素の平滑化などの変換処理を施すことで、敵対的摂動の効果を打ち消そうとする「入力変換」による防御や、敵対的サンプルであることを検知するための専用の検出器を追加する手法も研究されている。さらに、モデルの勾配情報を隠蔽したり、出力結果を複数の異なるモデルでアンサンブル（組み合わせ）したりすることで、単一モデルの弱点を補い、攻撃への耐性を高める試みも行われている。しかしながら、攻撃手法も日進月歩で進化しており、完璧な防御策はまだ確立されていないのが現状である。敵対的サンプルに関する研究は、AIシステムの頑健性とセキュリティを確保するために、今後も重要な課題であり続ける。