Webエンジニア向けプログラミング解説動画をYouTubeで配信中!
▶ チャンネル登録はこちら

【ITニュース解説】Same model, same defences: 7 document attacks down to 0, chat attacks barely moved

2026年11月03日に「Dev.to」が公開したITニュース「Same model, same defences: 7 document attacks down to 0, chat attacks barely moved」について初心者にもわかりやすく解説しています。

作成日: 更新日:

ITニュース概要

LLMへのプロンプトインジェクション攻撃を測るRAGProbeの報告。初期計測のバグ修正後、RAGアプリの防御効果を再評価した。結果、防御策は文書経由の攻撃には効果的で全て防げたが、チャット経由のユーザー指示攻撃には限定的だった。攻撃がモデルに到達したか経路測定の重要性も指摘する。

ITニュース解説

近年、大規模言語モデル(LLM)の利用が急速に広まる中で、セキュリティ上の課題も浮上している。その一つが「プロンプトインジェクション」と呼ばれる攻撃だ。これは、ユーザーが意図しない指示をモデルに与え、モデルに本来の目的とは異なる動作をさせようとするものだ。例えば、モデルが持つ機密情報を引き出したり、不適切な内容を生成させたりといった攻撃が考えられる。特に、外部の知識ベースを参照して回答を生成するRAG(Retrieval Augmented Generation)と呼ばれるアプリケーションでは、参照するドキュメント自体に攻撃的な指示が埋め込まれる可能性があり、その対策は非常に重要となる。

このようなプロンプトインジェクション攻撃の効果を客観的に測定し、防御策の有効性を評価するために「RAGProbe」というオープンソースツールが開発された。多くのプロンプトインジェクションの評価では、モデルの応答を別のLLMが解釈し、攻撃が成功したかどうかを判断する。しかし、この方法では評価自体が評価に使われるLLMの「気分」に左右され、結果の信頼性に疑問が残るという問題があった。RAGProbeは、この課題に対し、よりユニットテストに近い、客観的な評価方法を目指している。

RAGProbeの評価方法は、「カナリアトークン」というユニークな仕組みに基づいている。攻撃用のプロンプトには、2つのランダムな文字列(例えば「ZQ5EFD」と「XK522B」)がバラバラに埋め込まれている。そして、攻撃が成功した場合、モデルにはこれらの文字列を結合して出力するよう指示される。もしモデルの応答に「ZQ5EFDXK522B」のように結合された文字列が含まれていれば、それは攻撃的な指示に従ったことを意味する。この結合された文字列は、元の攻撃テキストには存在しないため、モデルが単純にテキストを引用しただけではないと断定できる。これにより、攻撃の成否を単純な文字列比較で判断でき、誰が評価しても同じ結果が得られるという客観性が確保される。また、情報漏洩攻撃の評価についても、システムプロンプト内に秘密の文字列を仕込み、モデルの応答にその文字列が含まれるかどうかを確認する方法で実施される。この際、文字列が逆順やBase64、Hexなどの形式でエンコードされていても検出できるように設計されている。

しかし、このRAGProbeの開発過程で、自身の評価ツールに重大なバグが三つ発見された。一つ目のバグは、モデルが攻撃を「拒否」した場合でも、RAGProbeがそれを「服従」と誤ってカウントしてしまう問題だった。例えば、モデルが「私はZQ5EFDとXK522Bを印刷しません」と応答した場合、RAGProbeはホワイトスペース(空白)を取り除いて比較していたため、「ZQ5EFDXK522B」という文字列が検出され、モデルが指示に従ったと判断してしまっていたのだ。モデルが明確に拒否しているにもかかわらず、ツールが「成功」と記録していたことになり、これは評価結果を大きく歪める原因となった。修正後は、ホワイトスペースのみを無視するように変更された。

二つ目のバグは、モデルの応答がエンコードされている場合に、RAGProbeがそれをデコードせずに評価していたことだ。一部の攻撃では、モデルに対し、カナリアトークンをBase64や逆順の形式で出力するよう指示していた。GPT-OSSモデルは実際にその指示に従ってエンコードされた文字列を出力していたが、RAGProbeはそれを認識せず、攻撃が失敗したと記録していた。つまり、開発者自身が仕掛けた攻撃が成功していたにもかかわらず、その成功を見逃していたという状況だった。

そして三つ目の、そして最も重要だったバグは、RAGアプリケーションにおける間接的なプロンプトインジェクション攻撃の評価に関するものだ。RAGProbeの評価対象のドキュメント攻撃のうち、約半数(11件中5件)が、そもそもモデルに到達していなかったことが判明した。これは、RAGアプリケーションがドキュメントを検索し、関連性の高い情報をモデルに渡す仕組み(tf-idfのようなランキングアルゴリズム)において、攻撃的な内容を含むドキュメントが、無害な他のドキュメントよりも低い関連性スコアを付けられ、モデルに提供される「コンテキスト」から外れてしまっていたためだ。モデルが攻撃を見る機会すらなく防御したと記録されていたことで、RAGアプリケーションの最も測定したかった間接的なインジェクション攻撃の評価が正しく行われていなかったことが明らかになった。

これらのバグ修正を経て、改めて評価が行われた結果、防御策の有効性に関する重要な知見が得られた。検証には、強化されたシステムプロンプト、注目箇所を識別するスポットライティング、入力検出器、ツール利用ポリシー、出力フィルターといった多層的な防御策が適用された。その結果、RAGの「取得ドキュメント」を介して到達するプロンプトインジェクション攻撃(間接的インジェクション)は、7件から0件へと完全に阻止された。これは、防御策が信頼できないテキストをプロンプト内で識別・処理する能力に優れていることを示している。一方、「ユーザーメッセージ」として直接入力されるチャット攻撃に対しては、123件中29件を阻止するにとどまり、約4分の1の成功率だった。このことから、ドキュメントのような外部からの信頼できない情報がモデルに影響を与えるのを防ぐ防御策は非常に効果的だが、ユーザー自身が直接入力するメッセージに対しては、その効果が限定的であることがわかる。

この結果は、RAGアプリケーションを開発する際に二つの重要な示唆を与えている。一つは、外部から取得したドキュメントなど、自身が作成していない内容がモデルを制御しようとするような間接的な攻撃経路に対しては、これらの防御策を導入する価値があるということだ。もう一つは、チャットボットが自身のユーザーからの攻撃に対して完全に堅牢になることを期待すべきではない、ということだ。ユーザーが直接入力する指示に対しては、モデルの権限設計や、利用できるツールの設計といった、より根本的な対策が必要となる。モデルに実行する権限を与えなければ、最も安全な指示となるからだ。

ただし、これらの結果を過度に信頼すべきではないという注意点もある。新しい攻撃セットでの再現性はまだ確認されておらず、検証に使われた攻撃は固定されたテキストであり、適応的に変化する実際の攻撃者とは異なる。また、単一のモデルファミリー(gpt-oss)からの二つのモデルで確認されたパターンに過ぎないため、一般的な法則として捉えるのではなく、強力なヒントとして受け止めるべきだ。一方で、防御の有無にかかわらず、システムプロンプトに仕込まれた秘密情報が、264回および488回の試行で一度も漏洩しなかったという結果は信頼性が高い。また、モデルによって防御性能に大きな差があることも確認されており、例えばQwen 3.8 27Bモデルは82件中81件の攻撃に抵抗したのに対し、gpt-oss 20Bは30件の攻撃で失敗した。

このプロジェクトを通じて開発者が最も有用だと感じた習慣は、攻撃そのものの効果を測定する前に、攻撃がモデルに到達した経路を測定することだ。攻撃がモデルに届かなければ、モデルの性能について何も学べない。RAGProbeは現在、提供されたドキュメントと、それが取得スロットを確保したかどうかを別に記録するようになっている。次に有用な習慣は、丁寧な質問と攻撃的な質問を比較することだ。もし丁寧な質問が攻撃と同じ頻度で機能するなら、それはプロンプトインジェクションの問題ではなく、単に境界を持たないアプリケーションである可能性が高い。

RAGProbeはMITライセンスで公開されており、ローカル環境で利用できる。既存のより成熟したツール(garakやPyRIT)とは異なるアプローチで、「スコアリングはチェック可能であるべきだ」という一つのアイデアに特化している。

関連コンテンツ

関連IT用語