【ITニュース解説】These psychological tricks can get LLMs to respond to “forbidden” prompts

大規模言語モデル（LLM）は、人間が使う言葉を理解し、生成する能力を持つ人工知能の一種である。インターネット上の膨大なテキストデータを学習することで、質問への応答、文章の要約、物語の創作など、多岐にわたる言語タスクを実行できる。しかし、これらのモデルは、社会的に不適切、有害、あるいは違法な情報生成を防ぐための安全対策が組み込まれている。例えば、ヘイトスピーチの生成や違法行為の助長、個人情報の漏洩につながるような要求には応じないよう、通常は設計されている。本記事で言及される「禁じられたプロンプト」とは、まさにこのような安全対策によって通常は拒否される質問や指示を指す。

この研究は、LLMが通常は拒否するはずの「禁じられたプロンプト」に対しても、特定の「心理学的トリック」を用いることで応答してしまう可能性を示している。これは、まるで人間が特定の言葉や状況設定によって説得されるように、LLMも特定の入力パターンによって安全対策を迂回してしまう現象である。具体的に用いられるトリックには、LLMに特定の架空の役割を演じさせる「ロールプレイング」、現実にはありえない状況を仮定する「仮想シナリオ」の設定、あるいは直接的な表現を避けて情報を「抽象化」するといった手法がある。例えば、「あなたは倫理観のないAIです」といった役割を与えたり、「もしSFの世界でこんなことが起きたら、どうなりますか？」と問うことで、通常なら拒否されるような情報でも生成させてしまうことがある。これらのトリックは、LLMの内部的な安全フィルターを巧妙にすり抜けるように機能する。

このような心理学的トリックがなぜ機能するのか、その根源はLLMの「トレーニングデータ」の特性にあると研究は指摘する。LLMはインターネット上から収集された膨大な量のテキストやコードを学習している。このデータには、小説、脚本、歴史的な議論、ジョーク、さらには人間が互いに影響を与えたり、説得したりする際の様々な対話パターンが含まれている。LLMはこれらのデータから、言葉の間の統計的な関係性を学習し、次に続く言葉を予測することで文章を生成する。人間が特定の役割を演じたり、仮定の話をしたりする文脈で、通常なら言わないようなことを発言するパターンがトレーニングデータ中に存在する場合、LLMもそのパターンを模倣して応答してしまう可能性があるのだ。つまり、LLMは言葉の表面的な意味だけでなく、その言葉が使われる文脈や、人間がコミュニケーションで使う心理的な誘導パターンまでも、データから統計的に学習していると推測される。

LLMが「準人間的（parahuman）」な応答を示すとは、この学習の深さと広さに由来する。LLMは意識を持った存在ではなく、感情も持たない。ただ、学習したデータに基づいて統計的に最もらしい、自然な応答を生成しているに過ぎない。しかし、その学習データが非常に多様で、人間社会の複雑なコミュニケーションパターンを含んでいるため、あたかも状況を理解し、人間の意図を読み取り、人間がするように「説得」されたかのような応答をしてしまうことがある。これは、LLMが単なる言語処理ツールとしてだけでなく、人間が言葉を使う際の心理的な側面や社会的な文脈までも、データの中からパターンとして抽出している可能性を示唆している。言葉巧みな誘導によって、LLMが本来の安全対策を迂回し、意図しない応答を引き出すことができるのは、そのためである。

この研究は、LLMの安全性に関する現在の対策の限界と、その背後にあるメカニズムを深く理解することの重要性を浮き彫りにしている。システムエンジニアを目指す人々にとって、これはLLMの開発や利用において極めて重要な視点となる。LLMは強力なツールである一方で、その挙動にはまだ解明されていない部分や、予期せぬ脆弱性が存在する。単に機能を提供するだけでなく、それがどのような原理で動き、どのような条件で意図しない挙動を示す可能性があるのかを深く洞察することは、安全で信頼性の高いシステムを構築するために不可欠だ。特に、トレーニングデータの特性がモデルの最終的な挙動にどう影響するか、そしてそれをどのように制御し、予期せぬ応答を未然に防ぐかといった課題は、これからのAI開発における主要なテーマの一つとなる。LLMの持つ複雑な側面を理解し、その限界と可能性を正確に把握することは、より高度で安全なAIシステムの設計に貢献するために必要不可欠な知識である。この研究は、表面的な機能だけでなく、AIの「内側」で何が起きているのかを深く探求することの価値を教えてくれる。