【ITニュース解説】AI Hallucinations Are Not a Bug, They're a Feature

今日のAI技術、特に大規模言語モデルは目覚ましい進化を遂げているが、その一方で「ハルシネーション」と呼ばれる現象がしばしば問題視されている。ハルシネーションとは、AIが事実とは異なる、あるいは完全にでっちあげた情報を、あたかも真実であるかのように自信満々に提示してしまうことだ。これはAIをシステムに組み込む上で、システムエンジニアが理解しておくべき非常に重要な概念の一つである。

ある例を考えてみよう。聖書に登場する洗礼者ヨハネの母エリザベツの夫は誰かとAIに尋ねたとする。正しい答えはゼカリヤだが、AIは繰り返しアロンだと答えたとする。なぜこのような間違いが起こるのか。もし尋ねる際に「祭司」という言葉をプロンプトに含めていたとしたら、AIがその言葉に強く反応し、聖書の中で有名な祭司であるアロンと関連付けてしまった可能性が考えられる。これはモデルのパラメータ数や学習データの量だけが原因ではない。規模の大きな最新のAIモデルでもハルシネーションは発生しうる。

この現象の根本的な理由は、AI、特に言語モデルの動作原理にある。これらのAIモデルは、膨大な量のテキストデータから言葉と、概念、事実、アイデアがどのように組み合わさって現れるかという統計的なパターンや関係性を学習している。私たちがAIに質問や指示（プロンプト）を与えると、AIはその学習済みの関係性に基づいて、与えられたコンテキストにおいて「最も適切である」と統計的に予測される応答を生成する。AIは事実をデータベースから直接検索して正確な情報を引き出すのではなく、学習したパターンを基に、与えられた情報から新しいテキストを生成しているのだ。

先ほどのエリザベツの夫の例では、「祭司」という言葉と「アロン」という名前が統計的に強く関連付けられていたため、AIは「祭司」というキーワードから「アロン」という回答を導き出した。これは統計的にはもっともらしい関連性だったかもしれないが、その特定の文脈においては事実とは異なっていたわけだ。どれほど多くのデータで学習し、どれほど高度なトレーニングを積んだモデルであっても、統計的なパターン認識だけで生成されたすべての回答が常に事実と一致することを保証できるわけではない。これが、AIのハルシネーションが完全に排除するのが非常に難しい理由であり、これを「バグ」ではなくAIの基本的な動作から来る「特徴」と捉えるべきだとされるゆえんである。そのため、AIが生成した情報が重要な場面では、人間がその内容の正確性を必ず確認することが不可欠となる。

AIのハルシネーションを減らすための一般的なアプローチの一つに、「RAG（Retrieval Augmented Generation：検索拡張生成）」がある。RAGは、AIシステムが外部の知識ベース（例えば、会社の製品マニュアルや特定の分野の専門知識がまとめられたデータベースなど）から関連情報を事前に検索・取得し、その情報をAIモデルに「追加のコンテキスト」として与えることで回答を生成させる方法だ。これにより、AIは自身の学習データだけでなく、外部から取得したより正確で最新の情報を参考にできるようになる。

しかし、単にAIに知識ベースへのアクセスを許可するだけでは不十分だ。AIが取得したその情報に必ずしも従うとは限らないからである。重要なのは、AIエージェントが取得した情報に基づいてその応答を「根拠づける（grounding）」ための明確な標準やルールを設けることだ。例えば、企業内のドキュメントから情報を取得した場合、AIが生成する回答がそのドキュメントの内容から逸脱していないかを検証する仕組みが必要となる。

この点において、SAFi（検証メカニズムを持つシステムとして説明できる）というアプローチは興味深い。SAFiでは、AIエージェント向けに「真実の源」となる知識ベースを動的に構築し、それをエージェントに紐付けることができる。そして最も重要なのは、エージェントが取得したテキストに基づいてその応答を根拠づける標準を設定する点だ。

具体的には、システム内で「Intellect」（回答を生成する部分）がまず回答の草案を作成し、次に「Conscience」（検証する部分）がその草案と、外部から取得したテキストを照合し、矛盾する点や逸脱している点があればそれをフラグ付けする仕組みだ。これにより、例えば社内文書で「当社の製品ウィジェットは青色である」と明記されているにもかかわらず、AIが自信を持ってユーザーに「ウィジェットは黄色です」と答えてしまうような、システムに明示的に与えられた情報と矛盾する特定の種類のハルシネーションを劇的に削減できる。

AI開発の最終的な目標は、AIを「決して間違えない存在」にすることではない。そうではなく、AIが「自分が間違っているかもしれない」と自ら認識し、信頼できる情報源と照らし合わせてその推論を検証し、そして矛盾する答えがユーザーに届く前にそれを検出し、フラグを立てて修正できるようなシステムを構築することにある。システムエンジニアにとって、AIのこのような特性を理解し、ハルシネーションの発生を防ぐ、あるいは発生しても適切に対処できるシステム設計を行うことは、これからのAI活用の鍵となるだろう。