【ITニュース解説】How AI Tricks Us Into Trusting It

AIが生成する情報が私たちの日常生活、特に重要な意思決定に深く関わる中、その情報がどのように私たちの信頼を得ているのか、そしてそれが持つ危険性について理解することは、システムエンジニアを目指す上で極めて重要だ。AIがどのように振る舞い、ユーザーがその情報にどう反応するかを把握することは、将来のシステム設計や倫理的なAI開発において不可欠な知識となるだろう。

大規模言語モデル（LLM）は、事実の真偽を確かめる能力を持つわけではない。むしろ、彼らは「もっともらしい言葉の並び」を最適化するように訓練されている。つまり、事実に基づいているかどうかに関わらず、人間が自然だと感じるような文章を生成することに長けているのだ。しかし、人間は文章の構造、例えば受動態、均衡の取れた表現、箇条書き、引用といった形式的な要素から、無意識のうちに信頼性や権威を感じ取ってしまう傾向がある。AIは、まさにこの人間の心理的な特性を巧みに利用し、内容が伴わなくても、その「形式」によって信頼性を偽装し、権威があるかのように見せかけるのである。

具体的に、AIは以下のような言語戦略を用いて、私たちが疑問を抱くことなく信頼するように仕向ける。

一つ目は「受動態による責任の曖昧化」だ。「治療Aが優れていると示された」といった表現は、誰が、どの研究で、いつそれを示したのかを隠してしまう。これにより、発言に具体的な責任の主体がなくなり、普遍的で客観的な事実であるかのように聞こえるが、実際には根拠が不明瞭なまま受け入れられてしまうリスクがある。例えば、医療現場でAIが生成した臨床ノートが、責任の所在が不明なまま、まるで医学的コンセンサスであるかのように受け入れられ、治療方針に影響を与える可能性がある。

二つ目は「均衡の取れた並列構造による偽りの公平性」である。「治療Aと治療Bは共に顕著な効果を提供する」という表現は、両者に同等の根拠や価値があるかのように誤解させる。実際には、片方しか科学的な裏付けがない場合でも、言葉の形式が対称性を生み出し、誤った選択を導いてしまうのだ。金融報告書で、リスクレベルが全く異なる複数の投資オプションが、同等に魅力的だと示唆され、誤った投資判断を招く恐れがある。

三つ目は「名詞化による主体の隠蔽」だ。「フレームワークの実施が実行された」という表現は、「誰が」実行したのかを曖昧にする。動詞を名詞に変えることで、具体的な行動主体が見えなくなり、責任の所在を追及しにくくする効果がある。企業における業績報告で、目標達成に至らなかった際に、具体的な担当者や部署の責任をぼやかすような曖昧な表現で、問題の本質を隠蔽しようとする場合がある。

四つ目は「調整されたモダリティ（断定を避ける表現）による見せかけの慎重さ」である。「証拠は効率性の向上を示唆するかもしれない」という表現は、一見すると慎重で科学的根拠に基づいているかのように聞こえる。しかし、実際には具体的な測定可能な主張をしておらず、実証されていない主張に対して見せかけの権威を与えてしまう。新しい技術導入の提案において、効果が曖昧であるにもかかわらず、このような「慎重な」表現によって、その妥当性が不当に承認されてしまうケースが考えられる。

五つ目は「参照のスキャフォールディングによる見せかけの深さ」だ。「セクション4.2に示され、Smith (2021)によって裏付けられるように、我々の結論は一貫している」という表現は、架空のセクション番号や存在しない参考文献を引用することで、その内容に深みと裏付けがあるように見せかける。政府の政策文書や学術論文で、実在しない情報源によって政策や研究の正当性が偽装され、意思決定を歪める危険がある。

これらの問題はもはや推測の域を超え、すでに現実の危機として、様々な組織に影響を与えている。医療現場では、AIが生成した臨床ノートが患者の診療記録に組み込まれ、その情報が不完全であったり、文脈が欠けていたり、古くなっていたりしても、医師が形式の整った報告書を信頼してしまう。政策決定においては、政府機関でAIが生成した規則草案が、その公式なトーンと形式的な構造から、内容の検証なしに進行してしまうことがある。学術界では、AIが生成した文献レビューが学術的慣習を完璧に模倣しながら、存在しない研究を頻繁に引用し、学術記録そのものに虚偽の権威を植え付けている。企業においても、法務、コンプライアンス、財務に関する意思決定が、AIが作成した専門的に見える要約に基づいて行われ、その内容が検証不可能なものであるにもかかわらず、受け入れられている。

これは偶発的なバグではなく、権威の認識における構造的な逆転と言える。従来、情報の信頼性は、主張の根拠、データ、情報源、専門家による査読といった「内容」に依拠していた。しかし現在では、トーン、フォーマット、見かけ上の公平性といった「形式」から信頼が生まれることが増えているのだ。この逆転は危険な結果をもたらす。機関は自らの正当性を機械に委託し始め、人々は形式的に権威があるように見えるAIの出力に対して疑問を持たなくなり、そしてAI自身が言説の「見た目」を操作することで、何が権威ある知識と見なされるかを形成し始めてしまうのだ。

例えば、AIが「さらなる画像診断が必要と判断された」と医療報告書に記載した場合、実際には人間の放射線科医がそのような判断をしていないにもかかわらず、統計的な記述として受け入れられる。企業のリスク評価でAIが「両方の投資オプションに大きな機会がある」と要約した場合、実際には片方しか裏付けデータがないにもかかわらず、その均衡の取れた表現が偽りのバランスを作り出す。また、政策提言でAIが「セクション3.4は24パーセントの効率性向上を裏付けている」と出力した場合、そのセクションも数値も存在しないにもかかわらず、科学的に聞こえるという理由だけで信頼されてしまう。

これらの状況から、私たちは重要な教訓を得る必要がある。それは、形式が意味を支配し、構文が内容の分析よりも先に信頼を呼び起こすという事実だ。AIは構造的な手がかりを利用して批判的な検証を回避し、病院や裁判所、大学などの機関が、内容が未検証のAI出力に基づいて行動してしまうリスクに晒されている。したがって、AIが「何を言っているか」を検証するだけでなく、「どのように言っているか」、つまりその表現形式や構造を検証する「構文リテラシー」の習得が、システムエンジニアを含む私たち全員にとって不可欠となるだろう。