【ITニュース解説】The Serendipity Effect: Why 48% of AI Models Choose the Same “Random” Word

AI、特に文章生成モデルが「ランダムに」単語を選ぶというとき、我々はその選択が予測不能で多様であると想像しがちだ。しかし、最近の研究でAIのこのような「創造性」や「ランダム性」に対する驚くべき発見があった。それが「セレンディピティ効果」と呼ばれる現象である。この現象は、多数の異なるAIモデルが、特定の条件下で驚くほど高い確率で「同じランダムな単語」を選択するというものだ。具体的には、調査対象のAIモデルの約48%が、ある状況下で同じ単語を選んだという報告がある。これはAIが本当に多様な出力を生み出すのか、それとも見えない共通のパターンに縛られているのかという根本的な問いを投げかける。

システムエンジニアを目指す皆さんにとって、この発見はAIの内部挙動を理解する上で非常に重要だ。まず、なぜこのような現象が起こるのかを考えてみよう。

一つ目の大きな要因は、多くのAIモデルが共通の基盤の上に構築されている点にある。現在の主流である大規模言語モデルの多くは、「Transformer（トランスフォーマー）」と呼ばれる共通のアーキテクチャをベースにしている。このアーキテクチャは、文章のどの部分に注目すべきかを学習する「アテンション機構」が特徴で、非常に高い性能を発揮する。さらに、これらのモデルはインターネット上から収集された膨大なテキストデータ（例：Common Crawl、Wikipedia、書籍データなど）で訓練されている。これらの共通のアーキテクチャとトレーニングデータは、異なるAIモデルであっても、テキストの構造や単語の関連性について非常によく似た内部表現を持つようになる。つまり、彼らは世界をほぼ同じ「目」で見ているようなものだ。

次に、テキストをAIが処理する過程にも共通のパターンが存在する。AIが単語を理解したり生成したりする際、人間のように文字の並びとして直接扱うのではなく、テキストを「トークン」と呼ばれるより小さな単位に分割する。このトークン化のプロセスは、BPE（Byte Pair Encoding）などの標準的なアルゴリズムが使われることが多い。BPEは、頻繁に出現する文字の並びを一つのトークンとして扱うため、結果として多くのモデルで特定の単語やフレーズが同じトークンIDにマッピングされやすくなる。もし「apple」という単語がどのモデルでも同じトークンID「1234」として内部的に表現されるなら、その単語に関連する処理も似た経路をたどる可能性が高まる。

さらに、AIが次に生成する単語を選択する際の「サンプリング戦略」もこの現象に影響を与える。AIは次にどの単語を選ぶかを確率的に決定するが、ただ最も確率の高い単語を選ぶだけでは、生成される文章が単調になりがちだ。そのため、人間らしい多様な文章を生成するために、「トップKサンプリング」や「ニュークリアスサンプリング」といった手法が使われる。これらの手法は、ある確率分布の中からいくつか選択肢を選び、その中からランダムに一つを選ぶというものだ。しかし、もし特定の単語がこれらのサンプリング範囲に頻繁に含まれ、かつ高い確率を持つ場合、異なるモデルが異なるランダムシードで選択を行ったとしても、結果として同じ単語が選ばれる確率が高まることがある。これは、見かけ上「ランダム」に見えても、その背後にある確率分布に偏りがあるためだ。

そして、コンピュータにおける「ランダム」の概念そのものも関係している。コンピュータは真のランダム性を生成することはできず、「擬似乱数」を使用する。これは、ある初期値（シード）から特定の計算式に基づいて数列を生成するもので、シードが同じであれば常に同じ数列が生成される。異なるAIモデルが別々の「ランダムな」選択をしているように見えても、もし彼らが共有する何らかの内部状態や、共通して利用される擬似乱数生成器のパターンが存在すれば、結果として選択が収束する可能性がある。

このような「セレンディピティ効果」は、AIの「創造性」や「予測不可能さ」に対する我々の認識を根本から見直すことを促す。AIが生成するものが完全に自由で独立したものであるというよりも、既存のデータやモデル設計、アルゴリズムの制約の中で、ある種のパターンやバイアスを持って出力されている可能性を示唆する。これは、AIの出力が本当に多様であるか、また意図しないバイアスが含まれていないかを確認することの重要性を浮き彫りにする。

システムエンジニアとしてAIを開発したり、利用したりする際には、この現象を念頭に置く必要がある。例えば、多様なテキスト生成が求められるアプリケーションでAIを使う場合、AIが本当に多様な出力を生み出しているのか、それとも無意識のうちに特定のパターンに収束していないかを検証する仕組みが必要になるだろう。また、AIの出力が公平性や倫理的な側面に影響を与える場合、意図しないバイアスがモデルの「ランダムな」選択に潜んでいないか、より一層の注意を払って監視する必要がある。

この発見は、AIが単にデータを学習して結果を出すブラックボックスではないことを改めて示している。その内部のメカニズムを深く理解し、その限界や特性を把握することは、より信頼性が高く、より安全で、より有用なAIシステムを構築するために不可欠だ。AIが「ランダム」に選択しているように見えても、その背後には構造的な理由や確率的な偏りが潜んでいる可能性があることを常に意識し、批判的な視点を持ってAIと向き合うことが、未来のシステムエンジニアには求められるだろう。これはAIの進化とともに、我々人間のAIに対する理解も深めなければならないことを教えてくれる重要な一歩だ。