【ITニュース解説】Was TinyStories the Domain or the Vocabulary?

近年、ChatGPTのような大規模なAIモデルが注目を集めているが、その一方で「小さなAIモデルでも人間にとって役立つ振る舞いをさせられるのか」という研究も活発に進められている。この分野で特に注目されたのが「TinyStories（タイニーストーリーズ）」という研究だった。TinyStoriesは、非常に小さいAIモデルの一種であるTransformerモデルを使い、一貫性のある子供向けの物語を生成することに成功した。この研究で多くの人が記憶した特徴の一つは、そのモデルが約1,500語という非常に少ない語彙（使える単語の数）で学習・生成していた点だ。

このTinyStoriesの成功を受けて、AI研究者たちは「小さなモデルがうまく機能するための鍵はどこにあるのか」という疑問を抱いた。今回の筆者は、その疑問を解明するための一連の実験を行ってきた。以前の実験では、モデルが学習するデータの「ドメイン（分野）」を制限することの効果を検証した。例えば、AI論文のデータベースであるarXivの中から特定のカテゴリの論文だけに絞って学習させたところ、モデルの性能が著しく向上したのだ。具体的には、正解を言い当てる確率が3.7ポイント高まり、予測の難しさを示す「パープレキシティ」という指標が約1.8倍改善し、生成される文章が同じ表現を繰り返す「退化」現象も17分の1に減少した。この結果から、学習データのドメインを絞ることがモデルの性能向上に非常に有効であることが分かった。

そこで今回の実験では、先行研究とは異なる「語彙」という軸に焦点を当てた。ドメイン（学習データの分野）を固定したまま、モデルが利用できる語彙数を変えることで、TinyStoriesが少ない語彙で成功した理由を探ろうとしたのだ。研究者の当初の予想では、語彙数を制限することがモデルの学習を助け、性能向上につながるはずだと考えていた。

しかし、実験結果は予想とは全く逆だった。語彙数を制限することは、モデルの性能を向上させるどころか、約4ポイントも悪化させ、生成されるテキストの品質も著しく損なってしまったのだ。

この実験では、語彙数の制限がパフォーマンス評価に与える「公平性の問題」を解決する必要があった。語彙数が少ないモデルの場合、学習データにある単語がその語彙に含まれていなければ、その単語はすべて「<unk>」（unknown token、不明な単語のプレースホルダー）として扱われる。こうなると、次に<unk>が出てくる確率が高くなり、モデルは<unk>を予測することで見かけ上、正答率が高く見えてしまう可能性がある。これはモデルの本質的な能力とは関係なく、タスクが単純化されただけに過ぎない。この問題を避けるため、筆者はすべての実験条件において、最も語彙数が少ないグループ（約1,500語）に含まれる単語だけを正解とする、共通の評価基準を設定した。つまり、<unk>は決して正解とはならないようにしたのだ。この公平な評価方法を確立することが、今回の実験で最も重要な作業だったと筆者は述べている。この工夫がなければ、結果は逆転し、当初の予想が「確認された」かのように見えてしまったことだろう。

具体的な数値を見てみよう。今回の実験では、AI論文の抄録データ（約84万6千単語）を学習データとし、4層のTransformerモデルを使った。語彙数は1,500語、4,000語、8,000語の3段階でキャップ（上限設定）された。 結果として、1,500語に制限した場合、正解を言い当てる確率は0.211となり、4,000語（0.251）や8,000語（0.253）の場合に比べて、約4ポイントも低かった。予測の難しさを示すパープレキシティも、1,500語で75.9、4,000語で72.9、8,000語で86.4となり、4,000語の時が最も良い結果を示した。語彙数が少ないほど、学習データに<unk>として置き換えられる単語の割合（<unk>発生率）も高くなり、1,500語では18.5%にも達した。

さらに、生成されるテキストの品質も著しく悪化した。1,500語に制限されたモデルが生成したテキストでは、出力される単語の3分の1以上が<unk>だったのだ。新しい4つの単語の並び（4-gram）の出現率も大幅に低下し、同じ表現を繰り返す傾向が強まった。これは、TinyStoriesが達成したかった「有益な振る舞い」とは真逆の結果であった。 実際に生成された文章の例を見てみよう。 語彙数1,500語で生成された文章は次のようなものだ。 「we propose <unk> - guided <unk> , a multimodal adaptive multimodal <unk> framework for <unk> multimodal <unk> and <unk> <unk> analysis .」 これは、内容を示す重要な単語のほとんどが<unk>に置き換えられており、文法的な構造は残っているものの、具体的な意味を読み取ることは非常に難しい。 一方、語彙数8,000語で生成された文章は、多少不自然さはあるものの、文章として意味を理解できるものだった。 「we propose <unk> , a framework that combines long - horizon memory with a lightweight context model with adaptive memory . in this architecture , the model observes the user before the tool to a small fraction of the context …」

この結果から明らかになったのは、「語彙数を制限すること」が必ずしも学習を単純化するわけではない、ということだ。TinyStoriesが成功したのは、もともと「簡潔な言葉で書かれた」物語のデータを学習に用いたからである。この場合、学習データ内のすべての単語が何らかの意味を持ち、モデルは本当にシンプルな言語構造を学習できた。これは、データが「生成されるプロセス」自体がシンプルだったことを意味する。

しかし、今回の実験のように、もともと難しい専門用語で書かれたテキストの語彙を後から強制的に制限すると、それは単に「表現の制限」に過ぎない。重要な意味を持つ内容語がごっそり削除され、意味を持たない<unk>というプレースホルダーに置き換えられるだけなのだ。結果として残るのは文法的な骨格だけであり、そこに伝えたい情報は何もない状態となる。 つまり、「小さな語彙」という同じ表現が使われる場合でも、データが「本質的にシンプルに生成された」のか、あるいは「すでに存在する複雑なデータが無理やり制限された」のかによって、その効果は全く逆になるのだ。複雑なテキストに対してTinyStoriesのような効果を後から再現しようとしても、それはできない。本当にシンプルな言葉で書かれたデータを用いることが必要なのである。

とはいえ、今回の実験で得られた知見がすべて無駄だったわけではない。語彙数を4,000語にキャップした条件では、予測の難しさを示すパープレキシティが72.9と、3つの条件の中で最も良い結果を示した。正解を言い当てる確率も、8,000語の条件と統計的にほぼ同等だった。この事実は、モデルの「能力」を向上させる目的ではなく、「メモリ最適化」の観点から有用である可能性がある。AIモデルにおける「埋め込みテーブル」（単語を数値に変換して扱うためのテーブル）のサイズは語彙数に比例し、このテーブルが小さなモデルのパラメータの大部分を占めることが多い。そのため、語彙数を適切に制限すれば、モデルが占有するメモリ量を削減できる。これは、限られたリソースでモデルを動作させる場合に役立つ知識である。ただし、これは性能向上ではなく、あくまでメモリ効率化のための工夫であることを理解しておくべきだ。

今回の研究から得られる最も重要な教訓は、「Xを制限する」という表現が、実は全く異なる二つの操作を指す場合がある、ということである。一つは「データの生成プロセス自体を制限する」ことで、これによりデータが本質的にシンプルになる。もう一つは「すでに生成されたデータの表現を制限する」ことで、これはデータから情報が失われることにつながる。先行研究で成功した「ドメインの制限」は前者の例であり、今回失敗に終わった「語彙数キャップ」は後者の例だった。実験結果から具体的な文章の例を見るまで、この二つの操作が同じような効果を持つと誤解されがちだったのだ。

もう一つの重要な教訓は、実験を行う上での「公平な評価」の重要性である。実験のある条件が、タスクそのものを単純化してしまうような場合、その条件で得られた結果は、本質的な能力を反映していない可能性がある。このような偏りをなくすために、すべての条件で公平な評価基準を設定する（例えば、今回のように最小語彙に含まれる単語のみを評価対象とする）ことは、実験結果に意味を持たせる上で不可欠である。このわずかな工夫が、誤った結論を避ける上で決定的な役割を果たしたと言えるだろう。