【ITニュース解説】Bigger AI models aren't always better: how a 70B model beat a 280B one by reading more

AIモデル、特に大規模な言語モデルの開発において、長らく「モデルを大きくすればするほど、性能が向上する」という考え方が主流であった。これは、モデル内部で調整される数値の数である「パラメータ」を増やすことで、AIの能力が高まるという理解である。パラメータはモデルの「脳のサイズ」とも言えるものであり、その数が多いほど賢くなる、という単純な認識が広がっていた。

しかし、2022年にDeepMindが発表した「Chinchilla」というAIモデルが、この常識に疑問を投げかけた。Chinchillaは700億個のパラメータを持つモデルであったが、DeepMindの既存モデルである2800億個のパラメータを持つ「Gopher」を性能で上回ったのだ。ChinchillaのサイズはGopherのわずか4分の1であるにもかかわらず、より高いスコアを達成したのである。

この性能向上の秘密は、Chinchillaが「より多くのテキストデータを読み込んで学習した」ことにある。ここでいう「トークン」とは、モデルが学習時に処理するテキストの塊を指し、モデルがどれだけ「勉強したか」の量と考えることができる。AIモデルの学習にかかる計算コストは、概ね「パラメータ数」と「トークン数」の積で決まる。そのため、使える計算予算が限られている場合、大きな「脳」に少ない「勉強量」を与えるか、小さな「脳」に多くの「勉強量」を与えるか、という選択が生じる。

2020年のOpenAIの研究（Kaplan et al.）では、パラメータ数、データ量、計算量を増やすとモデルのエラー率が予測通りに減少することが示され、限られた予算では非常に大きなモデルを少ないデータで学習させることが推奨されていた。しかし、2年後のChinchillaの論文（Hoffmann et al.）は、より慎重な検証の結果、異なる結論を導き出した。彼らの研究は、モデルのサイズと学習させるトークン数を比例させて増やすべきであり、モデルのサイズを2倍にするなら、データ量も2倍にするべきだと主張した。

Chinchillaの論文では、GopherとChinchillaをほぼ同じ計算予算で学習させたが、その予算の使い方が異なった。Gopherは2800億個のパラメータを持ち、約3000億個のトークンで学習され、知識テストMMLUで60.0%のスコアだった。これに対し、Chinchillaは700億個のパラメータでありながら、約1兆4000億個ものトークンで学習され、MMLUで約67.5%という高いスコアを達成した。ChinchillaはGPT-3などの他の大規模モデルも性能で上回ったのである。

この結果から、Chinchillaの論文が示した結論は、当時の多くの大規模モデルが「学習不足（undertrained）」であったというものだ。つまり、過剰に大きな「脳」を持っていたにもかかわらず、それに見合うだけの十分な「勉強」をしていなかったのである。この研究から得られた経験則として、「パラメータ1つあたり約20トークンの学習データが適切である」という目安が広く認識されるようになった。Chinchilla自身の学習データとパラメータの比率（1.4兆トークン / 700億パラメータ）も、まさにこの「20」という数値に合致している。この経験則と計算コストの式を用いることで、与えられた計算予算から最適なモデルのパラメータ数と学習トークン数を計算することが可能になった。

記事の筆者は、Chinchillaのような大規模モデルを自分で学習させることはできないため、自身のノートPC上で小規模な実験を行い、このパターンが異なるスケールでも再現されるかを検証した。筆者はPythonのソースコードをデータとし、数千から数百万パラメータを持つ小さなトランスフォーマーモデルを複数作成した。そして、複数の固定計算予算を設定し、各予算において、各モデルサイズで学習できる最大のトークン数を算出し、その分だけモデルを学習させた。つまり、計算コストを一定に保ちながら、大きなモデルには少ないデータを、小さなモデルには多くのデータを学習させたのだ。

35回の学習実行の結果、Chinchillaの論文が示すパターンが小規模な実験でも確認された。大きすぎるモデルは性能が著しく劣り、より小さなモデルがはるかに多くのテキストを学習した方が良い結果を出した。また、計算予算が増えるにつれて、最適なモデルのサイズも大きくなる傾向が見られた。さらに、最高の性能を示すモデルサイズは完璧に正確でなくとも、大きすぎなければ良好な結果が得られることも示唆された。

筆者はこの実験をもってChinchillaの数値を完全に検証したとは主張していない。筆者の実験は規模が小さく、データやモデルの種類、学習ステップ数など、大規模モデルとは異なる要因が影響している可能性があるためである。しかし、このような限界があるにもかかわらず、「固定予算において、大きすぎるモデルは性能が劣り、最適なモデルサイズは予算の増加とともに大きくなる」というChinchillaの示した重要なパターンが、小規模な環境でも明確に再現されたことは注目に値する。

この研究結果は、AIモデルを開発しないシステムエンジニアにとっても重要な意味を持つ。モデルの品質を判断する上で、単純なパラメータ数だけでは不十分であり、モデルが「どれくらいのデータで学習されたのか」という情報が、その「サイズ」と同じくらい重要であることを示している。したがって、AIモデルを選択したり評価したりする際には、学習データの量も考慮に入れる必要がある。また、AIモデルの学習予算をどのように配分すべきかという開発の基準も変わった。「ただ大きくすれば良い」という考え方から、「このサイズのモデルにはどれくらいのデータが必要なのか」という、よりバランスの取れた問いが標準的な検討事項となったのである。これは、AIモデル開発の効率と性能を最大化するための重要な指針となっている。