【ITニュース解説】does mid-training help language models to reason better? - long CoT actually degrades response quality

大規模言語モデル（LLM）は、ChatGPTに代表されるように、私たちの生活や仕事に大きな影響を与えている。これらのAIモデルは、膨大なテキストデータから言語のパターンを学習し、人間のように自然な文章を生成したり、質問に答えたりする能力を持つ。しかし、単に知識を記憶して応答するだけでなく、複雑な問題に対して論理的な手順を踏んで答えを導き出す「推論能力」は、依然として重要な研究開発テーマである。この推論能力を向上させるための代表的な手法として「思考の連鎖（Chain-of-Thought、以下CoT）」がある。CoTとは、LLMに最終的な答えを直接出力させるのではなく、問題解決に至るまでの中間的な思考プロセスをステップバイステップで文章化させる手法である。例えば、算数の文章問題に対して、計算の途中式を記述させるように、段階的な思考を促すことで、より複雑で正確な推論が可能になると考えられてきた。

これまで、AI開発の現場では、このCoTを用いてLLMを訓練する際、より長く、より詳細な思考プロセスを学習させることが、推論能力の向上に繋がるという考えが一般的であった。多くのステップを含む丁寧な解説データを学習させれば、モデルはより深く物事を考えられるようになると期待されていた。しかし、Googleの研究者たちが発表した新しい研究は、この通説に対して重要な問題を提起している。研究の結果、特定の条件下では、モデルに「長いCoT」を学習させることが、かえって推論能力を低下させ、応答の品質を悪化させる可能性があることが明らかになった。これは、LLMの訓練方法に関する従来の常識を覆す可能性のある、注目すべき発見である。

この現象は「ミッドトレーニングの呪い」と名付けられた。ミッドトレーニングとは、大規模なデータで基本的な言語能力を学習する「事前学習」と、特定のタスク（例えば、カスタマーサポートの応答生成）に特化させる「ファインチューニング」の中間段階で行われる追加の学習を指す。今回の研究では、推論能力を強化するためにCoTデータセットを用いてこのミッドトレーニングを行った。性能が低下する根本的な原因は、モデルが推論の論理的な「内容」そのものを深く理解するのではなく、単に「長く詳細な文章を書く」という表面的なスタイルや形式だけを模倣してしまう点にある。モデルは、思考の質を高めるのではなく、形式的に多くのステップを生成することに注力してしまう。その結果、生成される思考プロセスは冗長で内容が薄くなり、核心から外れた記述が増え、最終的な答えの精度までもが低下してしまうのである。特に、モデルが元々持っている知識の範囲を大きく超えるような、過度に複雑で長い推論を無理に学習させようとすると、この負の効果が顕著に現れることが示された。

ただし、この研究はCoTという手法そのものを否定しているわけではない。むしろ、どのようなCoTデータが有効であるかを明確に示している点が重要である。研究では、「長く質の低い推論」とは対照的に、「短く、かつ要点がまとまった正確な推論」を学習させることは、依然としてモデルの性能向上に非常に効果的であることも確認された。つまり、重要なのは推論の絶対的な「長さ」ではなく、その「質」であるということだ。モデルが既に持っている知識を基盤として、それを的確に組み合わせ、簡潔で論理的なステップで結論に至るような質の高いデータを学習させることが、真の推論能力を育成する鍵となる。不必要に冗長な説明や、遠回りな思考プロセスは、モデルを混乱させ、学習の妨げになる可能性がある。

この研究結果は、今後のLLMの開発や応用において、極めて重要な示唆を与える。システムエンジニアを目指す者にとって、AIモデルの性能は、学習させるデータの量や複雑さを単純に増やせば向上するわけではない、という事実を理解することは不可欠である。特に、LLMのチューニングを行う際には、学習データの「質」を慎重に見極める必要がある。モデルの能力や特性を正しく評価し、その能力を最大限に引き出すための適切なデータセットを設計・選択するスキルが、今後ますます重要になるだろう。AIやLLMをシステムに組み込む際には、出力された結果の正しさだけを見るのではなく、その思考プロセスが論理的で妥当なものであるかを確認する視点も求められる。この研究は、AIの能力を過信せず、その挙動や限界を深く理解した上で、賢く付き合っていく必要性を改めて教えてくれるものである。