【ITニュース解説】131,072 Weights, and None of Them Were a Math Lesson
2026年11月03日に「Dev.to」が公開したITニュース「131,072 Weights, and None of Them Were a Math Lesson」について初心者にもわかりやすく解説しています。
ITニュース概要
AIの数学能力向上事例。再学習なしでAIの「重み」を直接編集し、問題を解く前に同じ処理を繰り返す「ループ」を解消した。これは新たな学習ではなく、既存能力の発揮を妨げていた障害を取り除いた結果だ。スコアだけでなく原因分析が重要。
ITニュース解説
近年、ChatGPTのような大規模言語モデル(LLM)が注目を集めている。これらのモデルは、まるで人間のように文章を理解し、生成する能力を持つが、その能力の根源にあるのが「重み(Weights)」と呼ばれる膨大な数の数値だ。重みは、モデルが学習した知識やパターン、判断基準といった情報を内部に保持しており、例えるなら人間の脳のニューロン間の結合の強さのようなものだ。この重みの値が調整されることで、モデルの性能が向上していく。
通常、LLMの性能を改善するには、大量のデータをモデルに与えて繰り返し学習させる、いわゆる「トレーニングループ」と呼ばれる手法が用いられる。この過程で、モデルは出力の誤りを修正しながら少しずつ重みを調整していく。しかし、今回取り上げる研究は、この常識を覆すようなアプローチを取った。それは、トレーニングを行わず、特定の重みを直接編集することでモデルの能力を向上させようとするものだ。
マサチューセッツ工科大学(MIT)の研究者たちは、GPT-6 Astraという別のモデルを使って、Qwen3.5-0.8Bという比較的コンパクトなLLMの数学能力を改善する実験を行った。彼らは、Qwenモデルの重みを直接編集するという、非常に珍しい方法を選択した。具体的には、Qwenモデルが推論する際の「思考ループ」の原因となっていると考えられる、特定の層(15層と19層)にある約13万個の重み(モデル全体の0.016%に過ぎないごく一部)を特定し、その方向性を修正するように調整したのだ。これは、モデルの内部に直接外科手術を行うようなものだと言えるだろう。
この小さな変更が、驚くべき結果をもたらした。数学のベンチマークであるMATH-500での正答率は7.9%から48.1%へと大幅に向上し、算数推論のGSM8Kでは13.8%から67.1%に、指示理解のIFEvalでも21.0%から62.3%へと、いずれも劇的な改善を見せた。あたかも、このQwenモデルが突然、数学の授業を全て理解したかのように見えたのだ。
しかし、この劇的なスコア向上の裏には、より深い理由があった。実は、編集前のQwenモデルは、与えられた数学の問題に対して、しばしば「思考ループ」に陥っていた。これは、モデルが同じような推論や計算を何度も繰り返し、堂々巡りの状態になってしまう現象を指す。結果として、モデルは最終的な回答を導き出す前に、LLMが一度に生成できる出力の最大量である「トークン制限」に達してしまい、回答が途中で打ち切られていたのだ。
たとえば、編集前のモデルでは、MATH-500の問題のうち93%もの回答がトークン制限に引っかかっていた。これは、ほとんどの問題でモデルが途中で思考を停止させられていたことを意味する。研究者たちが重みを編集し、この思考ループが解消された結果、トークン制限に達する回答の割合は33%にまで激減した。つまり、モデルは数学の新しい知識を学んだのではなく、単に今まで邪魔されていた「最後まで考え抜く能力」を取り戻したに過ぎなかったのだ。
このことは、スコアの推移からも明らかだった。問題を解かせる回数を増やしても、思考ループが解消されるまではスコアはほとんど上がらず、ループが「突然」止まった瞬間に、スコアが飛躍的に向上したのだ。思考ループは数学特有の問題ではなく、指示理解のテスト(IFEval)でも同様の改善が見られたことからも、この問題がより普遍的なものであることが示唆される。
研究者たちは、この仮説を検証するために、Gemma 3 270Mという別のLLMを使った対照実験も行った。このGemmaモデルは、もともとQwenモデルと比べて思考ループに陥りにくく、トークン制限に達する回答が非常に少ない(わずか8.5%)モデルだった。このGemmaモデルに対して、Qwenモデルと同様の重み編集を試みたが、MATH-500のスコアはほとんど変化しなかった。わずか1ポイント程度の向上にとどまり、Qwenで見られたような劇的な改善は起きなかったのだ。
この結果は、Qwenモデルのスコア向上が、モデルに新たな数学能力を「インストール」したのではなく、元々持っていた能力の発揮を妨げていた「障害物」(思考ループ)を取り除いたことによるものだという結論を強く裏付けている。モデルは、すでに問題を解決するだけの基本的な能力は持っていたが、不必要なループに囚われていたため、その能力を最後まで使いこなせていなかったのだ。
この教訓は、LLMの世界に限らず、システム開発のあらゆる場面で当てはまる。例えば、あるAPIの成功率が向上したとする。その原因が、以前はタイムアウト時に無限に再試行を繰り返してシステムをハングアップさせていたバグを修正したためだったとしよう。この場合、APIの内部処理が賢くなったわけではない。単に、無駄な再試行という「障害物」が取り除かれたことで、本来処理できたはずのリクエストが成功するようになっただけだ。本当の理由で失敗するリクエストは、依然として失敗し続ける。
また、ある関数が特定の入力に対して早期リターンしてしまい、テストスイートがタイムアウトばかりになっていたとする。その早期リターンのロジックを削除したところ、テストが全てグリーンになった場合も同様だ。関数が新しいアルゴリズムを学んだわけではない。単に、本来処理すべきだったパスが隠されていたのを、見えるようにしただけなのだ。このような改善は、確かに価値があるし、システムをより安定させるが、それが新たな機能追加や性能向上と同列に語られるべきではない。
したがって、システム改善の成果を評価する際には、単に最終的なスコアや成功率といった「ヘッドラインの数字」だけを見るのではなく、その裏側にある具体的な改善内容、特に「何がブロックされていたのか」を正確に測定し、理解することが非常に重要だ。LLMのケースであれば、単に数学の正答率が上がっただけでなく、同時にトークン制限に達する回答の割合がどれだけ減ったのか、といった指標も併せて確認する必要がある。
今回の研究が示すのは、モデルのわずかな「習慣」や「癖」が、その能力の発揮を大きく阻害し、まるで能力自体が欠けているかのように見せてしまうことがある、という点だ。そして、その「習慣」を取り除くことは、新しい知識やスキルを教え込むよりも、はるかに少ない労力で劇的な改善をもたらす場合がある。システムエンジニアを目指す上で、このような障害物を特定し、取り除く能力は、新しい機能を作り出す能力と同じくらい、あるいはそれ以上に価値のあるスキルだと言えるだろう。見かけの数字に惑わされず、改善の本質を見極める洞察力が、今後のシステム開発においてますます重要になってくることは間違いない。