【ITニュース解説】Digital Minimalism for AI: How Reducing Compute Could Actually Improve Model Quality

近年、AI（人工知能）の世界では「モデルの規模が大きいほど、性能も優れている」という考え方が主流となっていた。これは、モデルの内部にある学習によって調整される数値の数である「パラメータ」を増やし、大量のデータで学習させれば、AIの能力が向上するという経験則に基づいている。しかし、この考え方が常に正しいとは限らず、むしろモデルの品質向上を妨げている可能性があるという指摘が強まっている。

2020年頃から、モデルの規模が大きくなるほど性能が向上するという研究結果が相次いで発表され、AI開発の現場では大規模モデルを構築することが当たり前になっていった。しかし、この「規模こそ正義」という考え方は、今や実情に合わなくなってきている。例えば、2024年初頭には、70億パラメータ（7B）の比較的小さなAIモデルが、データ処理の工夫によって、GPT-4のようなはるかに大規模なモデルを医療推論のベンチマークで上回る結果を出した事例がある。この事実は、単にモデルを大きくするだけでは不十分であり、むしろ別の要素が重要であることを示している。

現在のAI業界には、大規模モデルを優先するいくつかの要因が存在する。ベンチマークの順位付けは純粋な能力のみを評価し、計算資源あたりの能力は考慮されないため、効率的な小規模モデルを開発するインセンティブが働きにくい。また、投資家や経営陣は、大規模な学習実行を「本格的なAI開発」と見なしがちであるため、小規模モデルを開発するチームは資金や人材、信頼を得にくい状況にある。さらに、学術論文の世界でも、大規模モデルに関する研究は注目されやすいが、最適化された小規模モデルに関する研究は埋もれがちである。これらの要因が、「規模こそ正義」という古い常識を温存させているのだ。

では、小規模モデルが本当に大規模モデルに勝ることはあるのだろうか。記事では、以下の具体的な証拠を挙げている。マイクロソフトが開発したPhi-3という38億パラメータのモデルは、高品質な合成データを重点的に学習させる「データカリキュラム」という手法を用いることで、その10倍のサイズを持つモデルと同等かそれ以上の推論能力を示した。GoogleのGemma 2（20億および90億パラメータ）も、アーキテクチャの改善や「知識蒸留」という技術によって、130億パラメータ以上のモデルを凌駕した。「知識蒸留」とは、高性能な大規模モデルの「知識」を、より小さなモデルに効率的に移行させる技術である。また、BERTというモデルの小型版であるDistilBERT（6600万パラメータ）は、BERTの約40%のサイズでありながら、97%もの性能を保持した。Mistral 7Bも、Llama 2 13Bと同等の性能を多くのベンチマークで達成している。これらの事例は、「データの質」「学習方法」「モデルのアーキテクチャ（構造）の改善」といった要素が、パラメータ数を増やすよりも、効果的にモデルの能力を向上させ得ることを示している。

小規模モデルには、単にコストが安いだけでなく、品質面でも優位な点がある。 第一に、特定のタスクにおいて、もっともらしいけれども事実と異なる情報を生成してしまう「幻覚（ハルシネーション）」が少ない。大規模モデルは幅広い知識を持つ反面、誤った情報を自信たっぷりに生成しやすい傾向がある。しかし、医療コーディングや情報抽出など、狭く明確なタスクにおいては、ドメインデータで追加学習（ファインチューニング）された小規模モデルの方が、汎用的な大規模モデルよりも幻覚の発生率が大幅に低いことが測定によって確認されている。 第二に、モデルの振る舞いを開発者の意図や社会のルールに合わせて調整する「アラインメント」が容易である。大規模モデルは内部構造が複雑なため、その振る舞いを修正するのが難しい。しかし、小規模モデルは内部的な「先入観」が少ないため、同じ調整データを使っても、より予測可能で安定した振る舞いをするよう調整しやすい。 第三に、失敗が明確である。小規模モデルが失敗した場合、その原因は特定の種類のタスクや入力、推論ステップなど、パターンとして現れることが多い。そのため、どこを修正すれば良いかが見つけやすく、デバッグ（問題解決）が容易である。一方、大規模モデルの失敗は漠然としており、原因特定が難しく、信頼性を損なうことにつながる。 第四に、システムエンジニアにとって重要な「デプロイ（実際に利用できる状態にすること）」が容易で、高速な反復開発が可能である。ラップトップPCや単一のGPU（画像処理装置）で動作する小規模モデルは、一日に何十回も改善のサイクルを回すことができる。これに対し、大規模モデルは大規模な計算クラスタが必要なため、改善のサイクルが週単位になることも珍しくない。どのエンジニアリング分野においても、開発の繰り返し速度は最終的な品質を決定する最大の要因であり、この点で小規模モデルは圧倒的に有利である。 第五に、小規模モデルは自身の限界を正直にユーザーに認識させる。得意な領域が狭いため、ユーザーはその能力の範囲をすぐに理解し、過度な期待をしない。これに対し、大規模モデルは一見すると何でもできるかのように見え、ユーザーをその能力範囲外での利用に誘導し、結果として品質の低い体験を提供してしまうことがある。

これらのメリットを総合すると、小規模モデルは単に「可愛い」とか「環境に優しい」といった理由だけでなく、多くの場合で「正しいエンジニアリング上の選択肢」であると言える。しかし、業界は組織的にこの正しい選択肢への投資を怠っているのが現状だ。

「デジタルミニマリズム」とは、AI開発において、むやみに規模を大きくするのではなく、本当に必要なものに焦点を当て、効率と品質を追求する考え方である。これを実践するには具体的な行動が必要となる。 最も重要なのは「データファースト」の考え方だ。モデルの品質を左右する最大の要素はパラメータ数ではなく、データである。具体的には、ウェブ上のデータには30%から60%もの重複が含まれることがあるため、これを徹底的に排除することで品質が向上し、学習に必要な計算資源も削減できる。また、人間が評価したデータに基づいて学習させた小さなAIを用いて、高品質なデータを選別するフィルタリングを行うことで、実質的なデータ品質が大幅に向上する。さらに、学習データの与え方を工夫する「カリキュラム設計」も有効だ。例えば、簡単なデータから学習させ、徐々に難しいデータに移行させることで、最終的な性能が向上することがPhi-3の事例で示されている。特定のタスクに取り組む場合は、膨大なウェブデータよりも、そのタスクに特化して厳選された少量（例えば1000万トークン）のデータの方が、はるかに高い効果を発揮する。 次に、「知識蒸留」を開発プロセスに標準で組み込むことが重要である。多くのチームは大規模モデルを学習させてそれで終わりにするが、優れたチームは、まず大規模モデルを学習させた後、その知識をより小さなモデルに「蒸留」して、その小さなモデルを製品として提供する。蒸留にかかる計算資源は元の学習の5%から10%程度であるにもかかわらず、元のモデルの20%から40%のサイズで、90%から97%の品質を達成できる。これは2015年には既に提唱されている技術だが、地味であるという理由で未だ十分に活用されていない。 さらに、「推論時の計算量」を設計変数として考慮することも不可欠だ。推論時とは、学習済みのAIモデルが実際にユーザーからの入力に対して回答を生成する段階のことである。例えば、「推測デコーディング」「自己整合性」「ツール利用」「RAG（検索拡張生成）」といった推論時の戦略を巧妙に組み合わせることで、小さなモデルでも、何もない状態で大規模モデルが回答を生成するよりも優れた品質を達成できることが多い。「RAG」とは、AIが回答を生成する際に、外部のデータベースなどから関連情報を探し出し、その情報を使ってより正確な回答を生成する手法である。これらのシステムレベルでの工夫は、単にモデルの規模を大きくすることに固執するチームが見落としがちな点である。例えば、700億パラメータの汎用モデルが品質0.82、秒間40トークンを生成するのに対し、70億パラメータのモデルにRAGとツール利用を組み合わせた場合、品質0.86、秒間260トークンと、品質とスループット（処理能力）の両方で上回るという具体的な例も挙げられている。

確かに、小規模モデルは大規模モデルに比べて、学習時も推論時も劇的に環境負荷が低い。しかし、小規模モデルを推奨する主な理由は環境問題ではなく、品質向上である。もし小規模モデルの性能が劣るのであれば、環境への配慮は二の足を踏む理由にしかならない。多くの場合で小規模モデルの方が優れているという事実こそが、この議論の核心である。環境への配慮は、エンジニアリングチームがより効率的なシステムを構築するよう促す「強制力」としては機能する。制約があるからこそ、より洗練された技術が生まれるのだ。

システムエンジニアを目指すあなたが、この新しい考え方を実践するために今日からできる具体的な行動がいくつかある。 まず、AIモデルの規模を大きくする前に、実際に取り組んでいるタスクで小規模モデルの性能を測定することだ。チームが安易に最大規模のモデルを選びがちなら、ぜひ70億パラメータのモデルに適切な追加学習を施し、それを700億パラメータのモデルと実際の作業で比較してみるべきだ。品質、応答速度、コストなどを計測すれば、その結果に驚くことが多いだろう。もし驚かなかったとしても、それは大規模モデルが必要だという確かな証拠となる。 次に、「知識蒸留」をトレーニングパイプラインの標準ステップとして組み込むことだ。大規模モデルを学習させる段階から、最終的にデプロイする（実際に利用する）モデルのサイズを想定し、その小さなモデルへの蒸留を前提とした学習計画を立てる。PhiファミリーやGemmaファミリーといった成功事例は、このようなアプローチで構築されている。 最後に、評価指標を見直すことである。もしあなたの評価ダッシュボードが単にベンチマークスコアだけを追跡しているなら、それは最適化の方向性を誤っている可能性がある。「パラメータ数あたりの品質」「推論エネルギーあたりの品質」「トレーニング費用あたりの品質」「応答速度あたりの品質」といった指標を新たに追加すべきだ。これらの指標を最適化するチームこそが、より良い製品を、より安く、より速く提供でき、将来的に競争優位に立つことができるだろう。

AIモデルの品質は、単に規模の大きさだけで決まるものではない。それは「有効情報密度」、つまり計算資源、データ、パラメータの単位あたりから、どれだけ有用な信号をモデルが抽出できるかの関数である。規模の拡大はその有効情報密度を高める一つの方法ではあるが、最も粗雑で、今や最も非効率な方法となりつつある。データのキュレーション（厳選）、アーキテクチャの工夫、知識蒸留、そして推論時の戦略といった要素の方が、より高い効果をもたらすのだ。

AI業界がこの事実を無視しているのは、証拠が弱いからではない。規模の拡大は、分かりやすく、資金を集めやすく、ベンチマークで評価しやすいという側面があるためだ。一方で、小規模でよく設計されたモデルは、マーケティングが難しく、学術論文としても発表しにくいという現実がある。しかし、だからといってそれが悪い選択肢であるわけではない。むしろ、業界が見落とし続けている「正しい選択肢」なのである。今後、大規模モデルがさらに進化し続けることは間違いないが、同時に、多くのユーザーに実際に届けられるような、小さくても鋭く、よく設計されたモデルを構築できるチームが、次の10年間のAI開発を牽引していくだろう。