【ITニュース解説】A 125B Model at 100 tok/s on One RTX 4090? Here's What the HN Hype Leaves Out

「RTX 4090一枚で125Bモデルが100 tok/sで動く」というニュースは、多くのIT関係者の注目を集めた。これは一見すると信じがたい主張だが、その背景には最新の技術的進歩が隠されている。システムエンジニアを目指す上で、このような技術がどのように実現されているのかを理解することは非常に重要だ。この解説では、その驚くべき性能の秘密と、見出しの裏に隠された実情について詳しく説明する。

まず、なぜたった24GBのVRAMしか持たないRTX 4090で、本来ははるかに大きなメモリを必要とする1250億ものパラメータを持つ大規模言語モデル（LLM）が動くのかという疑問が浮かび上がる。従来の常識では、これほどの巨大なモデルは一つのコンシューマー向けGPUには収まらない。このブレイクスルーの鍵は、モデルのアーキテクチャ自体にある。今回話題となっているQwen3.8-Flash-Nextモデルは、「スパースMoE（Mixture of Experts）」という特殊な構造を採用している。

スパースMoEモデルでは、モデル全体で1800億ものパラメータを持つものの、実際に一つのトークンを処理する際に使用されるパラメータはごく一部、約60億程度に限定される。これは、例えるなら、巨大な専門家集団がいて、質問に応じて最適な数人の専門家だけが回答に協力するような仕組みだ。つまり、モデル全体のデータをGPUのVRAMにすべて置く必要はなく、頻繁に利用される「ホットな」部分、例えばアテンションの重みや共有される重み、そして最も使われる専門家（エキスパート）だけをVRAMに保持する。残りの膨大なデータは、より安価で容量の大きいシステムのメインメモリ（RAM）に置いておき、必要になったときだけ高速なPCIeバスを通じてVRAMにストリーミングするという戦略をとっている。

この仕組みをさらに強力にしているのが、N-gramテーブルと呼ばれる部分の処理方法だ。N-gramテーブルはモデル全体のパラメータの約3分の1を占めるが、これは複雑な行列計算を行うのではなく、データベースから情報を「検索（ルックアップ）」するような単純な処理だ。そのため、この部分のデータはSSDのようなストレージデバイスに保存していても、データ読み出しの速度がボトルネックになりにくく、全体の処理速度を大幅に低下させることなくモデルを動作させられる。実際に、約47.7ギガバイトに量子化されたN-gramテーブルをSSDに配置しても、問題なくフルスピードでデコーディングできたという報告がある。

さらに、高い処理速度を実現するために「マルチトークン予測（MTP）」と「推測デコーディング（Speculative Decoding）」という技術も活用されている。これは、まず小さなモデル（ヘッド）を使って次に続くいくつかのトークンを予測し、その予測が正しいかどうかを一度にまとめて検証する手法だ。これにより、一つ一つトークンを生成・検証するよりもはるかに効率的にトークンを生成できる。ただし、この推測の「当たりやすさ」は、処理する内容に大きく依存する。例えば、コードや構造化された出力では非常に高い精度で予測が成功し、結果として高速なトークン生成が可能になる。しかし、一般的な散文やチャットのような文章では予測の成功率が下がるため、同じモデルでも速度は遅くなる傾向にある。「100 tok/s」という数字は、主にコードや構造化出力で達成される性能であり、日常会話のようなテキストでは、これよりも速度が落ちることを理解しておく必要がある。

このように画期的な技術が組み合わされている一方で、この高性能を実現するための「隠された条件」も存在する。最も重要な点は、システムRAMの要件だ。RTX 4090のVRAMだけでは足りず、前述のように残りのモデルデータはシステムのメインメモリに置かれるため、非常に大容量のRAMが必要となる。例えば、モデルの推奨されるバランスバージョンであるIQ3_Sを動かすには64GBのシステムRAMが推奨され、さらに高性能なバージョンでは96GB以上のRAMが求められる。ヘッドラインのベンチマークが実施された環境では、192GBのDDR5 RAMを搭載した高性能なワークステーションが使用されていた。つまり、「コンシューマー向けハードウェア」と謳われているものの、RTX 4090だけがあれば十分というわけではなく、高性能なCPUと、ゲーミングPCとしては異例なほどの大容量RAMを備えたPCが必要になる。

また、モデルの出力品質と速度の間にはトレードオフが存在する。データをより少ない情報量で表現する「量子化」の度合いを強くすると、モデルのサイズは小さくなり高速に動作するが、その代わり出力品質が低下する可能性がある。そのため、単純に最速の量子化レベルを選ぶのではなく、出力品質も考慮して適切なレベル（例えばIQ3_S）を選択することが重要となる。

実際にこのモデルを使用する際には、複雑な設定が必要に見えるかもしれないが、開発者はWindows向けのバッチファイルやLinux向けのシェルスクリプトといった簡単なインストーラーを提供している。これを使えば、ユーザーのGPUやRAMの構成を自動で検出し、適切な量子化レベルのモデルをダウンロードし、OpenAI互換のAPIとしてローカルで利用できるようになる。これにより、通常のOpenAIクライアントと同じように、このローカルモデルに質問を投げかけることができる。

このプロジェクトが示唆しているのは、「ローカルAI」のあり方が変わりつつあるということだ。以前は、大規模なAIモデルを動かすには、膨大なVRAMを搭載した高価なGPUが必要だった。しかし、今回のスパースMoEやSSDを活用する技術、そして推測デコーディングといった手法の組み合わせにより、ボトルネックがGPUのVRAM容量から、より安価で増設しやすいシステムRAMの容量へとシフトしている。これは、より多くのユーザーが自宅のPCで大規模なAIモデルを動かせる可能性を広げる画期的な変化だ。

もちろん、試す上での注意点もある。初回起動時には、数十ギガバイトのモデルデータをシステムRAMにロードするため、マシンが数分間フリーズすることがある。また、長いプロンプトを入力した場合、最初のトークンが出力されるまでに時間がかかる場合もある。そして、このモデルの真価が発揮されるのは、特にエージェント的なコーディング作業において、従来の同規模のモデルと比較して顕著な性能向上を見せる点にある。

結論として、RTX 4090一枚で125Bモデルが100 tok/sで動作するというニュースは真実だが、それは特定の技術的工夫と、高性能なシステムRAM環境が揃って初めて実現されるものだ。もしあなたが64GB以上のRAMと高性能なGPUを持っているなら、特にコード生成のような作業において、このIQ3_Sパックを試す価値は大いにあるだろう。しかし、RAMが16GB程度しかないような環境では、現時点ではこの技術の恩恵を十分に受けることは難しい。最終的には、自分の作業内容（散文、コード、構造化出力など）によってモデルのパフォーマンスが大きく変動するため、実際に自身の環境とワークロードでベンチマークを行うことが、最適な選択をする上で最も重要となる。