【ITニュース解説】A 4 GB Laptop GPU Beats a 12-Core CPU by 4.3x on Gemma 4

このニュース記事は、ノートパソコンに搭載されているCPUとGPUが、最新の小型AIモデルを動かす際にどれほどの性能差を見せるのかを比較した興味深い実験についてだ。システムエンジニアを目指す皆さんにとって、ハードウェアの選定やAIモデルの効率的な運用を考える上で非常に参考になる内容だろう。

今回の実験で比較されたのは、13世代のIntel Core i7-1360Pという12コアの高性能なCPUと、NVIDIA GTX 1650 Ti Max-Qという4GBのビデオメモリ（VRAM）を搭載したノートパソコン用GPUである。これらは全く同じノートパソコンに内蔵されており、両者が特定のAIモデルを動かす性能を公平に比較することが目的だった。AIモデルには、Googleが開発した「Gemma 4」という小型の言語モデルが使用された。これは約3.35ギガバイト（GB）のサイズで、より効率的に動かすために「量子化」という手法でデータが圧縮されている。量子化とは、モデルの計算に使われる数値の精度を落とすことで、ファイルサイズを小さくし、計算速度を上げる技術のことだ。

この比較実験は、llama.cppという人気のソフトウェアフレームワークを用いて行われた。llama.cppは、大規模言語モデル（LLM）をさまざまなハードウェアで効率的に実行できるように設計されている。実験では、llama.cppの同じバージョンを使って、片方はCPUだけでモデルを動かすようにビルドされ、もう片方はGPUを活用できるようにビルドされた。そして、モデルを実行する際のコマンドライン引数で、-nglというフラグだけを変えた。この-nglフラグは、「GPUに何層のモデル処理をオフロードするか」を指定するもので、CPUだけの比較では0（全てCPU）、GPUを使った比較では99（可能な限り全てGPU）に設定された。これ以外の全ての実行条件、例えば、一度に処理するトークン（単語の単位）の最大数や、並列で実行するスレッド数などは、厳密に同じになるように統一された。これにより、純粋にCPUとGPUの性能差だけを比較できる環境が作られたのだ。

実験結果は驚くべきものだった。AIモデルが応答を生成する際の速度には、大きく分けて二つの段階がある。一つは「プリフィル」と呼ばれる、ユーザーからの入力（プロンプト）を最初に処理して最初の応答トークンを生成するまでの時間だ。これは「Time To First Token（TTFT）」とも呼ばれる。もう一つは「デコード」と呼ばれる、最初のトークン以降の続きの応答を次々と生成していく速度だ。今回の実験では、GPUがCPUと比較して、デコード速度で平均約4.27倍、TTFT（プリフィル）で平均約3.63倍も高速であることが示された。つまり、全体としての応答速度、いわゆるエンドツーエンドの性能で、GPUはCPUの約3.81倍も速かったのである。この性能差は非常に大きく、AIモデルの実行においてGPUがいかに強力な役割を果たすかを明確に示している。

この結果の信頼性も高く評価されている。同じ条件で複数回繰り返しても、CPU側の結果で最大6.29%のばらつき、GPU側では0.84%と非常に小さかった。したがって、GPUがCPUよりも数倍速いという結論は、偶然や測定誤差によるものではないと言える。

さらに、デコードとプリフィルの性能特性についても興味深い発見があった。デコード速度は、プロンプトの長さ（入力文の長さ）が大きく変わっても、CPUとGPUの両方でほとんど変化しないことがわかった。これは、デコード処理が主にGPUのメモリとモデルデータの間の「帯域幅」（データをやり取りする速度）によって制限されるためだと考えられる。一方、TTFT（プリフィル）は、プロンプトの長さに比例して処理時間が延びる傾向があった。これは、プリフィル処理がプロンプト全体の計算を行うため、主に「計算能力」によって制限されることを意味する。GPUは、帯域幅と計算能力の両面でCPUを上回るため、デコードとプリフィルの両方で優れた性能を発揮するのだ。特に、コンテキスト（過去の会話履歴や長い入力）が長くなると、デコード性能におけるGPUの優位性がさらに高まることも明らかになった。

ここで多くの人が疑問に思うのは、「3.35GBもあるAIモデルが、なぜ4GBのVRAMしか持たないGPUで動くのか？」という点だろう。通常、モデルサイズがVRAM容量を超える場合、モデル全体をGPUにロードすることはできないはずだ。しかし、この実験では、実際にGPUが使用したVRAMは約1.6GB程度であることが判明した。その秘密は、Gemma 4モデルの構造とllama.cppの巧妙な処理にある。Gemma 4モデルの大部分、具体的には約58%を占める「埋め込みテーブル」と呼ばれるデータは、モデルファイル全体で見ると非常に大きいが、実際にはAIモデルが単語を処理する際に必要な部分だけがCPU側のメインメモリから読み込まれる。これは「遅延読み込み」（TENSOR_READ_LAZY）という技術で実現されており、全てのデータを常にGPUメモリに置いておく必要がないため、VRAMの節約につながっている。これにより、4GBという限られたVRAMを持つノートパソコン用GPUでも、3.35GBのモデルを余裕を持って実行できたのである。実際、GPUはモデルを動かすために必要なVRAMの約2.5倍の容量を持っていたことになる。

今回の実験は、比較の厳密さを保つために多くの要素が制御された。使用したllama.cppのビルドバージョンや、実行バイナリの同一性、-ngl以外の全てのコマンドライン引数、入力プロンプトの内容と長さ、そしてモデルを提供するネットワークポートに至るまで、全てが揃えられた。さらに、実際にどのデバイスがモデル処理を行っていたかを、実行中のプロセスの情報から確認するという徹底ぶりだった。

もちろん、完璧な実験というものは存在しない。今回の実験でも、いくつか制御されなかった要因がある。例えば、CPUアームが先に実行され、ノートパソコン全体が温まった状態でGPUアームが実行されたため、GPUの性能が本来よりも低く評価されている可能性もある。また、CPUのコア割り当てを最適化しなかったため、CPUアームは最高の性能を発揮できていなかった可能性も指摘されている。特にプリフィル性能の差（3.63倍）は、CPUを最適化すれば縮まるかもしれない、という意味で「上限値」とされている。しかし、デコード性能の差（4.27倍）はこれらの影響を受けにくいとされており、今回のGPUの優位性という主要な結論は揺るがないものだ。

この実験結果は、小型言語モデルをローカル環境で動かす際に、いかにGPUが重要な役割を果たすかを示している。特に、VRAMが限られたノートパソコンであっても、ソフトウェアの工夫次第で高性能なAI処理が可能になることが明らかになった。システムエンジニアとして、AIモデルを扱う際には、単にCPUコア数やGPUのVRAM容量といったスペックだけでなく、モデルの構造や利用するフレームワーク（llama.cppなど）の最適化技術にも目を向けることの重要性を教えてくれるだろう。これは、将来のシステム設計において、より効率的で高性能なAIソリューションを構築するための貴重な知見となる。