【ITニュース解説】Gemma 4 on an Old 4 GB Laptop GPU: QAT Takes It From 9.5 GiB to 1.6

このニュースは、最新のAIモデルを古いノートパソコン上で動作させることに成功した事例について解説している。特に、メモリが限られたグラフィックボード（GPU）を持つ旧世代のハードウェアで、通常は高性能な環境を必要とする大規模なAIモデルを動かすための具体的な技術と手順が示されている。

今回の挑戦の目的は、Googleが開発した大規模言語モデル「Gemma 4 E2B」を、わずか4ギガバイト（GiB）のGPUメモリしか持たない古いノートパソコン、具体的にはLenovo Yoga 9に搭載されたNVIDIA GTX 1650 Tiで動かすことであった。しかし、このGemma 4 E2Bモデルの通常の形式は、モデルの学習結果である「重み」だけで9.5 GiBものメモリを必要とする。仮に、データの精度を落としてメモリ消費を抑える一般的な手法である「int8」に変換しても、約4.8 GiBとなり、4 GiBのGPUメモリには収まらない。これが、まず解決すべき大きな課題であった。

このメモリの壁を乗り越える鍵となったのが、「Quantization-Aware Training（QAT）」、日本語で「量子化意識訓練」と呼ばれる技術である。通常、AIモデルは高い精度で訓練され、その後にメモリ効率化のために精度を落とす「量子化」が行われる場合がある。しかし、QATでは、モデルの訓練段階から、最終的に4ビットのような低い精度でデータを扱うことを「意識」して学習させる。これにより、モデルは低い精度での処理に最適化されるため、データ量を大幅に削減しても、モデルの性能が大きく損なわれることなく、ファイルサイズを劇的に小さくできる。結果として、QATを施したGemma 4 E2Bの4ビット版は、3.35 GBというファイルサイズに収まった。

QATによって小さくなったモデルを実際にパソコン上で動かすために、「llama.cpp」というオープンソースプロジェクトと、「GGUF」というファイル形式が使われている。llama.cppは、大規模言語モデルを一般的なCPUやGPUで効率的に動作させることを目的とした軽量なソフトウェアであり、GGUFはllama.cppが利用するために最適化されたモデルのファイル形式である。QATモデルがGGUF形式で提供されたことで、llama.cppによるローカル環境での動作が可能になった。

モデルのファイルサイズが3.35 GBになっても、まだ4 GiBのGPUメモリにギリギリ収まるかどうかという状況であったが、llama.cppにはさらに賢いメモリ節約術が組み込まれている。それが「lazy loading（遅延読み込み）」という機能である。AIモデルの重みの中には、常にGPU上に置いておく必要がないデータも存在する。特に、モデルの多くの部分を占める巨大な「埋め込みテーブル」（per_layer_token_embdと呼ばれる部分）は、GPUで複雑な計算をする代わりに、必要に応じてホストPCのメインメモリからデータの一部を読み出すだけで済む場合がある。llama.cppはこの特性を利用し、この大きなテーブルをGPUメモリに常駐させず、ホストPCのメインメモリに「メモリマップドファイル」として置いておく。これにより、GPUが実際に必要とするモデルデータは、ファイル全体の3.35 GBのうちわずか1.31 GiBにまで削減され、4 GiBのGPUメモリに余裕で収まるようになった。

実際にシステムを構築するためには、まずllama.cppをノートパソコンのGPUアーキテクチャ（NVIDIA GTX 1650 Tiの「sm_75」という計算能力）に合わせてビルドした。次に、モデルのパス、GPUで処理する層の数（今回は全ての層をGPUで処理する設定「N_GPU_LAYERS=99」）、AIが一度に処理できるテキストの長さを示す「コンテキストサイズ」などの詳細な設定を環境ファイルに記述した。この設定でAIモデルを起動し、GPUメモリの使用量を計測したところ、実際にモデルが消費するメモリはわずか1618 MiB（約1.6 GiB）であることが確認された。これにより、4 GiBのGPUメモリの半分以上が空いた状態となり、モデルが安定して動作する十分な余地が生まれた。

モデルが動作することを確認した後、さらにその性能を最適化するためのチューニングも行われた。AIがテキストを生成する速度である「デコード速度」は毎秒73.75トークンを記録した。この速度を向上させるために、「Flash Attention」という技術を有効にしたところ、デコード速度が約4.8%向上した。これは、Transformerモデルにおける注意機構の計算を高速化する技術であり、GPUの計算をより効率的にする。一方、CPUのスレッド数を増やしてもデコード速度はほとんど変わらなかった。これは、処理のボトルネックがCPUではなくGPUにあるため、CPU側の設定変更が性能に影響しなかったことを示している。また、AIが過去の情報を記憶しておくためのメモリ領域である「KVキャッシュ」をさらに量子化することは、かえって性能を低下させることが分かった。QATによってモデル全体がすでに効率化されているため、これ以上メモリを節約しようとすると、計算時にデータの変換処理が増え、速度が落ちてしまうためである。さらに、llama.cppの起動時に--no-mmapというオプションを使うと、先述のlazy loading機能が無効になり、GPUメモリに全てのデータが読み込まれてしまうため、モデルの起動に失敗するという重要な注意点も明らかになった。

この一連の取り組みは、Googleが提供するQATを施したGemma 4モデルと、llama.cppの効率的なメモリ管理機能、特にlazy loadingを組み合わせることで、スペックが限られた古いノートパソコンのGPUでも最新のAIモデルを動作させられることを実証した。通常のモデルでは9.5 GiB、あるいはint8変換でも4.8 GiBが必要であったのに対し、QAT GGUFモデルはGPU上でわずか1.31 GiBしか必要とせず、4 GiBのGPUメモリに余裕を持って収まる。この成果は、高価なクラウドサービスや最新の高性能ハードウェアがなくても、手元の既存の環境でAIモデルを動かせる新たな道を開くものであり、古いハードウェアの「再活用」という観点から、AI技術の普及に向けた新たな可能性を示している。