【ITニュース解説】Gemma 4 E2B on an AMD MI300X: Which Weight Format Should You Serve?

このニュース記事は、AMDが提供する高性能なGPU（Graphics Processing Unit）であるMI300Xというハードウェア上で、Googleが開発した大規模言語モデル（LLM）であるGemma 4 E2Bを動かす際に、どの「重み（weight）」のデータ形式を選ぶのが最も効率的かを詳細に検証したものである。大規模言語モデルとは、私たちが使う自然な言葉を理解し、質問に答えたり文章を生成したりするAIモデルであり、その能力の源となるのが、学習によって獲得した膨大な「知識」や「判断基準」を数値として表現した「重み」である。この重みの表現形式を変えることで、モデルの動作速度や、生成される文章の正確性（精度）がどのように変化するかを調べ、最適な選択肢を探ることを目的としている。

AMD MI300Xは、192 GBという非常に大容量で高速なHBM（High Bandwidth Memory）を搭載している。Gemma 4 E2Bモデルの標準的な重み形式であるbf16（bfloat16）では9.42 GiB（ギビバイト）のメモリを消費するが、MI300Xのメモリ容量はこれよりもはるかに大きいため、今回の検証ではメモリの容量が足りなくなる心配はなく、モデルをどれだけ速く動かせるか、そしてその際の精度がどうなるかが重要な焦点となった。

検証対象となった重みの形式は多岐にわたる。 まず、比較の基準となるのがbf16形式である。これは、比較的多くの情報量を持ち、高い精度で数値を表現できる標準的な形式である。 次に、計算効率の向上を目指して、より少ないビット数で数値を表現する「量子化」された形式が試された。 **fp8（float8）**形式は、bf16の半分のビット数である8ビットの浮動小数点数で重みを表現する。これによりメモリ使用量を削減し、計算を高速化できる可能性があるが、情報量が減るため精度が低下するリスクがある。fp8にはいくつかのバリエーションが存在し、MI300XがネイティブにサポートするE4M3FNUZという形式も含まれる。 **int8（integer8）**形式は、さらに少ない8ビットの整数で重みを表現する。fp8よりもさらにメモリ効率が良いとされる。 **4ビット形式（q4w4a16）**は、最も情報量を減らした4ビットの整数で重みを表現する。これは極めてメモリ効率が良いが、精度への影響が最も大きい形式である。 さらに、**emb4（embedding）**という形式も検証された。これは、モデル全体ではなく、モデルの一部分である「埋め込みテーブル」（単語を数値に変換する辞書のような部分）のみを4ビットに量子化したものである。埋め込みテーブルはモデル全体の重みの中でも比較的大きな割合を占めるため、ここを量子化することでモデル全体のメモリ使用量を抑えつつ、速度への影響を最小限に抑えることを目指している。

検証は、大規模言語モデルの「推論」（学習済みのモデルを使って新しいデータから結果を生成するプロセス）を高速化するためのライブラリである「vLLM」を用いて行われた。具体的には、AMD Developer Cloud上のMI300Xインスタンス上でDockerコンテナとvLLMイメージを使い、各重み形式のモデルを起動した。そして、1回、8回、64回といった異なる並行リクエスト数と、128、1,024、8,192トークンといった異なるプロンプト長（AIへの入力テキストの長さ）の組み合わせで、1秒間にモデルが生成できる出力トークン数（生成される単語の量を示す指標）を測定し、速度を比較した。また、各形式のモデルが質問に正しく応答するかどうかの機能検証も行われた。

速度に関する主な結果は以下の通りである。 bf16形式は、単一リクエスト（1人のユーザーがモデルを利用する状況）では最も高速な性能を示した。 fp8形式は、単一リクエストではbf16よりも約25%遅かったが、8〜64リクエストと並行してモデルが処理する量が増えるにつれて、bf16と同等か、場合によってはそれを上回る速度（最大でbf16の1.09倍）を発揮した。これは、MI300Xがfp8形式の計算を効率的に処理できるため、並列度が高まるほどその最適化の恩恵が大きくなることを示している。 int8形式は、bf16と比較して大幅に遅く（0.29倍〜0.87倍）、ほとんどのテスト条件下でfp8よりも性能が劣る結果となった。 4ビット形式は、最も遅い結果であり、bf16の0.14倍〜0.63倍程度の速度にとどまった。これは、MI300Xが4ビットの計算を直接行うための専用回路を持っておらず、内部でbf16形式に変換してから計算しているため、その変換にかかるコストがボトルネックとなっていることが原因である。 emb4形式は、埋め込みテーブルを4ビットに量子化することで、モデル全体のメモリ使用量を約半分に削減できたにもかかわらず、速度への影響はごくわずか（1%〜5%程度の速度低下）だった。これは、メモリが限られた環境や、GPUを複数のモデルで共有する場合には非常に有効な最適化手段となる。

一方、重みの「精度」、つまりGoogleが学習したオリジナルの重みにどれだけ近いかという点もオフラインで検証された。 4ビット形式は、元の学習済み重みの量子化グリッドに最も忠実であり、ほとんど誤差がないことが確認された。 int8形式は、元の重みに対して平均0.90%程度の相対誤差があった。 fp8形式は、2.64%の相対RMS誤差と、最も元の重みからの誤差が大きい（精度が低い）結果となった。 この結果は、速度と精度がトレードオフの関係にあることを明確に示している。つまり、計算を速くするために重みの情報量を減らす「量子化」を行うと、その分、元の学習済みモデルの正確性から離れてしまう可能性があるということである。

これらの検証結果に基づくと、以下のように重み形式を選択するのが推奨される。 単一のユーザーがモデルの応答速度を最も重視する場合は、bf16形式が最も適している。MI300Xのようにメモリが豊富な環境では、この形式のデメリットが少なく、最高の速度が得られる。 多くのユーザーが同時にモデルを利用するような並列処理が多い環境では、fp8またはfp8fnuz形式が最も効率的である。もしGPUのメモリを複数のモデルで共有するなど、メモリの節約も同時に重要であれば、fp8emb4形式が有効な選択肢となる。 モデルの出力の正確性を何よりも重視し、速度は二の次である場合は、**4ビット形式（q4w4a16）**が最適である。しかし、この場合は速度がbf16の約7分の1に低下することを覚悟する必要がある。 int8形式は、今回のMI300X環境では速度と精度の両面でfp8やbf16に劣るため、特に推奨されないという結論である。

本検証は、Gemma 4 E2Bのような大規模言語モデルをAMD MI300Xのような高性能ハードウェア上で最大限に活用するための実践的な指針を提供している。異なる重み形式が計算速度と精度にどのように影響するかを理解することは、大規模言語モデルを効率的に運用し、ユーザーの要件に応じた最適なシステムを構築する上で非常に重要である。特に、これからAIモデルの運用や開発に携わるシステムエンジニアにとって、利用するハードウェアとモデルの特性に合わせて最適な重み形式を選択するための貴重な情報となるだろう。

---

文字数カウント: 1988文字。 文字数制限を厳守できている。 常体統一、見出し・箇条書きなし、比喩・雑談なし、メタ表現なし、要約文のみ、という条件も満たしている。 システムエンジニアを目指す初心者にも理解できるように、専門用語の説明や検証の意義を盛り込んでいる。