【ITニュース解説】Gemma 4 on Amazon SageMaker: QAT Weights Decode 2.05x Faster Than bf16 on One L4

大規模言語モデル（LLM）の効率的な運用に関する重要な検証が行われた。Googleが開発したLLM「Gemma 4」の性能が、Amazon SageMakerというクラウドプラットフォーム上でどのように最適化されたかについて解説する。システムエンジニアを目指す皆さんにとって、LLMを実サービスに組み込む際の速度やコストの課題を解決するヒントになるだろう。

LLMは非常に強力なツールだが、その大きさゆえに動かすための計算資源が多く必要で、高速な応答や多数のユーザー対応にはコストがかかる。この課題を解決するための一つの手法が「量子化」である。

Amazon SageMakerは、機械学習モデルのデプロイと管理を容易にするAWSのサービスだ。モデルを公開する「リアルタイム推論エンドポイント」は、モデル、エンドポイント設定、エンドポイントの三つの要素で構成される。モデルはコンテナイメージ、環境変数、アクセス権限を含み、エンドポイント設定は利用するサーバーの種類や台数を定義し、最終的にエンドポイントがこれらの設定に基づいてモデルを稼働させるHTTPSサービスとして機能する。このサービスは稼働時間に応じて課金される。

今回の検証では、SageMaker上でLLMの推論を高速化する「vLLM」というコンテナイメージが利用された。これはHugging Faceからモデルを直接ダウンロードし、環境変数一つでモデルを切り替えられる柔軟性を持つ。

検証の対象は、Gemma 4モデルの二つのバージョンだった。一つは「bf16」という標準的な浮動小数点形式のフルサイズモデル。もう一つは「QAT（Quantization-Aware Training）」という技術で最適化されたモデルで、ここでは4-bitの重み（モデルのデータ）が使われた。QATは、モデルの学習段階から量子化を考慮することで、モデルのサイズを小さくし、GPUメモリの消費を抑え、計算速度を向上させることを目的としている。

検証は、NVIDIA L4という推論に特化したGPUを搭載するSageMakerのml.g6.xlargeインスタンスで行われた。このハードウェアはLLMの効率的な運用に適している。

性能比較は、主に三つの観点から測定された。一つ目は、モデルが1秒あたりに生成できるトークン数を示す「デコード速度」。これは、ネットワーク遅延などを除外した純粋なモデルの処理能力を測るものだ。二つ目は、同時に複数のリクエストを処理する際の全体的な能力を示す「並列リクエスト」のスループット。そして三つ目は、40問の質問に対する「モデルの回答精度」だ。

測定結果は、QAT版Gemma 4モデルの優位性を明確に示した。 まずデコード速度では、QAT版がbf16版の約2.05倍高速だった。bf16版が1秒あたり51.3トークンに対し、QAT版は105.1トークンを生成したのだ。この高速化は、QATによってモデルの重みが4-bitに圧縮され、GPUがデータを読み込む時間が短縮されたことに起因する。また、モデルの重みにかかるGPUメモリもQAT版で18%削減され、その分がLLMの応答生成を高速化する「KVキャッシュ」という領域に多く割り当てられたことも、性能向上に貢献した。

並列リクエストのスループットにおいても、QAT版はbf16版をすべての並列数で上回った。例えば、同時に16リクエストを処理する場合、QAT版はbf16版の約1.74倍となる1077.25トークン/秒を記録した。これは、QAT版が単一リクエストだけでなく、システム全体の処理能力も大きく向上させることを意味する。

モデルの回答精度に関しては、両モデルとも40問中37問に正解し、35問で全く同じ回答を返した。QATによる最適化が、モデルの精度に大きな悪影響を与えずに、速度と効率を大幅に改善できたことが確認された。

これらの性能向上は、運用コストの削減にも直結する。L4インスタンスの料金は同じであるため、QAT版モデルを使用することで、100万トークンあたりのコストをbf16版の約0.51ドルから約0.29ドルへと、ほぼ半減させることが可能となる。これは、LLMを活用したサービスを経済的に運用する上で極めて重要な要素だ。

結論として、Gemma 4 E2BモデルをAmazon SageMakerのL4エンドポイントで運用する場合、QAT版はbf16版と比較して、約2倍の処理速度、約半分のコスト、そして同等の回答精度を提供する非常に優れた選択肢である。モデルのデプロイは、環境変数を一つ変更するだけで簡単に切り替えられるため、実用性も高い。

システムエンジニアとして、このようなモデルの最適化技術とクラウドサービスの活用方法を理解することは、将来、高性能かつコスト効率の良いAIシステムを構築する上で不可欠なスキルとなるだろう。