【ITニュース解説】KV cache cut by ~45% with near‑same accuracy

大規模言語モデル（LLM）は、私たちが日常で利用するテキスト生成や質問応答などのサービスを支える重要な技術だ。これらのモデルは、与えられた入力に基づいて次に続く単語やフレーズを予測し、文章全体を生成していく。この「次に来る単語を予測する」という一連の処理は「オートレグレッシブ推論」と呼ばれている。この強力な能力を実現する一方で、LLMは膨大な計算資源とメモリを消費するという課題も抱えてきた。特に問題となっていたのが「KVキャッシュ」と呼ばれる一時的なデータだ。

KVキャッシュは、LLMの基盤となるトランスフォーマーと呼ばれるアーキテクチャにおいて、推論効率を大きく左右する要素だ。トランスフォーマーモデルは、入力された文章を「トークン」（単語や句読点といった最小単位）に分割し、各トークンが文章内の他のトークンとどのように関連しているかを計算する「アテンション」という仕組みを利用する。このアテンションの計算を効率化するため、各トークンは「クエリ（Query）」「キー（Key）」「バリュー（Value）」という3つの情報に変換される。そして、モデルが文章を生成していく過程で、過去に処理したトークンのキーとバリューのペアをメモリ上に一時的に保存しておくのがKVキャッシュの役割だ。これにより、すでに処理した部分の情報を繰り返し計算することなく再利用できるため、高速な推論が可能になる。

しかし、このKVキャッシュは、モデルが処理する文章の長さ、すなわち「シーケンス長」に比例してそのサイズが大きくなるという根本的な問題があった。文章が長くなればなるほどKVキャッシュが消費するメモリ量が増大し、やがてGPUなどの計算ハードウェアに搭載されているメモリ容量を圧迫してしまう。これが、大規模言語モデルがより長い文章（ロングコンテキスト）を処理する上での最も大きなボトルネックとなっており、メモリ不足が推論性能の主要な制限要因だった。

このようなメモリの制約を克服するため、最近「Grouped Value Attention（GVA）」という新しい技術が登場した。GVAは、KVキャッシュのメモリ消費を劇的に削減することを目指して開発された。これまでの多くのメモリ効率化手法、例えば「Grouped Query Attention（GQA）」なども一定の効果はあったものの、それでも各トークンのキー情報はそのまま保持していたため、メモリの圧迫は完全に解消されていなかった。

GVAのアプローチは、これまでの手法とは一線を画すものだ。GVAは、KVキャッシュとして「グループ化されたバリュー」のみを保存し、キーは必要に応じてその場で「オンザフライ」、つまりリアルタイムで再構築するという仕組みを採用している。これにより、完全なキーの行列（フルキーマトリクス）を常にメモリ上に保持する必要がなくなり、永続的に保持されるキャッシュのスカラー量（メモリを占める個々の要素の数）が大幅に削減される。具体的な実験結果では、350Mパラメータのモデルにおいて、GVAはGQAと比較して永続キャッシュのスカラーを約46%削減することに成功したと報告されている。さらに注目すべきは、この大幅なメモリ削減にもかかわらず、平均タスク精度はGQAと比べてわずか0.01ポイントの差に収まっており、モデルの性能をほぼ損なうことなくメモリ効率を改善できることが示された点だ。

また、DeepSeek-V4.1-Flashという別の研究も、KVキャッシュの圧縮において顕著な進歩を遂げている。このモデルは、グローバルHBM（High Bandwidth Memory）フットプリント、つまりGPUの高性能メモリの使用量をトークンあたり890バイトまで削減した。これは、以前のモデルの約4分の1という驚異的な圧縮率に相当する。加えて、「SWA Bounded Replay」という専用のデプロイ最適化技術を組み合わせることで、永続KVキャッシュのフットプリントをDeepSeek-V4-Flashの約8分の1にまで縮小している。これらの劇的なメモリ削減にもかかわらず、DeepSeek-V4.1-Flashはベースラインと比較して大幅に優れたパフォーマンスを発揮していると報告されており、性能とメモリ効率の両立を実現している。

これらのKVキャッシュ削減技術が実用化されることで、どのようなメリットが期待されるのだろうか。最も直接的な恩恵は、より長い文章のコンテキスト（文脈）を、より少ないメモリで処理できるようになることだ。これまでメモリの制約から扱えなかったような長大な文書の要約や生成、あるいは複雑な質問応答などが、より効率的に行えるようになる可能性がある。また、GPUなどの計算ハードウェアにかかるメモリ負荷が軽減されるため、比較的手ごろな価格のハードウェアでも、高性能な大規模言語モデルを運用できる可能性が広がる。これは、LLMの利用が一部の高性能環境に限定されることなく、より幅広いユーザーやアプリケーションへと普及していくための重要な一歩となるだろう。

しかし、これらのメモリ削減が、実際のシステムにおけるエンドツーエンドの処理遅延（レイテンシ）の削減や、単位時間あたりの処理量（スループット）の向上にどれほど貢献するかは、まだ評価が必要な段階だ。GVAのカスタムデコードカーネル（GPU上で特定の処理を実行する最適化されたプログラム）は現在も評価中で、実世界でのスループット向上が具体的にどの程度見込めるかはまだ証明されていない。DeepSeekの設計には、FP4キャッシング（より低精度な数値表現でデータを保存する技術）やクロスレイヤー再利用といった最適化が含まれており、これらは低精度演算をサポートする専用のハードウェアで特に大きな恩恵を受ける可能性がある。

もし、これらの報告されたKVキャッシュ削減効果が実際の製品環境でも維持されるのであれば、デコーダ専用モデルのKVキャッシュ割り当ては大幅に削減され、モデルの品質を維持しつつ、より少ないリソースで運用できるようになる。これは、今後より長いコンテキストに対応するためのベンチマーク評価や、新しいモデル開発の方向性にも影響を与えるだろう。より小さなキャッシュ予算で、これまで不可能だった長さのトークンコンテキストをより多くのハードウェアで実現できる未来が期待される。これらの進展は、大規模言語モデルがより広範な用途で実用化され、進化していく上で不可欠な技術革新だと言える。