【ITニュース解説】I tried to replace the KV cache with a function. The model started inventing numbers.

大規模言語モデル（LLM）は、人間のような自然な文章を生成するために「アテンション」という仕組みを利用している。これは、新しい単語（トークン）を生成する際に、入力された過去のすべての単語の中から、今生成しようとしている単語と特に関連性の高い情報を探し出す機能である。この情報の参照を効率的に行うために、「KVキャッシュ」という仕組みが使われている。

KVキャッシュとは、入力された各単語に対して「Key（キー）」と「Value（バリュー）」という二つの情報をペアで保存しておく記憶領域のことだ。新しい単語を生成しようとするとき、モデルは現在処理している情報（「Query（クエリ）」）を過去に保存されたKeyと比較し、関連性の高いKeyに対応するValueを抽出する。そして、これらのValueを適切に重み付けして組み合わせることで、次の単語を生成するための重要な文脈情報を得る。この仕組みがあるからこそ、モデルは長い文章でも文脈を正確に捉え、一貫した出力を続けることができるのである。

しかし、KVキャッシュには大きな課題がある。入力テキストが長くなるにつれて、保存すべきKeyとValueのペアが比例して増大し、それに伴い必要なメモリ量と計算コストも増加してしまうのだ。これは、特に長い文章を扱う場合に、モデルの実行速度を低下させ、より多くの計算リソースを必要とする原因となる。

この課題に対し、ある研究者は、一度読み込んだテキストのKVキャッシュ全体を、新しいQueryに対する出力として、固定された「関数」で表現できるのではないかという仮説を立てた。もしこれが可能であれば、KVキャッシュ全体をメモリから破棄し、その代わりに小さな関数だけを保持すれば良いことになる。そうすれば、メモリ使用量を一定に保ち、テキストの長さに依存せず、常に同じ計算コストで単語を生成できると考えたのだ。

この仮説を検証するため、Qwen3-1.7Bという比較的小規模な言語モデルを用いて実験が行われた。実験では、約2000トークンのテキスト中に隠された20個の架空の事実（「名前」と「4桁の数字」の組み合わせ）をモデルに記憶させ、後で質問することで、それらの事実をどれだけ正確に想起できるかが評価された。

最初の実験（E0）では、KVキャッシュを関数のみで置き換える試みが行われた。結果は、衝撃的なものだった。通常のKVキャッシュをすべて使った場合、モデルは事実の82.5%を正確に想起できたのに対し、KVキャッシュメモリの1/8または1/4の容量で関数を当てはめただけでは、事実の想起率は0.8%から最大でも14%にとどまった。さらに、モデルは「知らない」とは言わず、もっともらしいが完全に間違った数字を自信を持って生成したのだ。例えば、「9550」という正しい数字の代わりに、「8957」や「2345」といった無関係な数字を生成するなど、まるで作り話をしているかのような振る舞いを見せた。この結果から、関数単独では具体的な事実を正確に保持することはできず、情報が平滑化されることで重要な詳細が失われてしまうことが明らかになった。関数はテキストの「要点」は捉えられても、「事実」は保持できないのである。

次に、研究者はアプローチを変更し、関数だけでなく、少数の「正確なレコード」を組み合わせる実験（E1）を行った。この実験では、KVキャッシュ全体をメモリに保持しつつ、各Queryに対して、関数と、関連性が高いと判断された8つの正確なレコードを組み合わせて使用した。この結果、もし選択された8つのレコードが不正確であった場合、関数がない状態ではモデルはこれらの間違った情報に強く影響されてしまうことが分かった。しかし、関数を組み合わせることで、モデルは間違った選択にすべての重みを置くのではなく、テキスト全体の背景情報が復元され、間違った選択が支配的になるのを防ぐ効果があることが判明した。つまり、関数は事実を直接記憶するのではなく、間違った情報が選択された際の「補正役」として機能する可能性が示唆された。

さらに、より効率的で正確なKVキャッシュの選択方法を探る実験（E2）が行われた。ここでは、「低次元に圧縮したキー」を使い、その中から「64個の候補を絞り込み、最終的にトップ8のレコードを正確に再チェックする」という手法が試された。この方法単独で、モデルは完全なKVキャッシュを使った場合と同じ82.5%の事実想起率を達成しながら、KVキャッシュのわずか約8%しか参照しないという優れた結果を出した。これは、既存の効率化手法である「ShadowKV」などに近いアプローチであり、その有効性が再確認された形だ。

この強力な選択手法に、さらに先ほどの関数を組み合わせたところ、事実の想起率はわずかに向上した（82.5%から85.0%〜87.5%へ）。しかし、より注目すべきは、テキストの「逐語的な忠実性」（文章をそのままコピーする際の正確さ）が大幅に改善された点だ。具体的には、誤りを示すスコアがほぼ半減した。これは、関数が、わずか8つのレコードだけでは捉えきれない、テキストのより繊細で正確な情報を補完する役割を果たすことを示している。

これらの実験から得られる重要な教訓は、システムエンジニアを目指す初心者にとっても非常に価値がある。まず、KVキャッシュを単純に近似したり平滑化したりするだけでは、見かけ上の性能は維持できても、具体的な事実の正確な想起能力を失う危険性があることを理解すべきだ。そして、もしメモリを圧縮するような最適化を行うのであれば、モデルが「知らない」と素直に答えるのではなく、「自信を持って間違った情報」を生成してしまう可能性を考慮し、その振る舞いも評価の対象に含める必要がある。

また、KVキャッシュを効率的に利用するための「選択的アテンション」を実装する際には、「再チェック」のステップにこそ最も注力すべきだ。このステップは計算コストが低いにもかかわらず、品質の大部分を決定する。最後に、もしローカル環境でモデルを実行する場合、2000トークン程度の短いコンテキストでは、KVキャッシュの最適化による速度向上は数パーセントに過ぎないことを覚えておくべきだ。なぜなら、その程度の長さであれば、モデル自体の重み（パラメータ）の読み込みが計算時間の大半を占めるためだ。KVキャッシュの効率化は、特に非常に長いテキストを扱う場合に、その真価を発揮する側面がある。

この研究は、追加学習なしのモデルに対しテキストごとに適用される関数が、単なるKVキャッシュの代替品ではなく、選択エラーの補正や逐語的な忠実性の向上といったユニークな役割を持つことを示した点で新しい発見と言える。一方で、低次元キーと候補の再チェックを組み合わせることで高い効率と精度を実現する手法は、既に知られている効率化アプローチの有効性を改めて示すものとなった。言語モデルの性能と効率性を両立させるためには、KVキャッシュの賢い管理が不可欠であり、本研究はそのための貴重な指針を与えている。