【ITニュース解説】Going Deeper With Memories: Deep Dive & Engineering Breakdown

最近の人工知能技術、特に大規模言語モデル（LLM）は、私たちがコンピュータと対話する方法を大きく変えている。しかし、これらのLLMには長年、根本的な課題があった。それは「トークナイザー」という仕組みに起因するものだ。LLMは人間が使う言葉を直接理解するのではなく、まずテキストを「トークン」と呼ばれる小さな単位に分割してから処理する。このトークン化には、例えば「Byte-Pair Encoding (BPE)」や「WordPiece」といったさまざまな手法があるが、これらがいくつかの問題を引き起こしてきた。

一つは、未知の単語、つまり「Out-of-Vocabulary (OOV)」問題だ。学習データにない単語が出てくると、トークナイザーはそれを適切に処理できず、分割したり、意味が通じない形で表現したりすることがある。また、英語以外の言語、特に漢字や特殊な文字を多く含む言語では、一つの意味を持つ単語が多くのトークンに分割されてしまい、文章全体の長さ（シーケンス長）が不必要に長くなる傾向があった。これにより、処理に必要な計算資源が増え、効率が低下する。さらに、数学の記号やプログラミングのソースコードのように厳密な構造を持つテキストでは、トークン化がその構造を壊してしまい、正確な理解を妨げることもあった。これらトークン化の処理は、LLMが文章を理解し始める前に必ず行われるため、避けられない前処理のボトルネックにもなっていた。

こうしたトークナイザーの問題を根本的に解決しようとするのが、「バイトレベル言語モデル」という新しいアプローチだ。これは、テキストをトークンに分割するのではなく、生のUTF-8バイト列として直接LLMに入力する。UTF-8は、世界中のほとんどの文字を表現できる標準的な文字コードであり、これにより、どんな言語、どんな記号、どんな種類のデータであっても、普遍的に、そして構造的な純粋さを保ったままLLMに読み込ませることが可能になる。OOV問題もなくなり、非英語テキストのシーケンス長肥大化も、コードや数式の構造破壊も起こらなくなる。

しかし、このバイトレベル処理にも大きなエンジニアリング上の課題が存在した。それは「二乗計算コスト」だ。標準的なLLMの根幹をなすTransformerアーキテクチャでは、文章中の各要素（トークン）が他のすべての要素とどれだけ関連しているかを計算する「アテンション機構」が中心にある。この計算コストは、入力される要素の長さ（シーケンス長）の二乗に比例して増大する。例えば、2,000トークンの入力は、バイトレベルでは8,000バイト以上になることが珍しくない。8,000の二乗は6,400万であり、この計算をすべての層で行うと、必要なメモリや計算時間が爆発的に増え、現実的な運用が不可能になってしまう。これが「二乗計算コスト」の壁だ。

この大きな壁を打ち破るために開発されたのが「DeepMem」という新しいアーキテクチャだ。DeepMemは「因果的マルチスケールアーキテクチャ」と呼ばれ、高頻度で正確なバイトレベルの情報を処理する部分と、低頻度で意味を圧縮する部分を分離することで、この課題を解決する。つまり、すべてのバイトを均等に扱うのではなく、状況に応じて異なる方法で情報を処理するのだ。

DeepMemは主に二つの相互作用するストリームに分かれている。一つは「Fast Byte Stream（ローカルワークスペース）」だ。これは、フル1倍のバイト解像度で動作し、テキストの局所的な部分、例えば単語のスペル、句読点、細かな構文といった、非常に細かい情報をスライディングウィンドウを使った局所的なアテンション機構で処理する。これにより、トークン化による制約なしに、正確な文字列マッチングなどが可能になる。

もう一つは「Deep Memory Stream（意味的圧縮）」だ。こちらは、これまでに処理されたバイトストリームの履歴を非同期的に集め（プールし）、圧縮して「階層的なメモリバンク」として保存する。このストリームは、圧縮された時間スケールで動作するため、シーケンス長が不必要に長くなるのを防ぎつつ、文書全体の文脈や論理といった大局的な意味を長期にわたって維持することができる。

これら二つのストリームは、「クロスアテンションゲーティングメカニズム」という数学的な仕組みで連携する。Fast Byte Streamが過去の文脈を必要としたとき、生のままの数万バイトもの履歴データをいちいち参照するのではなく、Deep Memory Streamに格納されている圧縮されたメモリバンクに対して問い合わせを行う。これにより、アテンション機構の実質的な文脈長を効率的に制限しつつ、バイトレベルでの情報の損失なしに正確な再構築能力を維持できる。

具体的なDeepMemのブロックの動作をPythonの疑似コードで見てみよう。DeepMemブロックはまず、現在のバイトストリームに対して「ローカル自己アテンション」を実行し、局所的な意味を抽出する。次に、Deep Memory Streamがまだ存在しない場合は、現在のバイトストリームを圧縮して初期のメモリバンクを構築する。そして、最も重要なステップとして、現在のバイトストリームが、圧縮された「メモリバンク」に対して「クロスアテンション」を行う。これにより、現在のローカルな情報と過去の圧縮された大局的な情報とを統合するのだ。この統合には「ゲーティングメカニズム」が使われる。これは、ローカルの正確な情報と深層メモリからの情報のうち、どちらをどれだけ重視するかを動的に調整する仕組みだ。最終的に、現在のバイトストリームは標準的なフィードフォワードネットワーク（FFN）でさらに処理され、同時に、更新された現在のバイトストリームから新しい圧縮されたメモリバンクが生成されて次の処理のために格納される。このサイクルを繰り返すことで、DeepMemは効率的にバイトレベルの情報を処理し続ける。

DeepMemのようなマルチスケールバイトレベルモデルへの移行は、基本的なインフラの制約についても再考を促す。従来のトークンベースのTransformerと比較して、DeepMemにはいくつかの顕著なエンジニアリング上のトレードオフがある。

まず「メモリ使用量」についてだ。LLMでは「KVキャッシュ」と呼ばれる、以前に計算されたキー（Key）とバリュー（Value）を保存しておくメモリが重要になる。トークンベースのモデルでは、これがトークン数に比例して増えるが、DeepMemでは、深層メモリバンクが圧縮されているため、生のバイト長を圧縮ファクターで割った値に比例してメモリが増える。つまり、はるかに効率的にメモリを使うことができる。

次に「スループット」だ。DeepMemはバイトあたりの計算効率は低いものの、一ステップで処理できる情報量が格段に多いため、全体としての情報処理能力は高い。そして「レイテンシ」、つまり応答開始までの時間については、DeepMemは前処理であるトークナイザーのオーバーヘッドがないため、生のバイトが入力されればすぐに処理を開始できる。これにより、従来のモデルで問題になっていたOOV処理などの遅延がなくなる。

最後に「精度とカバレッジ」だ。トークンベースのモデルは、トークン化によってコードが破損したり、多言語で性能が劣化したりする脆弱性があったが、DeepMemは生のバイトを直接扱うため、任意のバイナリデータ、絵文字、様々な文字エンコーディングをネイティブに処理できる普遍的なカバレッジを持つ。DeepMemの核心的な利点は、生のバイトモデルが直面していた二乗計算コストによるメモリの壁を打ち破った点にある。履歴情報をDeep Memory Streamとして圧縮することで、KVキャッシュのメモリフットプリントが、生の未圧縮バイト長ではなく、圧縮ファクター$k$に比例して増加するのだ。

このような最先端のアーキテクチャを実際に運用する際には、いくつかのベストプラクティスがある。DeepMemのようなバイトレベルモデルは、従来のトークナイザーよりも3倍から4倍長いシーケンス長を生成するため、高速なアテンション計算が可能なFlashAttention-3や、スライディングウィンドウに最適化されたカスタムカーネル（GPU上で高速計算を行うためのプログラム）を利用できるようなサービングインフラ（vLLMやTensorRT-LLMといった推論エンジン）が必要になる。

また、モデルの訓練やファインチューニングを行う際には、DeepMemのメモリ圧縮プロセスで導入されるパディング（データ長の調整のために追加される無意味なデータ）を、損失関数が適切に「マスク」することが非常に重要だ。これを怠ると、マスクされていないパディングバイトがクロスアテンションの安定性を損ない、モデルの性能を低下させる可能性がある。

さらに、圧縮ファクター$k$の選択も重要だ。一般的なテキストでは$k=4$や$k=8$がうまく機能するが、プログラミングコードやJSON、Protobufのような構造化されたデータが主体となる場合には、情報の意味が途切れないように、この圧縮ウィンドウを動的に調整することも有効な戦略となる。

DeepMemのような根本的なアーキテクチャの変更は、推論の応答速度、メモリの使用量、そしてバイトあたりの経済性に大きな影響を与える。そのため、このような最先端のアーキテクチャを本番環境に導入する際には、実際の利用状況を想定したベンチマークに対する継続的な回帰テストが不可欠となる。これにより、インフラの決定が実際のサービス品質目標（SLA）と一致していることを確実にできる。