【ITニュース解説】Running MoE LLMs Larger Than Your RAM: A Practical Guide to mmap, Expert Offloading and SSD Streaming with llama.cpp

近年、大規模言語モデル（LLM）と呼ばれる人工知能技術が目覚ましい発展を遂げている。LLMは自然な言葉を理解し生成する能力を持つが、その高度な機能は膨大なメモリと計算能力を必要とし、特にPCのメインメモリ（RAM）容量を超えるモデルを動かすことは大きな課題とされてきた。今回のニュース記事では、この課題を解決するための一つの実践的な方法が解説されている。それは『Mixture of Experts（MoE）』という種類のLLMを、既存のPCのRAM容量を超えて動作させる技術である。システムエンジニアを目指す皆さんにとって、限られたハードウェアリソースを最大限に活用する、非常に価値ある知見となるだろう。

通常、『Denseモデル』と呼ばれる一般的なLLMは、入力された情報（トークン）を処理する際に、モデル全体にわたる膨大な数値の集まりである『ウェイト』を常に参照する。このウェイトがRAMに収まらない場合、処理のたびに速度の遅いSSDなどのストレージからデータを読み込む必要があり、極端に処理が遅くなってしまう。 これに対し、『Mixture of Experts（MoE）』モデルは異なるアプローチを取る。MoEモデルは、多数の専門家（エキスパート）と呼ばれる小さなサブモデルの集合体で構成されている。入力されたトークンは、まず『ルーター』という機構によって分析され、そのトークンを処理するのに最も適した少数のエキスパートだけが選択される。例えば、全体で数百億のパラメータを持つモデルであっても、実際に使われるのはそのうちの数パーセントに過ぎない。この特性が、RAM容量を超えるモデルの実行を可能にする鍵となる。

MoEモデルの特性を活かしたメモリ配置の最適化が重要となる。まず、AttentionやEmbeddingといった、どのトークンを処理する際にも必ず使われる共通の層は、モデル全体のごく一部であるため、最も高速なGPUメモリ（VRAM）に配置される。 一方、エキスパート部分のウェイトはモデルの大部分を占めるが、各トークンで同時に使われるのは一部である。この部分は比較的容量の大きいメインメモリ（RAM）に配置され、もしRAMだけでは足りない場合でも、LinuxなどのOSが提供する『mmap（メモリマップドファイル）』という機能が活用される。mmapを使うと、ファイルの一部をあたかもRAM上にあるかのように扱えるため、OSは必要なエキスパートのデータだけをSSDからRAMへ自動的に読み込む。この際、頻繁に使われるエキスパートはOSの『ページキャッシュ』という仕組みによってRAM上に保持され続ける。これにより、使われないエキスパートはSSDに置かれたままであり、必要な時にだけ読み込まれることで、全体の処理効率が向上する。

モデルを実際に動かす前には、どれくらいのメモリが必要かを事前に見積もることが重要である。記事では、モデルファイルから共通部分とエキスパート部分それぞれのサイズをGB単位で計算するスクリプトが紹介されており、これによってPCのRAMがエキスパートのウェイトに対してどれくらいの割合を占めるかを予測できる。一般的に、エキスパートの総容量の70%以上のRAMがあれば高速な動作が期待でき、40%から70%程度であれば速度は変動するものの実行は可能である。 具体的な実行には『llama.cpp』というソフトウェアを使用し、コマンドラインオプションでモデルのどの部分をGPU、どの部分をCPUに配置するかを制御する。『--ngl』オプションで共通部分をGPUに、『--override-tensor』や『--n-cpu-moe』でエキスパートのウェイトをCPU（RAM/SSD）側に配置する指示を出すのだ。これにより、限られたGPU VRAMを効率的に使い、残りをCPU、RAM、SSDで補う。ただし、モデルがRAMより大きい場合に『--no-mmap』や『--mlock』といったオプションは、メモリ不足によるプログラムのクラッシュを招くため避けるべきである。 モデル実行中にパフォーマンスが期待通りでない場合、SSDがボトルネックになっていないかを監視することが重要となる。Linux環境では『iostat』コマンドでSSDの読み込み速度を、『ps』コマンドでプログラムのページフォルト（SSDからRAMへのデータ読み込み回数）を、『vmtouch』コマンドでモデルファイルのRAMへの常駐率を確認できる。これらの情報から、もしSSDが継続的に大量のデータを読み込んでいる状態（スラッシング）であれば、それはRAM容量の不足が原因であり、より小さなモデルを使うか、他のアプリケーションを閉じることでRAMの利用効率を高める必要がある。

このように、MoEモデルとmmap、そして賢いメモリ配置戦略を組み合わせることで、PCのRAM容量を超える大規模なLLMであっても、個人レベルの環境で効率的に動作させることが可能となる。これは、高価なGPUを増設することなく、既存のハードウェアを最大限に活用するための非常に実践的な技術である。システムエンジニアを目指す皆さんにとって、MoEモデルの選択、事前メモリ要件の見積もり、llama.cppでの適切な設定、SSD性能への配慮、そして何よりもツールを使った実際のパフォーマンス測定とボトルネック特定能力の習得が、この技術を使いこなす鍵となるだろう。