【ITニュース解説】VIDRAFT POCKET: Running a 180B MoE Model on an 8 GB VRAM Laptop — 3.15M Downloads and Counting

VIDRAFT POCKETは、通常であれば高性能な専用ハードウェアが必要とされる大規模なAIモデル、特に大規模言語モデル（LLM）を、一般的な個人用コンピューターやノートPCで動作させることを可能にする画期的な技術だ。その目的は、最新のAI技術をより多くの人が手軽に利用できるようにすることであり、実際、8ギガバイトのVRAM（ビデオメモリ、GPUに搭載された高速なメモリでAIの計算に不可欠）しか持たないノートPCでも、1800億ものパラメータを持つ巨大なMoEモデルを動かすことができるとされている。すでに300万回以上ダウンロードされており、その関心の高さがうかがえる。

このVIDRAFT POCKETの核心にあるのは、いくつかの賢い工夫だ。まず、「標準的なランタイムのみで動作する」という点だ。これは、特別な改造を施したソフトウェアや、複雑な設定なしに、現在広く使われているllama.cppやOllama、LM StudioといったAIモデル実行ツールでそのまま使えることを意味する。通常、新しい技術が登場すると、専用のソフトウェアや環境構築が必要になることが多いが、VIDRAFT POCKETはそういった手間を省き、利用の敷居を大きく下げている。さらに、クラウドサービスに依存しないため、インターネット接続がない環境や、データのプライバシーを重視する場面でも安心して利用できる。

次に、そのモデルの構造にある。VIDRAFT POCKETは「Sparse Mixture-of-Experts（MoE）」というアーキテクチャを採用している。大規模言語モデルは、非常に多くのパラメータ（モデルの知識を表す数値）を持っており、これがモデルの賢さに繋がる。しかし、パラメータ数が多すぎると、その全てをメモリに展開し、計算するには莫大なVRAMと計算能力が必要になる。MoEモデルは、例えるなら、さまざまな分野の専門家（小さなAIモデル）をたくさん集めておき、何か質問が来たときに、その質問内容に応じて最適な専門家だけを選んで答えさせるような仕組みだ。つまり、全体のパラメータ数は非常に大きいが、実際に一つの質問に答えるためにアクティブになる（計算に使う）パラメータはごく一部で済む。この「疎（まばら）な活性化」が、メモリの使用量と計算量を劇的に減らし、結果として通常では動かせないような巨大なモデルを、限られたハードウェアで動かすことを可能にしている。たとえば、1800億パラメータという途方もない規模のモデルであっても、推論（AIが応答を生成する処理）時にはそのごく一部しか使わないため、メモリ帯域（データ転送速度）や計算リソースの要求が大幅に軽減されるのだ。

また、モデルファイルを「GGUF形式」で提供している点も重要だ。GGUFはllama.cppで標準的に使われているファイル形式で、これによってモデルの互換性が高まるだけでなく、効率的な「混合精度量子化」をサポートしている。量子化とは、AIモデルの重み（パラメータ）の数値表現を、より少ないビット数に圧縮することだ。例えば、通常32ビットで表現される数値を、半分の16ビットや、さらに少ない4ビット、2ビットで表現するようにする。これにより、モデルファイルのサイズを大幅に小さくし、メモリ消費量も減らすことができるため、VRAM容量の少ないPCでも大規模モデルを動かすことが可能になる。しかし、ビット数を減らすと一般的にモデルの精度が低下するリスクがある。VIDRAFT POCKETは、この量子化の技術を巧みに使いこなし、特定のモデルでは2ビット量子化でもほぼオリジナルの品質を維持し、1800億パラメータのモデルの4ビット量子化版では、元の高性能版（BF16という高精度な表現形式）とほぼ同等の品質を87.65%という高い水準で維持している。これは、ファイルサイズと性能の両立を高いレベルで実現していることを示している。

実際の性能を見てみよう。VIDRAFT POCKETのモデルは、高性能なGPUだけでなく、CPUのみの環境でも良好な性能を発揮する。例えば、POCKET-35Bという350億パラメータのモデルは、通常のCPUを搭載したPCで1秒あたり27.0トークン（単語や記号の単位）を生成できる。これは、同程度の規模の他のモデルと比較しても高速だ。さらに、POCKET-Darwin-180Bという1800億パラメータのモデルの4ビット量子化版は、ファイルサイズが111ギガバイトと巨大だが、8ギガバイトのVRAMと32ギガバイトのメインメモリを搭載した一般的なノートPCで、1秒あたり4.17トークンの生成速度を達成している。この4.17トークン/秒という速度は、リアルタイムの会話としては少し遅く感じるかもしれないが、1800億パラメータという巨大なモデルが、一般的なノートPCで、しかもクラウドに接続せずに動作していることを考えると、非常に画期的なことだ。バッチ処理（複数のタスクを一括で処理すること）や、文書の要約といった用途では十分に実用的な速度と言えるだろう。

VIDRAFT POCKETモデルを自分で試すことも非常に簡単だ。Hugging FaceというAIモデルの公開プラットフォームから、コマンドラインツールを使ってダウンロードし、先ほど説明したllama.cppなどの標準的な実行ツールで、すぐに動かすことができる。ここで一つ、注意すべき重要な点がある。CPUを使って推論を行う際、モデル実行ツールにCPUの利用スレッド数を指定するオプション（例えばllama.cppの-tフラグ）がある場合、その値は「物理コア数」に設定すべきだ。「論理スレッド数」つまりハイパースレッディングによってOSからは独立したCPUコアのように見える数に設定すると、かえって性能が低下することがある。これは、ハイパースレッディングが物理的な実行リソースを共有しているため、特にメモリ帯域がボトルネックになりやすいLLMの推論のような処理では、論理コア全てを使うことでリソースの奪い合いが発生し、効率が落ちてしまうためだ。物理コア数を指定することで、CPUが最も効率的に動作し、最良のパフォーマンスを引き出すことができる。

このようにVIDRAFT POCKETは、MoEアーキテクチャ、GGUF形式、そして賢い量子化技術を組み合わせることで、これまで一部の高性能ハードウェアユーザーしか享受できなかった大規模言語モデルの恩恵を、より多くの人々に届ける可能性を秘めている。特別な環境構築なしに、手持ちのPCで最先端のAIモデルを動かせるという事実は、AI技術の民主化を大きく前進させるものと言えるだろう。