【ITニュース解説】How a 24GB GPU Can Run a 100B LLM

大規模言語モデル（LLM）は、膨大な量のテキストデータを学習し、人間のような自然な言語を理解し、生成する能力を持つAIモデルである。その能力は、「パラメータ」と呼ばれる学習によって調整される数値の数に大きく依存する。パラメータが多ければ多いほど、モデルはより複雑な知識やパターンを学習し、高度なタスクを実行できるようになる。例えば、1000億パラメータ規模のLLMは、非常に広範な知識を持ち、多岐にわたる質問に答えたり、文章を作成したりできる。

しかし、この莫大なパラメータは大きな課題も伴う。LLMを動かすためには、そのパラメータを保持し、計算処理を行うためのメモリが必要となる。特に、AIモデルの高速な計算を担うGPU（Graphics Processing Unit）に搭載されたメモリ（VRAM）は高速だが容量が限られているため、これがボトルネックとなることが多い。例えば、1000億パラメータのモデルを動かす場合、通常は数百GBものGPUメモリが必要になると言われている。そのため、一般的なPCに搭載されている24GB程度のGPUでは、このような巨大なLLMを直接実行することは、これまでは不可能だと考えられてきた。モデルの全パラメータがGPUメモリに収まりきらないためだ。

この課題を解決し、限られたGPUメモリで大規模なLLMを実行可能にする画期的な技術が、Mixture of Experts（MoE）モデルである。MoEモデルは、従来のLLMのように一つの巨大なネットワークとして機能するのではなく、特定の専門分野に特化した複数の小さな「エキスパート」ネットワークの集合体として構築されている。例えるなら、さまざまな分野の専門家が集まるチームのようなもので、各エキスパートが特定の種類の情報処理やタスクに特化している。

MoEモデルの重要な特徴は、その動作原理にある。「ゲート」または「ルーター」と呼ばれる特別な部分が、入力されたデータを見て、どのエキスパートがその処理に最も適しているかを判断し、選択されたごく一部のエキスパートにのみ処理を割り当てる。例えば、「歴史に関する質問」が入力されれば歴史のエキスパートが、「数学の問題」が入力されれば数学のエキスパートが選ばれる、といった具合である。このとき、全てのエキスパートが同時に活動するわけではなく、入力に対してアクティブになるエキスパートはごく一部に限られる。この特性を「スパース性」と呼ぶ。スパース性があることで、MoEモデルは計算リソースやメモリをはるかに効率的に利用できる。

このスパース性が、メモリ効率の劇的な改善をもたらす。推論時、つまり学習済みのモデルを使って新しい入力を処理し、結果を生成する際に、MoEモデルは全ての1000億パラメータをGPUメモリに一度にロードする必要がない。ゲートによって選択された、その瞬間に必要なごく一部のエキスパートのパラメータだけをGPUメモリにロードすれば良いのだ。残りの膨大な数のパラメータは、GPUメモリよりもはるかに大容量で安価なストレージ、例えば高速なSSD（Solid State Drive）に保存しておく。

そして、必要に応じてSSDから選択されたエキスパートのパラメータをGPUメモリに「ストリーミング」する。ストリーミングとは、動画をインターネットで視聴する際のように、全体を一度にダウンロードするのではなく、必要な部分だけを順次読み込みながら再生を進めるような方式である。この仕組みにより、24GBという限られたGPUメモリしか持たない環境でも、見かけ上は数百GBのメモリを必要とするような1000億パラメータのLLMを実行できるようになる。GPUメモリは、現在処理中のエキスパートのパラメータを一時的に保持する高速な作業領域として機能し、SSDはモデル全体の巨大な知識ベースを保存する大容量の倉庫として機能する。SSDのデータ転送速度が十分に高速であれば、このデータの入れ替えがモデルの実行パフォーマンスを大きく損なうことなく行われる。

このMoEモデルとSSDからのストリーミング技術の組み合わせは、限られたハードウェアリソースでも大規模なAIモデルを利用できる道を開く画期的な進歩である。これまで、最先端のLLMは超高性能で高価なGPUクラスタがなければ扱えないとされてきたが、この技術により、より多くのユーザーや開発者が、身近なハードウェアでこれらの大規模モデルを利用できる可能性が高まる。これはAI技術の普及と民主化に大きく貢献し、AIの活用範囲をさらに広げる重要な一歩となるだろう。