【ITニュース解説】Training an LLM from Scratch on Inference-Only NPUs — No GPU Required

最新のITニュースで、人工知能の分野に大きな進歩が報じられた。通常、AIモデルの学習には高性能なGPU（Graphics Processing Unit）が必要とされているが、今回「VIDRAFT」という企業が、推論専用のNPU（Neural Processing Unit）だけを使って、大規模言語モデル（LLM）の一種をゼロから学習させることに成功したという内容だ。これは、これまで不可能だと考えられてきた課題を解決した画期的な成果と言える。

まず、大規模言語モデル（LLM）について簡単に説明する。LLMとは、非常に大量のテキストデータを学習することで、人間のような自然な文章を生成したり、質問に答えたり、翻訳したりできるAIモデルのことだ。ChatGPTなどが有名だが、こうしたモデルを開発するには、膨大な計算能力が必要となる。

ここで重要になるのが、GPUとNPUという二種類の半導体チップの役割だ。GPUは元々グラフィック処理のために開発されたが、同時に多くの計算を並列で実行できる特性から、AIの学習と推論の両方で広く使われている。一方、NPUは、AIの特定の処理、特に学習済みのモデルを使って実際に予測や生成を行う「推論（Inference）」に特化して設計されたチップだ。NPUは、推論処理を効率良く、より少ない電力で高速に実行できるように作られているため、スマートフォンやIoTデバイスなど、限られた環境でのAI利用に適している。しかし、その特性ゆえに、モデルを一から作り上げる「学習（Training）」には不向きだと考えられてきた。

なぜ、推論専用NPUでは学習が難しいのか。AIモデルの学習には「バックプロパゲーション（誤差逆伝播）」という複雑なプロセスが不可欠だ。このプロセスは、まずモデルにデータを与えて結果を予測させる「フォワードパス」を行う。次に、その予測結果と実際の正解との誤差、つまり「損失」を計算する。そして、この損失を元に、モデル内部の数百万、数億もの「重み」と呼ばれるパラメータを少しずつ修正していくのがバックプロパゲーションだ。この重みの修正には、勾配計算と呼ばれる高度な数学的処理が必要で、そのために非常に柔軟なメモリ管理、高精度な中間計算バッファ、そして計算結果を効率的に更新する機能がチップ側に求められる。従来の推論専用NPUは、フォワードパスを高速化するために、これらの学習に必要な機能が制限されているか、そもそも搭載されていないことが多かった。

VIDRAFTが今回の研究で成し遂げたのは、この推論専用NPUの制約を乗り越え、バックプロパゲーションを可能にしたことだ。彼らは「VKORE」という独自のソフトウェア層を開発した。これは、NVIDIA製のGPUに対して「CUDA」というソフトウェアが果たしている役割、つまりハードウェアの性能を最大限に引き出すための橋渡し役のようなものだと考えるとわかりやすいだろう。VIDRAFTは、NPUベンダーが通常提供しない学習用のソフトウェアスタックに頼ることなく、このVKOREソフトウェア層を通じて、NPUを学習可能な計算基盤として機能させた。これにより、推論専用NPUが苦手とする勾配計算や重み更新の処理を、VKOREがうまく調整して実行できるようになったのだ。

今回学習に成功したモデルは「VKORE-46M-NPU」と名付けられ、4600万個のパラメータを持つ小型言語モデルだ。注目すべきは、このモデルが完全にランダムな状態から、つまり何の事前学習もされていない「ゼロから」学習された点にある。これは、既存の学習済みモデルを少し調整する「ファインチューニング」や、別のモデルの知識を転用する「転移学習」とは異なり、NPUだけで一からモデルの知識を構築したことを意味する。もし転移学習などであれば、その成果はNPU単体での学習能力を証明するものではないため、この「ゼロから」という点は非常に重要だ。

さらに、VIDRAFTはこのNPUでの学習結果が正確であるかを検証するため、全く同じ条件で高性能なGPUでも学習を行い、両者の学習過程を比較した。その結果、NPUでの学習とGPUでの学習における「損失曲線」、つまり学習が進むにつれてモデルの誤差がどのように減少していくかを示すグラフが、0.99という非常に高い相関係数を示した。これは、両者の学習プロセスが統計的にほぼ同じ経路をたどって収束していくことを意味する。言い換えれば、NPU上での勾配計算が、GPUと同程度に正確で一貫性があることを証明したことになる。ただし、この相関係数は学習の「正しさ」を示すものであり、NPUでの学習速度がGPUと同じくらい速いということを意味するものではない点には注意が必要だ。推論専用NPUでの学習は、一般的にGPUよりも時間がかかると考えられている。

VIDRAFTは、このVKORE層が学習だけでなく、学習済みモデルの推論や、より軽量な「量子化モデル」の実行にも対応していることを確認済みだ。これは、VKOREがAIモデルの「学習」から「実運用（デプロイ）」まで、開発サイクル全体をNPU上でサポートできる可能性を示唆している。

今回の成果である学習済みモデル「VKORE-46M-NPU」の重みデータと、GPUとの比較分析資料は、公開プラットフォームであるHugging Faceを通じて誰でもダウンロードして試すことができる。これにより、興味を持った開発者や研究者が実際にモデルの性能を評価したり、その実現方法を分析したりすることが可能となる。しかし、今回NPUで学習を可能にした核となるVKOREのトレーニングコード自体は、企業の知的財産保護のため現時点では非公開だ。将来的にその詳細を記した技術論文が発表される予定であり、VKOREのSDK（ソフトウェア開発キット）が公開されれば、さらに多くの人々が自身のNPUハードウェアで学習を試せるようになるだろう。

VIDRAFTは今後、VKOREソフトウェア層のロードマップとして、特定のタスクにモデルを最適化する「LoRAファインチューニング」機能の実装や、より大規模なモデルの事前学習への対応も計画している。今回の発表は、AI学習ハードウェアの選択肢を広げ、NPUというこれまで推論に限定されていたチップの可能性を大きく開いたと言える。これは、より多様な環境やコスト制約の中でAIを開発し、利用していく未来に向けて、非常に重要な一歩となるだろう。