【ITニュース解説】On-Device LLM

最近、「On-Device LLM」という言葉をよく耳にするようになった。これは、人工知能の中でも特に大規模言語モデル（LLM）と呼ばれる技術が、クラウド上のサーバーではなく、私たちが普段使うスマートフォンやパソコンといった個別のデバイス上で直接動作することを指す。例えば、サムスンはGalaxy S24に、アップルはApple Intelligenceに、それぞれオンデバイスLLMを搭載すると発表しており、この技術が急速に実用化されつつあるのが現状だ。

では、On-Device LLMとは具体的に何なのだろうか。通常、クラウドLLMは、インターネットを通じて遠く離れた高性能なデータセンターのサーバーと通信し、そこで計算処理を行う。これに対し、On-Device LLMは、その名の通り、ユーザーの手元にあるデバイスそのものの上でLLMが動作する。ここで「動作する」とは、主にユーザーからの指示を受けて、モデルが回答を生成する「推論」という処理を意味する。現在、デバイス上でLLMをゼロから学習させる試みも一部あるが、基本的には、あらかじめ学習済みのモデルを使って推論を行うことが主だ。On-Device LLMには、一つはデバイス上で推論できるほど軽量に作られたLLM（小型LLM、sLMとも呼ばれる）そのものを指す場合と、もう一つは、その軽量なLLMをデバイス上で実際に動かすための技術や行為全般を指す場合がある。

On-Device LLMを実現するには、クラウド環境とは異なるデバイス特有の厳しい制約を乗り越える必要がある。その最たるものが「メモリ」の制約だ。現代のスマートフォンは8GBから24GB程度のRAMを搭載しているが、これはLLMを動かすには十分ではない。例えば、比較的規模の小さい30億パラメータのLLM（3B LLM）でも、通常クラウドで使われる32ビット浮動小数点数（fp32）形式でモデルを保存すると、約12GBのメモリが必要となる。さらに、オペレーティングシステムや他のアプリケーションもメモリを使うため、実際にはもっと少ない利用可能なメモリしか残らない。仮に16ビット浮動小数点数（fp16）を使っても6GBが必要で、依然として大きい。また、メモリの「速度」も重要だ。LLMはデータへのアクセス速度に性能が大きく左右される「メモリ律速型」と呼ばれる特性を持つが、スマートフォンで採用されるメモリは、クラウドで使われる高性能なGPU（例：NVIDIA A100やH100）に搭載される超高速メモリとは比べ物にならない。高速メモリは高価で消費電力も大きいため、スマートフォンのようなデバイスに搭載することは、コストとバッテリー持続時間の観点から現実的ではない。

次に「ストレージ」の制約がある。スマートフォンのストレージ容量は128GBから1TBと大きくなっているが、それでも3B LLMが6GBから12GBもの容量を占めるのは大きな負担だ。ユーザーは写真や動画で常に容量不足に悩まされており、LLMがこれほどの容量を占有するのは受け入れられにくい。また、ストレージの「速度」も問題となる。LLMを動作させるためには、まずストレージからメモリにモデルを読み込む必要があるが、ストレージはメモリよりもはるかに遅い。スマートフォンのOSはメモリを節約するために、使用されていないアプリを終了させることがよくあるため、大型のLLMアプリが終了されると、次に利用する際にモデルを再度ストレージからメモリへ読み込み直さなければならず、これがユーザー体験を損なう原因となる。

「処理速度」も大きな問題である。スマートフォンのCPUやGPUは進化しているものの、クラウドのスーパーコンピューター級のGPUと比較すれば、その処理能力は大幅に劣る。もしOn-Device LLMの応答に何分もかかるとすれば、実用性は皆無に等しい。さらに、デバイス特有の問題として「バッテリー」と「熱」が挙げられる。強力な計算処理は大量の電力を消費するため、スマートフォンの小さなバッテリーでは長時間LLMを動かすことはできない。また、計算による発熱も大きな問題だ。放熱設計が限られているスマートフォンでは、過度な発熱はデバイスの性能低下（サーマルスロットリング）を引き起こし、最悪の場合、ユーザーが低温やけどを負う可能性すらある。

これらの多くの制約がある中で、On-Device LLMを現実のものにするために、様々な技術的な工夫が凝らされている。最も重要なのは「モデルの軽量化」だ。まず、最初からクラウドLLMよりもはるかに小さなモデル（例：3B LLM）を選ぶことが基本となる。その上で、さらにモデルを小さくするための技術が適用される。例えば、「剪定（Pruning）」はモデル内の重要度の低い接続や重みを削除することで、モデルサイズを小さくする技術だ。「蒸留（Distillation）」は、高性能な大規模モデルの知識を、より小さなモデルに学習させることで、性能を保ちつつ小型化を図る。そして、特にOn-Device LLMで不可欠なのが「量子化（Quantization）」である。これは、モデルのパラメータを表現する数値のデータ形式を、より小さなものに変換する技術だ。例えば、通常32ビット（4バイト）で表現される浮動小数点数を、16ビット（2バイト）の浮動小数点数、あるいは8ビット（1バイト）や4ビット（0.5バイト）の整数に変換する。これにより、モデルサイズを大幅に削減できる。3B LLMであれば、fp32で12GBだったものが、int4に量子化することでわずか1.5GBまで小さくなる。量子化は精度低下のリスクを伴うが、技術の進歩により、最近ではint4量子化でもモデルの性能をほぼ維持できるようになっている。ただし、量子化されたモデルを効率的に実行するには、デバイス側のハードウェアがそのデータ形式をサポートしている必要がある。

軽量化されたモデルを「高速化」させるためのハードウェアも重要だ。従来のCPUやGPUに加えて、特に注目されているのが「NPU（Neural Processing Unit）」である。NPUは、深層学習に特化した演算を高速かつ省電力で実行するために設計されたプロセッサだ。スマートフォンに搭載されるNPUは、深層学習の主要な演算をチップレベルで最適化しており、LLMの推論をCPUやGPUよりも効率的に行える。これにより、消費電力を抑えつつ、応答速度を向上させることが可能になる。しかし、NPUはGPUほど汎用性が高くなく、チップセットメーカー（Qualcomm、Apple、Samsungなど）によって設計が異なるため、PyTorchやTensorFlowなどの汎用フレームワークで作成されたモデルを、特定のNPU向けに変換・最適化する手間が必要となる。この変換プロセスで、NPUがサポートしない演算があると、性能が低下したり、最悪の場合はモデルが動作しない可能性もある。ハードウェアだけでなく、クラウドLLMで開発されたKVキャッシュや投機的デコーディングといった推論高速化技術もOn-Device LLMに応用されている。

モデルを軽量化し高速に動かせるようになっても、その「品質保証」は不可欠である。小型モデルは大規模モデルに比べて、プロンプトへの応答性や指示への追従性が劣る場合があるため、目的のタスクに合わせて「ファインチューニング」することが極めて重要だ。しかし、複数の機能をデバイスに搭載しようとすると、それぞれの機能ごとにファインチューニングされたモデルが必要になり、ストレージを圧迫するという問題が生じる。この問題を解決する技術として「LoRA（Low-Rank Adaptation）」がある。LoRAは、ベースとなるLLMモデルはそのままに、タスク固有の小さな追加重み（LoRA重み）だけを入れ替えることで、大幅なストレージの節約と柔軟な運用を可能にする。

On-Device LLMの開発過程では、これらの技術を適用するたびに性能が少しずつ低下する「性能損失の連鎖」という課題に直面する。適切なモデル選び、ファインチューニング、剪定、蒸留、量子化、そしてNPUへの最適化といった各ステップで、わずかながらも性能が落ちる可能性があり、最終的に期待した品質が得られないこともある。このため、どの段階でどれだけ性能が低下したのかを丹念に分析し、修正していく地道な作業が求められる。

これほど多くの困難があるにもかかわらず、なぜOn-Device LLMがこれほど注目されているのだろうか。ユーザーにとって最大のメリットは「プライバシーの保護」である。On-Device LLMでは、ユーザーのデータがデバイスから外部のクラウドサーバーに送信されることなく処理されるため、個人情報が漏洩するリスクが大幅に低減される。企業にとっても利点は大きい。まず、高性能GPUを運用するクラウドLLMは電気代を含め運用コストが非常に高いが、On-Device LLMを導入することで、これらの「クラウドコストを削減」できる。また、ユーザーデータをクラウドで扱うことには、GDPRなどの「法的リスク」が伴うが、On-Device処理であればそのリスクも軽減される。さらに、On-Device LLMは「新たな製品差別化の要素」となる。サムスンのGalaxy AIやアップルのApple Intelligenceのように、デバイスに直接AI機能を搭載することで、新しいスマートフォンの強力なセールスポイントとなり得る。これは、より高性能なRAM、ストレージ、プロセッサが必要となるため、半導体メーカーにとっても新たなビジネスチャンスを生み出す。

結論として、On-Device LLMの実現は、単に大規模なモデルを小さなチップに圧縮するだけでなく、メモリ、速度、品質、そしてユーザー体験という多岐にわたる要素の間で最適なバランスを見つける「トレードオフの芸術」だと言える。この分野で成功を収める企業は、単にモデルを小型化するだけでなく、私たちが日々持ち歩くデバイスで何ができるかを再定義し、未来のコンピューティング体験を形作っていくことになるだろう。