【ITニュース解説】A 35B AI Model on an iPhone With 3 GB of Memory? Where the Weights Actually Live

IT技術の進化は目覚ましく、最近では、大規模なAIモデルがスマートフォンなどの限られたリソースしかないデバイスで動作するという話題が注目を集めている。OpenBMBという研究グループが開発した350億個ものパラメータを持つAIモデルが、わずか3GBのメモリしか搭載していないiPhoneで動作するという発表は、一見すると非常に矛盾しているように思えるだろう。なぜなら、このモデルのファイルサイズは21.2GBにも及ぶとされているからだ。通常、コンピュータは実行するプログラムやデータをメモリ（RAM）上に展開して処理するため、ファイルサイズがメモリ容量を大幅に超える場合、そのままでは動作できないと考えるのが一般的である。しかし、この両立は現代のAI技術におけるいくつかの巧妙な工夫によって可能になっている。

まず、AIモデルの「サイズ」について理解する必要がある。AIモデルの性能を決定する重要な要素の一つに「パラメータ数」がある。OpenBMBのモデルが持つ「35B」という数字は、350億個のパラメータ、つまりモデルが学習を通じて調整する値の数を指している。これらのパラメータは「重み（weights）」と呼ばれ、モデルが入力データから何をどれだけ強く認識し、どのように次の処理へつなげるかを制御する情報であり、モデルの知識や判断能力そのものと言える。これら個々の重みは通常、高い精度を持つ浮動小数点数（例えば32ビットのデータ）として表現されるため、パラメータ数が増えれば増えるほど、その情報を保存するためのファイルサイズも比例して大きくなる。350億個のパラメータがそれぞれ32ビット（4バイト）だとすれば、単純計算で140GBにも達するが、実際には様々な最適化を経て21.2GBに収まっている。それでも、iPhoneの3GBメモリには収まらない。

ここで重要なのが、コンピュータの「メモリ」と「ストレージ」の違いである。ストレージ（スマートフォンの内部ストレージやPCのSSD、HDDなど）は、大量のデータを永続的に保存する場所であり、電源を切ってもデータは消えない。一方、メモリ（RAM）は、CPUが処理を行う際に一時的にデータを格納する高速な作業スペースであり、電源を切るとデータは消えてしまう。AIモデルのファイルサイズ21.2GBというのは、このモデルの重みデータがストレージ上に保存されている全体の容量を指す。そして、iPhoneの3GBメモリとは、この高速な作業スペースの容量を意味する。

では、21.2GBのファイルが3GBのメモリ上でどうやって動くのか。その鍵となる技術の一つが「量子化（Quantization）」だ。これは、AIモデルの重みを表現する数値の精度を意図的に下げることで、データサイズを削減する手法である。例えば、通常32ビットの浮動小数点数で表現される重みを、8ビットや4ビットの整数に変換する。32ビットが4バイトなのに対し、8ビットは1バイト、4ビットはわずか0.5バイト（ただし実際にはバイト単位で処理されることが多い）にまでデータ量を削減できる。これにより、モデル全体のファイルサイズを大幅に縮小できるだけでなく、推論（モデルが入力に対して出力を生成する処理）時のメモリ使用量や計算量を減らすことも可能になる。重みの精度が下がれば、モデルの性能がわずかに低下する可能性もあるが、多くの場合、実用上問題ないレベルに収まるよう、巧妙なアルゴリズムが用いられる。OpenBMBのモデルも、この量子化によって21.2GBというサイズからさらに大幅にメモリ上にロードする際のデータ量を削減していると考えられる。

量子化によって重みのデータサイズが小さくなったとしても、まだ3GBのメモリに収まりきらない場合もある。この課題を解決するためには、推論時にモデルの重み全てを一度にメモリにロードしない、という工夫が重要となる。これは「オフロード（offloading）」や「ストリーミング」と呼ばれる技術の応用と考えることができる。AIモデルの処理は複数の層（レイヤー）で構成されているため、各層が必要とする重みだけをストレージからメモリに読み込み、その層の計算が完了したら、その重みをメモリから解放し、次の層の重みを読み込む、というような逐次的な処理が可能になる。この方式ならば、メモリには常に処理中の層に必要な最小限の重みしか存在しないため、モデル全体のサイズがメモリ容量を超えていても問題なく動作できる。iPhoneのようなデバイスでは、CPUだけでなく、GPUや最近ではAI処理に特化したNPU（Neural Processing Unit）が搭載されており、これらのプロセッサが連携して効率的に重みのロードと計算を実行することで、高速な推論を実現している。

OpenBMBが発表した技術は、このような量子化と、重みを逐次的に処理する技術を高度に組み合わせることで、大規模なAIモデルをモバイルデバイス上で動作させることに成功したと言える。このような「オンデバイスAI」の実現は、多くのメリットをもたらす。例えば、データ処理がデバイス内で完結するため、プライバシー保護が強化される。また、クラウドサーバーとの通信が不要になるため、ネットワークの遅延に左右されず、高速な応答が可能となる。さらに、オフライン環境でもAI機能を利用できるようになる。

かつてはスーパーコンピュータでしか実現できなかったような大規模AIモデルが、手のひらサイズのスマートフォンで動作するというのは、まさに技術革新の象徴である。システムエンジニアを目指す皆さんにとって、このような技術の裏側にある工夫や原理を理解することは、これからのAI時代において非常に価値のある知識となるだろう。AIモデルのサイズをいかに効率的に扱うか、限られたリソースで最大限の性能を引き出すか、といった課題は、今後も様々な形で現れてくるに違いない。