【ITニュース解説】Ai2's Olmo-core 3 Keeps Every Expert on the GPU and Throughput Nearly Flat
2026年10月14日に「Dev.to」が公開したITニュース「Ai2's Olmo-core 3 Keeps Every Expert on the GPU and Throughput Nearly Flat」について初心者にもわかりやすく解説しています。
ITニュース概要
Ai2が公開したAI学習フレームワーク「Olmo-core 3」は、大規模なMoEモデルの学習を効率化する。GPUのメモリ利用を改善し、データ処理速度（スループット）を最大2.7倍に向上させた。これにより、多数のエキスパートを持つモデルでも性能が落ちにくく、AI開発のコスト削減に役立つ。
ITニュース解説
大規模言語モデル（LLM）の学習効率向上は、今日の重要な技術課題の一つである。その中で、Allen Institute for AI（Ai2）が開発するオープンソースの学習フレームワーク「Olmo-core」の最新バージョン「Olmo-core 3」が発表された。このフレームワークは、特に「Mixture-of-Experts（MoE）」モデルの学習効率を大幅に高めるための技術革新を導入している。
MoEモデルは、多数の小さな「専門家ネットワーク（エキスパート）」を内包するタイプのモデルである。通常のLLMが一つの巨大なネットワークで全てを処理するのに対し、MoEモデルでは、個々の単語や記号（「トークン」）の処理において、そのトークンに最も適した少数の専門家だけが選ばれて計算を担当する。これにより、モデル全体のパラメーター数は膨大であっても、実際に計算に使われる量は少なく保たれ、効率的に大規模モデルを構築できる。
しかし、従来のMoEモデルの学習には「キャパシティ税」という課題があった。これは、モデルが持つ全パラメーター数に比例して発生する無駄なコストを指す。たとえ個々のトークンが少数の専門家しか使わないとしても、モデル全体の重み（パラメーター）の保存、勾配の同期、モデル最適化のための更新処理といった付随的なコストは、全パラメーター数に依存して増大する。そのため、専門家を増やしてモデル全体のパラメーター数を増やすと、実際に計算に使われる量が少ないにもかかわらず、これらの付随処理の負担が大きくなり、学習効率、すなわちスループット（単位時間あたりに処理できるデータの量）が低下する問題があった。
Olmo-core 3は、この「キャパシティ税」を削減するため、学習の基盤となる仕組みを根本的に見直した。これまでの実装は、学習データを複数の計算ノード（主にGPU）に分割し、モデルの重みも細かく分割して分散処理する「完全にシャーディングされたデータ並列性」という方式だった。Olmo-core 3では、これを「分散データ並列性」という新しいアプローチに切り替えた。
分散データ並列性では、各計算ノード（「ランク」）がモデル全体の一部を保持し、それぞれが担当する部分で計算を実行する。勾配は、定期的に全てのランク間で同期される。さらに、MoEモデルの各専門家はそれぞれ異なるランクに割り当てられ、これが「エキスパート並列性」である。トークンが処理され、どの専門家を使うべきかが決まると、そのトークンは適切な専門家が配置されているランクへと直接送られる。これにより、モデルの重みを毎回全てのランクに送ったり、分割し直したりするような無駄な通信が大幅に削減される。
他にも、Olmo-core 3には効率化のための工夫が導入された。モデルの層が単一のランクに収まらない場合、処理を複数のランクに分割して連携させる「パイプライン並列性」も用いられる。また、「ルーティング」に関するメタデータもGPU内に保持され、GPUとCPU間のデータ転送が減少した。専門家ごとに処理すべきトークン数が不揃いになる場合でも、効率的に行列計算を行う特別な技術も組み込まれている。
これらの技術改善は、顕著な性能向上をもたらした。470億パラメーターを持つMoEモデルを使ったベンチマークでは、旧来の実装の約19,400トークン/秒/GPUに対し、Olmo-core 3では約52,000トークン/秒/GPUを達成し、スループットは約2.7倍に向上した。また、専門家の数を8から128へと大幅に増やしても、学習スループットの低下は5%未満に抑えられた。これは、モデルの表現能力を高めるために専門家を増やしても、計算効率がほとんど犠牲にならないことを示している。
学習の現場からの知見も報告されている。例えば、データ転送と計算処理を同時に行う「通信と計算のオーバーラップ」という手法は、一般的に効率的とされるが、Olmo-core 3ではGPUリソースの競合により、かえって処理が遅くなるという結果が出た。このような、うまくいかなかった試みについても共有することで、他の開発者が同様の実験を繰り返す無駄を省ける。
学習におけるメモリ消費とスループットのトレードオフも存在する。「アクティベーション再計算」という技術は、中間計算結果をメモリに保存せず、必要に応じて再計算することでメモリ使用量を大幅に削減できる。しかし、この再計算の分の時間がかかるため、スループットは約20%低下する。大規模なモデルを限られたGPUメモリに収めるには、このようなトレードオフを受け入れる必要がある。
Olmo-core 3は、129億パラメーターから最大1.2兆パラメーターの超大規模モデルまで、幅広い構成での学習が検証されている。これらの性能数値は、実際の運用環境に近い「システムの参照点」として提示され、どのようなバッチサイズ、GPU構成、精度（MXFP8などの低精度形式）、再計算ポリシーで得られたかが詳細に明記されている。MXFP8のような8ビット浮動小数点形式は、計算速度向上とメモリ使用量削減に大きく貢献する。
Olmo-core 3のリリースは、最先端の大規模AIモデル、特にMoEモデルの学習をより効率的かつ実用的にするための重要な進歩である。この新しいフレームワークは、モデルのスケーリングに伴う無駄の一部を劇的に削減し、高度なAI技術をより多くの人が利用できるように貢献するだろう。