【ITニュース解説】MLPerf Storage v2.0: JuiceFS Leads in Bandwidth Utilization and Scalability for AI Training

MLPerf Storage v2.0とは、MLCommonsという国際的なAIエンジニアリング団体が開発した、AI学習におけるストレージシステムの性能を評価する基準である。このベンチマークは、実際のAI学習ワークロードがストレージにどのようにアクセスするかを再現し、ストレージシステムが大規模な分散学習環境でどれだけの実用的な性能を発揮できるかを多角的に評価する。今回の最新バージョン2.0では、深層学習における代表的な入出力パターンをカバーする3種類の学習ワークロードと、新たにチェックポイント保存・回復のワークロードが導入された。

主要な3つの学習ワークロードは次のとおりである。 まず、「3D U-Net」は医療画像セグメンテーションに使われる。これは、平均146MB程度の比較的大きな3D医療画像を、複数の学習ノードが同時に連続的に読み出すシナリオを想定している。このワークロードでは、ストレージシステムの大容量ファイルの連続読み出しスループット（データ転送速度）と、多くのノードが同時にアクセスする際の安定性が特に問われる。 次に、「ResNet-50」は画像分類に使われる。これは、平均150KB程度の非常に小さなデータサンプルを、多数の学習ノードが高度に並行してランダムに読み出す特徴を持つ。データはTFRecordという形式で大きなファイルにまとめられているため、ランダムな入出力と頻繁なメタデータ（ファイルに関する情報）アクセスが発生する。このため、ストレージシステムのIOPS（1秒あたりの入出力処理回数）性能と、小さなファイルを並行して処理する能力が非常に重要になる。 最後に、「CosmoFlow」は宇宙論の予測に使われる。これは、平均2MB程度の小さなファイルを、大量に、かつ複数のノードから同時にアクセスし、さらに帯域幅の拡張性が求められるワークロードである。大量の小さなファイルを分散して読み出すため、ストレージシステムには十分な集約スループットと、メタデータ処理における安定性、そして低遅延の維持が不可欠となる。遅延の変動が大きいと、ノード数が増えるにつれて学習速度が著しく低下してしまうため、非常に遅延に敏感なワークロードである。

さらに、バージョン2.0で新しく追加されたチェックポイントワークロードは、大規模モデルの学習中に進捗状況を保存したり、中断から再開したりする際の挙動を模擬する。これは、複数のノードが同時に大容量ファイルを連続的に書き込むシナリオを想定しており、このときの性能は、最終的なデータ保存先であるオブジェクトストレージの帯域幅に大きく依存する傾向がある。

MLPerf Storage v2.0には、クラウドストレージ、共有ファイルシステム、ブロックストレージなど、多種多様なベンダーが参加した。しかし、ベンダーによってハードウェア構成、ノード規模、アーキテクチャや利用シナリオが大きく異なるため、単純に異なるベンダー間で直接性能を比較することは難しい。そこで、この記事では特に「共有ファイルシステム」のカテゴリに焦点を当てて分析する。共有ファイルシステムはさらに、一般的なEthernet（イーサネット）ネットワークを基盤とするシステムと、より高速で高価なInfiniBand（インフィニバンド）ネットワークを基盤とするシステムに分類できる。

ストレージシステムの評価基準を理解することは重要である。MLPerf Storageのルールでは、GPUの利用率が特定のしきい値（例えば3D U-NetとResNet-50では90%、CosmoFlowでは70%）を満たすことが求められる。このしきい値をクリアした上で、そのストレージシステムが最大でいくつのGPUをサポートできるか（スケール）が、性能を差別化する主要な指標となる。多くのGPUをサポートできるシステムほど、大規模な学習シナリオにおけるスケーラビリティと安定性が高いと言える。特にCosmoFlowのように、大量の小さなファイルを扱い、遅延に非常に敏感なワークロードでは、このスケールが決定的に重要になる。 また、リソース利用率も重要な評価軸である。特にソフトウェアベンダーにとっては、ストレージソフトウェアが基盤となるハードウェアの潜在能力をどれだけ引き出せるかが鍵となる。ストレージシステムにおいてはネットワーク帯域幅がボトルネックになることが多いため、NIC（ネットワークインターフェースカード）の帯域幅利用率が高いほど、ソフトウェアの効率性が高く、同じハードウェア構成でより高い性能と費用対効果が得られることを示唆する。

今回のテストでJuiceFSは優れた結果を示した。 3D U-Netワークロードでは、JuiceFSは最大108GiB/sのデータ読み出し帯域幅を達成し、10ノードで40基のH100 GPUをサポートした。ネットワーク帯域幅利用率は86.6%に達し、GPU利用率も92.7%を維持した。これは、従来のEthernetベースのシステムの中で最高の帯域幅と利用率であり、ネットワークとハードウェアリソースを非常に効率的に活用していることを示している。 CosmoFlowワークロードでは、JuiceFSは10ノードで100基のH100 GPUをサポートし、GPU利用率75%を維持した。このワークロードはストレージの遅延安定性に非常に高い要求を課し、帯域幅よりも入出力遅延と安定性がボトルネックとなる。JuiceFSは共有ファイルシステムの中で最も高いGPUスケールを達成し、遅延に敏感なこのワークロードにおける優れたスケーラビリティを示した。 ResNet-50ワークロードでは、JuiceFSは90GiB/sのデータ読み出し帯域幅を達成し、500基のH100 GPUをサポートした。ネットワーク帯域幅利用率はEthernetベースのシステムで最高の72%に達し、GPU利用率も95%を維持した。これは、高並行性のランダム入出力シナリオにおいて、JuiceFSがソフトウェア最適化によりハードウェアリソースを効率的に活用し、優れた性能と効率性を提供できることを実証した。

JuiceFSのこの高い性能は、そのシステム構成と技術的特徴に基づいている。JuiceFSのシステムは主に3つの層で構成される。最上層は、学習ジョブを実行するクライアントノード群である。中央層は、クラウドディスクとローカルメモリを組み合わせてデータアクセスを高速化するキャッシュクラスターノード群である。そして最下層は、Google Cloud Storage (GCS) のようなオブジェクトストレージで、コールドデータ（頻繁にはアクセスされないデータ）を永続的に保存する。学習開始前にコールドデータをキャッシュクラスターに事前読み込み（ウォームアップ）することで、学習中は低遅延なキャッシュクラスターからデータを読み出すことができ、高遅延なオブジェクトストレージへの直接アクセスを避ける。この構成により、大規模AI学習の継続的なデータ要求に対して、安定した高帯域幅と低遅延アクセスを提供できる。このキャッシュクラスターは必要に応じてノード数を増やして柔軟にスケールできるため、大規模な学習タスクにも対応可能である。

JuiceFSの性能を支える重要な技術の一つは、高性能なメタデータエンジンである。このエンジンは非常に高いIOPSと極めて低い遅延を提供し、クライアント側にもメタデータキャッシュを統合することで、アクセス遅延を大幅に短縮する。この能力は、大量の小さなファイルに並行してアクセスし、遅延に非常に敏感なCosmoFlowワークロードにとって特に重要である。安定した低遅延は、高いGPU利用率と全体的なスケーラビリティを保証する。 もう一つの強みは、分散キャッシュである。JuiceFSのキャッシュクラスターは、非常に高い集約帯域幅を提供し、アクセス遅延をサブミリ秒レベルまで低減できる。このキャッシュクラスターは必要に応じて伸縮自在に拡張できるため、タスクの要求に応じてIOPSと帯域幅を柔軟に増やすことができる。特にResNet-50ワークロードのような高IOPSが求められるシナリオでは、JuiceFSのこの性能がEthernetベースの比較において際立った要因となり、高い帯域幅利用率とGPU利用率を達成することに貢献した。

まとめると、AI学習用ストレージ製品を評価する際には、そのアーキテクチャ、ハードウェアリソース、そしてコストを含む製品タイプを理解することが重要である。GPU利用率のしきい値を満たすという前提のもとでは、より多くのGPUをサポートできるか、つまり、大規模な学習シナリオでのスケーラビリティと安定性がストレージシステム間の主要な性能差となる。さらに、ストレージソフトウェアが基盤となるハードウェアの潜在能力を最大限に引き出せるかというリソース利用率も考慮すべき点である。JuiceFSは、これらのテストにおいて、様々なAI学習ワークロードで安定した低遅延と高いリソース利用率を実証した。JuiceFSは、高価な専用ハードウェアに依存せず、分散キャッシュとオブジェクトストレージを活用することで、高スループットと低遅延、そして費用対効果を両立させた、クラウドネイティブな分散ファイルシステムであり、大規模AI学習における有力な選択肢となるだろう。