【ITニュース解説】What is Elastic Fabric Adapter EFA (Tightly-Coupled HPC)

今日のデジタル時代では、非常に複雑な問題を解決するために、膨大な計算能力が必要となる場面が増えている。例えば、気象予報の精度を上げたり、新しい薬を開発するための分子構造をシミュレーションしたり、車の衝突安全性をバーチャルで検証したりといった分野がそうだ。このような、特に高い性能が求められる計算のことを「ハイパフォーマンスコンピューティング（HPC）」と呼ぶ。

HPCを実現するためには、一台のコンピュータでは処理しきれない膨大な計算を、複数のコンピュータ（ノードと呼ぶ）に分散させて同時に実行させることが一般的だ。これらのノードが協力して一つの問題を解くためには、ノード同士が頻繁に、そして非常に高速に情報をやり取りする必要がある。この「頻繁で高速な情報交換」が特に重要なHPCアプリケーションを「密結合（Tightly-Coupled）」HPCアプリケーションと呼ぶ。もしノード間の通信が遅いと、せっかく高性能なノードがたくさんあっても、計算全体の速度は大幅に低下してしまう。これは、たくさんの人が協力して作業をしているのに、情報共有が遅くて全体の作業効率が落ちるのと同じような状況で、アプリケーションの性能が大きく損なわれる。

ここで登場するのが、Amazon Web Services（AWS）が提供する「Elastic Fabric Adapter（EFA）」である。EFAは、AWSのEC2インスタンスという仮想サーバーで利用できる、特別な種類のネットワークインターフェースだ。ネットワークインターフェースとは、コンピュータがネットワークと通信するための部品で、一般的なコンピュータに搭載されているネットワークカードのようなものだと考えればよい。EFAは、AWSが通常提供している高性能なネットワークインターフェースである「Elastic Network Adapter（ENA）」を基盤としているが、その上でさらに「低遅延」と「高スループット」という特徴を強化している。この「低遅延」とは、データがネットワーク上を移動する際に発生する時間の遅れが非常に少ないこと、「高スループット」とは、一度に大量のデータを素早く送れることを意味する。これらの特徴は、まさに密結合HPCアプリケーションや、大規模な機械学習のトレーニングといった、超高速な通信が必須となるワークロードのために特別に設計されている。つまり、EFAは、AWSクラウド上でスーパーコンピュータのような計算を行うための、HPCワークロード向けに特別に最適化されたネットワークインターフェースなのである。

密結合HPCアプリケーションでは、ノード間の高速なメッセージ交換が不可欠だと説明したが、このメッセージ交換を実現するための標準的な方法が「Message Passing Interface（MPI）」である。MPIは、異なるマシン上で動作するプログラムのプロセス（実行中の処理単位）同士が、お互いにメッセージを送り合って連携するための「ライブラリ」だ。ライブラリとは、プログラミングでよく使われる機能がまとめて提供されている部品のようなもので、これを使うことでプログラマーは複雑な通信処理を簡単に実装できる。これまで、オンプレミス環境、つまり自社で物理的なサーバーを所有・管理する環境でHPCを行っていた場合、InfiniBand（インフィニバンド）という非常に高速なネットワーク技術を使ってノード間を接続し、MPIを通じて分散処理を実現するのが一般的だった。MPIは、オンプレミスHPCにおいて、ノード間の分散スーパーコンピューティングを可能にする基盤となる仕組みとして非常に重要な役割を果たしてきた。EFAは、このInfiniBandが提供してきたような、MPIによる低遅延通信をAWSのクラウド環境でも実現できるようにする技術なのである。

従来のHPC環境は、非常に高価なスーパーコンピュータやInfiniBandクラスターを自社で購入し、維持管理する必要があった。これには莫大な初期投資と運用コストがかかる上、一度構築してしまうと、別の種類のHPCワークロードを実行したい場合や、急に計算能力を増やしたい場合でも、柔軟に対応するのが難しかった。しかし、EFAを利用することで、AWSは従来のスーパーコンピュータのような高速なノード間接続をクラウドで提供できるようになった。これにより、HPCの利用方法に革命的な変化がもたらされている。

まず、「スケール」の面で大きなメリットがある。必要な時に、数百、あるいは数千ものノードを瞬時に起動し、計算能力を大幅に拡張できる。例えば、特定のプロジェクト期間中だけ大規模なシミュレーションを行いたい場合でも、必要な期間だけリソースを確保し、不要になればすぐに解放できる。次に「柔軟性」だ。特定の静的なクラスター構成に縛られることなく、異なる種類のHPCワークロードに合わせて、最適なノード数や種類を自由に選択し、実行できる。最後に「伸縮性（エラスティシティ）」がある。これは、実際にリソースを使用している期間だけ料金を支払うというクラウド特有のメリットだ。高価なハードウェアを事前に購入し、使わない時も維持費を払い続ける必要がなく、ジョブが終了すればすぐにリソースを解放し、コストを節約できる。

つまり、EFAがAWSで提供されることで、ユーザーは巨大なスーパーコンピュータを所有・維持する代わりに、必要に応じてAWSから高性能なHPC環境をオンデマンドで借りて利用できるようになった。その際のネットワーク性能は、オンプレミスの専用スーパーコンピュータに匹敵するほど高速である。

EFAは、AWSにおけるスーパーコンピュータネットワークの相互接続（オンプレミス環境のInfiniBandのようなもの）のクラウド版と言える。これは、MPIのような標準的な通信方式を用いる密結合HPCアプリケーションを、AWSクラウド上で非常に効率的に実行できるように特別に設計されている。AWSが提供する一般的なネットワークアダプターであるENAは、もちろん高性能だが、密結合HPCアプリケーションが要求する極限の低遅延通信には必ずしも最適ではなかった。それに対してEFAは、このギャップを埋め、クラウド環境でスーパーコンピュータに匹敵する性能をHPCアプリケーションにもたらす。

まとめると、Elastic Fabric Adapter (EFA) は、Amazon EC2インスタンスのための特別なネットワークインターフェースであり、低遅延と高スループットを特徴とする。これにより、天気予報や流体力学シミュレーションのように、ノード間で頻繁かつ高速な通信を必要とする「密結合HPCアプリケーション」を、AWSクラウド上で効率的に実行することが可能になる。MPIという標準的な通信方法を通じて、EFAはオンプレミスのスーパーコンピュータが提供してきたような高速なノード間接続をクラウドで再現し、ユーザーは初期投資や維持管理の負担なく、必要な時に必要なだけのHPCリソースを柔軟かつ伸縮性高く利用できるようになるのである。これは、HPCの民主化を促進し、より多くの研究者や企業が高度な計算能力を活用できる道を拓いていると言えるだろう。