【ITニュース解説】Why Does HPC Need InfiniBand?

高性能計算、通称HPC（High Performance Computing）という分野で使われるコンピューターの集まり、つまりクラスターの仕組みについて考える時、多くの人が最初に驚くのは、そのコンピューターたちが普通のイーサネットだけでなく、InfiniBandという特別なネットワークを搭載している点だ。なぜ、コンピューター同士をつなぐ一般的なネットワークであるイーサネットがあるのに、HPCクラスターはわざわざ別のネットワークを必要とするのだろうか。この疑問の答えは、HPCアプリケーションが実際に何をしているかを見ていくと明らかになる。

HPCアプリケーションは、複数のコンピューター（ノードと呼ぶ）に分散して処理を行う。例えば、32台の計算ノードにまたがって動作するMPI（Message Passing Interface）アプリケーションを想像してみよう。このアプリケーションは、単に時々ファイルを受け渡したり、リモート接続したりするようなものではない。アプリケーションの実行中、ノード間では常に大量のデータが交換され続ける。隣り合うノード同士だけでなく、離れたノード間でもひっきりなしに通信が行われるのだ。そのため、ネットワークの性能はアプリケーション全体の動作にとって極めて重要な要素となる。もしネットワークがボトルネックになれば、どれだけ各コンピューターの処理能力が高くても、アプリケーションは効率的に動作できない。

この状況を改善しようとする時、多くの人が「もっと速いネットワークにすればいい」と考えるかもしれない。確かに、より高速なネットワーク、つまり「帯域幅（Bandwidth）」が大きいネットワークは重要だ。帯域幅とは、1秒間にどれくらいのデータを転送できるかを示す指標で、道路の車線数が多いほど一度にたくさんの車が通れるようなものと考えるとわかりやすい。しかし、HPCのネットワークにおいては、帯域幅だけでは不十分な場合が多い。もう一つ、非常に重要な要素がある。それが「遅延（Latency）」だ。遅延とは、あるノードから別のノードへメッセージが送られてから、実際に届くまでの時間のこと。これは、車が目的地に到着するまでの時間、つまり通信の反応速度と考えると理解しやすいだろう。

HPCのワークロード、特にノード間で密接に連携しながら動作する「密結合（tightly coupled）」なアプリケーションでは、帯域幅と遅延の両方が高いレベルで求められる。たとえデータ転送速度（帯域幅）が非常に速くても、メッセージが届くまでの時間（遅延）が長いと、次の処理に進めず待機時間が発生してしまう。これにより、せっかくの高性能なコンピューターの計算能力が無駄になってしまうのだ。

ここでInfiniBandが登場する。InfiniBandは、まさにこのような高性能な通信のために設計されたネットワーク技術だ。InfiniBandは、高い帯域幅と低い遅延を両立させることを特徴としている。そして、InfiniBandの特に重要な機能の一つに「RDMA（Remote Direct Memory Access）」というものがある。RDMAは、非常に画期的な技術だ。通常、コンピューター間でデータを転送する際には、そのコンピューターのCPUやオペレーティングシステム（OS）がデータの準備や転送の管理に深く関与する。これは多くの処理を必要とし、オーバーヘッドとなって通信の遅延を増やしてしまう。

しかし、RDMAを使うと、データはCPUやOSの関与を最小限に抑えながら、あるコンピューターのメモリから直接、別のコンピューターのメモリへと転送される。これにより、データ転送にかかるCPUの負荷やOSのオーバーヘッドが大幅に削減される。考えてみてほしい。何百ものノードにまたがるMPIアプリケーションが、比較的小さなメッセージを繰り返し交換する場合、もしその一つ一つの通信にCPUやOSの大きな関与が必要だとすれば、そのオーバーヘッドは膨大なものとなり、アプリケーションの実行速度を著しく低下させてしまうだろう。RDMAのような技術を使うことで、ネットワークが通信処理をより効率的に担うことができ、結果としてHPCアプリケーション全体の性能を向上させることができるのだ。これが、高性能ネットワークがHPCにおいてこれほど重要である理由の一つだ。

もちろん、HPCのネットワーキングでInfiniBandだけが唯一の選択肢というわけではない。最近では、非常に高速なイーサネットが登場しており、RoCE（RDMA over Converged Ethernet）のような技術を使えば、イーサネット上でRDMAの機能を利用することも可能になっている。このため、単に「InfiniBandか、それともイーサネットか？」という二者択一の問題ではなく、実際のワークロードやクラスターのアーキテクチャが何を要求するかに応じて、最適なネットワーク技術を選択する必要がある。

HPCクラスターは、複数のコンピューターが連携して一つの大きな問題を解決するシステムだ。CPUが計算を担当し、メモリが計算中のデータを保持し、ストレージがそのデータを供給する。そして、それらすべてのノード間の協調動作を可能にするのがネットワークである。もしアプリケーションが、別のノードからデータが届くのを待つ時間が長ければ、たとえどれだけ強力なCPUを搭載していても、その能力を十分に発揮することはできない。ネットワークの性能は、アプリケーションの実行速度に直結する重要な要素であり、時には全体のボトルネックにもなり得る。だからこそ、HPCクラスターの設計において、ネットワークの選定と最適化は非常に重要な位置を占めるのだ。

このような背景から、HPCの通信について話すときには、「InfiniBand」「RDMA」「MPI」「UCX」といった技術がセットで語られることが多い。これらの要素がどのように組み合わさって機能するのかを理解することは、単に「HPCではInfiniBandが使われている」と知っているだけよりも、はるかに有益な知識となるだろう。