【ITニュース解説】Fp8 runs ~100 tflops faster when the kernel name has "cutlass" in it

AI（人工知能）の技術が急速に進化する現代において、その裏側では膨大な量の計算処理が行われている。これらの計算を高速に実行するために、GPU（Graphics Processing Unit）と呼ばれる特殊な半導体が不可欠である。GPUは、一度に多くの計算を並列処理できる能力を持ち、AIの学習や推論において中心的な役割を担っている。

今回取り上げるニュースは、AI計算の効率化に関わる非常に興味深い現象と、その解決に向けた改善についてである。具体的には、OpenAIが開発したGPUプログラミング言語「Triton（トリトン）」に関するもので、Fp8という数値表現とGPUの計算性能を示すTFLOPSという単位がキーワードとなる。

まず、Fp8について説明する。コンピュータで数値を扱う際、通常はFp32（単精度浮動小数点数）やFp16（半精度浮動小数点数）といった形式が使われる。Fp8は、これらよりもさらに少ないビット数で数値を表現する形式である。ビット数が少ないということは、数値を表現できる範囲や精度が低くなることを意味するが、その一方で、計算に必要なメモリ量が減り、処理速度を向上させることができる。AIのディープラーニングモデルでは、多少の精度低下が許容される場合も多く、Fp8は高速化と効率化のための重要な技術として注目されている。

次に、TFLOPS（テラフロップス）とは、GPUなどの計算能力を示す単位である。これは「Tera Floating-point Operations Per Second」の略で、1秒間に実行できる浮動小数点演算の回数を兆単位で示す。例えば、100 TFLOPSであれば、1秒間に100兆回の浮動小数点演算が可能であることを意味し、この数値が大きいほど、より高速な計算が可能であることを示している。

そして、Tritonとは、OpenAIが開発したGPUプログラミング言語であり、そのコンパイラである。従来のGPUプログラミングはNVIDIAのCUDAのような低レベルな言語を用いることが多く、専門的な知識と高度な技術が必要だった。Tritonは、Pythonのようなより高レベルで直感的な記述でGPU向けの高性能なコードを生成できるように設計されており、AI開発者がGPUの深い知識がなくても効率的に計算を記述できることを目指している。Tritonで書かれたコードは、最終的にGPU上で動作する「カーネル」と呼ばれる小さな計算単位に変換され、実行される。

今回のニュースの核心は、TritonでFp8を使った計算を行う際、ある奇妙な現象が起きていたことである。具体的には、Tritonが内部的に生成・呼び出すカーネルの名前の中に「cutlass」という文字列が含まれているか否かで、その計算速度が約100 TFLOPSも変わるというものだった。つまり、「cutlass」という単語が含まれるカーネルは含まれないカーネルよりも、はるかに高速に動作していたのである。

これは一見すると、特定の文字列に魔法のような力があるかのように思えるかもしれないが、実際にはそうではない。この現象の背景には、NVIDIAが提供する高性能なリニア代数ライブラリ「Cutlass（カットラス）」の存在がある。Cutlassは、NVIDIAのGPU上で実行される行列積などの計算を、非常に効率的かつ高速に行うために最適化された低レベルなコード群を提供するライブラリである。AIの計算では、大量の行列演算が中心となるため、Cutlassのようなライブラリが計算性能に与える影響は非常に大きい。

では、なぜカーネル名に「cutlass」という文字列があるだけで性能が変わったのか。その理由は、Tritonのコンパイラやランタイムの内部的な動作にあった。Tritonは、カーネル名に「cutlass」という文字列が含まれている場合、そのカーネルがNVIDIAのCutlassライブラリの最適化された実装を利用するように誘導するロジックを持っていたのである。逆に、カーネル名に「cutlass」という文字列が含まれていない場合は、Tritonが独自に生成した（しかしCutlassほど最適化されていない可能性のある）コードパスを使用していたと考えられる。結果として、同じ計算内容であっても、カーネル名の違いによって参照される最適化レベルが異なり、約100 TFLOPSという大きな性能差が生まれてしまっていた。

このプルリクエスト（ソフトウェアの変更提案）は、このような文字列に依存する非合理的な最適化ロジックを是正し、Tritonコンパイラがカーネル名によらず、常に最適なコード生成パスを選択できるように改善しようとするものである。つまり、開発者がカーネル名に特定の文字列を含めるかどうかを意識することなく、Tritonが自動的にCutlassのような高性能ライブラリを適切に利用できるよう、内部的なロジックを改修することが目的だった。

この事例は、システムエンジニアを目指す上で非常に重要な示唆を与えてくれる。それは、コンパイラやランタイムのような基盤となるソフトウェアの内部動作がいかにアプリケーションのパフォーマンスに決定的な影響を与えるかということである。たった数文字の命名規則や、それに基づいた内部的な条件分岐が、GPUの計算性能に大きな差を生み出すことがあるのだ。高性能なシステムを構築するためには、ハードウェア（GPU）、低レベルライブラリ（Cutlass）、そして高レベル言語（Triton）といった複数のレイヤーがどのように連携し、最適化されているかを深く理解することが重要となる。また、オープンソースプロジェクトにおいては、今回のように開発者が不合理な現象を発見し、それを改善するための提案（プルリクエスト）を通じて、ソフトウェアが継続的に進化していくという開発サイクルも見て取れる。これらの知見は、将来システムエンジニアとして働く上で、パフォーマンスチューニングや問題解決の際に大いに役立つだろう。