【ITニュース解説】Enterprise Guide to Linux Kernel Network Stack Tuning for 100GbE, BBR, and IRQ Affinity

Linuxサーバーで100GbEのような超高速ネットワークを最大限に活用し、かつデータ通信の遅延を極限まで抑えるためには、OSの心臓部であるカーネルのネットワーク設定を細かく調整することが非常に重要となる。これは、単にネットワーク機器を高性能なものにするだけでなく、その性能を十分に引き出すために、サーバー側で適切な準備が必要であることを意味する。具体的には、sysctlと呼ばれるカーネルパラメータの調整、BBRという新しい通信制御アルゴリズムの導入、そしてネットワークアダプタ（NIC）がCPUに処理を依頼する際の割り込み（IRQ）処理の最適化が焦点となる。この解説では、Red Hat Enterprise Linux 9（またはAlmaLinux 9）とMellanox ConnectX-6 100GbE NICを前提とした、これらのチューニング手法について詳しく見ていく。

まず、sysctlによるカーネルパラメータの調整は、Linuxカーネルのさまざまな動作をユーザーが設定変更できるようにする仕組みである。特にネットワーク関連の設定は多岐にわたるが、100GbE環境では主に以下の点に注目する。

一つ目は「ソケットバックログの増加」だ。net.core.somaxconnというパラメータは、サーバーが一度に受け入れられる新規接続の最大数を決める。多くのクライアントからの同時接続を処理するサービスでは、この値をデフォルトの128から4096などのより大きな値に増やすことで、接続待ちの状態（バックログ）で接続が拒否されることを防ぎ、サービスの可用性を向上させることができる。

二つ目は「TIME_WAIT状態のソケット再利用」だ。net.ipv4.tcp_tw_reuseを有効にすることで、サーバーが短期間に大量の接続の開始と終了を繰り返す際に発生する「TIME_WAIT」状態のソケットを、新しい接続のために再利用できるようになる。これにより、利用可能なポートが不足する問題を解消し、システムの応答性を高める。同時に、net.ipv4.tcp_fin_timeoutの値をデフォルトの60秒から15秒程度に短縮することで、TIME_WAIT状態のソケットが占有される時間を減らすことができる。

三つ目は「ソケットバッファのスケーリング」だ。100GbEという高速な回線では、大量のデータが瞬時に送られてくるため、カーネルがパケットを受け取ったり送信したりする際に一時的にデータを保持するバッファのサイズが重要になる。net.core.rmem_max（受信バッファの最大サイズ）とnet.core.wmem_max（送信バッファの最大サイズ）をデフォルトの212KBから16MBといった大きな値に増やすことで、大量のパケットがバッファあふれを起こすことなくスムーズに処理されるようになる。これに加えて、net.ipv4.tcp_rmemとnet.ipv4.tcp_wmemも同様に調整し、TCP通信におけるバッファサイズを最適化する。

最後に「syncookiesの無効化」についてだ。net.ipv4.tcp_syncookiesは、SYNフラッド攻撃という悪意ある攻撃からサーバーを保護するための機能だが、認証された安全な環境や内部ネットワークでは、この機能が不要なCPUリソースを消費することがある。このような特定の場合には無効にすることで、CPUの負荷を軽減できる。ただし、インターネットに公開されているサーバーでは、セキュリティリスクを考慮し有効にしておくのが一般的である。

次に、BBR輻輳制御の有効化について解説する。TCP通信では、ネットワークの混雑状況に応じてデータ送信速度を調整する「輻輳制御」と呼ばれる仕組みが不可欠である。従来のCubicなどのアルゴリズムは、主にパケットロスが発生したときにネットワークが混雑していると判断し、速度を落とす「ロスベース」のアプローチを取っていた。しかし、データセンター内のネットワークのようにパケットロスが非常に稀で、主に遅延の変動が性能に影響を与える環境では、このアプローチは最適ではない場合がある。

BBR（Bottleneck Bandwidth and Round-trip time）は、ネットワークのボトルネック帯域幅とラウンドトリップタイム（RTT、データが往復する時間）をモデル化して通信速度を調整する「モデルベース」のアプローチを採用している。これにより、パケットロスがなくてもネットワークの真の能力を推測し、より高いスループットと低いキューイング遅延（データが送信待ちになる時間）を実現できる。

RHEL 9カーネルはBBRバージョン2をサポートしており、これを有効にするには、net.ipv4.tcp_congestion_controlをbbrに設定し、同時にnet.core.default_qdiscをfq（Fair Queuing）に設定する必要がある。fqはBBRが正確なRTTサンプルを取得するために重要である。BBRは多くの利点を持つ一方で、共有ネットワーク環境では他のCubicベースのフローに対して「より積極的」に帯域を使い込む可能性があり、公平性の問題を引き起こす場合がある点には注意が必要だ。

さらに、100GbE NICの最適化も性能向上の鍵となる。ネットワークアダプタは、大量のパケットを効率的に処理するために、CPUへの割り込み（IRQ）を適切に管理する必要がある。

一つは「リングバッファサイズの調整」だ。NICは、パケットを受信したり送信したりする際に、「リングバッファ」という一時的なメモリ領域を使用する。デフォルトのリングバッファサイズは、100GbEのような高速環境では不足することが多く、パケットロスや処理遅延の原因となる可能性がある。ethtoolコマンドを使って、このリングバッファサイズをデフォルトの1024から8192や16384といった大きな値に設定することで、NICが大量のパケットバーストをスムーズに処理できるようになる。

もう一つは「IRQ（割り込み）処理の分散」である。現代のNICは、複数のキュー（処理の待ち行列）を持ち、それぞれのキューが専用の割り込み（MSI-Xベクトル）を生成できる。これらの割り込みが特定のCPUコアに集中すると、そのCPUコアがボトルネックとなり、全体の性能が低下する。irqbalanceサービスは、これらの割り込みを複数のCPUコアに自動的に分散してくれるが、さらにクリティカルなネットワーク処理の割り込みは、smp_affinityという設定を使って特定のCPUコア群に固定（ピンニング）することで、他の処理からの干渉を受けずに安定した性能を発揮させることができる。これは、特定のNICキューからのパケット処理を、NUMA（Non-Uniform Memory Access）アーキテクチャで物理的に近いCPUコアに割り当てることで、メモリへのアクセス効率も高める狙いがある。

加えて、NICが各キューに専用の割り込みを提供できない仮想化環境などでは、Receive Packet Steering (RPS) と Receive Flow Steering (RFS) を利用して、受信パケットを複数のCPUに分散させることで処理負荷を均等に保つことができる。

これらのチューニング後には、その効果を性能検証によって必ず確認する必要がある。iperf3というツールを使ってスループット、遅延、パケットロスを測定し、想定通りの性能が出ているかを確認する。また、perf statでCPUの使用率やキャッシュミス率をチェックし、ss -tinでBBRの動作状況を確認する。さらに、cat /proc/interruptsでIRQの分散状況、ethtool -S eth0でパケットのドロップ状況を確認し、問題が発生していないか詳細に監視することが不可欠である。

高速ネットワーク環境は、攻撃対象領域を広げる可能性もあるため、セキュリティと監視も忘れてはならない。例えば、SYNフラッド攻撃対策としてnet.ipv4.tcp_syncookies = 1とnet.ipv4.tcp_max_syn_backlog = 8192を設定することで、外部からの攻撃に対してより強固な防御を構築できる。また、eBPF（extended Berkeley Packet Filter）という技術を使って、TCP接続イベントを詳細にトレースし、潜在的な遅延スパイクの原因を特定したり、BBRメトリクス（帯域幅や最小RTTなど）を監視ツールに出力して、ネットワークの混雑状況や異常な挙動を早期に発見したりする仕組みを導入することも重要だ。

最後に、これらのチューニングは常に最適な選択とは限らない場合があるため、トレードオフと代替アプローチを理解しておく必要がある。BBRとIRQアフィニティを組み合わせた構成は、高いスループットと極めて低い遅延、比較的低いCPU使用率を実現するが、BBRの積極性がマルチテナント環境で公平性を損なう可能性がある。このような場合は、従来のCubicアルゴリズムや、明示的な輻輳通知（ECN）を利用するDCTCPといった他の輻輳制御アルゴリズムが、より良い選択肢となることもある。

すべての設定変更は、将来的な問題発生に備えてロールバック手順を明確にしておくことが重要である。sysctl.dディレクトリに個別の設定ファイルを作成し、変更履歴を管理することで、問題発生時に迅速に以前の状態に戻すことができる。設定変更後には必ず検証を行い、期待する状態に戻っていることを確認すべきである。

まとめると、Linuxサーバーで100GbEのような高速ネットワークを最大限に活用し、同時に低い遅延を維持するためには、カーネルのネットワーク設定を包括的に調整することが不可欠である。これには、sysctlによるソケット関連パラメータの最適化、BBR輻輳制御アルゴリズムの有効化、そしてNICのリングバッファサイズとIRQアフィニティの調整が含まれる。これらの設定は、高速データ通信を実現するだけでなく、システムの安定性と応答性を高める上でも重要な役割を果たす。適切な検証と監視、そしてセキュリティ対策を組み合わせることで、本番環境で安定した高性能ネットワークを運用することが可能となる。