【ITニュース解説】How Cilium Cut Restart Times by Reusing Compiled BPF Objects

Ciliumという、ネットワークやセキュリティの分野で非常に人気のあるソフトウェアプロジェクトがある。このCiliumでは、eBPFと呼ばれる特殊なプログラムを使って、ネットワークの通信を効率的に制御したり、セキュリティ機能を実装したりしている。これらのeBPFプログラムは、コンピュータが直接実行できる形に変換する「コンパイル」という作業が必要となる。このコンパイル作業は、プログラムの数や複雑さによってはかなりの時間を要する処理だ。

以前のCiliumエージェント、つまりCiliumの主要な管理プログラムが再起動するたびに、この時間のかかるコンパイル作業が毎回ゼロから行われていた。これは非常に非効率的で、システムを起動するたびに何分もの待ち時間が発生するという大きな問題を引き起こしていた。例えば、特定の種類のプログラムのコンパイルだけで、最大553秒（およそ9分以上）もの時間がかかるケースもあったのだ。

このような長い待ち時間は、開発者にとって大きな負担となるだけでなく、ソフトウェア開発の現場で広く使われている「継続的インテグレーション（CI）」と呼ばれる、コードの変更を自動でテストする仕組みにとっても深刻な問題だった。CI環境では、素早くテスト結果をフィードバックすることが重要だが、コンパイルの遅延が原因でテストが定められた時間内に終わらない「デッドライン超過」が頻繁に発生し、開発のスピードを著しく低下させていた。

なぜ毎回ゼロからコンパイルし直す必要があったのか。その根本的な原因は、Ciliumエージェントが、eBPFプログラムのソースコードや、プログラムをコンパイルする際に使うツール（Clangなど）の設定、あるいはその他のビルド環境が、前回のコンパイル時から変更されたかどうかを判断する仕組みを持っていなかったからである。システムは、常に「何か変更があったかもしれないから、念のためすべてを再コンパイルしよう」という前提で動いていたのだ。

コンパイル作業には多くの「入力」と呼ばれる要素が関わる。具体的には、eBPFプログラムの元のソースファイルの内容、コンパイルに使うClangというコンパイラの設定、Goというプログラミング言語のビルドID、そしてコンパイル中に自動的に生成されるヘッダーファイルなどがこれに該当する。以前のCiliumエージェントは、これらの入力要素の内容が変わったかどうかをチェックする手段を持っていなかったため、たとえ入力が全く同じであったとしても、毎回無条件に高コストなコンパイル処理を実行していたのである。これは、まるで同じファイルを何度も印刷し直すようなもので、資源の無駄遣いだった。

この非効率な状況を解決するために、Cilium開発チームは画期的な「入力のハッシュ化とキャッシュ」という仕組みを導入した。まず、「ハッシュ化」とは、大量のデータ（ここではコンパイルに必要な入力情報）から、そのデータを一意に識別できる短い文字列（「ハッシュ値」と呼ばれる）を生成する技術である。このハッシュ値は、まるでデータの「指紋」のようなもので、入力情報が少しでも変われば、生成されるハッシュ値も全く異なるものになる。

この仕組みでは、eBPFソースファイルの内容、Clangコンパイラの設定、GoビルドID、生成されたヘッダーファイルなど、コンパイルに関わるすべての入力情報を結合し、そこから一つのユニークなハッシュ値を計算するようにした。このハッシュ値が、その特定のコンパイル状況を正確に表す「識別子」となる。

次に、「キャッシュメカニズム」を導入した。これは、一度コンパイルされたeBPFプログラムの成果物（「コンパイル済みオブジェクト」と呼ばれる）を、この生成したハッシュ値と紐付けて、コンピュータのディスク上に一時的に保存しておく仕組みである。

Ciliumエージェントが再起動する際の流れは以下のようになる。まず、現在の入力情報から新しいハッシュ値を計算する。次に、そのハッシュ値に対応するコンパイル済みオブジェクトが、以前ディスクにキャッシュとして保存されていないかをチェックする。

もし、計算したハッシュ値と一致するキャッシュ済みのオブジェクトが見つかれば、それは「前回のコンパイル以降、コンパイルに必要な何もかもが全く変わっていない」ことを意味する。この場合、エージェントは高コストなコンパイル作業をスキップし、ディスクに保存されていたキャッシュ済みのオブジェクトを直接読み込んで使用する。これにより、起動時間を大幅に短縮できる。

しかし、もし一致するキャッシュが見つからなかった場合（これは、入力情報が前回から変更されたか、あるいは今回のコンパイルが初めての場合に起こる）、エージェントは通常通りゼロからコンパイルを実行する。そして、その結果生成された新しいコンパイル済みオブジェクトを、計算した新しいハッシュ値と関連付けてディスクにキャッシュとして保存しておく。こうすることで、次回以降、同じ入力情報で再起動した際には、このキャッシュを再利用できるようになる。

この「入力のハッシュ化とキャッシュ」の仕組みが導入された結果、Ciliumエージェントの再起動にかかる時間は劇的に短縮された。これまでは何分もかかっていた起動が、わずか数秒で完了するようになったのだ。この改善は、開発者が変更を加えてすぐに結果を確認できるようになることを意味し、開発のスピードと効率を大幅に向上させた。また、CI環境においても、テストが迅速に完了し、より信頼性の高い開発プロセスが実現した。さらに、不必要なコンパイルが減ったことで、コンパイル時に消費されるコンピュータの処理能力（CPU）やメモリも削減され、システム全体のリソース効率も向上した。

Ciliumの事例は、ソフトウェア開発における重要な教訓を私たちに教えてくれる。ソフトウェアのビルドシステムや、実行時に動的にコードや成果物を生成するような多くのシステムは、しばしば多数の入力に依存して動作する。そして、これらの入力は、システムが繰り返し実行される間でも、実際にはほとんど変更されないことが多い。このような状況で、入力の変更を検知する仕組みがないと、システムは毎回不必要に、高コストな再コンパイルや再ビルド作業を繰り返してしまう。

Ciliumが行ったように、すべての関連する入力情報をハッシュ化し、そのハッシュ値をキーとしてビルドの成果物をキャッシュする仕組みを導入することは、非常に効果的な解決策だ。このアプローチにより、冗長な作業を回避し、システムの起動時間や、システムを本番環境に展開する「デプロイ」の時間を大幅に短縮できる。さらに、CPUやメモリの使用量を削減し、開発者やCIパイプライン全体の生産性を向上させることができる。将来、あなたがコードをコンパイルしたり、動的にファイルを作成したりするシステムを構築する機会があれば、この「入力のハッシュ化とキャッシュ」という考え方をぜひ活用することを検討してほしい。これは、効率的で高速なシステムを実現するための強力な手法である。