【ITニュース解説】Scaling Laravel Queues with Go: A High Performance replacement to php artisan queue:work

Webアプリケーション開発で広く使われるフレームワークであるLaravelには、処理に時間のかかるタスクをバックグラウンドで実行するための「キューシステム」という機能がある。例えば、ユーザー登録時のメール送信や画像のサイズ変更といった処理を、ユーザーが画面を待たずに済むように、キュー（待機列）に入れて後からまとめて処理する仕組みだ。このキューに入ったタスク（ジョブと呼ばれる）を実際に取り出して処理するのが「キューワーカー」である。Laravelの標準的なキューワーカーは、php artisan queue:work というコマンドで実行され、PHP言語で動作する。

しかし、この標準的なキューワーカーにはいくつかの課題があった。最も大きな問題は、php artisan queue:work が一度に一つのジョブしか処理できない「シングルスレッド」方式で動作する点だ。つまり、大量のジョブが発生した場合、一つずつ順番に処理するため時間がかかってしまう。さらに、各ジョブを処理するたびにLaravelアプリケーション全体を起動し直す必要があり、この起動処理（「ブートストラップオーバーヘッド」と呼ばれる）が非常に重い。まるで、書類を一枚処理するたびにパソコンを再起動しているようなもので、これによりCPUやメモリといったコンピューターのリソースが無駄に消費され、効率が悪いという問題も抱えていた。結果として、たくさんのジョブを高速に処理しようとすると、複数のqueue:workプロセスを立ち上げる必要があるが、それは多くのリソースを消費し、システム全体の負荷を高めてしまうことにつながる。

これらの課題を解決するために、Go言語を使った新しいキューワーカーが開発された。このアプローチは、Go言語が持つ「並行処理」という得意分野と、Laravelが持つジョブ処理の能力を組み合わせるものだ。Go言語は「ゴルーチン」と呼ばれる軽量なスレッドのような仕組みを使って、複数のタスクを同時に効率良く処理できる特性を持っている。

新しいシステムの基本的な仕組みは、主に三つの部分から構成される。一つ目は「Goワーカープール」で、これはGo言語で書かれたプログラムが、複数のPHPプロセスをまとめて管理する役割を担う。二つ目は、Goワーカープールから指示を受けてジョブを実行するための「カスタムLaravelコマンド」だ。このqueue:run-jobという新しいLaravelコマンドは、標準入力（STDN）からジョブの内容を受け取り、それを処理する。三つ目は、キューに入ったジョブを管理するための「Redis」というデータストアだ。LaravelのキューシステムはRedisを使ってジョブの待機列を管理しており、GoワーカープールはこのRedisからジョブを取り出して、カスタムLaravelコマンドに渡す。

このGoベースの新しいキューワーカーの画期的な点は、「永続的なPHPプロセス」を利用することにある。従来のqueue:workがジョブごとにPHPプロセスを起動し直していたのに対し、Goワーカーは一度起動したPHPプロセスを使い回す。これにより、ジョブが実行されるたびに発生していたLaravelの重い起動処理を省略できるため、大幅なパフォーマンス向上が見込める。最初にたった一つの永続的なPHPプロセスで試しただけでも、従来の方式に比べて処理速度が劇的に改善されたことが確認された。

さらに、複数の永続的なPHPプロセスをGoワーカープールで管理することで、「並行ジョブ分散」が可能になった。Goワーカーは、キューから取り出したジョブを、管理している複数のPHPプロセスに「ラウンドロビン」という順番に割り当てる方式で分散させる。これにより、複数のジョブを同時に並行して処理できるため、全体の処理能力が向上する。実験では、6つのPHPプロセスを並行して動作させることで、非常に優れた性能向上が得られた。また、システムが現在処理したジョブの数や失敗したジョブの数をリアルタイムで監視する機能も組み込まれており、これによりシステムの稼働状況を把握しやすくなっている。

この新しいアプローチの開発は二つの段階を経て進められた。最初の段階では、Goがたった一つの永続的なPHPプロセスを管理する仕組みが試された。このシンプルな変更だけでも、1000件のジョブを処理する時間が13.99秒から1.29秒へと、約10.8倍も高速化された。この結果は、Laravelの起動処理にかかる時間が、キュー処理のボトルネックであったことを明確に示している。次の段階では、この成功を基に、複数のPHPワーカーをGoで並行処理させる仕組みが実装された。6つのPHPワーカーを使うことで、10000件のジョブを処理する時間が11.37秒から6.41秒へと、さらに約1.8倍の改善が見られた。これは、ワーカーの数を増やすことで処理性能がほぼ比例して向上する「線形スケーリング」の可能性を示している。

具体的な性能比較を見てみよう。1000件のジョブを処理する場合、従来のLaravelワーカーでは13.99秒かかっていたが、Goワーカー（単一PHPプロセス）では1.29秒で完了し、約10.8倍の高速化を達成した。さらに大規模な10000件のジョブを処理する場合、従来のLaravelワーカーでは139.71秒（約2分20秒）かかっていたが、Goワーカー（単一PHPプロセス）では11.37秒、そして6つのPHPプロセスを使ったGoワーカーでは6.41秒で完了した。これは、従来のワーカーと比較して約21.8倍もの高速化となる。これらの結果から、単一プロセスでも大幅な最適化があり、さらに並行処理を加えることで性能がほぼ線形に向上することが分かる。ただし、これらのベンチマークは処理時間のみに焦点を当てたものであり、CPU使用率やメモリ消費量は測定されていない点には注意が必要である。

このようなGoとLaravelを組み合わせたアプローチは、どのような場合に有効なのだろうか。まず、毎分数千件といった「高ボリュームのキュー処理」が必要なアプリケーションには非常に適している。また、Go言語を使った並行プログラミングの学習や検証にも役立つ。一方で、処理するジョブの量が少ない小規模なアプリケーションや、カスタムなインフラを構築するよりも標準的なLaravelのホスティングで十分な場合、あるいは開発チームが主にPHPに慣れている場合には、従来のLaravelワーカーを使い続ける方が良いだろう。

この実験は、Laravelのスケーラビリティに関して多くの可能性を開いている。将来的には、より堅牢なエラーハンドリングや、システム停止時の安全なシャットダウン、より詳細な監視機能などを備えた「本番環境対応」のシステムへと発展させられる可能性がある。また、キューの深さ（待機中のジョブ数）に応じてワーカーの数を自動的に調整する「動的スケーリング」や、異なる種類のジョブを専門のワーカーで処理する「マルチキュー対応」、さらには複数のサーバーに処理を分散させる「分散処理」といった大規模な拡張も考えられる。

このプロジェクトから得られた重要な教訓はいくつかある。第一に、Laravelアプリケーションをジョブごとに起動し直す際の「ブートストラップオーバーヘッドが真のボトルネック」であることだ。永続的なPHPプロセスを使うだけで約10倍の性能向上は、この事実をはっきりと示している。第二に、Go言語による「並行処理はうまくスケールする」ということだ。ワーカー数を増やすことで処理性能がほぼ比例して向上する。第三に、複雑なシステムを構築せずとも、「シンプルで強力な改善」が可能であること。単一の永続ワーカーでも従来の方式を大きく上回る性能を発揮する。そして最後に、必要に応じて段階的に新しいアプローチを導入できる「漸進的な採用」の可能性も示唆されている。

このプロジェクトは学習目的で始まったものだが、その劇的な性能向上は、実際のプロダクション環境での利用にも十分な可能性を示唆している。GoとLaravelという異なるプログラミング言語が互いの長所を活かし、Goが並行処理の課題を、Laravelがビジネスロジックとジョブ処理を担うことで、従来のLaravelのジョブ処理パターンを維持しつつ、専用のキューシステムに匹敵する性能を実現できることが証明された。ただし、現時点では完全なエラー処理やジョブの再キューイング、タイムアウト管理など、本番環境で必須となる一部の機能はまだ実装されていない点には留意が必要である。