Webエンジニア向けプログラミング解説動画をYouTubeで配信中!
▶ チャンネル登録はこちら

【ITニュース解説】Your Kubernetes Deployments Are Killing Sidekiq Jobs

2026年10月21日に「Dev.to」が公開したITニュース「Your Kubernetes Deployments Are Killing Sidekiq Jobs」について初心者にもわかりやすく解説しています。

作成日: 更新日:

ITニュース概要

Kubernetesでのデプロイ時、Sidekiqの長時間ジョブが途中で停止しデータ欠損が起きる問題。これは、KubernetesとSidekiqのシャットダウン処理の食い違いが原因だ。解決策は、KubernetesのpreStopフックでSidekiqに新規ジョブ停止と実行中ジョブの完了を指示し、十分な待機時間(grace period)を設けること。SidekiqをプロセスID 1として実行する設定も重要で、これによりジョブを安全に完了できる。

ITニュース解説

私たちが開発するシステムにおいて、バックグラウンドで処理を行うSidekiqというツールをKubernetesというシステムで動かしているとき、デプロイと呼ばれるシステムの更新作業を行うと、一部の時間がかかるSidekiqのジョブが途中で停止してしまうという問題が発生していた。システムの更新は成功を示す緑色のランプが点灯し、新しいシステムが立ち上がり古いシステムが停止するという流れは正常に見えた。しかし、その裏では、数十個のバックグラウンドジョブが突然中断され、中途半端な状態で処理が終わってしまうことが頻繁に起きていたのだ。

例えば、ユーザーへのメール送信やデータの集計といった数分かかるジョブが、デプロイ中に停止すると、メールが二重に送られたり、データ処理が不完全になったりした。場合によっては、ジョブが再実行されて後から完了することもあったが、完全に消失してしまい、手動で修正が必要になることもあった。これは、KubernetesもSidekiqもそれぞれ指示通りに動いているのだが、両者の「正常な停止」の定義が異なっていたために生じる問題だった。

この問題の典型的な兆候として、システムリリース直後に、通常では考えられないエラーでジョブが再試行キューに表示されたり、長時間かかるジョブが二度実行されたり、デプロイ中に実行されていたジョブが何の痕跡もなく消えたりすることが挙げられる。Sidekiqのログを見ても、通常のシャットダウンメッセージである「Bye!」が表示されず、突然ログが途切れていることが多かった。これらの現象は、デプロイ時だけでなく、システムのスケーリング(規模縮小)やノードのメンテナンス時など、KubernetesがPod(コンテナを動かす最小単位)を停止するたびに発生するパターンがあった。

KubernetesがPodを停止する際の具体的な流れは次のようになる。まず、停止対象のPodに「終了処理中」というマークをつけ、外部からの通信を受け付けないようにする。次に、もし設定されていれば「preStopフック」と呼ばれる処理を実行し、その完了を待つ。その後、コンテナ内のメインプロセス(PID 1)に「SIGTERM」という停止指示のシグナルを送る。そして、「terminationGracePeriodSeconds」という猶予期間(デフォルトは30秒)が過ぎるまで待ち、それでもプロセスが停止しない場合は「SIGKILL」という強制終了シグナルを送って、問答無用でプロセスを停止させる。ここで重要なのは、30秒という猶予期間は、Podに「終了処理中」マークがついた時点からカウントが始まり、「preStopフック」が実行される時間もこの30秒の中に含まれるという点だ。

一方、Sidekiqは「TSTP」と「TERM」という二つのシグナルを主な停止指示として受け取る。Sidekiqが「TSTP」を受け取ると、新しいジョブの取得を停止するが、すでに実行中のジョブは継続する。「TERM」を受け取ると、新しいジョブの取得を停止し、実行中のジョブを一定時間(デフォルト25秒)待ってから、未完了のジョブをキューに戻して終了する。

つまり、デフォルト設定の場合、KubernetesはPodに「終了処理中」マークをつけ、同時に「SIGTERM」をSidekiqに送る。Sidekiqはそこから25秒以内に実行中のジョブを終え、残りをRedisというデータベースのキューに戻そうとする。しかし、Kubernetesが与える猶予は30秒しかない。もしジョブが25秒で終わらない場合、Sidekiqはキューに戻す前に猶予期間が終了し、「SIGKILL」によって強制終了されてしまう。これにより、ジョブが完全に消失したり、中途半端な状態で再実行されたりする事態が発生していたのだ。

この問題を解決するために採用した方法は、「まず静かにさせ、次に待機し、そして停止させる」というシンプルなものだった。新しいタイムラインは次のようになる。Podに「終了処理中」マークがつくのと同時に、「preStopフック」でSidekiqに「TSTP」シグナルを送る。これによりSidekiqは新しいジョブを受け付けなくなる。次に、「preStopフック」内で、Sidekiqがすでに受け取って実行中のジョブが全て完了するまで待機する。この間、新しいPodはすでに新しいジョブを受け取り始めているため、全体のジョブ処理は滞らない。実行中のジョブが全て完了したら、「preStopフック」が終了する。その後、Kubernetesから「SIGTERM」が送られるが、Sidekiqはすでに実行中のジョブがないため、すぐに停止する。この一連の流れが適切に設定されていれば、Kubernetesが設定した猶予期間内にSidekiqは正常に停止し、強制終了されることなく、ジョブが失われることもなくなる。

この解決策を実現するには、以下の4つの要素が必要になる。一つ目は、Sidekiqに「TSTP」を送り、実行中のジョブがなくなるまで待つ「preStopスクリプト」を用意すること。二つ目は、最も時間がかかるジョブの実行時間よりも長い「terminationGracePeriodSeconds」を設定すること。三つ目は、Sidekiqのシャットダウンタイムアウトを適切に設定すること。四つ目は、Sidekiqプロセスがコンテナ内でメインプロセス(PID 1)として動作するようにすることだ。

具体的には、「preStopスクリプト」はSidekiqに「TSTP」を送り、Sidekiq自身のAPIを使って実行中のジョブがないかを確認し、なくなるまで数秒ごとに繰り返して待機する。これにより、Sidekiqは新しいジョブを受け付けず、既存のジョブを完了させることが可能になる。このスクリプトは、Podのログにメッセージを出力することで、デバッグを容易にする工夫もされている。「terminationGracePeriodSeconds」は、例えば600秒といったように、preStopスクリプトの最大待機時間とSidekiqのシャットダウンタイムアウト、さらにいくらかのバッファを合計した時間よりも長く設定する必要がある。Sidekiqのシャットダウンタイムアウトは、preStopフックがすでにジョブを空にしているため、短くても問題ない。

そして最も見落とされがちなのが、Sidekiqをコンテナのメインプロセス(PID 1)として実行するという点だ。Kubernetesがシグナルを送るのはPID 1のプロセスなので、もしシェルスクリプトがPID 1で、Sidekiqがその子プロセスとして動いていると、シグナルがSidekiqに届かない。これを避けるためには、DockerfileのCMD命令で["bundle", "exec", "sidekiq", ...]のように実行形式で指定することが重要だ。

これらの設定をKubernetesのデプロイ設定に組み込むことで、問題が解決される。デプロイ設定では、新しいワーカーが起動してから古いワーカーが停止する「maxUnavailable: 0」と「maxSurge: 1」という設定も併用することで、デプロイ中もジョブ処理が途切れないようにする。また、デプロイ時だけでなく、ノードのメンテナンスなどでPodが停止する際にも同様にジョブを保護するため、「PodDisruptionBudget」という設定を使って、一度に停止するPodの数を制限することも有効だ。

この解決策が正しく機能するかは、実際のデプロイを待つのではなく、開発環境などでテストすることが不可欠である。例えば、数分かかるテスト用のジョブをSidekiqに投入し、そのジョブを実行しているPodを意図的に削除してみる。そのPodのログを監視し、ジョブが「正常に完了しました」というメッセージと「Bye!」というSidekiqのシャットダウンメッセージが表示されてからPodが消えれば、設定は正しく機能していると言える。もしログが途中で途切れていれば、設定に問題があるため、原因を調査する必要がある。

最後に、この「preStopフック」による解決策は、デプロイや計画的なシャットダウンには有効だが、ノードのクラッシュや予期せぬ強制終了など、フックが実行されない緊急事態には対応できない。そのため、最も重要なのは、どのような状況でもジョブが複数回実行されても問題ないように、冪等性のある設計を心がけることだ。例えば、メール送信ジョブであれば、メール送信前に「送信済み」フラグをデータベースに記録し、ジョブの開始時にそのフラグを確認することで、二重送信を防ぐことができる。長時間かかるジョブであれば、処理の途中で進捗を保存し、再開時に途中から処理を始められるようにする。この組み合わせによって、システム全体の信頼性を大きく向上させることができる。

これらの対策を講じることで、デプロイ時にジョブが中断されなくなり、開発者はリリース後にジョブの再試行状況を確認したり、手動で不完全な処理を修正したりする手間から解放される。この解決策は、たった一つのシェルスクリプトといくつかの設定変更、そして一つのUnixシグナルの組み合わせによって実現される。その核心は、KubernetesとSidekiqという異なるシステムがそれぞれ「正常なシャットダウン」と考えていたことが、実際には互いに噛み合っていなかったという、その認識のずれを埋めることだったのだ。

関連コンテンツ

関連IT用語