Webエンジニア向けプログラミング解説動画をYouTubeで配信中!
▶ チャンネル登録はこちら

【ITニュース解説】48-Hour Field Notes: An NTP Step Ate 40 Seconds of My Batch Budget

2026年10月16日に「Dev.to」が公開したITニュース「48-Hour Field Notes: An NTP Step Ate 40 Seconds of My Batch Budget」について初心者にもわかりやすく解説しています。

作成日: 更新日:

ITニュース概要

バッチ処理がシステム時刻調整で早期終了する問題。経過時間計測には、NTPなどによる時刻変更に強いtime.monotonic()を使おう。time.time()は注意。Retry-After処理も重要で、目的に応じ時計を使い分ける。

ITニュース解説

バッチジョブが予定よりも早く終了してしまうという奇妙な問題に直面した話だ。通常20分かかるはずの処理が、19分で「時間切れ」として強制終了してしまう。ネットワークの遅延や外部サービスの不具合を疑ったが、調査を進めるうちに、原因はもっと根本的なところにあることが判明した。それは、プログラムが時間をどう計測しているかという点だ。

筆者はログファイルからエラー行を分類する小さなバッチジョブを開発していた。このジョブは2時間ごとに実行され、各実行には20分という厳しい時間制限が設けられていた。開発コストを抑えるため、無料の外部サービスとサーバーを利用していた。無料のサービスは便利だが、その安定性や機能には限界があるため、利用する際には常にその点を考慮する必要がある。このジョブにとって重要なのは、決められた時間内で作業を終えること、外部サービスから「後でリトライしてほしい」という指示があった場合に適切に待機すること、そしてすべての決定をログに残すことの3点だった。

最初にジョブが予期せず終了した際、筆者は外部サービスが遅くなったせいだと考えた。次に同じ問題が起きたときは、サービスが不安定だと判断し、少し待機する処理を追加してみた。しかし、3回目の失敗で、直感に頼るのをやめ、コードのあらゆる判断ポイントで時間を記録するようにした。そこで明らかになったのが、時間の計測に関する二つの問題だった。

一つ目の問題は、ジョブの実行時間を計測するためにtime.time()という関数を使っていたことだ。time.time()は、一般的に「ウォールクロック(壁時計)」と呼ばれるシステム全体の現在時刻を返す。この時刻は、NTP(時刻同期プロトコル)によって自動的に調整されたり、仮想環境の都合で変更されたり、あるいはシステム管理者が手動で変更したりすることがある。つまり、time.time()が返す時間は、必ずしも単調に増加するとは限らず、時には後退したり、急に飛び進んだりする可能性があるのだ。今回のケースでは、ウォールクロックが実際よりも約40秒も多く進んだと記録され、ジョブはまだ作業が残っているにもかかわらず、20分という予算をオーバーしたと判断して終了してしまった。モノトニッククロック(単調増加時計)と呼ばれる、システム起動時からの経過時間を常に単調に増やす特別な時計では1200秒しか経過していなかったのに、ウォールクロックは1240秒を示していた。自分で管理していないサーバーだったため、ウォールクロックが調整された具体的な原因を特定することはできなかったが、問題の根本はウォールクロックの変動にあることは明らかだった。

二つ目の問題は、外部サービスから「後でリトライしてほしい」という指示(Retry-Afterヘッダー)を解析する方法にあった。HTTPの標準規格であるRFC 9110では、Retry-Afterヘッダーに再試行までの待機時間を「秒数」(例: "12")で示すか、または「特定の日時」(例: "Tue, 14 Nov 2023 22:13:40 GMT")で示すかのどちらも許可している。筆者のコードは、このヘッダーの値をint()関数で整数に変換しようとしていたため、秒数形式の場合は問題なく動作したが、日時形式が送られてくるとエラー(ValueError)が発生した。このエラーが不適切に処理されていたため(例外をcatchするだけで具体的な対処をしていなかったため)、待機時間が0秒と計算されてしまい、ジョブは外部サービスが「待ってほしい」とお願いしているにもかかわらず、すぐに再試行を繰り返して、かえって負荷をかけてしまう結果となった。これは、リトライ処理の実装でよくある間違いの一つだという。

これらの問題を解決するために、筆者は二つの主要な改善を行った。

まず、ジョブの実行時間管理をより堅牢にするため、「予算」を管理する小さなBudgetクラスを導入した。このクラスは、時間を計測するための「クロック」を外部から受け取れるように設計されており、デフォルトではtime.monotonic()を使うように設定されている。time.monotonic()は、システム時刻の調整に影響されず、常に単調に増加する経過時間を正確に計測できるため、ジョブの実行時間を測定するのに最適だ。これにより、ウォールクロックが突然変化しても、ジョブの実行予算が狂うことなく、正確に20分間作業を継続できるようになる。

次に、Retry-Afterヘッダーの解析方法を改良した。新しいparse_retry_after関数は、ヘッダーの値が数字であれば秒数として、それ以外であればHTTP-date形式の日時として解析するようになっている。日時形式の場合は、現在のウォールクロック(time.time())と比較して、再試行までの残りの時間を計算する。ここで重要なのは、期間を測る際にはtime.monotonic()を使い、絶対的な時点を扱う際にはtime.time()を使うという使い分けを明確にした点だ。また、解析中にエラーが発生しても、例外を発生させるのではなく、デフォルトで0秒を返すようにし、さらにサーバーが指定する待機時間には上限を設けることで、過剰な待機や無限ループを防ぐようにした。

これらの修正が正しく機能するかを確認するため、筆者はFakeClockという特別なテスト用のクロックを自作し、ユニットテストを作成した。このFakeClockを使うと、テストコード内で手動で時間を進めたり、ウォールクロックだけを後退させたりといった状況を再現できるため、実際にウォールクロックが変動するような複雑な本番環境の状況を、自分の開発環境で簡単にシミュレートして検証できた。たとえば、ウォールクロックが後退しても、Budgetクラスの残りの時間はモノトニッククロックに基づいて正しく計算されることや、Retry-Afterヘッダーの異なる形式がすべて正確に解析されること、不正な入力があってもエラーで落ちないことなどを確認できた。

さらに、本番環境で実際にウォールクロックの変動が起きているかを確認するための簡単な診断スクリプトも用意した。これは、ジョブの開始時と終了時にtime.time()とtime.monotonic()の両方を記録し、その差分がどれだけ変化したかを監視するものだ。この差分が大きくなっていれば、ウォールクロックが調整された証拠となる。

この経験から得られた重要な教訓は、プログラム内で時間を扱う際に、その「目的」に応じて適切なクロックを選ぶことの重要性だ。 例えば、「この処理はどれくらい時間がかかったか?」という期間を知りたい場合は、NTPなどの影響を受けないtime.monotonic()を使うべきだ。 一方、「このデッドラインは何時何分か?」や「このイベントはいつ発生したか?」のように、他のシステムやログと共有できる絶対的な時刻を知りたい場合は、UTC(協定世界時)のtime.time()を使うべきである。 ただし、time.monotonic()で得られた値は、プログラムが再起動するとリセットされるため、複数のプロセスや再起動をまたいで時間を比較したり、永続化したりすることはできない点に注意が必要だ。また、ホストのローカルタイムゾーンは信用せず、常にUTCで時間を扱い、表示が必要な場合にのみ変換するべきである。

この一連の経験を通じて、筆者は次の点を強く推奨している。時間を注入できるBudgetのようなクラスを使って、正確な時間管理をテスト可能にすること。ジョブの実行前後でウォールクロックとモノトニッククロックの差分を常に記録すること。そして、Retry-Afterのような仕様が曖昧なヘッダーは、常に複数の形式を想定して堅牢に解析すること。さらに、安易な例外処理(except句)は避け、サーバーから指示される待機時間には上限を設定するべきだと述べている。

このアプローチは、自分自身のコードの時刻計算の問題を解決するものであり、例えばサーバーが勝手に再起動した原因などを究明できるわけではない。また、複数のマシン間で時間を比較する必要がある分散システムの場合には、引き続きウォールクロックのUTCが不可欠となる。しかし、もしあなたが、自分が管理していないサーバーでバッチジョブを実行していて、そのジョブが予期せず早く終了するような問題に直面したなら、まず「コードのどの部分で、どのクロックを使って、経過時間を測定しているのか?」という問いに明確に答えられるかを確認すべきだ。その答えが曖昧なままであれば、リトライロジックなどを修正する前に、まず時間計測のロジックを見直すことが、無駄な調査時間を省くための第一歩となるだろう。

関連コンテンツ

関連IT用語