【ITニュース解説】One Slow LLM Provider Shouldn't Starve Your Login Route: Bulkheads in 60 Lines of Node
2026年11月03日に「Dev.to」が公開したITニュース「One Slow LLM Provider Shouldn't Starve Your Login Route: Bulkheads in 60 Lines of Node」について初心者にもわかりやすく解説しています。
ITニュース概要
遅い外部サービスが原因で、ログインなど関係ない機能までシステム全体の処理が滞ることがある。これを防ぐのが「バルクヘッド」だ。システムのリソースを区画分けし、一部の遅延が他の機能に影響するのを防ぐことで、サービス全体を安定稼働させる。Node.jsで簡単に実装できる。
ITニュース解説
システムエンジニアを目指す皆さんにとって、安定したシステムを構築する技術は非常に重要だ。今回は、外部サービスが遅くなった時に、システム全体が停止してしまうのを防ぐ「バルクヘッドパターン」という考え方とその具体的な実装について解説する。
皆さんが開発するアプリケーションは、しばしば外部のサービスに依存している。例えば、チャットボットアプリケーションであれば、大規模言語モデル(LLM)を提供するプロバイダのAPIを呼び出すことになるだろう。もし、このLLMプロバイダが何らかの理由で応答が遅くなった場合、何が起こるだろうか。記事の例では、通常2秒で完了するはずのLLMからの応答が、ある日突然30秒かかるようになった状況を想定している。LLMプロバイダはエラーを返さないため、アプリケーションはただ応答を待ち続ける。
この時、一見LLMとは無関係に見える「ログイン」機能まで使えなくなる、という問題が発生することがある。ログイン処理はLLMを全く使わないにもかかわらず、多くのユーザーが「ログインできない」と報告し始めるのだ。なぜこのようなことが起こるのだろうか。
その原因は、アプリケーションが利用できる「共有のリソース(資源)」が枯渇してしまうことにある。皆さんがNode.jsで書いたアプリケーションが動作する環境では、例えば、アプリケーションのインスタンスが同時に処理できるリクエスト数に上限が設けられている場合がある。これはクラウドサービスにおける「インスタンスごとの同時実行数の上限」だったり、アプリケーションの手前に配置された「リバースプロキシのコネクション数の上限」だったり、あるいは「固定数のワーカープロセス」だったりする。また、データベースへの接続プールのような共有リソースも考えられる。
通常、チャットリクエストがLLMプロバイダに問い合わせを行う際、その応答を待つ間、これらの共有リソースの「スロット(枠)」を一つ占有する。LLMが2秒で応答すれば、スロットはすぐに解放され、次のリクエストが使える。しかし、LLMの応答が30秒に延びると、同じスロットを30秒間も占有し続けることになる。新しいチャットリクエストが次々と到着すると、空いているスロットを次々に占有していく。結果として、短い時間のうちにすべてのスロットが、LLMからの遅い応答を待っているチャットリクエストによって占領されてしまう。
このようにスロットが埋まってしまうと、LLMとは全く関係のないログインリクエストが到着しても、処理を実行するためのスロットが一つも空いていないため、チャットリクエストの長大な待ち行列の後ろに並ばざるを得なくなる。ログイン自体は数ミリ秒で終わるような軽微な処理であっても、先に詰まっているチャットリクエストが解放されるまで、何十秒も待たされてしまうのだ。これはシステム全体のパフォーマンスに深刻な影響を与える。
この問題の解決策が「バルクヘッド(隔壁)」というパターンだ。これは、船の内部がいくつかの隔壁で仕切られており、もし一つの区画が浸水しても、他の区画には水が広がらないことで船全体の沈没を防ぐ、という考え方から名付けられている。システムにおいても、リソースを区画に分割することで、あるコンポーネントの障害や遅延が他のコンポーネントに波及するのを防ぐ。
記事では、TypeScriptを使ってこのバルクヘッドパターンを実装したBulkheadクラスを紹介している。このクラスは、特定の依存サービスへの呼び出しに対して、以下の3つの設定でリソースを管理する。
limit: 同時に実行を許可する最大数。maxQueue: 実行待ちのキューに入れることを許可する最大数。maxWaitMs: キューに入ったリクエストが、どれくらいの時間まで待機を許されるか。この時間を超えると拒否される。
このBulkheadクラスは、acquire()メソッドで利用可能なスロットを取得し、release()メソッドでスロットを解放する仕組みを持つ。acquire()時にlimitを超えていれば、maxQueueの範囲で待ち行列に入れられ、それも超えれば即座に拒否される。待ち行列に入ったリクエストもmaxWaitMsを超えると拒否されるため、無限に待たされることはない。
これをLLMを呼び出すチャット機能と、LLMとは無関係なログイン機能を持つアプリケーションに適用した例を見てみよう。
まず、共有モードでは、チャットリクエストもログインリクエストも、サーバー全体の同時実行スロット(例:50スロット)を共有する。LLMプロバイダが遅延し始めると、チャットリクエストがこの50スロットを次々に占有していき、すぐにすべて埋まってしまう。すると、後から来たログインリクエストはスロットが空くのを待つことになり、結果としてログイン応答時間も30秒近くにまで跳ね上がる。チャットリクエスト自体は最終的にすべて応答が返ってくるかもしれないが、ユーザーは非常に長い時間待たされることになる。
次に、バルクヘッドモードでは、LLM呼び出し専用のバルクヘッドを設定する。例えば、「同時実行を10、キューでの待機を20、最大待機時間を1秒」といった具合に設定する。この場合、チャットリクエストはLLM専用のバルクヘッドを介してLLMプロバイダを呼び出す。LLMが遅延しても、同時にLLMを呼び出せるのは10リクエストまで、待機できるのは20リクエストまでとなり、それ以上はすぐに拒否される(エラーコード503)。これにより、LLMが利用できるのは最大で30スロット(実行中10+待機中20)までとなり、サーバー全体の50スロットを占有し尽くすことはなくなる。残りのスロットは、ログインのような他の重要な機能のために利用可能なままだ。この結果、ログインリクエストの応答時間は数ミリ秒に保たれ、LLMの遅延による影響を受けずにサービスを提供し続けられる。
LLMプロバイダへのHTTP接続を管理するhttp.Agentも、バルクヘッドのlimitと同じmaxSockets(最大ソケット数)に設定することが重要だ。これにより、バルクヘッドで制御された数以上の接続がhttp.Agent内部でキューに積まれることを防ぎ、無制限なリソース消費を防ぐことができる。
バルクヘッドを適切に機能させるには、そのサイズ(limitやmaxQueue)を適切に決める必要がある。通常時のLLMの応答時間と、処理したいリクエスト数を考慮して、適切な同時実行スロット数を割り出すのが良いだろう。また、maxWaitMsは、クライアントがタイムアウトする時間よりも短い値に設定し、クライアント側でタイムアウトが発生する前に、サーバー側で素早くリクエストを拒否してリソースを解放することが重要だ。待ち行列(キュー)も、小さなバーストを吸収する目的で短く保ち、長くしすぎないようにする。キューが長すぎると、結局遅い応答が返ってくるのと変わらなくなり、すぐに拒否するメリットが薄れてしまうためだ。
最後に、バルクヘッドは単独で使うだけでなく、他の障害対策パターンと組み合わせることで、さらに堅牢なシステムを構築できる。例えば、リトライ(失敗した処理を再試行する)、サーキットブレーカー(何度も失敗するサービスへのアクセスを一時的に遮断する)、スロットリング(リクエスト数を制限する)といったパターンと組み合わせることで、より安定したシステムになる。また、バルクヘッドがいっぱいになってリクエストを拒否した回数を監視することは、外部サービスに問題が発生している兆候をいち早く捉える重要な指標となる。
バルクヘッドパターンは、外部の遅延や障害からアプリケーションの主要機能を保護するための強力な手段だ。この概念を理解し、適切に実装することで、より信頼性の高いシステムを設計・構築できるようになるだろう。