【ITニュース解説】Does the world need another distributed queue?

現代のWebサービスやアプリケーションは、日々膨大な量のデータを生成し、処理している。これらのデータを効率的かつ安定して処理するために、「分散キュー」と呼ばれる技術が極めて重要な役割を担っている。分散キューとは、処理すべきタスクやデータを一時的に溜めておく「待ち行列（キュー）」を、一台のコンピュータではなく、複数のコンピュータに分散させて構築する仕組みである。これにより、システムの一部に障害が発生しても処理が継続できたり、アクセスが急増した際にも処理を順番待ちさせることでシステム全体のダウンを防いだりするなど、堅牢で柔軟なシステム構築が可能となる。この分散キューの分野において、新たな選択肢となりうる技術が、フードデリバリー関連のテクノロジー企業Cloudkitchensによって開発され、その存在が開発者コミュニティに示された。

分散キューの代表的なソフトウェアとして「Apache Kafka」が広く知られている。Kafkaは、大量のデータをリアルタイムで処理することに長けており、大規模なデータ基盤のデファクトスタンダードとして世界中の多くの企業で採用されている。しかし、あらゆる技術に長所と短所があるように、Kafkaにも特定のシナリオで課題となる点が存在する。こうした中、Cloudkitchensは自社で「KEQ (Keyed Event Queue)」と名付けた新しい分散キューを開発し、5年近くにわたりミッションクリティカルな本番環境で運用してきた実績を持つ。そして、このKEQをオープンソースとして公開することを検討するにあたり、外部の開発者にとっても価値があるかどうか、コミュニティに意見を求めたのである。

KEQの最大の特徴の一つは、「Head-of-the-lineブロッキング」と呼ばれる問題を解決する巧妙な仕組みを備えている点だ。Head-of-the-lineブロッキングとは、キューの先頭にあるタスクの処理に時間がかかったり、失敗したりすると、その後ろに並んでいる、本来は無関係なタスクまで全てが待たされてしまう現象を指す。これは、システムの処理効率を大きく低下させる原因となりうる。KEQは、この問題を解決するために「キー」という概念を導入している。全てのデータ（イベント）に特定のキーを紐付け、キーごとに処理の進捗を追跡する。例えば、ECサイトの注文処理キューを考えると、「ユーザーAの注文」と「ユーザーBの注文」という異なるキーを持つデータが存在する。もしユーザーAの注文処理に何らかの問題が発生して遅延したとしても、KEQはユーザーBの注文処理を先に進めることができる。これにより、一部の処理の遅延がシステム全体に与える影響を最小限に抑え、全体のスループットを高く維持することが可能となる。

さらにKEQは、Kafkaにおける「パーティション」の概念を、より柔軟な形で実現している。Kafkaでは、データを「トピック」というカテゴリに分類し、さらに「パーティション」という単位に分割して並列処理を行う。しかし、パーティションの数を大量に増やすと、管理が複雑になったり性能に影響が出たりすることがある。KEQは、このパーティションの数に実質的な制限がないアーキテクチャを採用している。これは、開発者がデータの分割単位をより細かく、自由に設計できることを意味し、システムの拡張性や柔軟性を大幅に向上させる可能性を秘めている。

KEQがもたらすもう一つの重要な利点は、地理的に分散したシステム構成、特に「アクティブ-アクティブなマルチリージョン構成」の開発を容易にする点にある。マルチリージョンとは、例えば東京と大阪のように、物理的に離れた複数のデータセンター（リージョン）でシステムを運用することであり、災害対策やユーザーに近い場所からサービスを提供することによる応答速度の向上を目的とする。そしてアクティブ-アクティブとは、全てのリージョンが常に稼働状態でリクエストを処理する構成を指し、これにより極めて高い可用性を実現できる。しかし、このような高度な構成の実現は技術的に非常に複雑である。KEQは、その基盤にCockroachDBのような分散データベースと、データを効率的に分割管理するシャーディング技術を用いており、このような複雑な構成を比較的容易に構築できるように設計されている。

Cloudkitchensは、この実績あるKEQをオープンソースとして公開することを検討しているが、現状では社内のライブラリと密接に結合しているため、公開するには相応の作業が必要となる。そのため、世界は新たな分散キューを必要としているのか、という問いをコミュニティに投げかけた。この問いかけは、既存技術の課題を克服し、より信頼性が高く、コスト効率の良いシステム構築を可能にする新しい技術への需要が確かにあることを浮き彫りにした。KEQがオープンソース化されれば、特に高い可用性が求められるグローバルなサービスを開発するエンジニアにとって、強力な新しい選択肢となるだろう。今後の動向が注目される技術の一つである。