【ITニュース解説】Announcing Project Antalya – Infinitely Scalable ClickHouse® Query on 10x Cheaper Iceberg Storage

Project Antalya：ClickHouseとIcebergを組み合わせた新しいデータ分析の形

近年、データ量が爆発的に増加しており、それに伴いデータベースのコストや安定性が課題となっている。特に、ClickHouseのような高速なデータ分析基盤においても、データ量の増大は無視できない問題だ。Project Antalyaは、ClickHouseをIcebergというデータレイク技術と組み合わせることで、これらの課題を解決しようとする試みである。

従来のClickHouseでは、MergeTreeというテーブル設計が用いられ、データは複数のサーバーに複製されて保存されていた。しかし、この方式ではストレージコストが非常に高くなるという問題があった。また、大規模なバッチ処理やデータロードのために、必要な時に必要なだけ計算リソースを割り当てる柔軟性に欠けていた。そのため、常にピーク時の負荷を想定したリソースを準備する必要があり、コストが増加していた。

そこで登場したのがIcebergだ。Icebergは、オブジェクトストレージ上にデータを保存するためのオープンなテーブルフォーマットであり、Parquetという効率的なデータ形式を使用する。これにより、ストレージコストを大幅に削減できる。また、Icebergはリアルタイム分析、AI、データサイエンス、バッチ処理といった様々なワークロードで共通のデータを利用できるため、データサイロを解消し、データパイプラインの複雑さを軽減できる。

Project Antalyaは、ClickHouseの高速なクエリ性能とIcebergのコスト効率的なストレージを組み合わせることで、これらの利点を両立させることを目指している。具体的には、以下の3つの目標を掲げている。

1つ目は、テーブルデータをIcebergデータレイクに単一コピーとして保存することで、ストレージコストを削減し、他のワークロードとの共有を可能にすることだ。

2つ目は、アプリケーションがデータの場所に関わらず、単一のClickHouse SQL接続からすべてのデータにアクセスできるようにすることだ。これにより、既存のClickHouseアプリケーションを変更することなく、データレイクストレージの恩恵を受けることができる。

3つ目は、データの取り込み、マージ、変換、クエリを高速かつ独立してスケールできるようにすることだ。これにより、計算リソースの過剰なプロビジョニングを削減し、スポットインスタンスのような安価なリソースの利用を可能にする。

Project Antalyaの重要な要素の一つが、swarmクラスタという技術だ。swarmクラスタは、ステートレスなClickHouseサーバーのプールであり、必要に応じてスケールアウトできる。ClickHouseクラスタは、Parquetファイルに対する読み込み処理をswarmに委譲することで、クエリを高速化し、既存のClickHouseアプリケーションへの負荷を軽減できる。また、swarmはキャッシュ機構を備えており、Icebergメタデータ、S3ファイルブロック、Parquetファイルメタデータなどをキャッシュすることで、レイテンシを大幅に削減できる。

Project Antalyaは、段階的に実装が進められている。最初の段階では、swarmクラスタが導入され、Icebergテーブルに対してリアルタイムなクエリを実行できるようになった。今後の段階では、Iceberg上での階層化ストレージや、データレイク上でのマテリアライズドビューの構築などが予定されている。

Project Antalyaは、単なるClickHouseの改良版ではなく、データ分析の未来を見据えた新しいアーキテクチャだ。ClickHouseの能力、クラウドネイティブな運用、Iceberg/Parquetの組み合わせにより、データ量の増加に対応できる、高性能かつ低コストな分析システムを実現しようとしている。