【ITニュース解説】Evolving our real-time timeseries storage again: Built in Rust for performance at scale

Facebookのような巨大なインターネットサービスを安定して運営するためには、システムの状態を常に監視し、異常をリアルタイムで検知する仕組みが不可欠だ。この監視の根幹をなすのが、時間とともに記録される一連の数値データである「時系列データ」の収集と分析である。例えば、サーバーのCPU使用率やメモリ使用量、ネットワークの通信量、あるいはユーザーのウェブサイト上の行動履歴などがこれに該当する。これらのデータは、システムの健全性を評価し、パフォーマンスのボトルネックを特定し、将来のトレンドを予測するために極めて重要な役割を果たす。

しかし、Facebookのように数十億人ものユーザーを抱え、数百万台ものサーバーが稼働する規模になると、生成される時系列データの量は天文学的なものになる。毎秒数千万もの新しいデータポイントが生まれ、その総数は数千億に上ることもある。このような膨大なデータを、効率的かつリアルタイムに保存し、必要な時に高速で読み出すことは、非常に大きな技術的課題となる。既存のデータベースシステムでは、データ量の増大に伴ってストレージコストが跳ね上がり、データの検索や分析に時間がかかりすぎるという問題が浮上した。特に、リアルタイムでの監視が求められる場面では、これらの遅延はサービスのダウンタイムやパフォーマンス劣化に直結しかねないため、根本的な解決策が求められていた。

この課題を解決するために、Facebookが開発したのが「Gorilla」と呼ばれる新しいリアルタイム時系列データストレージシステムだ。Gorillaは、従来のシステムが抱えていたスケーラビリティやパフォーマンス、ストレージ効率の問題を克服するために、いくつかの革新的なアプローチを取り入れた。その核心にあるのは、膨大な時系列データをいかにコンパクトに保存し、かつ高速にアクセスできるかという点である。

まず、Gorillaは最新のデータを可能な限りメモリ上に保持することで、超高速な読み出しと書き込みを実現した。メモリはディスクに比べてはるかに高速だが、容量には限りがある。そこで重要になるのが「データ圧縮」の技術だ。Gorillaは、時系列データの特性を最大限に利用して、驚異的な圧縮率を達成した。

データ圧縮の主要な手法は二つある。一つは「タイムスタンプの圧縮」、もう一つは「値の圧縮」だ。 タイムスタンプの圧縮では、「Delta-of-Delta（デルタ・オブ・デルタ）」という手法が用いられる。時系列データは、一定の間隔で記録されることが多いため、タイムスタンプの差分（デルタ）は頻繁に同じ値を取る。Delta-of-Deltaでは、このデルタと、その直前のデルタとの差分（デルタ・オブ・デルタ）を計算する。もしデータの間隔が一定であれば、このデルタ・オブ・デルタは0になる。このように、多くのタイムスタンプのデルタ・オブ・デルタが0や非常に小さな値になることを利用し、これらの小さな値を効率的に符号化することで、タイムスタンプの記録に必要なビット数を大幅に削減する。

次に、値の圧縮では、「XOR圧縮」という手法が使われる。時系列データにおける値は、短い時間内では劇的に変化することは少なく、直前の値と似たような値が続く傾向がある。XOR圧縮では、現在の値と直前の値の「排他的論理和（XOR）」を計算する。XOR演算は、二つのビットが同じなら0、異なるなら1を返す演算だ。もし現在の値と直前の値が非常に似ていれば、XORの結果はほとんどのビットが0になり、少数のビットが1となる。このわずかな違いを効率的に符号化することで、浮動小数点数のような複雑な値も大幅に圧縮できる。

これらの圧縮技術により、Gorillaは従来のシステムと比較してデータサイズを10分の1以下に削減することに成功した。これにより、より多くの時系列データをメモリ上に保持できるようになり、クエリのパフォーマンスが劇的に向上した。

また、Gorillaは、分散キャッシュの仕組みも採用している。システム全体でデータを分散して保持し、必要に応じてデータをディスクに永続化する。メモリ上のデータは高速だが揮発性があるため、定期的にディスクに書き出し、さらに複数のサーバーにデータを複製することで、サーバーの障害が発生してもデータが失われないように耐久性と可用性を確保している。これにより、Facebookのような巨大なサービスにおけるリアルタイム監視の要求に応えながら、高い信頼性も実現した。

Gorillaの導入は、Facebookのオペレーションにおいて極めて大きな進歩をもたらした。膨大な時系列データをリアルタイムで収集、保存、分析できるようになったことで、システムの安定性やパフォーマンスに関する洞察が深まり、問題の早期発見と解決、そしてサービスの継続的な改善に大きく貢献した。このような大規模データストレージシステムの進化は、インターネットサービスの基盤を支える上で不可欠な技術であり、システムエンジニアを目指す者にとって、その設計思想や技術的アプローチを学ぶことは非常に価値のある経験となる。