【ITニュース解説】Elasticsearch の Autoscaling を改善する: scale-out の高速化と HPA tolerance の調整
2026年10月16日に「メルカリ」が公開したITニュース「Elasticsearch の Autoscaling を改善する: scale-out の高速化と HPA tolerance の調整」について初心者にもわかりやすく解説しています。
ITニュース概要
メルカリはElasticsearchのAutoscaling効率化。CPU使用率ベースの高速増設・調整で、リソース最適化により安定稼働・コスト削減を実現。
ITニュース解説
メルカリのような大規模なECサイトでは、毎日非常に多くのユーザーが商品を探し、購入している。その中で、ユーザーが探している商品を素早く見つけ出すための「検索機能」は非常に重要だ。この検索機能の裏側で使われている主要な技術の一つが「Elasticsearch(エラスティックサーチ)」である。Elasticsearchは、大量のデータを高速で検索・分析するための専用のデータベースのようなもので、膨大な商品の中からユーザーの求めるものを瞬時に探し出す役割を担っている。
ウェブサイトへのアクセスは時間帯によって大きく変動する。例えば、多くの人が仕事から帰ってきてスマートフォンを見る夜間はアクセスが集中し、検索システムの負荷も高まる。しかし、深夜や早朝など、利用者が少ない時間帯は負荷が低くなる。もし、常に最もアクセスが多い時間帯に合わせて、たくさんのコンピューターやサーバーを準備しておくと、利用者が少ない時間帯にはそのほとんどが無駄になってしまい、費用もかさんでしまう。
そこで導入されるのが「Autoscaling(オートスケーリング)」という仕組みだ。Autoscalingは、システムの負荷(例えば、サーバーのCPU使用率)を常に監視し、負荷が高くなったら自動的にサーバーの台数を増やし(これを「スケールアウト」と呼ぶ)、負荷が低くなったら自動的にサーバーの台数を減らす(これを「スケールイン」と呼ぶ)。これにより、システムは常に適切なリソース量で運用され、費用を抑えながらも、ユーザーにはいつでも安定して快適なサービスを提供できるようになる。
メルカリでは以前からElasticsearchにAutoscalingを導入していたが、さらにその仕組みを改善した。以前のAutoscalingは、サーバーのCPU使用率がある一定の基準(閾値)を超えたときに、新しいサーバーを追加するという方法だった。しかし、この方法には課題があった。新しいサーバーが起動し、Elasticsearchのシステムに組み込まれ、検索に使えるようになるまでにはどうしても時間がかかる。この「準備期間」の間に、もし急激にユーザーのアクセスが増え続けると、既存のサーバーのCPU使用率はさらに急上昇し、検索が遅くなったり、最悪の場合はサービスが一時的に利用できなくなる可能性があったのだ。つまり、「スケールアウトの遅さ」が問題だった。
この問題を解決するために、メルカリが導入したのが「予測的Autoscaling」という新しい考え方だ。これは、過去のアクセス履歴や、現在のアクセスの増加傾向を分析することで、将来の負荷を予測し、実際にCPU使用率が危険なレベルに達する前に、先回りしてサーバーを追加するという仕組みである。
Elasticsearchのシステムを構成するサーバーは「ノード」と呼ばれ、主に「Masterノード」と「Dataノード」に分かれている。Masterノードはシステム全体の管理やデータの配置を決定し、Dataノードは実際にデータが保存され、ユーザーからの検索リクエストを処理する役割を担う。検索の負荷が増加するのは主にDataノードなので、このDataノードの数を適切に調整することが重要となる。
新しい予測的Autoscalingでは、特定のDataノード群のCPU使用率を監視するだけでなく、アクセスの増加ペースも詳細に分析する。例えば、通常よりも早いペースでアクセスが増加している傾向を検知したら、システムは自動的に現在のノード数と予測されるピーク時の負荷から、どれくらいのノードを追加すればよいかを計算する。そして、ピークアクセスが到来する前に、段階的に新しいDataノードを追加し、システムに組み込んでいく。これにより、多くのユーザーが検索を利用するピーク時には、すでに十分なリソースが準備されている状態となり、検索が遅延することなく、安定してサービスが提供されるようになった。
もう一つの改善点は、「HPA (Horizontal Pod Autoscaler) tolerance(トレランス)」の調整だ。メルカリのシステムは「Kubernetes(クーバネティス)」という技術の上で動作している。Kubernetesは、アプリケーションを効率的に管理し、必要な数のプログラムを実行してくれるプラットフォームだ。HPAはKubernetesの機能の一つで、アプリケーションの実行単位である「Pod(ポッド)」のCPU使用率やメモリ使用量に応じて、Podの数を自動的に増減させる役割を果たす。これもAutoscalingの一種だと理解してよい。
HPAには「tolerance(許容範囲)」という設定がある。これは、CPU使用率がどのくらいの範囲で変動したら、Podの数を増減させるかを決める「遊び」のようなものだ。例えば、CPU使用率の目標値を50%に設定し、toleranceを10%とすると、実際のCPU使用率が45%から55%の範囲内であれば、Podの数は増減しない。この範囲を超えた場合に初めて、Podの追加や削除が実行される。
以前のHPAの設定では、このtoleranceが最適ではなかったために、CPU使用率がわずかに変動するだけで、Podの追加と削除が頻繁に繰り返されてしまう問題があった。これを「フリッピング」と呼ぶ。フリッピングが多発すると、システムは常にPodの増減処理に追われ、かえって不安定になったり、不要なリソースを消費したりすることがあった。また、Podをスケールアウトで増やした直後に、CPU使用率が一時的に少し下がっただけで、すぐにスケールインしてPodが削除されてしまう「早すぎるスケールイン」も問題だった。これでは、せっかく増やしたリソースが効果的に活用されず、システムの安定稼働が難しくなる。
そこでメルカリは、このHPAのtoleranceを戦略的に調整した。具体的には、スケールアウト(Podを増やす)のためのtoleranceを小さく設定した。これにより、CPU使用率が少しでも目標値を超えそうになったら、システムは迅速にPodを追加するようになった。負荷の上昇に対してより敏感に反応し、リソース不足になる前に対応できるようになったのだ。一方、スケールイン(Podを減らす)のためのtoleranceは大きく設定した。これにより、CPU使用率が目標値を下回っても、すぐにPodを削除せず、ある程度の時間や変動幅を許容してからスケールインするようになった。一時的なCPU使用率の低下で Pod が削除されることを防ぎ、システムが安定した状態を保ちやすくなった。
このようなtoleranceの調整によって、無駄なフリッピングが減少し、システムはより安定して稼働するようになった。必要な時には迅速にリソースを増やし、かつ、一度増やしたリソースは安定して運用されるようになったのである。
これらのAutoscalingの改善は、単にシステムの負荷に応じてリソースを増減させるだけでなく、将来の負荷を予測して先回りする仕組みを導入し、さらにHPAの細かな設定を最適化することで、より高度なシステム運用を実現したことを示している。この取り組みにより、メルカリは急なアクセス集中時にもユーザーがストレスなく検索サービスを利用できる安定性を確保しつつ、必要のないリソースを削減することで運用コストも最適化できた。システムエンジニアにとって、このようにシステムの安定性と効率を両立させる技術は、非常に重要であることがよくわかる事例だ。