【ITニュース解説】The bridge to agent-scale Git infrastructure

ソフトウェア開発の現場で欠かせないGitHubは、世界中の開発者が利用する巨大なサービスだ。毎日何百万ものリポジトリが作成され、更新されている。このような膨大なデータを安定して、しかも高速に提供し続けるためには、裏側のインフラストラクチャも常に進化し続ける必要がある。今回GitHubが行った大規模なインフラストラクチャの変更は、その挑戦の一環と言える。

GitHubが直面していた大きな課題の一つは、サービスが拡大するにつれて、特に自動化された処理（GitHub Actionsなどのエージェント）がリポジトリに大量にアクセスする際のパフォーマンスとスケーラビリティだった。従来のGit LFS（Git Large File Storage）の設計では、大きなバイナリファイル（画像や動画など）を扱うためのストレージがGitHubのデータセンター内に集中しており、エージェントからのアクセスが急増すると、データ転送の遅延や、システム全体のボトルネックになりやすかった。これは、利用者が増えれば増えるほど顕著になる問題だ。

この課題を解決するため、GitHubはまず、リポジトリに保存されているデータの大部分、具体的にはGit LFSで管理されているオブジェクト（大きなファイルの実体）を、Microsoft Azureが提供するオブジェクトストレージサービス「Azure Blob Storage」にコピーした。これは全リポジトリの99.99999%に相当するデータ量だ。オブジェクトストレージは、ファイルを「オブジェクト」という単位で扱い、大量のデータを非常に高い耐久性と可用性で保存できる。また、データへのアクセスを地理的に分散させやすく、読み込み要求を処理する能力を独立してスケーリングできる特徴がある。これにより、GitHubのデータセンター内にあるLFSストレージに集中していた負荷が軽減され、特にファイルの読み込み性能が大幅に向上した。開発者がファイルをダウンロードしたり、GitHub Actionsがビルドのためにリポジトリのデータにアクセスしたりする際、より高速にデータが提供されるようになったのだ。

しかし、Gitリポジトリは大きなバイナリファイルだけでなく、コミット履歴、ブランチ、タグといったGitオブジェクトや参照情報で構成されている。Git LFSオブジェクトがAzureに移動したとしても、残りのGitリポジトリの核となるデータの一貫性と可用性を保つ仕組みが必要だった。ここで登場するのが、「per-reference quorums（参照ごとのクォーラム）」という考え方だ。

クォーラムとは、分散システムにおけるデータの一貫性を保つための手法の一つだ。データを複数の場所に複製しておき、ある操作（例えばデータの更新）を行う際に、複製されたデータのうち一定数以上の場所から合意（クォーラム）を得られれば、その操作を成功と見なすというもの。これにより、一部のデータが保存されている場所（ノード）が一時的にダウンしても、システム全体としてはサービスを継続できる。つまり、可用性が向上する。

GitHubはこのクォーラムの考え方をさらに進化させ、「参照ごと」に適用することにした。Gitリポジトリにおける参照とは、ブランチ名（例: main）やタグ名（例: v1.0.0）のことだ。これらの参照は、どのコミットを指すかを記録しており、開発者にとっては非常に重要な情報だ。

従来のGitリポジトリは、一つのファイルシステム上に存在し、そのコピーを維持するのに苦労することがあった。新しいアーキテクチャでは、ブランチやタグといった各参照の更新について、複数のストレージノード間で合意形成を行う。例えば、「mainブランチをこの新しいコミットに更新する」という操作があった場合、複数のレプリカ（複製）を持つストレージシステムのうち、一定数以上のレプリカがその更新を受け入れた時点で、更新が成功と見なされる。もし一部のレプリカが利用できない状態でも、他の利用可能なレプリカでクォーラムが達成されれば、参照の更新は可能となる。

この「per-reference quorums」の導入により、GitHubはGitリポジトリの整合性を保ちつつ、書き込み操作の可用性を高めることができる。システム全体が完全に動作している必要はなく、特定の参照を更新するために必要な最小限のノードが利用可能であれば、開発者は引き続き作業を進められるようになる。これは、特に大規模な分散システムにおいて、一部分の障害が全体に波及するのを防ぎ、システム全体のレジリエンス（回復力）を高める上で非常に効果的だ。

今回のGitHubの取り組みは、Git LFSオブジェクトを高いスケーラビリティを持つオブジェクトストレージに移行することで読み込み性能を向上させ、さらに、Gitリポジトリの核となる参照情報についても、per-reference quorumsという高度な分散システム技術を導入して、書き込みの可用性と一貫性を両立させたものだ。これらの変更により、GitHubはエージェントからの大量アクセスにも耐えうる、より高速で信頼性の高いインフラストラクチャを構築し、将来的なさらなる大規模化にも対応できる基盤を確立したと言える。システムエンジニアを目指す者にとって、このような大規模システムの課題と、それを解決する技術的なアプローチは、非常に学びの多い事例となるだろう。