【ITニュース解説】Hugginface 上移动 Datasets 的 git lfs 文件

Hugging Faceは、人工知能や機械学習のモデル、データセット、デモンストレーションなどを共有し、利用するためのプラットフォームである。ここには世界中の開発者や研究者が作成した膨大なリソースが集まっており、その中には数百ギガバイトにも及ぶ非常に大きなデータセットも珍しくない。システムエンジニアを目指す上で、このような大容量データをいかに効率的に扱うかは重要な知識となる。

通常、システム開発においては、Gitというバージョン管理システムがファイルの変更履歴を管理するために広く用いられる。Gitはもともと、主にソースコードのようなテキストファイルや比較的サイズの小さいバイナリファイルの管理に非常に適している。ファイルの変更を細かく記録し、過去の任意の時点に戻したり、複数人での共同作業を円滑に進めたりするのに役立つ仕組みである。しかし、数ギガバイト、ましてや数百ギガバイトといった極めて大きなファイルをGitで直接管理しようとすると、リポジトリのサイズが肥大化し、クローン（リポジトリを自分のパソコンにコピーする作業）に膨大な時間がかかったり、ディスク容量を圧迫したりといった問題が生じる。

このような大容量ファイルの課題を解決するために、「Git Large File Storage」（通称Git LFS）というGitの拡張機能が開発された。Git LFSは、実際の大きなファイルデータそのものはGitリポジトリ内には保存せず、別の専用ストレージに保存する仕組みである。Gitリポジトリには、その大きなファイルの「ポインタ」と呼ばれる、ファイルがどこにあるかを示す小さな情報だけを記録する。これにより、Gitリポジトリ自体は軽量に保たれ、クローンや操作が高速になる。必要な時にのみ、ポインタを通じて実際のファイルデータをダウンロードする形になるのだ。

Hugging Faceでは、CLI（Command Line Interface）ツールが提供されており、特にupload-large-folderのようなツールを使って、大規模なデータセットを効率的にアップロードすることが推奨されている。このツールは、ネットワークが不安定な場合でもアップロードを再開できるなど、現代的なファイル転送に必要な多くの機能を備えているため、数百ギガバイトといった非常に大きなファイルを安定してサーバーに送ることができる。一方で、Git LFSを利用している場合であっても、通常のgit pushコマンドを使ってLFS管理下の大きなファイルをアップロードすることは、上記のような便利な機能が不足しているため、途中で中断しやすいなど、あまり推奨されない方法となる。

ここで一つの課題が生まれる。もしHugging FaceのCLIツールを使ってデータセットをアップロードした場合、後になって遠隔リポジトリ（Hugging Faceのサーバー上にあるリポジトリ）でそのデータセットのファイル構成を整理したい、例えばフォルダの位置を変えたり、ファイル名を変更したりしたい、という状況になったとする。しかし、そのデータセットが数百ギガバイトもある場合、一度自分のパソコンにその全データをダウンロードし直して変更を加え、再度アップロードし直すというのは、現実的な選択肢ではない。時間もディスク容量も、そしてネットワーク帯域も非常に無駄になるからだ。

この課題を解決するために、Gitが持つ優れた特性とGit LFSの仕組みを組み合わせた方法がある。それは、Git LFSによって管理されている実際のファイルデータそのものをダウンロードせずに、そのファイルの「メタデータ」、つまりファイル名やディレクトリ構造といった情報だけを操作する方法である。これは、Git LFSがファイルの実データとメタデータを分けて管理しているからこそ可能になる技術だ。

具体的な手順は以下のようになる。まず、Git LFSの実データをダウンロードせずにリポジトリをクローンするために、特別な環境変数を設定してgit cloneコマンドを実行する。

GIT_LFS_SKIP_SMUDGE=1 git clone git@hf.co:datasets/username/reponame

このコマンドにおけるGIT_LFS_SKIP_SMUDGE=1という部分は非常に重要である。Git LFSは通常、リポジトリをクローンする際に、ポインタ情報に基づいて対応する大きなファイルの実データを自動的にダウンロードする「スメッジ」という処理を行う。この環境変数を1に設定することで、そのスメッジ処理をスキップさせることができる。これにより、ユーザーはファイルの実データではなく、Gitが管理しているファイル名やディレクトリ構造などのメタデータのみを持つリポジトリの「骨組み」を自分のパソコンにダウンロードすることになる。

リポジトリのクローンが完了したら、そのディレクトリに移動する。

cd reponame

次に、目的のファイル整理を行う。例えば、新しいフォルダを作成し、既存のフォルダをその中に移動させるといった操作だ。

mkdir target-folder git mv folder1 target-folder/folder

git mvコマンドは、ファイルを移動したり名前を変更したりする際に使用するGitのコマンドである。この操作は、実際の数百ギガバイトのファイルデータを動かすわけではなく、あくまでGitが管理しているファイル名やパスといったメタデータを変更するだけである。

これらの変更が完了したら、通常通りGitに変更をコミットする。

git commit -m "move things around"

そして、変更をHugging Faceの遠隔リポジトリにプッシュする。

git push

この一連の操作により、ユーザーは自分のパソコンに数百ギガバイトもの大容量ファイルをダウンロードすることなく、遠隔リポジトリ上のファイル構成を変更し、整理することが可能になる。Git LFSが持つ実データとメタデータの分離という特性を最大限に活用し、さらにGitの基本的なバージョン管理機能を組み合わせることで、非効率なデータ転送を回避し、効率的な作業フローを実現できるのである。これは、大容量データを扱うAI開発や、それを支えるシステム基盤を構築するシステムエンジニアにとって、非常に強力な手法となるだろう。