Webエンジニア向けプログラミング解説動画をYouTubeで配信中!
▶ チャンネル登録はこちら

【ITニュース解説】Backing Up 39 Products And Their CSVs On A 2 GB Single-Core Server

2026年10月21日に「Dev.to」が公開したITニュース「Backing Up 39 Products And Their CSVs On A 2 GB Single-Core Server」について初心者にもわかりやすく解説しています。

作成日: 更新日:

ITニュース概要

ホストのバックアップ不足を経験し、2GBサーバーで効率的なバックアップ戦略を解説。製品データを重要度別に3段階に分け、特に重要なメタデータCSVは毎日確実に保存する。限られたメモリとCPUを考慮し、メモリ解放や復元検証を工夫。確実なデータ保護を実現する実用的な手法を紹介する。

ITニュース解説

システムエンジニアを目指す皆さんは、システムを開発するだけでなく、その運用において「バックアップ」が非常に重要な役割を果たすことを知っておく必要がある。ある開発者は、ホストが提供するバックアップに頼りきっていたために、過去の重要なデータを失いかけた経験から、バックアップを単なる「ついで」ではなく、開発パイプラインに最初から組み込むべき必須要素として位置づけるようになった。この経験は、特に小規模なシステムや限られたリソースで運用している場合に、どのように効果的なバックアップ戦略を立てるべきかという貴重な教訓を与えている。

この開発者の場合、2GBのメモリと1つの仮想CPU(vCPU)という制約の多いサーバーで、39の製品とその関連データを管理していた。彼は、ホストのバックアップが7日間しか保持されないことに気づかず、11日前の特定のCSVファイルが必要になった際、大きな困難に直面した。幸いにも、整理されていないシステムフォルダに残っていたファイルのおかげでデータを復旧できたが、この出来事がバックアップに対する考え方を根本的に変えるきっかけとなった。

まず、バックアップを始めるにあたり、何をバックアップすべきかを正確に理解することが重要だ。彼のカタログは、最終的な製品のZIPファイルが856MBに及ぶが、その背後には約19,000行のパイプラインコードや300ページ以上の研究ノートといった、さらに広範な「原材料」が存在する。もし製品のZIPファイルだけをバックアップすれば、万一の際に製品を再生成したり、再パッケージ化したりする能力を失ってしまう。そこで彼は、バックアップ対象をデータの重要性と再生にかかるコストに基づいて三つの階層に分割する戦略を立てた。

第一の階層は「代替不可能で、かつデータ量が小さい」もの。これには、製品のメタデータを含むCSVファイル、アップロードの履歴を記録するトラッカー台帳、タイトルやキーワードのJSONファイル、そして研究ノートなどが含まれる。これらはわずか数キロバイトのデータ量でありながら、一度失うと再作成が極めて困難で、その価値は非常に高い。これらのデータは、毎日バージョン管理システムにコミットし、リモートの場所へ同期することで、最も強力に保護される。

第二の階層は「再生可能だが、再生成にはコストがかかる」もの。これは、856MBに及ぶ製品のZIPファイル、カバー画像、サムネイルなどが該当する。これらのデータは、元の素材とスクリプトがあれば再生成は可能だが、時間とコンピューティングリソースが必要となる。そのため、週に一度、サーバーとは別の場所に同期することでバックアップを行う。

第三の階層は「生アセット」と呼ばれるもので、最もデータ量が大きいフォルダだ。これは元の素材ファイル群であり、これを完全に複製するよりも、必要に応じて再生成する方が現実的な場合が多い。以前の彼は、これら全てのデータを同じように扱い、結果としてどれも適切にバックアップできていなかった。この階層化の考え方は、限られたリソースを効率的に使うための賢いアプローチである。

特に、製品の「メタデータCSVファイル」は「真の宝」と位置づけられる。多くの人は、画像や動画といったアート作品のファイルをバックアップすることに意識が向かいがちだが、メタデータは「どのタイトルを使い、どのキーワードをつけ、どのような順序で配置するか」といった重要な決定事項を符号化したものだ。もしCSVが失われ、元のファイル名も変更されてしまった場合、スクリプトを再実行するだけでなく、手作業で編集作業をやり直す必要が生じる。また、AdobeやVecteezyといった各プラットフォームは、CSVのヘッダー形式に厳格な要件を設けており、一つでも間違っていると即座にアップロードを拒否する。そのため、正確なCSVは製品の流通において不可欠な存在なのだ。

同様に、「upload_tracker.py」のようなアップロード履歴を記録する台帳ファイルも極めて重要である。この台帳は、どの製品が既に提出済みかを記憶することで、誤って同じバッチを二重に投稿してしまうリスクを防ぐ。二重投稿は、ストックアカウントを停止される原因ともなり得るため、この小さなファイルは各バッチ実行後に必ずバージョン管理システムにコミットするべきである。

2GBのシングルコアサーバーのような限られた環境でのバックアップには、特別なルールが必要となる。1つのvCPUは一度に1つのプロセスしか実行できないため、データのアーカイブ処理中に別の重い処理(例えば製品のレンダリング)を同時に実行しようとすると、メモリ不足(Out Of Memory; OOM kill)が発生し、アーカイブが破損する可能性がある。このような状況を避けるために、いくつかの習慣が身につけられた。

まず、どんな処理をスケジュールする前にも、その処理が最大でどれくらいのメモリを使用するか(ピークRSS)を計測する。これにより、システムのリソース限界を超えないことを確認してから、自動実行のためのスケジュールを設定する。次に、多数の小さなファイルを扱うような長いバックアップループでは、各アイテムの処理後に不要なメモリを解放する(ガベージコレクションを実行する)。これを怠ると、徐々にメモリが漏出し、最終的にシステムが不安定になることがある。

さらに、特にメモリを多く消費するステップについては、一度にまとめて処理するのではなく、サブプロセスごとに1つのファイルを処理するように工夫する。これにより、各処理が終了するたびにメモリがオペレーティングシステムに返還され、全体のメモリ使用量を抑えることができる。製品のプレビュー確認といった検証作業も、アーカイブ全体の整合性確認と同様に、必要最低限の解像度(例えば300dpiではなく60dpi)で行うことで、メモリ予算を超過しないように注意が払われる。

そして何よりも重要なのは、「バックアップ」が正しく行われたかを検証するのではなく、「リストア(復元)」が正しく行えるかを検証することだ。月に一度、実際に製品のZIPファイルとCSVファイルをテスト用のフォルダに復元し、正常に開けるかを確認する。テストされていないバックアップは、単なる「希望的観測」であって、信頼できるバックアップではないからだ。

バックアップ計画を立てる上で、フォルダのレイアウトも重要な役割を果たす。例えば、project/assets/ には生のアセット、output/ には提出準備済みのファイルとメタデータCSV、packs/ には完成した製品のZIPファイルとカバー、research/ には研究ノートやソース、scripts/ にはツールが格納される。このように階層的にフォルダを分けることで、各フォルダのデータ重要度に応じた独自のバックアップスケジュールと保持期間を設定することが可能になる。特に、研究ノートを保存するresearch/フォルダは最も強力に保護すべき対象だ。過去にディスク容量を節約するために研究ノートを削除し、将来の製品の原材料を失った経験から、これは厳守されるべきルールとなっている。全体の研究フォルダは、一つの製品ZIPファイルよりも小さいことがほとんどであり、これを削除してディスクスペースを節約するのは、誤った経済観念に基づいていると言える。

実際の運用では、三つの主要なバックアップジョブが実行される。一つは、トラッカー、CSV、および研究ノートの日次コミット。二つ目は、packs/とoutput/フォルダの週次同期。そして三つ目は、月に一度の検証済みリストアである。サーバー自体のディスク容量が限られているため、サーバー上のデータの保持期間は短く設定されているが、本当のバックアップはサーバー外に保管されたコピーである。サーバー上のコピーは、リストアを迅速に行うための目的で存在している。

このシステムには、サーバーが完全にダウンした場合に、パイプライン全体を即座に稼働できるような災害復旧(DR)サイトは用意されていない。サーバーが機能停止した場合でも、全ての製品とCSVを復元して販売を続けることはできるが、1vCPUの実行環境を完全に再構築するには、半日ほどのセットアップ作業が必要となる。しかし、39製品を一人で運用している現状においては、この程度の妥協は現実的であり、許容できる範囲と判断されている。まだ必要のないインフラにコストをかけるのは賢明ではない、という現実的な判断がここにはある。

これらの知見は、理論だけではなく、実際に1vCPU、2GB RAM、GPUなしのハードウェアで39製品全てをパッケージ化し、運用してきた経験から生まれたものだ。開発された「make_metadata.py」「upload_tracker.py」「md2pdf.py」「pack_product.py」といったスクリプト群は、300ページ以上の研究を通じて得られた各プラットフォームの厳格な要件を反映している。そして、この記事で述べられたバックアップの習慣は、それらのスクリプトを安全かつ確実に運用するための「運用層」であり、過去の苦い経験から得られた教訓がここに集約されている。これは、同様のデジタル製品パイプラインを構築しようとする人々にとって、非常に実践的で価値のある情報と言えるだろう。

関連コンテンツ

関連IT用語