【ITニュース解説】Monitor websites changes with Firecrawl Observer and Docker

この解説は、Firecrawl ObserverとDockerを利用してウェブサイトの変更を監視するシステムを構築する手順について、システムエンジニアを目指す初心者にも理解できるように説明する。ここでは、指定された手順に従ってシステムをセットアップし、安定して運用するための技術的な背景やそれぞれの設定が持つ意味を解説する。

まず、このシステムは特定のウェブサイトを定期的に監視し、その内容に変更があった場合に通知を行うことを目的としている。これには主にFirecrawl Observerというアプリケーション本体、そのデータを保存するConvexというWebデータベースサービス、そしてアプリケーションの実行環境を標準化・隔離するDocker、複数のDockerコンテナを連携させるDocker Compose、外部からのアクセスを制御しセキュリティやパフォーマンスを向上させるNginxといった技術要素が使われる。

システム構築を始めるにあたり、いくつかの前提条件がある。Linux/Unix系のOSが動作するマシン、そしてDockerとDocker Composeのインストールが必要となる。さらに、ConvexというクラウドベースのWebデータベースサービスのアカウントも準備しておく必要がある。Convexはリアルタイムなデータ同期機能を持ち、このシステムで監視対象のサイト情報や変更履歴などを保存するために利用される。

最初のステップは、Firecrawl ObserverのソースコードをGitHubからクローンし、必要な依存関係をインストールする。その後、npm installコマンドでプロジェクトのライブラリをダウンロードし、npx convex devコマンドでConvexの開発環境を初期化する。次に、本番環境でConvexを利用するための認証設定を行い、データの暗号化に使うキーを設定する。これはセキュリティ上非常に重要で、データが安全に保存されることを保証する。これらの設定が完了したら、npx convex deploy --prodコマンドでConvexの関数（アプリケーションが利用するバックエンドのロジックやデータベーススキーマ）をConvexクラウドの本番環境にデプロイする。これにより、アプリケーションはクラウド上のConvexサービスと連携できるようになる。

次に、アプリケーションがConvexサービスと正しく通信できるように、環境設定ファイル（.envファイル）を更新する。Convexから提供される公開URLをこのファイルに設定することで、アプリケーションはどのConvexインスタンスに接続すればよいかを認識できる。

続いて、Dockerイメージを作成するためのDockerfileを更新する。Dockerfileは、アプリケーションを実行するための環境を構築する「設計図」のようなものだ。この記事では、builderとrunnerという二段階のビルドプロセス（マルチステージビルド）を採用している。builderステージでは、Node.jsの軽量なイメージを基盤に、アプリケーションのビルドに必要なツールや依存関係をインストールし、アプリケーションをコンパイルする。ビルドが完了すると、runnerステージでは、さらに軽量なNode.jsイメージを使い、builderステージで作成されたビルド済みのアプリケーションファイルのみをコピーする。これにより、最終的なDockerイメージのサイズを大幅に削減し、セキュリティを高めることができる。Dockerfile内では、curlのインストール（後述するヘルスチェックのため）、非rootユーザーの作成（セキュリティ強化のため）、コンテナがリッスンするポート（3000番）、そして定期的にコンテナが正常に動作しているかを確認するヘルスチェックの設定などが含まれる。

次に、docker-compose.ymlファイルを更新する。このファイルは、複数のDockerコンテナ（ここではアプリケーション本体のappとウェブサーバーのnginx）を連携させて一つのサービスとして管理するための設定ファイルだ。appサービスは、先ほど更新したDockerfileを使ってビルドされ、環境変数や自動再起動の設定、ネットワーク設定が定義される。さらに、コンテナが利用できるCPUやメモリのリソース制限もここで設定され、安定した運用に寄与する。nginxサービスは、Nginxの公式イメージを使い、外部からのアクセスを待ち受ける役割を果たす。このnginxは、ホストマシン（サーバー）の5001番ポートを、コンテナ内部の80番ポートにマッピングする。また、Nginxの設定ファイルやBasic認証のためのパスワードファイルをボリュームとしてマウントし、コンテナ起動時に設定が適用されるようにする。nginxサービスはappサービスが健全な状態になってから起動するようにdepends_onで設定される。

Nginxの設定ファイル（nginx/nginx.conf）も最適化する。Nginxはリバースプロキシとして機能し、ユーザーからのリクエストを直接受け取って内部のappサービスに転送する。この設定ファイルでは、セキュリティヘッダの追加（ウェブサイトの脆弱性対策）、Gzip圧縮の有効化（ウェブページの読み込み速度向上）、Basic認証（パスワードによるアクセス制限）、そしてヘルスチェック用のエンドポイントへの認証バイパスが設定される。さらに、静的ファイル（JavaScript、CSS、画像など）のキャッシュ設定をすることで、ウェブサイトの表示速度をさらに向上させる。

アプリケーション本体にヘルスチェックエンドポイントを追加する。これは、/api/healthというURLにアクセスすると、アプリケーションが正常に動作しているかを示すステータスを返すシンプルなAPIである。DockerやNginxはこのエンドポイントを定期的にチェックし、アプリケーションの健全性を判断するために利用する。これにより、万が一アプリケーションに問題が発生した場合でも、自動的に再起動するなどの対応が可能になる。

これらの設定が完了したら、ゼロダウンタイムデプロイメントの戦略を用いてシステムをデプロイする。これは、既存のサービスを一時的に停止させることなく、新しいバージョンのアプリケーションに安全に切り替える方法である。具体的には、docker-compose downで既存のコンテナを停止し、docker-compose up --build -dで新しいイメージをビルドしてコンテナをバックグラウンドで起動する。デプロイ後には、docker-compose psやdocker-compose logs --tail=50 appなどのコマンドを使って、サービスが正常に起動しているか、エラーが発生していないかを監視する。

デプロイが完了したら、システムの検証と監視を行う。curlコマンドを使って/api/healthエンドポイントやアプリケーション本体にアクセスし、期待通りに動作しているかを確認する。また、docker-compose logs -fでリアルタイムにログを監視したり、docker stats --no-streamでCPUやメモリの使用状況を確認したりすることも重要だ。さらに、日常の運用や将来のアップデートを効率化するために、監視スクリプト（monitor.sh）と自動デプロイスクリプト（deploy.sh）を作成しておく。監視スクリプトは、コンテナの状態、ヘルスチェックの結果、リソース使用量、最新のログを一度に表示できるため、システムの状態を素早く把握するのに役立つ。デプロイスクリプトは、Convex関数のデプロイからDockerコンテナのビルド・起動、そしてヘルスチェックによる健全性確認までを自動化し、安全で一貫性のある更新を可能にする。

最後に、システムのセキュリティとトラブルシューティングについて確認する。このシステムでは、非rootユーザーでコンテナを実行すること、NginxによるBasic認証、XSSやCSRF対策といったセキュリティヘッダの追加、メモリやCPUのリソース制限、そして自動ヘルスチェックなど、多くのセキュリティ対策が講じられている。しかし、本番環境ではHTTPS（SSL/TLS暗号化）の導入や、ファイアウォールによる不必要なポートの閉鎖なども考慮すべき重要な点である。もし問題が発生した場合は、./monitor.shで全体の状態を確認したり、docker-compose logsで詳細なログを確認したり、docker-compose restart appで特定のサービスを再起動したりすることが診断の第一歩となる。特にConvexの環境変数、.envファイルの設定、ポートの公開状況、Nginxの設定ファイルなどを確認することで、多くの問題は解決できる。

このように、Firecrawl Observerを使ったウェブサイト変更監視システムは、DockerやNginx、Convexといった様々な技術を組み合わせることで、効率的かつ安定的に運用できる。これらの技術がそれぞれどのような役割を担い、どのように連携しているかを理解することが、システムエンジニアとしての成長に繋がるだろう。