【ITニュース解説】Almost every crawl error on our domain came from a site that didn't exist yet

あるウェブサイトがGoogleの検索結果に適切に表示されないという問題は、多くのウェブサイト運営者が直面する課題である。今回はWatchNextというテレビ番組トラッカーサイトが、Googleの検索エンジンに全くインデックスされないという状況から始まった話を紹介する。サイト運営者は、Googleがウェブサイトをどのように認識し、どんな問題があると見ているかを確認するために、Google Search Console（GSC）という無料ツールを利用した。GSCは、検索エンジン最適化（SEO）を行う上で欠かせないツールであり、サイトの健康状態をGoogleの視点から教えてくれる。

WatchNextのチームがGSCのレポートを確認すると、いくつかの興味深いデータが見つかった。まず「カバレッジレポート」では、Googleが11ページをクロール（ウェブサイトの内容を読み取ること）したが、それらを検索結果にインデックス（登録）していないと示されていた。さらに200ページは「発見されたが、まだクロールされていない」状態だという。これはGoogleがページの存在は認識しているものの、まだ内容を読み取っていないことを意味する。次に「クロール統計レポート」を見ると、過去1ヶ月間にGoogleが行った453回のクロールリクエストのうち、17%が「DNSエラー」で失敗していたことが判明した。DNSエラーとは、ウェブサイトのドメイン名（例: example.com）をIPアドレス（インターネット上の住所のようなもの）に変換するシステム（DNS）が、その情報を見つけられなかった場合に発生するエラーである。サイトが正しく解決できないのであれば、Googleがインデックスしないのも当然だと、チームは当初考えた。

しかし、このDNSエラーがWatchNext自身の問題ではないことが後に判明する。その原因は、GSCの初期設定にあった。チームはWatchNextサイトが稼働するwatchnext.leyu.studioというサブドメインではなく、その親ドメインであるleyu.studio全体を対象とする「ドメインプロパティ」としてGSCを設定していた。ドメインプロパティは、サブドメインを含む全てのサイトを一括で管理できる便利な機能だが、そのレポートに出てくる数値は、ドメイン下の全てのサブドメインの合計値になってしまうという落とし穴があった。つまり、この17%のDNSエラーは、WatchNextだけでなく、leyu.studioドメイン全体で発生した問題の合計だったのだ。

レポートをさらに詳しく見ていくと、この問題を明確にする「ホスト」テーブルという項目があった。そこには、shop.leyu.studio、watchnext.leyu.studio、leyu.studio、checkout.leyu.studioという四つの異なるホスト（サイト）へのクロールリクエスト数がそれぞれ表示されていた。この中で、特に注目すべきはleyu.studioというルートドメイン（サブドメインではない、一番基本となるドメイン）だった。このleyu.studio自体には、当時何のウェブサイトも存在せず、サーバーも設置されておらず、最も重要な「DNSアドレスレコード」（ドメイン名とIPアドレスを結びつける設定）が設定されていなかった。つまり、leyu.studioはどこにも紐付いていなかったのだ。

驚くべきことに、Googleはこの存在しないleyu.studioに対して、月に77回ものクロールリクエストを送っていた。そして、クロール統計レポートに表示されていたDNSエラーの回数、つまり全リクエスト453回の17%にあたる回数も、ちょうど77回だった。これは偶然ではなく、必然的な一致であった。なぜなら、DNSアドレスレコードが存在しないホスト名へのリクエストは、ウェブサイトに到達する前に必ずDNS解決の段階で失敗するからだ。この77回の失敗は、レポートに記録された全81回の失敗リクエスト（残りの4回は一般的な404エラー）のほぼ全てを占めていた。このように、GoogleがWatchNextをインデックスしない主たる原因は、実はWatchNext自身ではなく、存在しないルートドメインへの大量のクロール失敗によって、レポート全体の信頼性が損なわれていたことにあった。

ここで、もう一つ「一致」に見える現象があった。クロールレポートでは、全リクエストのうちHTMLファイルが占める割合が8.17%だと示されていた。WatchNextへのリクエスト数は134回だったので、この8.17%を掛けると約11という数字になる。GSCのカバレッジレポートでは、まさに11ページがクロールされたがインデックスされなかったと報告されていたため、一見するとWatchNextの状況を完全に説明する「美しい結果」に見えた。しかし、これは単なる偶然の一致であり、実際には全く意味のない数字だった。なぜなら、8.17%というHTMLの割合は、WatchNextだけでなく、オンラインショップや決済ページなど、性質の異なる全てのサブドメインを合わせた全体の平均値だったからである。WatchNext単独のHTML割合とは異なるため、この計算をWatchNextだけに適用しても、正確な結果は得られない。この事例は、数字が一致したからといって、それが常に正しい洞察につながるとは限らないという重要な教訓を示している。

存在しないサイトへのDNSエラーという「ノイズ」を除外してWatchNext自体の状況を分析すると、レポートはより穏やかで有用なものになった。WatchNextへのクロールリクエストの99.56%は、Googleがすでに知っているURLの再クロールであり、新しいURLの発見はわずか0.44%に過ぎなかった。つまり、GoogleはWatchNextで新しいコンテンツをほとんど探していなかったのだ。個別の投稿を詳しく調べると、Googleは別のサイトからのリンクを通じてページを発見し、サーバーサイドレンダリングが修正された後（8月20日）に成功裏にクロールし、正規URLも正しく認識していたことが分かった。それでもインデックスされなかったという事実は、技術的な欠陥が原因ではないことを示唆している。むしろ、WatchNextがまだ立ち上がって間もないドメインであり、Googleがまだ十分な信頼を置いていないためだと考えられた。これはDNSレコードを修正したところで変わる問題ではない。

この問題に対処するため、WatchNextのチームは二つの具体的な対策を講じた。一つは、これまで何もなかったleyu.studio（ルートドメイン）に、実際に解決されるウェブページを設置したことである。また、www.leyu.studioもこのルートドメインにリダイレクトするように設定した。これにより、Googleが存在しないサイトにアクセスしようとするDNSエラーは解消されるはずだ。もう一つは、Google Search Consoleに、watchnext.leyu.studioのように各サブドメインごとに「URLプレフィックスプロパティ」を別途追加したことである。これにより、WatchNextに関するレポートはWatchNext自身のデータのみを表示するようになり、他のサブドメインからのノイズが混じることはなくなった。

これらの対策は、GSCレポートのノイズを取り除き、問題の真の原因を明確にするためのものであった。レポート上に表示されるサイト全体の失敗率は改善されるだろうが、それ自体がWatchNextのページをインデックスさせるものではない。これらはもともと別の問題であり、たまたま同じ数値として合算されていただけだったのだ。

今回の経験から得られる一般的な教訓は、二つの異なる場所から得られた数字が完全に一致したときに、それが本当に意味を持つのか、常に慎重に検討する必要があるということだ。意味のある一致とそうでない一致を区別するには、次の二つの問いが重要となる。一つは「その一致を強制する何らかのメカニズムが存在するか？」である。例えば、DNSアドレスレコードがないホストへのリクエスト数は、必ずDNSエラー数と一致する。これはメカニズムによって強制される。もう一つは「その割合や数値が、適用しようとしている対象を正確に記述しているか？」である。全体の平均割合を、構成が異なる特定の一部に適用した場合、正確に見える数字が得られても、それは誤った結論を導く可能性がある。このような検証を通じて、データから真の洞察を得ることが、システムエンジニアとしての問題解決において極めて重要となる。

サイトの変更がGSCレポートに反映されるまでには数週間かかるため、対策後の数値がどうなるかはまだ不明だ。しかし、今回の分析が示すように、安易な推測はせず、データが示す真実を待つことが重要である。

1998文字