【ITニュース解説】Why 27,854 route pages need a different sitemap strategy

大規模なWebサイトを運営する際、検索エンジンにWebサイトの情報を適切に伝えることは極めて重要である。特にページ数が数万に及ぶ規模になると、ただサイトマップを準備するだけでは不十分で、戦略的な運用が求められる。例えば、My Fast Moversという引っ越し費用計算サイトは、27,854もの異なる引っ越しルートのページを持っており、このような大規模なサイトでは、検索エンジンのクローラー（Webサイトを巡回して情報を収集するプログラム）が全てのページを均等に評価するわけではないという現実がある。そのため、どのページが特に重要なのか、新しく追加されたページはどれか、あるいはしばらくの間クロールの優先度を下げても問題ないページはどれなのかを、クローラーに明確に伝えるための工夫が必要になる。

このサイトが最初に直面した課題は、全てのページを一つの巨大なサイトマップファイルにまとめることだった。技術的には有効なファイルだったものの、実用面では多くの問題があった。何万ものルートページの中に、本当に重要なページが埋もれてしまい、クローラーがそれらを見つけ出すのが困難になったのだ。さらに、たった一つのページの価格情報が変更されただけでも、この巨大なサイトマップ全体を再生成しなければならず、運用上の大きな負担となっていた。この問題を解決するため、サイトマップをルートの種類別や地域別に細かく分割した。例えば、「都市Aから都市Bへのルート」と「都市Cから都市Dへのルート」といったようにグループ分けし、それぞれのグループごとに小さなサイトマップファイルを作成した。そして、それらの小さなサイトマップファイルの場所をまとめて記述する「サイトマップインデックス」という仕組みを導入した。これにより、特定のグループのページに変更があった場合でも、そのグループに対応するサイトマップファイルだけを更新すればよくなり、クローラーもサイトマップインデックスを見ることで、特定の情報のサイトマップがどこにあるかを正確に把握できるようになった。

次に直面した課題は、全てのルートページを同じように扱ってしまったことである。例えば、需要が高い大都市間の引っ越しルートのページと、需要が低い小さな町同士の引っ越しルートのページでは、ユーザーが検索する頻度が圧倒的に異なる。しかし、サイトマップ上でこれらを全て平等に並べてしまうと、検索エンジンのクローラーは重要度の低いページにも同じだけ「クロール予算」（検索エンジンがWebサイトの情報を収集するために使える限られたリソース）を費やしてしまう。これは効率が悪く、本当に重要なページが頻繁にクロールされなくなる可能性があった。この問題に対処するため、サイトマップの記述順序を工夫した。具体的には、ユーザーからの検索需要が最も高いルートのページをサイトマップの先頭に配置し、これらのページがより頻繁に更新されるように設定した。需要の低いルートのページも引き続きサイトマップに記載するが、その優先度は下げることで、限られたクロール予算を効率的に配分し、重要な情報がより早く検索エンジンに反映されるようにした。これは、特定のページを検索結果から隠すのではなく、クローラーの「注目度」を戦略的に優先順位付けする考え方である。

三つ目の重要な教訓は、「鮮度情報」を正直に伝えることだった。サイトマップには、各ページが最後に更新された日時を示す「lastmod」という項目がある。もしWebサイトのページが全く更新されていないにもかかわらず、サイトマップの全てのページのlastmodを毎日「昨日更新されました」と偽って報告し続けた場合、クローラーはそのサイトマップの情報を信用しなくなり、次第に無視するようになる。クローラーは賢く、本当に更新されたかどうかを判断する。そこで、このサイトでは、実際にページのコンテンツ（料金データ、記事内容、ページ構造など）に変更があった場合のみlastmodを更新するように徹底した。定期的にシステム的にlastmodを再生成するような慣習は中止した。正直な鮮度情報はクローラーに尊重され、正確な情報として扱われるが、ノイズの多い、つまり信頼性の低い鮮度情報は無視されてしまうということを学んだ。

四つ目の教訓は、サイトマップだけで全てが解決するわけではなく、「内部リンク」が非常に重要であるということだった。サイトマップは検索エンジンにWebサイトの存在と構造を伝えるための「地図」のようなものだが、実際にクローラーがWebサイト内を効率的に巡回し、ページの重要性を理解するには、Webサイト内のページ同士を結びつける内部リンクが不可欠である。特に、既に多くのユーザーにアクセスされ、クローラーからも高く評価されている「人気のあるページ」からリンクされているページは、クローラーによってより頻繁に、そして深くクロールされる傾向がある。このサイトでは、個々のルートページに関連する別のルートへのリンクを多数設置した。例えば、「東京から大阪へのルート」のページを見たユーザーやクローラーが、「大阪から福岡へのルート」や「東京から名古屋へのルート」といった関連性の高いページへ自然に移動できるようにしたのだ。これにより、クローラーは人気のルートページから出発し、内部リンクをたどることで、隣接する他のルートページへ効率的にアクセスできるようになった。サイトマップはWebサイトの入口を示すが、内部リンクはクローラーをサイト内深くへと案内する「道」の役割を果たすのである。

これらの戦略的な取り組みの結果は、劇的な変化というよりも、着実な成果として現れた。具体的には、Webサイトにとって重要な意味を持つページが以前よりも速くクロールされるようになり、新しく追加されたルートのページもより早く検索エンジンに見つけられるようになった。また、検索頻度は低いものの、特定のニーズを持つユーザーにとっては重要な「ロングテール」と呼ばれる需要のページも、引き続き検索結果に表示され続けている。My Fast Moversの27,854という膨大な数のルートページは、大規模なWebサイトを運用する上で、情報を効率的に整理し、クローラーに適切に伝えるための「組織化」が、単なる形式的な事務作業ではなく、Webサイトの機能そのものとしていかに重要であるかを教えてくれる好例と言える。