【ITニュース解説】Astro 7 rewrote all 273 pages, so IndexNow now hashes what a crawler reads

現代のウェブサイトは、ユーザーが常に最新の情報にアクセスできるよう、そして検索エンジンがその情報を適切に評価できるよう、日々改良や更新が行われている。システムエンジニアを目指す皆さんにとって、ウェブサイトの内部でどのような変更が行われ、それがどのような課題を生み、どのように解決されるのかを理解することは非常に重要だ。

今回、あるウェブサイトがAstroというウェブサイト構築ツールをバージョン7にアップグレードした際、予期せぬ問題に直面し、それを解決した事例が報告された。Astro 7へのアップグレードは、サイトの見た目やユーザーが読むコンテンツには一切変更を加えないまま、サイト内の273ページすべてについて、その内部的なコードを書き換えるものだった。具体的には、ウェブページを構成するHTMLコードの中に、新しいスタイルの識別子（スコープ付きスタイルID）が導入されたり、JavaScriptなどのスクリプトファイルが再圧縮されたり、古いコードでは「&」と表示されていた部分が、コンピューターが正しく理解するためのエンティティ「&」のような記号に変わったりした。さらに、サイト全体で共有されるCSSファイルのファイル名も変更された。これらはすべて、ウェブサイトの性能や保守性を高めるための内部的な改善だ。

ウェブサイトが更新された際に、その変更をGoogleなどの検索エンジンに効率的に知らせるために、「IndexNow」という仕組みを利用することがある。これは、ウェブサイトの運営者が「このページが更新された」と検索エンジンに直接通知することで、検索エンジンがより早く新しい情報をインデックス（登録）し、検索結果に反映させる手助けをするものだ。この通知の際、ウェブページの「変更」を検知する方法として、ファイルの「ハッシュ値」が使われる。ハッシュ値とは、ファイルの中身（バイト列と呼ばれるデータそのもの）を元に、そのデータが持つ特徴的な短い文字列を作り出す技術だ。たとえファイルの一部でも変更があれば、このハッシュ値はまったく異なるものになるため、ファイルが変更されたかどうかを効率的に判断できるという仕組みだ。

しかし、Astro 7へのアップグレードでは、サイトの見た目やユーザーが読むコンテンツには何も変更がなかったにもかかわらず、前述のような内部的なコードの変更によって、全273ページのファイルのバイト列が物理的に変わってしまった。その結果、IndexNowスクリプトは、すべてのページのハッシュ値が変更されたと判断し、「全ページが更新された」と検索エンジンに通知しようとした。これは、本当に重要な変更があった時に通知が埋もれてしまう可能性があり、検索エンジンにとっても無意味な負荷となるため、システムとして避けたい事態だった。実際に、この時は手動でIndexNowの状態をリセットする必要があったという。

この問題の解決策として、2026年10月8日に大きな改良が加えられた。それは、IndexNowのハッシュ値を計算する際に、ファイルのバイト列全体ではなく、「検索エンジンのクローラーが実際に読み取る内容」だけを対象にするという変更だ。クローラーとは、検索エンジンがウェブ上の情報を収集するために巡回するプログラムのことで、ユーザーが見るウェブページの内容を分析している。

「クローラーが読み取る内容」とは、ウェブサイトの訪問者や検索エンジンにとって意味のある、実質的なコンテンツのことだ。具体的には、ウェブページの本文テキスト、リンク、画像などの属性情報、ページのタイトル、メタタグ（検索エンジンにページの情報を伝える記述）、そして構造化データであるJSON-LDなど、ユーザー体験や検索順位に直結する要素が含まれる。これらは「ダイジェスト」として保持される。

一方、ハッシュ値の計算から除外されるものもある。これらは、サイトの見た目や機能に直接影響しない内部的な要素や、頻繁に変わる可能性のある要素だ。たとえば、別のスクリプトやスタイルシートのコードそのもの、先に述べたスコープ付きスタイルID、ウェブサイトを構築する際に生成されるファイルの名前（アセット名）、どのツールでウェブサイトが作られたかを示す「ジェネレータタグ」、そしてタグ間の余分な空白などがこれに当たる。これらの要素は、ウェブサイトの構築ツールが更新されたり、内部的な最適化が行われたりするたびに変わりやすいが、サイトの「実質的な内容」が変わるわけではない。これらを除外することで、内部的な変更があっても、実質的なコンテンツが変わっていなければハッシュ値が変化せず、無駄な更新通知を避けることができる。

この改良は、わずか3つのファイルに106行の追加と7行の削除という比較的少ない変更で実現された。しかし、その効果は大きく、これによってウェブサイトの内部的なツールチェインがアップグレードされ、ファイルのバイト列が完全に書き換わったとしても、サイトのコンテンツが本当に変わっていなければ、IndexNowが無駄な更新通知をしないようになる。

この事例からシステムエンジニアを目指す皆さんが学ぶべき教訓は、ウェブサイトの更新通知を検索エンジンに行う際、単にファイルのデータが物理的に変わったかどうかを見るのではなく、「ユーザーや検索エンジンにとって意味のあるコンテンツが変わったかどうか」という視点を持つことが重要だということだ。ウェブサイトを構築するためのツールチェインのアップグレードは、ウェブサイトの性能やセキュリティを高めるために不可欠な作業だが、それがサイトのコンテンツとは無関係に全ページのバイト列を書き換えてしまうことは珍しくない。このような場合に、本当に必要な変更だけを効率的に通知する仕組みを構築することで、検索エンジンとの良好な関係を保ち、ウェブサイトの情報を常に最新に保つことができる。これは、安定したウェブサービスの運用において、非常に重要な考え方となるだろう。