【ITニュース解説】I checked 14 domains. None had ever submitted a sitemap.

システムエンジニアを目指す皆さんにとって、ウェブサイトが検索エンジンに見つけられることは非常に重要だ。ウェブサイトを作ったら、それをインターネット上の多くの人々に知ってもらいたいと思うだろう。そのためには、GoogleやBingといった検索エンジンがあなたのサイトの内容を正しく理解し、検索結果に表示してくれる必要がある。この記事は、そのための重要な「最後のボタン」が意外と見落とされがちだという筆者の経験談を基に、ウェブサイトの公開と検索エンジンへの登録に関する重要なポイントを解説する。

筆者は14の小規模なSaaS（Software as a Service）サイトを運営していたが、先日、自分のサイトが検索エンジンでどのくらい見つけられているかを調べてみたところ、衝撃的な事実が判明した。それは、どのサイトも「サイトマップ」を検索エンジンに「送信」していなかったというものだ。サイトマップは各サイトで正しく生成され、robots.txtというファイルでその存在を宣言し、サーバーにも設置されていた。つまり、ウェブサイトがサイトマップを「提供」する準備は完璧だったのだ。しかし、「提供」することと、検索エンジンに「送信」することは全く別の作業なのである。

この「提供」と「送信」の間に大きなギャップがあることを筆者は指摘している。サイトマップがrobots.txtに書かれているだけでは、検索エンジンのクローラー（ウェブサイトを巡回して情報を集めるプログラム）がたまたまあなたのサイトを訪れた時に、その存在に気づくのを待つしかない。これは非常に受動的な方法だ。一方、Google Search ConsoleやBing Webmaster Toolsといった検索エンジンが提供するツールにサイトマップを「送信」すると、それは「ここにサイトの構造リストがあるから、今すぐ読んでほしい。そして、内容が変わったらまた知らせるから見てほしい」と検索エンジンに能動的に宣言することになる。既存の訪問者が多いサイトであれば、この違いは小さいかもしれない。しかし、新しいサイトで、まだ他のウェブサイトからのリンク（インバウンドリンク）がほとんどない場合、サイトマップを送信しない受動的な方法では、クローラーがそもそもあなたのサイトに来るきっかけがないため、発見されるまでに非常に長い時間がかかってしまう可能性がある。筆者の場合、数ヶ月間も188ものURLが検索エンジンに見つけられないまま放置されていたというから、その影響の大きさがわかるだろう。

次に、検索エンジンについて、GoogleだけでなくBingにも注目する必要があるという点が強調されている。これまでは、検索エンジンの市場シェアを考えるとGoogleだけに対応していれば十分だと考える人が多かったかもしれない。しかし、その考えはもう古い。近年登場したChatGPTのような生成AIのブラウジング機能は、実はBingのインデックス（検索エンジンが持つウェブページのデータベース）を利用しているのだ。もしあなたの提供するサービスやツールが、AIアシスタントに質問された際に言及されることを望むなら、Bingはもはや「ついで」にやるべきことではなく、「重要なチャネル」となっている。他にも、ClaudeというAIはBrave、PerplexityというAIは独自のクローラーを使用しており、検索エンジンのインデックスが多様化している現状を理解する必要がある。Googleだけにサイトマップを送信しても、以前よりカバーできる範囲は狭まっているのだ。筆者の事例でも、Bingへの対応が不十分で、30ものURLがBingのインデックスから完全に抜け落ちていたという。

さらに、Google Search ConsoleやBing Webmaster Toolsを使う際に筆者が経験した、時間を無駄にした具体的な注意点が二つ紹介されている。

一つ目は、「ドメインプロパティ」と「URLプレフィックスプロパティ」という、Search Consoleでのサイト登録方法の違いに関するものだ。もしあなたが「sc-domain:example.com」のようにドメイン全体を登録する「ドメインプロパティ」を使っている場合、サイトマップのURLを入力する欄に「sitemap.xml」とだけ入力すると、「無効なサイトマップアドレス」というエラーが出てしまう。ドメインプロパティでは、必ず「https://example.com/sitemap.xml」というように、スキーム（https://）とドメイン名を含めた完全なURLを入力する必要があるのだ。一方で、「https://example.com/」のように特定のURLから始まる範囲を登録する「URLプレフィックスプロパティ」を使っている場合は、「sitemap.xml」という相対パスで問題なく受け付けられる。同じ入力欄に見えても、登録方法によって入力形式が異なるというのは、初心者にとって混乱しやすい点だろう。

二つ目は、サイトの所有権確認の手順に関するものだ。Google Search Consoleにサイトを登録する際には、そのサイトの所有者であることを証明する「所有権確認」の作業が必要になる。筆者のアドバイスは、「所有権確認用のファイルを、プロパティ（サイト情報）を作成する前にウェブサイトに配置しておく」というものだ。そうすると、Googleが自動的に所有権を確認してくれるため、ファイルのダウンロード、アップロード、確認といった手間のかかるループを回避し、スムーズに作業を進めることができる。また、GoogleのHTML検証トークンは、Googleアカウントごとに一つ発行され、同じアカウントで所有する全てのドメインに使い回せるという便利な特性も覚えておくと良い。一度ファイルを用意すれば、新しいサイトを追加する際も、そのファイルをサーバーに置くだけで済むのだ。

これらの経験を踏まえて、システムエンジニアを目指す皆さんが自身のプロジェクトで確認すべき点を筆者はまとめている。まず、Google Search ConsoleとBing Webmaster Toolsを開き、「サイトマップ」のテーブルを確認すること。このリストが空っぽであることは、意外とよくあるケースだという。次に、あなたの全てのドメインが、GoogleとBingの両方のツールに登録されているかをチェックすること。筆者の場合、一つのドメインがBingに全く登録されておらず、それに気づいていなかったそうだ。そして、サイトマップを送信した後、ステータスが「送信済み」という一時的な表示ではなく、「成功」と表示され、登録されたページ数が正しくカウントされていることを確認すること。「取得できませんでした」のようなエラー表示から「成功」に切り替わるまで、数分かかることもあるため、慌てずに待つことが重要だ。

これらは、決して高度な技術や知識を要するものではなく、チュートリアルでは自動的に行われると示唆されがちな「退屈だが必須の最後のステップ」だ。ウェブサイトを開発したら、その存在を検索エンジンに正しく、そして能動的に伝えるためのこれらの作業を忘れずに行うことが、サイトの成功への第一歩となる。