X-Robots-Tag(エックスロボッツタグ)とは | 意味や読み方など丁寧でわかりやすい用語解説

X-Robots-Tagは、WebページのHTTPレスポンスヘッダーで使用されるディレクティブ（指示）の一つで、検索エンジンのクローラー（ロボット）に対して、そのページをどのように扱うべきかを指示するために使われる。具体的には、インデックス登録や検索結果への表示を制御することが可能だ。WebサイトのSEO（検索エンジン最適化）戦略において重要な役割を果たす。

X-Robots-Tagの主な目的は、検索エンジンに特定のページをクロールさせない、インデックスさせない、または検索結果に表示させないといった指示を与えることにある。これは、例えば、Webサイトの開発途中のページ、会員限定ページ、重複コンテンツ、または品質の低いコンテンツなどを検索エンジンから隠したい場合に有効だ。また、X-Robots-Tagは、robots.txtファイルよりも詳細な制御が可能であり、特定のページに対して柔軟な指示を与えることができる。

X-Robots-TagはHTTPレスポンスヘッダーに記述されるため、Webサーバーの設定を変更する必要がある。Apache、Nginx、IISなどのWebサーバーで、設定ファイル（.htaccess、nginx.conf、web.configなど）を編集して、X-Robots-Tagディレクティブを追加する。例えば、Apacheの場合、.htaccessファイルに次のような記述を追加することで、特定のページに対する指示を与えることができる。

<Files "example.html"> Header set X-Robots-Tag "noindex, nofollow" </Files>

この例では、example.htmlというファイルに対して、noindexとnofollowという2つのディレクティブを指定している。noindexは、検索エンジンにそのページをインデックスさせないことを意味し、nofollowは、そのページからリンクされている他のページをクロールしないように指示する。

X-Robots-Tagで使用できる主なディレクティブには、以下のようなものがある。

• noindex: 検索エンジンにページをインデックスさせない。検索結果に表示されなくなる。
• nofollow: ページ内のリンクをたどらないように指示する。リンク先のページの評価に影響を与えない。
• none: noindexとnofollowの両方を指定するのと同義。
• all: 指示なし。特に意味はないが、他の設定を上書きするために使用されることがある。
• noarchive: 検索エンジンにページのキャッシュ（保存されたコピー）を作成させない。
• nosnippet: 検索結果にページの概要（スニペット）を表示させない。
• notranslate: 検索エンジンにページの翻訳を提供させない。
• noimageindex: ページ内の画像をインデックスさせない。
• unavailable_after:[日付]: 指定された日付以降、ページをインデックスから削除する。

これらのディレクティブは、カンマで区切って複数指定することができる。例えば、"noindex, nofollow, noarchive"のように指定すると、ページはインデックスされず、リンクはたどられず、キャッシュも作成されない。

X-Robots-Tagは、特定のユーザーエージェント（クローラーの種類）に対して異なる指示を与えることも可能だ。これは、検索エンジンの種類によってクロールやインデックスの挙動を制御したい場合に有効だ。例えば、Googlebotに対してのみnoindexを適用し、他の検索エンジンのクローラーにはインデックスさせたい場合、次のように記述する。

Header set X-Robots-Tag "googlebot: noindex"

複数のユーザーエージェントに対して指示を与える場合は、それぞれを別々に記述する。

Header set X-Robots-Tag "googlebot: noindex" Header set X-Robots-Tag "bingbot: nofollow"

X-Robots-Tagは、HTTPレスポンスヘッダーだけでなく、HTMLのメタタグとしても記述することができる。ただし、メタタグによる指示は、HTTPヘッダーによる指示よりも優先度が低い。つまり、HTTPヘッダーとメタタグの両方で同じページに対して異なる指示が与えられた場合、HTTPヘッダーの指示が優先される。

X-Robots-Tagを使用する際には、以下の点に注意する必要がある。

• 記述ミス：ディレクティブのスペルミスや構文エラーがあると、指示が正しく解釈されない可能性がある。
• キャッシュ：WebサーバーやCDN（コンテンツデリバリーネットワーク）がHTTPレスポンスヘッダーをキャッシュしている場合、X-Robots-Tagの変更が反映されるまでに時間がかかることがある。
• robots.txtとの競合：robots.txtでクロールが禁止されているページに対してX-Robots-Tagを設定しても意味がない。robots.txtによる指示が優先される。
• インデックス削除の遅延：noindexを指定しても、検索エンジンがすぐにインデックスからページを削除するとは限らない。削除されるまでに時間がかかることがある。

X-Robots-Tagは、WebサイトのSEO戦略において非常に強力なツールとなる。適切に使用することで、検索エンジンからの評価を高め、Webサイトのパフォーマンスを向上させることができる。しかし、誤った使い方をすると、Webサイト全体のインデックスが失われる可能性もあるため、慎重に設定する必要がある。