【HTML Living Standard】robots属性値の使い方
robots属性値の使い方について、初心者にもわかりやすく解説します。
基本的な使い方
robotsプロパティは、HTMLドキュメント内で検索エンジンのクローラーに対する指示のカテゴリを定義するための特殊な値を保持するプロパティです。HTML Living Standardにおいて、このrobotsは主に<head>セクションに配置される<meta>要素のname属性に設定される属性値として扱われます。name="robots"と記述することで、その<meta>要素が検索エンジンなどのロボットに対する動作指示を意図していることを明確に示します。
具体的なクローラーの動作指示は、同じ<meta>要素のcontent属性に指定されます。例えば、content="noindex"を指定すると「このページを検索エンジンのインデックスに登録しない」という指示になり、content="nofollow"を指定すると「このページ内のリンクをたどらない」という指示を与えます。これらの指示は、Webサイト管理者やシステムエンジニアが、特定のページを検索結果に表示させたくない場合や、プライバシー保護の目的で情報のインデックス登録を制限したい場合などに利用されます。robotsプロパティは、Webサイトの公開設定や検索エンジン最適化（SEO）において重要な役割を果たし、意図しない情報の公開を防ぐために不可欠な要素です。
構文(syntax)
1<meta name="robots" content="noindex, nofollow">
引数(parameters)
引数なし
引数はありません
戻り値(return)
戻り値なし
戻り値はありません
サンプルコード
HTML robots noindex設定でインデックスを制御する
1<!DOCTYPE html> 2<html lang="ja"> 3<head> 4 <meta charset="UTF-8"> 5 <meta name="viewport" content="width=device-width, initial-scale=1.0"> 6 <!-- 7 検索エンジンのクローラーに対して、このページをインデックスに登録しないよう指示します。 8 「robots」はクローラーの種類全般を指し、「noindex」はこのページを検索結果に含めないことを意味します。 9 --> 10 <meta name="robots" content="noindex"> 11 <title>noindex設定サンプルページ</title> 12</head> 13<body> 14 <h1>このページは検索エンジンにインデックスされません</h1> 15 <p> 16 このページは、<code><meta name="robots" content="noindex"></code> の設定により、 17 検索エンジンの検索結果に表示されることはありません。 18 </p> 19 <p> 20 機密情報を含むページや、一時的に公開するページなどで利用されます。 21 </p> 22</body> 23</html>
このHTMLコードは、ウェブページが検索エンジンの検索結果に表示されないように設定する方法を示しています。
headタグ内に記述されている<meta name="robots" content="noindex">がその指示の中心となります。ここで指定されているname="robots"は、Googleなどの検索エンジンがウェブページを巡回する際に使用する「クローラー」と呼ばれるプログラム全般に対して指示を送ることを意味します。そして、content="noindex"は、そのクローラーに対して「このページを検索エンジンのインデックス（データベース）に登録しないでください」という具体的な指示を出します。
この設定が適用されたページは、検索エンジンに登録されなくなり、一般のユーザーが検索しても検索結果には表示されません。
このmetaタグ自体は直接的な引数や戻り値を持たず、HTML文書のメタデータとして、検索エンジンのクローラーに対する動作指示を提供します。
この機能は、まだ完成していない開発中のページ、一般公開したくない内部資料、機密情報を含むページ、あるいは一時的に公開するだけで検索結果に残したくないページなどで利用されます。システムエンジニアとして、ウェブサイトの公開範囲や情報の取り扱いを制御する上で非常に重要な設定の一つです。
この設定は、ページを検索エンジンの検索結果に表示させないための指示です。意図せず設定すると、必要な情報が検索で見つからなくなる可能性があるため、利用目的をよく確認してください。noindexは検索エンジンへの「お願い」であり、ページの閲覧自体を制限するものではありません。機密性の高い情報を含むページでは、パスワード保護など、より強固なアクセス制限と併用することを検討してください。すべての検索エンジンやクローラーがこの指示に厳密に従うとは限りませんが、主要な検索エンジンは通常これに従います。この<meta>タグは、HTMLファイルの<head>タグ内に記述する必要があります。
HTML robotsメタタグで検索エンジン制御する
1<!DOCTYPE html> 2<html lang="ja"> 3<head> 4 <meta charset="UTF-8"> 5 <meta name="viewport" content="width=device-width, initial-scale=1.0"> 6 <title>検索エンジン制御のサンプルページ</title> 7 <!-- 8 このmetaタグは、検索エンジンのクローラー（ロボット）に対して指示を与えます。 9 content="noindex, nofollow" の設定は、以下の意味を持ちます: 10 - noindex: このページを検索エンジンのインデックスに含めないでください。（検索結果に表示させない） 11 - nofollow: このページ内のリンクをたどらないでください。 12 これは、一時的なページや、検索結果に表示したくないページなどで使用されます。 13 --> 14 <meta name="robots" content="noindex, nofollow"> 15</head> 16<body> 17 <h1>このページは検索エンジンに表示されません</h1> 18 <p>このページは、<code><meta name="robots" content="noindex, nofollow"></code> の設定により、検索エンジンのインデックスから除外されるよう指示されています。</p> 19 <p>また、このページ内のリンクも検索エンジンにはたどられません。</p> 20 <a href="another-page.html">別のページへのリンク（このリンクは検索エンジンにたどられません）</a> 21</body> 22</html>
このサンプルコードは、HTMLにおける<meta>タグを利用して、検索エンジンのクローラー（ロボット）に対してウェブページの取り扱い方を指示する例を示しています。<meta name="robots">は、ウェブサイトの公開において、どのページを検索結果に表示させるか、またそのページ内のリンクを検索エンジンにたどらせるかを制御する重要な役割を持っています。
このmetaタグ自体には直接的な引数や戻り値はありませんが、content属性に設定する値によって具体的な指示を検索エンジンに伝えます。サンプルコードでは、content="noindex, nofollow"という設定がされています。
noindexという指示は、「このページを検索エンジンのインデックス（索引）に含めないでください」という意味です。これにより、このページが検索エンジンの検索結果に表示されるのを防ぎます。
nofollowという指示は、「このページ内にあるリンクをたどらないでください」という意味です。検索エンジンがこのページから他のページへのリンクをたどってサイト構造を把握したり、リンク先のページを評価したりする動作を停止させます。
これらの設定は、まだ公開準備中のページ、一時的なコンテンツ、特定のユーザーのみに見せたいページ、あるいは検索結果に表示する必要がないページなどで利用されます。ウェブサイトの情報を効果的に管理し、検索エンジンからのアクセスを制御するための基本的な技術です。
meta name="robots"タグは、検索エンジンのクローラーに対して特定のページの扱いを指示する重要な設定です。特にcontent="noindex, nofollow"は、そのページを検索結果に表示させず、ページ内のリンクもたどらないよう指示します。この設定を誤って重要なページに使用すると、意図せず検索結果から消えてしまい、アクセスが得られなくなるため注意が必要です。また、nofollowはページ間のリンク評価伝達に影響を及ぼし、SEO上の効果を損なう可能性があります。この設定はあくまで検索エンジンへの「指示」であり、絶対的な制御ではないことを理解してください。ページを公開する目的を明確にし、不要になった際には速やかに設定を解除・修正することが、サイトを安全かつ正しく運用するための重要な補足となります。