noindex を使用してコンテンツをインデックスから除外する
ページやその他のリソースが Google 検索に表示されないようにするには、noindex（ノーインデックス）ディレクティブを活用します。noindex ディレクティブは、<meta> タグまたは HTTP レスポンス ヘッダーで設定されるルールで、サポートしている検索エンジン（Google など）に対してコンテンツをインデックスから除外してもらうために使用されます。Googlebot がページをクロールしてタグまたはヘッダーを検出すると、他のサイトがそのページにリンクしているかどうかにかかわらず、そのページを Google 検索結果から完全に削除します。
noindex を使用すると、サイトへのアクセスをページ単位で制御できるため、サーバーに対するルートアクセス権がない場合に便利です。
noindex の実装
noindex は、<meta> タグと HTTP レスポンス ヘッダーの 2 つの方法で実装できます。効果はどちらも同じです。サイトおよびコンテンツ タイプに合った方法を選択してください。robots.txt ファイルで noindex ルールを指定することは、Google ではサポートされていません。
noindex ルールを、インデックス登録を制御する他のルールと組み合わせることもできます。たとえば、次のように nofollow ヒントと noindex ルールを組み合わせられます: <meta name="robots" content="noindex, nofollow" />
<meta> タグ
noindex ルールをサポートするすべての検索エンジンでサイトのページがインデックスに登録されないようにするには、次の <meta> タグをページの <head> セクションに設定します。
<meta name="robots" content="noindex">
Google ウェブ クローラーのみがページをインデックス登録できないようにするには、meta name に "googlebot" を指定します。
<meta name="googlebot" content="noindex">
検索エンジンによっては、noindex ルールが別の意味に解釈される場合がある点に注意してください。その場合、他の検索エンジンではページが検索結果に引き続き表示される可能性があります。
詳しくは noindex <meta> タグをご覧ください。
HTTP レスポンス ヘッダー
<meta> タグを設定する代わりに、X-Robots-Tag HTTP ヘッダーに noindex または none のいずれかを設定してレスポンスを返すことができます。
レスポンス ヘッダーは、PDF、動画ファイル、画像ファイルなど、HTML 以外のリソースに使用できます。ページをインデックスに登録しないよう検索エンジンに指示する X-Robots-Tag ヘッダーを含む HTTP レスポンスの例を次に示します。
HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)
詳しくは、noindex レスポンス ヘッダーについての記事をご覧ください。
noindex の問題のデバッグ
<meta> タグと HTTP ヘッダーを認識するには、Google がページをクロールできる必要があります。検索結果にページが引き続き表示される場合は、noindex ルールを追加した後にページがクロールされていない可能性があります。インターネット上でのページの重要性によっては、Googlebot がページに再度アクセスするのが数か月後になる場合があります。URL 検査ツールを使用すれば、Google にページの再クロールをリクエストできます。
サイトのページを Google の検索結果からすぐに削除する必要がある場合は、削除に関するドキュメントをご覧ください。
また、robots.txt ファイルがこの URL を Google ウェブ クローラーからブロックしているため、タグを認識できない、という理由も考えられます。Google によるページクロールのブロックを解除するには、robots.txt ファイルを編集する必要があります。
最後に、noindex ルールを Googlebot が認識できる状態であることを確認します。noindex ルールが正しく実装されているかどうかをテストするには、URL 検査ツールを使用して、ページのクロール中に Googlebot が取得した HTML を確認します。また、Search Console のページのインデックス登録レポート を使用して、Googlebot が noindex ルールを抽出したサイトのページをモニターすることもできます。