Google が地域対応ページをクロールする方法
サイトに「地域対応」ページが含まれている場合（つまり、検出された国やユーザーの使用言語に基づいて異なるコンテンツを返す場合）、それぞれの言語や地域に向けたすべてのコンテンツがクロール、インデックス登録、またはランク付けされるとは限りません。これは、Googlebot クローラの既定の IP アドレスが米国からと判定されることが原因です。さらに、クローラが送信する HTTP リクエストのヘッダーには、Accept-Language は設定されません。
地域分散クロール
Googlebot は米国内の IP アドレスに加え、米国外の IP アドレスもクロールに使用しています。
これまで推奨してきたとおり、Googlebot が特定の国からと判定されるときは、その国からのユーザーと同様に扱ってください。つまり、米国からのユーザーをブロックしてコンテンツにアクセスできないようにする一方で、オーストラリアからのユーザーにはコンテンツの表示を許可している場合、サーバーは米国からと判定される Googlebot をブロックし、オーストラリアからと判定される Googlebot へのアクセスを許可する必要があります。
その他の考慮事項
- Googlebot では、すべてのクロール設定に同じユーザー エージェント文字列を使用します。詳しくは、Google クローラで使用されるユーザー エージェント文字列をご覧ください。
- Googlebot の地域分散クロールは、リバース DNS ルックアップを使用して確認できます。
- サイト内のすべての地域別コンテンツに、Robots Exclusion Protocol（ロボット排除プロトコル）が一貫して適用されていることを確認してください。つまり、robots
metaタグと robots.txt ファイルが地域ごとに同じルールを指定している必要があります。