Google が地域対応ページをクロールする方法

サイトに「地域対応」ページが含まれている場合（つまり、検出された国やユーザーの使用言語に基づいて異なるコンテンツを返す場合）、それぞれの言語や地域に向けたすべてのコンテンツがクロール、インデックス登録、またはランク付けされるとは限りません。これは、Googlebot クローラーの既定の IP アドレスが米国からと判定されることが原因です。さらに、クローラーが送信する HTTP リクエストのヘッダーには、Accept-Language は設定されません。

地域分散クロール

Googlebot は米国内の IP アドレスに加え、米国外の IP アドレスもクロールに使用しています。

これまで推奨してきたとおり、Googlebot が特定の国からと判定されるときは、その国からのユーザーと同様に扱ってください。つまり、米国からのユーザーをブロックしてコンテンツにアクセスできないようにする一方で、オーストラリアからのユーザーにはコンテンツの表示を許可している場合、サーバーは米国からと判定される Googlebot をブロックし、オーストラリアからと判定される Googlebot へのアクセスを許可する必要があります。

その他の考慮事項