Оптимизируйте свои подборки
Сохраняйте и классифицируйте контент в соответствии со своими настройками.
Как Google сканирует регионозависимые страницы
Если на вашем сайте есть регионозависимые страницы (то есть страницы вашего сайта отображаются по-разному в зависимости от страны или языка посетителя), робот Google может не просканировать, не проиндексировать или не проранжировать весь их контент. Причина заключается в том, что его IP-адреса по умолчанию относятся к США. Кроме того, робот отправляет запросы HTTP без параметра Accept-Language в заголовке.
Региональные настройки и робот Googlebot
Googlebot использует IP-адреса, относящиеся не только к США, но и к другим странам.
Мы советуем отвечать на запросы робота Googlebot из определенной страны так же, как на запросы обычных пользователей. К примеру, если вы запрещаете доступ к своему контенту пользователям из США, но разрешаете просматривать его жителям Австралии, те же самые настройки должны применяться к роботам Googlebot.
Дополнительные рекомендации
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons "С указанием авторства 4.0", а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Последнее обновление: 2025-08-04 UTC.
[null,null,["Последнее обновление: 2025-08-04 UTC."],[[["\u003cp\u003eGooglebot's default IP addresses appear to be US-based, which may impact the crawling and indexing of locale-adaptive pages targeting other regions.\u003c/p\u003e\n"],["\u003cp\u003eIt is recommended to use separate locale URL configurations with \u003ccode\u003erel="alternate"\u003c/code\u003e hreflang annotations for better localization.\u003c/p\u003e\n"],["\u003cp\u003eGooglebot crawls from various global locations, so treat it like any other user based on its apparent location, including access restrictions.\u003c/p\u003e\n"],["\u003cp\u003eEnsure consistent robots exclusion protocol (robots.txt and meta tags) across all locales to avoid unintended crawling restrictions.\u003c/p\u003e\n"]]],["Google crawls locale-adaptive pages using IP addresses from various locations, not just the USA. When Googlebot appears to be from a specific country, treat it like a user from that region. For locale-adaptive sites, using separate URL configurations with `rel=\"alternate\"` hreflang annotations is recommended. Ensure consistent application of robots exclusion protocols, such as robots.txt and meta tags, across all locales. You can verify Googlebot's geo-distributed crawls through reverse DNS lookups.\n"],null,["# How Google Crawls Locale-Adaptive Pages | Google Search Central\n\nHow Google crawls locale-adaptive pages\n=======================================\n\nIf your site has *locale-adaptive* pages (that is, your site returns different content\nbased on the perceived country or preferred language of the visitor), Google might not crawl,\nindex, or rank all your content for different locales. This is because the default IP\naddresses of the Googlebot crawler appear to be based in the USA. In addition, the crawler\nsends HTTP requests without setting `Accept-Language` in the request header.\n| **Important** : We recommend using separate locale URL configurations and annotating them with [`rel=\"alternate\"`\n| hreflang annotations](/search/docs/specialty/international/localized-versions).\n\nGeo-distributed crawling\n------------------------\n\nGooglebot crawls with IP addresses based outside the USA, in addition to the US-based IP addresses.\n\nAs we have always recommended, when Googlebot appears to come from a certain country, treat\nit like you would treat any other user from that country. This means that if you block\nUSA-based users from accessing your content, but allow visitors from Australia to see it,\nyour server should block Googlebot if it appears to be coming from the USA, but allow access\nto Googlebot if it appears to come from Australia.\n\n### Other considerations\n\n- Googlebot uses the same user agent string for all crawling configurations. Learn more about the [user agent strings used\n by Google crawlers](/search/docs/crawling-indexing/overview-google-crawlers).\n- You can [verify Googlebot\n geo-distributed crawls](/search/docs/crawling-indexing/verifying-googlebot) using reverse DNS lookups.\n- If your site is using the [*robots exclusion protocol*](https://www.rfc-editor.org/rfc/rfc9309.html), make sure you apply it consistently across locales. This means that [robots `meta` tags](/search/docs/crawling-indexing/robots-meta-tag) and the [robots.txt file](/search/docs/crawling-indexing/robots/create-robots-txt) must specify the same rules in each locale."]]
