Оптимизируйте свои подборки
Сохраняйте и классифицируйте контент в соответствии со своими настройками.
Список загрузчиков, запускаемых пользователем
Такие загрузчики запускаются пользователями для загрузки в каком-либо продукте Google. Например, Google Site Verifier выполняет действия по запросу пользователя, а сайт, размещенный в Google Cloud (GCP), позволяет посетителям получать внешний RSS-фид. Так как сбор данных инициирует пользователь, такие инструменты, как правило, игнорируют правила из файла robots.txt. У загрузчиков, запускаемых пользователем, те же общие технические свойства, что и у поисковых роботов Google.
Диапазоны IP-адресов, которые они используют, опубликованы в объектах user-triggered-fetchers.json и user-triggered-fetchers-google.json. Обратная маска DNS такого загрузчика, в зависимости от его владельца (Google или пользователь), соответствует ***-***-***-***.gae.googleusercontent.com или google-proxy-***-***-***-***.google.com.
В списке ниже представлены загрузчики, запускаемые пользователями, их строки агента пользователя в том виде, в каком они появляются в HTTP-запросах, и продукты, с которыми они связаны. Этот список не исчерпывающий: в нем указаны только те отправители запросов, которые чаще представлены в файлах журналов и о которых нам задавали вопросы.
-
| Строка user-agent в HTTP-запросах |
FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
|
| Связанные продукты |
Feedfetcher используется для сканирования фидов RSS или Atom для Google Новостей и PubSubHubbub.
|
Google Центр издателей
-
| Строка user-agent в HTTP-запросах |
GoogleProducer; (+https://developers.google.com/search/docs/crawling-indexing/google-producer)
|
| Связанные продукты |
Google Центр издателей извлекает и обрабатывает фиды, которые были явным образом предоставлены издателями для целевых страниц Google Новостей.
|
-
| Строка user-agent в HTTP-запросах |
| Мобильная версия |
Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
|
| Версия для компьютеров |
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
|
| Прежняя версия (больше не поддерживается) |
google-speakr
|
|
| Связанные продукты |
По запросу пользователя Google Read Aloud получает и зачитывает веб-страницы, преобразуя текст в речь. |
-
| Строка user-agent в HTTP-запросах |
Mozilla/5.0 (compatible; Google-Site-Verification/1.0)
|
| Связанные продукты |
Google Site Verifier извлекает токены подтверждения Search Console.
|
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons "С указанием авторства 4.0", а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Последнее обновление: 2025-08-04 UTC.
[null,null,["Последнее обновление: 2025-08-04 UTC."],[[["\u003cp\u003eUser-triggered fetchers are initiated by users within Google products and generally disregard robots.txt rules.\u003c/p\u003e\n"],["\u003cp\u003eThese fetchers utilize specific IP ranges and reverse DNS masks for identification, detailed in provided JSON files.\u003c/p\u003e\n"],["\u003cp\u003eGoogle products like Feedfetcher, Google Publisher Center, Google Read Aloud, and Google Site Verifier utilize user-triggered fetching for various purposes.\u003c/p\u003e\n"],["\u003cp\u003eA table lists these fetchers with their user agent strings and associated products for easier identification in log files, although user agent strings can be spoofed.\u003c/p\u003e\n"],["\u003cp\u003eVerifying the visitor's identity as a Google crawler is crucial and can be achieved using the provided verification guide.\u003c/p\u003e\n"]]],["User-triggered fetchers, initiated by user actions within Google products, ignore `robots.txt` rules. These fetchers' IP ranges are in `user-triggered-fetchers.json` and `user-triggered-fetchers-google.json`, with reverse DNS masks either `*.gae.googleusercontent.com` or `google-proxy-*.google.com`. Key fetchers include: Feedfetcher for RSS/Atom feeds; Google Publisher Center for publisher-supplied feeds; Google Read Aloud for text-to-speech; and Google Site Verifier for Search Console verification tokens. Each has distinct user-agent strings.\n"],null,["# Google User-Triggered Fetchers | Google Search Central\n\nList of Google user-triggered fetchers\n======================================\n\n\nUser-triggered fetchers are initiated by users to perform a fetching function within a Google\nproduct. For example,\n[Google Site Verifier](https://support.google.com/webmasters/answer/9008080)\nacts on a user's request, or a site hosted on Google Cloud (GCP) has a feature that allows the\nsite's users to retrieve an external RSS feed. Because the fetch was requested by a user, these\nfetchers generally ignore robots.txt rules. The general\n[technical properties](/search/docs/crawling-indexing/overview-google-crawlers#crawl-technical-props)\nof Google's crawlers also apply to the user-triggered fetchers.\n\n\nThe IP ranges the user-triggered fetchers use are\npublished in the\n[user-triggered-fetchers.json](/static/search/apis/ipranges/user-triggered-fetchers.json) and\n[user-triggered-fetchers-google.json](/static/search/apis/ipranges/user-triggered-fetchers-google.json)\nobjects. The user-triggered fetchers' reverse DNS mask, depending on whether the fetcher is Google\nor user owned, matches `***-***-***-***.gae.googleusercontent.com` or\n`google-proxy-***-***-***-***.google.com` respectively.\n\n\nThe following list shows the user-triggered fetchers, their user agent strings as they appear in\nthe HTTP requests, and the products they are associated with. The list is not exhaustive, it only\ncovers the requestors that are more likely to show up in log files and that we've received\nquestions about.\n| **Caution** : The user agent string can be spoofed. [Learn how to verify if a visitor is a Google crawler](/search/docs/crawling-indexing/verifying-googlebot).\n\n[Feedfetcher](/search/docs/crawling-indexing/feedfetcher)\n---------------------------------------------------------\n\n:\n\n |---------------------------------|--------------------------------------------------------------------------------------|\n | **User-Agent in HTTP requests** | ``` FeedFetcher-Google; (+http://www.google.com/feedfetcher.html) ``` |\n | **Associated products** | Feedfetcher is used for crawling RSS or Atom feeds for Google News and PubSubHubbub. |\n\n\nGoogle Publisher Center\n-----------------------\n\n:\n\n |---------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n | **User-Agent in HTTP requests** | ``` GoogleProducer; (+https://developers.google.com/search/docs/crawling-indexing/google-producer) ``` |\n | **Associated products** | Google Publisher Center fetches and processes [feeds that publishers explicitly supplied](https://support.google.com/news/publisher-center/answer/9545414) for use in Google News landing pages. |\n\n\n[Google Read Aloud](/search/docs/crawling-indexing/read-aloud-user-agent)\n-------------------------------------------------------------------------\n\n:\n\n |---------------------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n | **User-Agent in HTTP requests** | |---------------------------|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | Mobile agent | ``` Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943) ``` | | Desktop agent | ``` Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943) ``` | | Former agent (deprecated) | `google-speakr` | |\n | **Associated products** | Upon user request, Google Read Aloud [fetches and reads out web pages using text-to-speech (TTS)](/search/docs/crawling-indexing/read-aloud-user-agent). |\n\n\n[Google Site Verifier](https://support.google.com/webmasters/answer/9008080)\n----------------------------------------------------------------------------\n\n:\n\n |---------------------------------|------------------------------------------------------------------|\n | **User-Agent in HTTP requests** | ``` Mozilla/5.0 (compatible; Google-Site-Verification/1.0) ``` |\n | **Associated products** | Google Site Verifier fetches Search Console verification tokens. |"]]
