Список загрузчиков, запускаемых пользователем

Такие загрузчики запускаются пользователями для загрузки в каком-либо продукте Google. Например, Google Site Verifier выполняет действия по запросу пользователя, а сайт, размещенный в Google Cloud (GCP), позволяет посетителям получать внешний RSS-фид. Так как сбор данных инициирует пользователь, такие инструменты, как правило, игнорируют правила из файла robots.txt. У загрузчиков, запускаемых пользователем, те же общие технические свойства, что и у поисковых роботов Google.

Диапазоны IP-адресов, которые они используют, опубликованы в объектах user-triggered-fetchers.json и user-triggered-fetchers-google.json. Обратная маска DNS такого загрузчика, в зависимости от его владельца (Google или пользователь), соответствует ***-***-***-***.gae.googleusercontent.com или google-proxy-***-***-***-***.google.com.

В списке ниже представлены загрузчики, запускаемые пользователями, их строки агента пользователя в том виде, в каком они появляются в HTTP-запросах, и продукты, с которыми они связаны. Этот список не исчерпывающий: в нем указаны только те отправители запросов, которые чаще представлены в файлах журналов и о которых нам задавали вопросы.

Строка user-agent в HTTP-запросах 

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
Связанные продукты Feedfetcher используется для сканирования фидов RSS или Atom для Google Новостей и PubSubHubbub.
Строка user-agent в HTTP-запросах 

GoogleProducer; (+https://developers.google.com/search/docs/crawling-indexing/google-producer)
Связанные продукты Google Центр издателей извлекает и обрабатывает фиды, которые были явным образом предоставлены издателями для целевых страниц Google Новостей.
Строка user-agent в HTTP-запросах
Мобильная версия 

Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
Версия для компьютеров 

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
Прежняя версия (больше не поддерживается) google-speakr
Связанные продукты По запросу пользователя Google Read Aloud получает и зачитывает веб-страницы, преобразуя текст в речь.
Строка user-agent в HTTP-запросах 

Mozilla/5.0 (compatible; Google-Site-Verification/1.0)
Связанные продукты Google Site Verifier извлекает токены подтверждения Search Console.