Daftar crawler kasus khusus Google

Crawler kasus khusus digunakan oleh produk Google tertentu saat ada perjanjian antara situs yang di-crawl dan produk tersebut tentang proses crawl-nya. Misalnya, AdsBot mengabaikan agen pengguna robots.txt global (*) dengan izin penayang iklan. Properti teknis umum dari crawler Google juga berlaku untuk crawler kasus khusus.

Crawler kasus khusus mungkin mengabaikan aturan robots.txt sehingga beroperasi dari rentang IP yang berbeda dengan crawler umum. Rentang IP dipublikasikan di objek special-crawlers.json. Mask DNS terbalik dari crawler kasus khusus cocok dengan rate-limited-proxy-***-***-***-***.google.com.

Daftar berikut menunjukkan crawler kasus khusus, string agen penggunanya seperti yang muncul di permintaan HTTP, token agen penggunanya untuk baris User-agent: dalam robots.txt, dan produk yang dipengaruhi oleh preferensi crawl untuk crawler. Daftar ini tidak lengkap; hanya mencakup pemohon yang kemungkinan besar muncul dalam file log dan yang telah kami terima pertanyaannya.

APIs-Google

Agen Pengguna dalam permintaan HTTP	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt	Token agen pengguna di robots.txt APIs-Google Agen pengguna global (*) diabaikan. Contoh grup robots.txt user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Produk yang terpengaruh	Preferensi crawling yang ditujukan ke agen pengguna APIs-Google memengaruhi pengiriman pesan notifikasi push oleh Google API.

AdsBot Mobile Web

Agen Pengguna dalam permintaan HTTP	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt	Token agen pengguna di robots.txt AdsBot-Google-Mobile Agen pengguna global (*) diabaikan. Contoh grup robots.txt user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Produk yang terpengaruh	Preferensi crawling yang ditujukan ke agen pengguna AdsBot-Google-Mobile memengaruhi kemampuan Google Ads untuk memeriksa kualitas iklan halaman web.

AdsBot

Agen Pengguna dalam permintaan HTTP	AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt	Token agen pengguna di robots.txt AdsBot-Google Agen pengguna global (*) diabaikan. Contoh grup robots.txt user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Produk yang terpengaruh	Preferensi crawling yang ditujukan ke agen pengguna AdsBot-Google memengaruhi kemampuan Google Ads untuk memeriksa kualitas iklan halaman web.

AdSense

Agen Pengguna dalam permintaan HTTP	Agen desktop Mediapartners-Google Agen seluler (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt	Token agen pengguna di robots.txt Mediapartners-Google Agen pengguna global (*) diabaikan. Contoh grup robots.txt user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Produk yang terpengaruh	Preferensi crawling yang ditujukan ke agen pengguna Mediapartners-Google memengaruhi Google AdSense. Crawler AdSense mengunjungi situs yang berpartisipasi untuk menyediakan iklan yang relevan.

Google-Safety

Agen Pengguna dalam permintaan HTTP	Google-Safety
robots.txt	Agen pengguna Google-Safety mengabaikan aturan robots.txt.
Produk yang terpengaruh	Agen pengguna Google-Safety menangani crawling khusus penyalahgunaan, seperti penemuan malware untuk link yang diposting secara publik di properti Google. Oleh karena itu, preferensi crawling tidak memengaruhinya.