Elenco dei crawler comuni di Google

I crawler comuni di Google vengono utilizzati per trovare informazioni per la creazione degli indici della Ricerca di Google, eseguire scansioni specifiche di altri prodotti e per scopi di analisi. Rispettano sempre le regole del file robots.txt durante la scansione automatica. Le proprietà tecniche generali dei crawler di Google si applicano anche ai crawler comuni.

Generalmente i crawler comuni eseguono la scansione dagli intervalli IP pubblicati nell'oggetto googlebot.json, e la maschera DNS inversa del nome host corrisponde a crawl-***-***-***-***.googlebot.com o geo-crawl-***-***-***-***.geo.googlebot.com.

L'elenco seguente mostra i crawler comuni e le stringhe dello user agent così come appaiono nelle richieste HTTP, i relativi token dello user agent per la riga User-agent: nel file robots.txt e i prodotti interessati dalle preferenze di scansione del crawler. Alcuni crawler hanno più di un token dello user agent; devi abbinare un solo token del crawler affinché una regola venga applicata. L'elenco non è completo, si limita solo ai richiedenti che hanno maggiori probabilità di apparire nei file di log e per cui abbiamo ricevuto domande.

User-Agent nelle richieste HTTP
Googlebot Smartphone 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Raramente:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
Token dello user agent nel file robots.txt Googlebot
Gruppo robots.txt di esempio 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Googlebot influiscono sulla Ricerca Google (inclusi Feed personalizzato e tutte le funzionalità della Ricerca Google), nonché altri prodotti come Google Immagini, Google Video, Google News e Feed personalizzato.
User-Agent nelle richieste HTTP 
Googlebot-Image/1.0
robots.txt
Token dello user agent nel file robots.txt Googlebot-Image
Googlebot
Gruppo robots.txt di esempio 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Googlebot-Image influiscono su Google Immagini, Feed personalizzato, Google Video e su tutte le funzionalità della Ricerca Google in cui vengono mostrate immagini, loghi e favicon.
User-Agent nelle richieste HTTP 
Googlebot-Video/1.0
robots.txt
Token dello user agent nel file robots.txt Googlebot-Video
Googlebot
Gruppo robots.txt di esempio 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Googlebot-Video influiscono sulle funzionalità della Ricerca Google correlate ai video e altri prodotti che dipendono dai video.
User-Agent nelle richieste HTTP Googlebot-news non ha una stringa dello user agent a parte per la richiesta HTTP. La scansione viene effettuata con varie stringhe dello user agent Googlebot.
robots.txt
Token dello user agent nel file robots.txt Googlebot-News
Googlebot
Gruppo robots.txt di esempio 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Googlebot-News influiscono su tutte le piattaforme di Google News (ad esempio, la scheda Notizie nella Ricerca Google e l'app Google News).
User-Agent nelle richieste HTTP
Agente desktop 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
Agente mobile 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
Token dello user agent nel file robots.txt Storebot-Google
Gruppo robots.txt di esempio 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Storebot-Google influiscono su tutte le piattaforme di Google Shopping (ad esempio la scheda Shopping nella Ricerca Google e Google Shopping).
User-Agent nelle richieste HTTP
Agente desktop 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
Agente mobile 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
Token dello user agent nel file robots.txt Google-InspectionTool
Googlebot
Gruppo robots.txt di esempio 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Google-InspectionTool influiscono sugli strumenti di test della Ricerca come il Test dei risultati avanzati e il Controllo URL in Search Console. Non hanno alcun effetto sulla Ricerca Google o su altri prodotti.
User-Agent nelle richieste HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
Token dello user agent nel file robots.txt GoogleOther
Gruppo robots.txt di esempio 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Le preferenze di scansione indirizzate allo user agent GoogleOther non influiscono su alcun prodotto specifico. GoogleOther è il crawler generico che potrebbe essere utilizzato da vari team di prodotto per recuperare contenuti accessibili pubblicamente dai siti. Ad esempio, potrebbe essere utilizzato per scansioni singole per scopi di ricerca interna e sviluppo. Non hanno alcun effetto sulla Ricerca Google o su altri prodotti.
User-Agent nelle richieste HTTP 
GoogleOther-Image/1.0
robots.txt
Token dello user agent nel file robots.txt GoogleOther-Image
GoogleOther
Gruppo robots.txt di esempio 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
Prodotti interessati Le preferenze di scansione indirizzate allo user agent GoogleOther-Image non influiscono su alcun prodotto specifico, come nel caso di GoogleOther. GoogleOther-Image è la versione di GoogleOther ottimizzata per il recupero degli URL immagine accessibili pubblicamente.
User-Agent nelle richieste HTTP 
GoogleOther-Video/1.0
robots.txt
Token dello user agent nel file robots.txt GoogleOther-Video
GoogleOther
Gruppo robots.txt di esempio 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
Prodotti interessati Le preferenze di scansione indirizzate allo user agent GoogleOther-Video non influiscono su alcun prodotto specifico, come nel caso di GoogleOther. GoogleOther-Video è la versione di GoogleOther ottimizzata per il recupero degli URL dei video accessibili pubblicamente.
Sottostringa User-Agent nelle richieste HTTP 
Google-CloudVertexBot
robots.txt
Token dello user agent nel file robots.txt Google-CloudVertexBot
Googlebot
Gruppo robots.txt di esempio 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Google-CloudVertexBot influiscono sulle scansioni richieste dai proprietari dei siti per la creazione di Vertex AI Agents. Non hanno alcun effetto sulla Ricerca Google o su altri prodotti.
User-Agent nelle richieste HTTP Google-Extended non ha una stringa dello user agent a parte per la richiesta HTTP. La scansione viene eseguita con le stringhe dello user agent Google esistenti; il token dello user agent del file robots.txt viene utilizzato per scopi di controllo.
robots.txt
Token dello user agent nel file robots.txt Google-Extended
Gruppo robots.txt di esempio 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Google-Extended è un token di prodotto autonomo che i publisher web possono utilizzare per gestire se i propri siti aiutano a migliorare le API generative delle app Gemini e Vertex AI, incluse le future generazioni di modelli su cui si basano questi prodotti. Google-Extended non influisce sull'inclusione o sul ranking di un sito nella Ricerca Google.

Una nota su Chrome/W.X.Y.Z negli user agent

Dove vedi la stringa Chrome/W.X.Y.Z nelle stringhe dello user agent nella tabella, W.X.Y.Z è in realtà un segnaposto che rappresenta la versione del browser Chrome usata da quello user agent: ad esempio 41.0.2272.96. Il numero di versione aumenterà nel tempo fino a corrispondere all'ultima versione di release di Chromium utilizzata da Googlebot.

Se cerchi nei log oppure applichi filtri alle richieste sul tuo server per individuare uno user agent con questo pattern, utilizza i caratteri jolly per il numero della versione, anziché indicare un numero di versione specifico.