Verificar el robot de Google y otros rastreadores de Google

Puedes comprobar si un rastreador web que accede a tu servidor es realmente un rastreador de Google (por ejemplo, el robot de Google). Esto resulta útil si te preocupa que los spammers u otras personas malintencionadas puedan acceder a tu sitio haciéndose pasar por el robot de Google.

Los rastreadores de Google se dividen en tres categorías:

Tipo Descripción Máscara de DNS invertida Intervalos de IPs
Googlebot El rastreador principal de los productos de búsqueda de Google. Respeta siempre las reglas de robots.txt. crawl-***-***-***-***.googlebot.com o geo-crawl-***-***-***-***.geo.googlebot.com googlebot.json
Rastreadores para casos especiales Rastreadores que realizan funciones específicas (como AdsBot), que pueden o no respetar las reglas de robots.txt. rate-limited-proxy-***-***-***-***.google.com special-crawlers.json
Sistemas de obtención activados por el usuario Herramientas y funciones de producto en las que el usuario final activa una obtención. Por ejemplo, Google Site Verifier actúa cuando lo solicitan los usuarios. Dado que los usuarios solicitan la obtención, estos sistemas ignoran las reglas de robots.txt. ***-***-***-***.gae.googleusercontent.com user-triggered-fetchers.json

Hay dos métodos para verificar los rastreadores de Google:

  • Manualmente: para hacer búsquedas únicas, utiliza herramientas de línea de comandos. Este método es suficiente para la mayoría de los casos prácticos.
  • Automáticamente: para hacer búsquedas a gran escala, utiliza una solución automática para que la dirección IP de un rastreador coincida con la lista de direcciones IP del robot de Google publicadas.

Usar herramientas de línea de comandos

  1. Busca en tus registros la dirección IP que está accediendo a tu servidor y haz una petición de DNS invertida con ella mediante el comando host.
  2. Verifica que el nombre de dominio es googlebot.com, google.com o googleusercontent.com.
  3. Ejecuta una petición de DNS normal con el nombre de dominio que hayas obtenido en el paso 1; para hacerlo, usa el comando host en el nombre de dominio.
  4. Verifica que es la misma dirección IP de acceso original que figura en tus registros.

Ejemplo 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Ejemplo 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Ejemplo 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Usar soluciones automáticas

También puedes identificar el robot de Google según la dirección IP haciendo coincidir la dirección IP del rastreador con las listas de intervalos de IPs de los rastreadores y sistemas de obtención de Google:

Para otras direcciones IP de Google desde las que se pueda acceder a tu sitio (por ejemplo, Apps Script), haz coincidir la dirección IP de acceso con la de la lista de direcciones IP de Google. Ten en cuenta que las direcciones IP de los archivos JSON se representan en formato CIDR.