Reducir la frecuencia de rastreo del robot de Google

Mediante sofisticados algoritmos, Google determina cuál es la frecuencia óptima con la que se debe rastrear un sitio. En cada visita, se intentan rastrear tantas páginas de tu sitio como permita el ancho de banda de tu servidor. En algunos casos, el rastreo que hace Google de tu sitio web puede llegar a imponer una carga excesiva en tu infraestructura o generar costes no deseados por una interrupción del servicio. Para solucionar este problema, puedes reducir el número de solicitudes del robot de Google.

Si optas por reducir la frecuencia de rastreo del robot de Google, estas son algunas opciones que tienes a tu disposición:

Reducir la frecuencia de rastreo con Search Console (opción recomendada)

En Search Console puedes cambiar la frecuencia de rastreo del robot de Google si lo que quieres es reducirla rápidamente. Los cambios que hagas suelen surtir efecto en unos días. Para utilizar este ajuste, primero verifica que eres el propietario del sitio web. A la hora de elegir una frecuencia de rastreo, no selecciones un valor que sea inferior a las necesidades de tu sitio. Más información sobre el presupuesto de rastreo del robot de Google

Si la configuración de la frecuencia de rastreo no está disponible para tu sitio, presenta una solicitud especial para reducirla. No puedes solicitar un aumento de la frecuencia de rastreo.

Permitir que Google reduzca la frecuencia de rastreo automáticamente

Si necesitas reducir urgentemente la frecuencia de rastreo durante un breve periodo de tiempo (por ejemplo, un par de horas, o uno o dos días), devuelve una página de error informativa con un código de estado de respuesta HTTP 500, 503 o 429 en lugar de todo el contenido. El robot de Google reduce la frecuencia de rastreo de tu sitio cuando detecta un número significativo de URLs con códigos de estado de respuesta HTTP 500, 503 o 429; por ejemplo, si has inhabilitado tu sitio web. El cambio aparece reflejado tanto en el rastreo de las URLs que devuelven estos errores como en los datos generales del sitio web. Una vez que se haya reducido el número de estos errores, la frecuencia de rastreo empezará a aumentar automáticamente.