Feedfetcher
Con Feedfetcher, Google rastrea los feeds RSS o Atom de Google Podcasts, Google News y PubSubHubbub. Feedfetcher almacena y actualiza periódicamente los feeds que solicitan los usuarios de una aplicación o un servicio. En la Búsqueda de Google solo se indexan feeds de podcasts. Sin embargo, aunque un feed no cumpla las especificaciones Atom o RSS, es posible que se indexe igualmente. A continuación, puedes ver respuestas a las preguntas más frecuentes sobre cómo funciona este captador de feeds controlado por el usuario.
¿Cómo puedo solicitar que Google no obtenga ningún feed de mi sitio o que solo obtenga algunos concretos?
Cuando los usuarios añaden un servicio o una aplicación que utiliza datos de Feedfetcher, Feedfetcher de Google intenta obtener el contenido del feed para mostrarlo. Dado que las solicitudes de Feedfetcher proceden de acciones específicas realizadas por usuarios y no por rastreadores automatizados, Feedfetcher no sigue las directrices de archivos robots.txt.
Si tu feed es de acceso público, Google no puede impedir que los usuarios accedan a él. Una posible solución en estos casos consiste en configurar tu sitio para que sirva mensajes de estado de error 404, 410 o de cualquier otro tipo al user-agent Feedfetcher-Google.
Si tu feed procede de un servicio de alojamiento de sitios o blogs, ponte en contacto directamente con él para restringir el acceso a tu feed.
¿Con qué frecuencia obtiene mis feeds Feedfetcher?
Feedfetcher debe recuperar los feeds de la mayoría de los sitios web como máximo una vez a la hora. Es posible que los sitios con actualizaciones frecuentes se actualicen más a menudo. No obstante, ten en cuenta que, debido a los retrasos en la red, puede parecer que Feedfetcher obtiene tus feeds con mayor frecuencia.
¿Por qué Feedfetcher intenta descargar enlaces incorrectos desde mi servidor o desde dominios que no existen?
Feedfetcher obtiene feeds cuando lo solicitan aplicaciones o servicios instalados por usuarios. Es posible que un usuario haya solicitado una URL de feed que no exista.
¿Por qué Feedfetcher descarga información desde mi servidor web "secreto"?
Feedfetcher obtiene feeds cuando lo solicitan aplicaciones o servicios instalados por usuarios. Es posible que la solicitud proceda de un usuario que conozca tu servidor "secreto" o que la haya introducido por error.
¿Por qué Feedfetcher no sigue las entradas de mi archivo robots.txt?
Feedfetcher solo obtiene feeds cuando el usuario ha iniciado explícitamente un servicio o una aplicación que solicita datos de feeds. Feedfetcher se comporta como un agente directo del usuario y no como un robot, por lo que ignora las entradas del archivo robots.txt. Puesto que Feedfetcher actúa como un agente para varios usuarios, mantiene el ancho de banda realizando solicitudes de feeds comunes una única vez para todos los usuarios que han solicitado el feed a través de una aplicación o servicio. Los feeds comunes son RSS y Atom.
Si quieres impedir que Feedfetcher rastree tu sitio, configura tu servidor para que sirva mensajes de estado de error 404, 410 o de cualquier otro tipo al user-agent Feedfetcher-Google.
¿Por qué hay visitas de varios equipos de Google.com, pero todas se han hecho con el user-agent Feedfetcher?
Feedfetcher está pensado para trabajar al mismo tiempo en varios equipos con el fin de mejorar su rendimiento y su alcance a medida que la Web se desarrolle. Para reducir el uso del ancho de banda, los equipos que se utilizan suelen estar ubicados cerca de los sitios que están obteniendo de la red.
¿Cómo puedo saber las direcciones IP desde las que Feedfetcher hace solicitudes para filtrar mis registros?
Las direcciones IP que utiliza Feedfetcher varían cada cierto tiempo. La mejor forma de identificar solicitudes de Feedfetcher es buscar su user-agent, Feedfetcher-Google.
¿Por qué Feedfetcher descarga varias veces la misma página de mi sitio?
Normalmente, Feedfetcher solo descarga una copia de cada archivo de tu sitio durante una recuperación de feeds determinada. En contadas ocasiones, los equipos se paran y se reinician, lo que puede dar lugar a que se vuelvan a obtener páginas que se han visitado recientemente.
¿Qué tipo de enlaces sigue Feedfetcher?
A diferencia de los rastreadores web normales, Feedfetcher no sigue enlaces, sino que aprovecha las solicitudes que le envían los usuarios de los servicios o aplicaciones que la utilizan.
La respuesta a mi pregunta de Feedfetcher no se encuentra en esta sección. ¿Dónde puedo encontrar más recursos de ayuda?
Si sigues teniendo problemas, prueba a preguntar en el foro del Centro de la Búsqueda.