新信息中心关于检测爬虫错误增长的通知

2010年8月4日星期三


发表者: Pooja Shah Jonathan Simon

原文链接: New Message Center notifications for detecting an increase in Crawl Errors

网站站长级别:所有

Googlebot 抓取您的网站时,大多数 URL 地址将会返回一个 200 回应代码,有些是 404 回应代码,有些则被 robots.txt 禁止抓取。如果我们无法访问您的内容,我们会在网站站长工具的 爬虫错误 Crawl errors )上显示该信息(尽管这可能是有意的,本质上来说并不是一个错误)。当我们检测到影响特定网站的爬虫错误数目明显增加时,我们将发送 SiteNotice 信息,向网站站长提供实用的可操作信息。这些通知旨在警告您与爬虫相关的潜在问题,并提供一组 URL 地址模板用来诊断和修复这些问题.

例如,不可访问的 URL 地址数目明显增加时, SiteNotice 将如下所示:


我们希望您能注意到, SiteNotices 可以帮您识别和处理那些稍不注意就可能对爬虫覆盖率带来负面影响的问题。只有您在网站站长工具中验证了您的网站,同时检测到您的网站爬虫错误数目显著变化时,您才会收到这些通知。如果您不希望遗漏任何重要信息,您可以使用 电子邮件转发功能 ,在收件 箱中接收这些警告通知。

如果您有任何问题,请发布在我们的 网站站长帮助论坛 中或在此留下您的意见。