网站管理员工具推出新的抓取错误提示

2012年7月24日星期二



发表者： Brian Malcolm ，网站管理员工具团队
原文： New Crawl Error alerts from Webmaster Tools


今天，我们推出了新的抓取错误提示，以帮助您随时了解自己网站的状态。

由于 Googlebot 会定期访问您的网站，所以我们知道，您的网站何时会出现展示连接问题或出现返回 HTTP 错误响应代码的失效页面（比如 404 文件未找到、 403 禁入、 503 服务不可用等等）。如果在 Googlebot 访问时，您的网站出现超时或系统性错误，那么，其他访问者可能也会遇到同样的问题！

当我们看到此类错误时，可能会以网站管理员工具 信息中心 消息的形式，向您发送提示信息，让您知道我们已经检测到的错误。基于这种强化的通信，希望您可以修复潜在问题，以免影响您网站的访问者，或您的网站在搜索结果中的显示效果。

正如我们在宣布推出新版网站管理员工具 抓取错误 功能的 博客 中所讨论的，我们将抓取错误分为两种类型：网站错误和 URL 错误。

对涉及 全站的主要问题的网站错误提示

网站错误显示无法连接到您的网站，代表的是系统性问题，而不是与特定网页相关的问题。这里列举了一些可能会导致网站错误的问题：

  • 您的 DNS 服务器关闭或配置错误。
  • 您的 Web 服务器本身防火墙关闭。
  • 您的 Web 服务器拒绝来自 Googlebot 的连接。
  • 您的 Web 服务器超载，或崩溃。
  • 您的网站的 robots.txt 无法访问。

对于网站来说，这些错误是总体性的问题。理论上，运营良好的网站是不应该出现这些错误的（而且，我们抓取的绝大部分网站也不会出现这样的错误）。如果 Googlebot 检 ​​ 测到这类网站错误 为数可观 ，不管您的网站规模如何，我们都会尽力以 信 息中心 消息的形式通知您：
网站错误提示示例

该 提示中提供了以下信息： Googlebot 在抓取您的网站时遇到的错误数量，您的网站的总体抓取错误连接比率，一个指向网络管理员工具相应版块、用来更加仔细地检查数据的链接地址，以及如何解决该问题的建议。

如果您的网站在其中某个类别中显示错误率为 100 % ，这可能意味着您的网站崩溃了或在某个方面配置错误。如果您的网站在任何一个类别中显示错误率小于 100 % ，可能说明这只是一种短暂的情形，但也有可能意味着您的网站超载或配置不当。您可能需要进一步调查这些原因，或到我们的 论坛 发帖咨询。

即使整体错误率非常低，我们可能也会向您发送提示消息 —— 按照以往的经验，一个配置良好的网站不应该出现这些类别中的任何错误。

对 URL 错误的异常提示

大部分的网站错误表明您的网站可能有配置错误、超载或停止运行的问题，但是， URL 错误（返回非 200 HTTP 代码的页面，或在出现软 404 错误的情况误返回 HTTP 200 代码的页面）则可能会发生在任何一个配置良好的网站。因为不同的网站拥有不同的网页数量和外部 ​​ 链接数量，所以有些能引起小网站严重问题的错误数量对于大型网站来说，可能就是完全正常的。

因此，对于 URL 错误来说，只有发现这五大错误类别（服务器错误，软 404 错误，拒绝访问错误，未发现或未遵循错误）中任何一种错误的数量出现大的上升波动后，我们才发出提示的原因。例如，您的网站通常情况下有 100 个页面出现 404 错误，如果这个数字的波动非常小，我们不会向您发送提示消息。然而，当这个计数达到更高的值时，比如 500 或 1000 ，我们可能会通知您。请记住，出现 404 错误并不总是坏事，因为这是一个健康网站的自然组成部分（请参阅我们以前的博客： 404 错误 会 损害 我的网站吗？ ）。


错误计数出现大幅上升，可能是因为您的网站上某些因素发生变化造成的 —— 或许是某次重新配置更改了网站上某个版块的权限，或许是某个脚本的新版本常规性崩溃，或许是有人不小心移动或删除了整个目录，又或许是您的网站重组导致外部链接失效等等。也有可能只是一个短暂的失效，或可能是由外部原因（有人链接到不存在的页面）引起的，所以也有可能根本就不是什么问题；但是当我们看到您的网站出现不寻常的巨大错误数量时，我们一定会通知您，让您能够就此展开调查：


URL 错误异常提示示例

该 提示消息中，列明了我们检测到错误计数急剧增加的网络错误类别，给出了一个指向网络管理员工具相应版块的链接地址，让您可以看到我们认为有问题的那些页面，并提供了排除故障的建议。

启用消息转发功能，将提示信息发送到您的收件箱
我们知道您的工作很忙，有时候会忘了查看 网 站 管 理员 工具 ，以确认是否有新的提示消息。那么您不妨考虑启用 消息转发 功能。我们会将所有的网站管理员工具消息发送到您提供的电子邮箱。

请将您的想法告知我们，如果您对我们的新提示有任何意见或建议，请 访问我们的 论坛 发表您的看法。