2012 年 3 月 12 日,星期一
“抓取错误”是网站站长工具中最受欢迎的功能之一,现在我们将推出一些非常重要的增强功能,让“抓取错误”更加实用。
我们现在可检测并报告许多新类型的错误。为了帮助您了解新数据,我们将错误分为了两个部分,即“网站错误”和“网址错误”。
网站错误
网站错误不是特定网址存在的错误,而是会影响整个网站的错误。 这些错误包括 DNS 解析失败、网络服务器连接问题以及 robots.txt 文件提取问题。以前,我们会通过网址报告这些错误,但这并没有多大意义,因为它们并不是特定网址存在的错误 - 事实上,此类错误甚至会导致 Googlebot 无法请求网址!现在,我们会跟踪记录每种网站级错误的故障率。此外,当这些错误发生得非常频繁,足以引起注意时,我们还会尝试向您发送提醒。
此外,如果您的网站目前没有(而且最近也未出现过)这些方面的问题,就像许多网站一样,那么我们不会在此部分提供相关数据,而是会显示一些表示正常的对勾标记,让您知道一切都很好。
网址错误
网址错误是特定网页存在的错误。这意味着 Googlebot 在尝试抓取相应网址时,能够解析您的 DNS、连接到您的服务器、提取并读取您的 robots.txt 文件,然后请求该网址,但之后发生了问题。我们会根据导致错误的原因,将网址错误划分为不同的类别。如果您的网站提供 Google 新闻或移动 (CHTML/XHTML) 数据,我们会通过单独的类别来列出这些错误。
去繁求简
过去,对于每种类型,我们最多显示 10 万个错误。尝试消化所有这些信息就像用消防水管喝水一样,信息量太多,您无法知道哪些错误影响巨大(例如首页无法打开),哪些错误的影响不太大(例如在某人的个人网站中,指向您网站的链接有拼写错误)。此外,没有切合实际的方式来查看所有 10 万个错误 - 无法排序,无法搜索,也无法标记进度。因此,在此功能的新版本中,我们专注于设法仅列出影响巨大的错误。对于每个类别,我们会提供我们认为影响巨大且您可以采取措施进行修正的 1000 个错误。您可以对这前 1000 个错误进行排序和过滤,在您认为自己已修正这些错误时告诉我们,并可以查看关于这些错误的详细信息。
某些网站有超过 1000 个特定类型的错误,因此我们仍会提供每种错误的错误总数,以及一个显示过去 90 天历史数据的图表。鉴于您可能会担心 1000 个错误的详细信息加上错误总数无法满足要求,我们正在考虑添加程序化访问方式 (API),以便您下载所有错误,因此如果您需要更多信息,请向我们提供反馈。
我们还移除了被 robots.txt 屏蔽的网页的列表,因为虽然有时这些网页有助于诊断 robots.txt 文件存在的问题,但它们往往都是您故意屏蔽的。为了突出显示错误,我们很快将会在“抓取工具的权限”功能中的“网站配置”下方显示被 robots.txt 屏蔽的网址的相关信息,敬请留意。
深入了解详细信息
点击主列表中的每个错误网址都会调出一个显示额外信息的详细信息窗格,其中包含我们上次尝试抓取相应网址的时间、我们首次发现问题的时间以及错误的简要说明。
在详细信息窗格中,您可以点击导致错误的网址的链接,看看自己在尝试访问该网址时会发生什么情况。您还可以将错误标记为“已修正”(稍后会详细介绍!)、查看关于具体错误类型的帮助内容、列出包含相应网址的站点地图、查看链接到该网址的其他网页,甚至可以让 Googlebot 立即抓取该网址,以便获取更多信息或再次确认是否确实已修正错误。
行动起来!
这个新版本的“抓取错误”功能让我们感到非常兴奋的一点是,您可以真正专注于优先修正影响巨大的错误。我们已对错误进行排序,以便在优先顺序列表顶部列出您可以采取措施的错误,例如采取以下措施:修复您自己网站上损坏的链接,解决服务器软件中的问题,更新站点地图以去除无效网址,或添加 301
重定向来引导用户前往“实际”页面。我们会根据多种因素来确定优先顺序,包括您是否将相应网址纳入到站点地图中、有多少个位置链接到了该网址(以及其中是否有任何位置也在您的网站中),以及该网址最近是否从搜索中获得了任何流量。
如果您是具有完整访问权限的用户,在您认为自己已解决问题后(可以要求 Googlebot 抓取网址来测试问题是否已解决),可以将错误标记为“已修正”来告知我们。 这会使相应错误从列表中移除。将来,您标记为“已修正”的错误将不会包含在主要错误列表中,除非我们在尝试重新抓取相应网址时遇到了同样的错误。
我们在新的“抓取错误”功能方面做了大量工作,希望该功能对您来说非常有用。请将您的想法告诉我们。如果您有任何建议,请访问我们的论坛!