用搜索引擎机器人的语言交流

发表者：Sean Harding，网站管理员工具小组

原文： Speaking the language of robots
发表于：2008年3月27日星期四，下午1:27

我们都知道 谷歌机器人是非常友好的 。就像所有的友好的搜索引擎机器人一样，他耐心地听取我们的意见并且尊重我们的意愿不去爬行任何我们不希望它爬行的网站部分。我们可以仅仅给他一个robots.txt文件说明什么是我们希望他做的，然后他就会愉快地遵从。但是如果我们迫不得已只能与谷歌机器人直接交流呢？毕竟，不是所有的人都熟悉 robots.txt文件 的语言。这就是我们为什么如此高兴地向您介绍一款专属于您的搜索引擎机器人翻译工具： 网站管理员工具 中的robots.txt生成器。它旨在为您提供一个既简单又互动的方式去建立一个robots.txt文件。它的操作非常简单，您只需输入您不希望搜索引擎机器人爬行的文件和目录即可。

或者，如果您需要的话，您可以为特定的搜索引擎机器人或您网站的特定区域建立更加细致的规则。


当您完成了对生成器的配置之后，您可以利用我们的 robots.txt分析工具 检测新生成的robots.txt文件的效果。如果测试无误，您只需将生成的文件保存在您网站的根目录下即可。除此之外，这里还有一些关于robots.txt文件的重要事实希望您能牢记：

• 不是所有的搜索引擎都支持robots.txt文件的所有扩展
  
  Robots.txt生成器可以生成谷歌机器人能够理解和识别的文件，而且绝大多数搜索引擎机器人也都能够正确识别。但是，一些例外情况也是存在的，或许有一些搜索引擎机器人不能完全识别生成器生成的所有特性。
  

• Robots.txt文件仅仅是一个请求
  
  尽管在主要搜索引擎上极为少见，搜索引擎中还是有一些肆无忌惮的搜索引擎机器人会无视robots.txt的内容，对禁止访问的网站区域也进行爬行。如果您有一些需要进行彻底保护的敏感信息，您应该设置访问密码来对它们加以保护，而不是仅仅依赖于robots.txt文件。

我们希望这个新工具能够帮助您将自己的意愿与谷歌机器人和其他访问您网站的搜索引擎机器人进行更顺畅的沟通。如果您想了解更多关于robots.txt文件的情况，请访问我们的 帮助中心 。如果您想就robots.txt和搜索引擎机器人的有关问题与其他网站管理员进行交流的话，请访问我们的 谷歌网站管理员支持论坛 。