2010年12月23日星期四
原文： Controlling crawling and indexing now documented on code.google.com
您知道谷歌机器人何处理您
robots.txt
文件中的冲突指令吗？您知道如何防止一个
PDF
文件被索引吗？您知道谷歌机器人最喜欢的歌曲吗？这些问题的答案（除了最后一个
:)
），还有众多关于控制您的网站搜索和索引的其他信息，现在都可以在
code.google.com
上查询到。
搜索
和索引
控制
现在，网站所有者有了一个综合而全面的资源，他们可以在此了解robots.txt文件、robots元标签以及X-Robots-Tag的HTTP标头指令。欢迎与我们分享您的评论，如果您有任何疑问，欢迎到网站管理员帮助论坛与我们讨论。