Edu Pereda

2020 年 9 月 21 日，星期一 去年，我们面向开源领域发布了在生产系统中使用的 robots.txt 解析器和匹配器 。从那时起，我们发现人们使用它构建新工具、向开源库 贡献内容 （有效改进了我们的生产系统，由衷感谢大家！），并发布新的语言版本（如 golang 和 rust ），这可让开发者更轻松地构建新工具。 Google 的实习季即将结束，我们想在此重点介绍两项与 robots.txt 相关的新功能，这两项新功能是 Google 搜索开源团队的两名实习生开发的，他们是

2019 年 7 月 1 日，星期一 25 年来， robots 协议 只是一项通行标准。这有时会产生令人不快的影响。一方面，对于网站站长来说，这意味着在极端情况下会出现不确定性，例如在文本编辑器的 robots.txt 文件中包含 BOM 字符时。另一方面，对于抓取工具和工具开发者来说，它还带来了不确定性；例如，它们该如何处理大小为数百兆字节的 robots.txt 文件？ 今天， 我们宣布 ，我们将带头使 REP 成为一项互联网标准。这是重要的一步，但对于解析 robots.txt