实用的 robots.txt 规则

下面是一些常见的实用 robots.txt 规则：

实用规则
禁止抓取整个网站

请注意，在某些情况下，Google 即使未抓取网站中的网址，仍可能将其编入索引。 

User-agent: *
Disallow: /
禁止抓取某一目录及其内容

在目录名后添加一道正斜线，即可禁止抓取整个目录。 

User-agent: *
Disallow: /calendar/
Disallow: /junk/
Disallow: /books/fiction/contemporary/
仅允许某一抓取工具访问网站内容

只有 googlebot-news 可以抓取整个网站。

User-agent: Googlebot-news
Allow: /

User-agent: *
Disallow: /
允许除某一抓取工具以外的其他所有抓取工具访问网站内容

Unnecessarybot 不能抓取相应网站，所有其他漫游器都可以。

User-agent: Unnecessarybot
Disallow: /

User-agent: *
Allow: /

禁止抓取某一网页

例如，禁止抓取位于 https://example.com/useless_file.html 的 useless_file.html 页面和 junk 目录中的 other_useless_file.html。 

User-agent: *
Disallow: /useless_file.html
Disallow: /junk/other_useless_file.html

禁止抓取除子目录以外的整个网站

抓取工具只能访问 public 子目录。

User-agent: *
Disallow: /
Allow: /public/

禁止 Google 图片访问某一特定图片

例如，禁止访问 dogs.jpg 图片。

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

禁止 Google 图片访问您网站上的所有图片

如果无法抓取图片和视频，则 Google 无法将其编入索引。

User-agent: Googlebot-Image
Disallow: /

禁止抓取某一特定文件类型的文件

例如，禁止抓取所有 .gif 文件。

User-agent: Googlebot
Disallow: /*.gif$

禁止抓取整个网站，但允许 Mediapartners-Google 访问内容

实施此规则会阻止您的网页显示在搜索结果中，但 Mediapartners-Google 网页抓取工具仍能分析这些网页，以确定要向访问您网站的用户显示哪些广告。 

User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /
使用 * 和 $ 通配符匹配以特定字符串结尾的网址

例如，禁止抓取所有 .xls 文件。

User-agent: Googlebot
Disallow: /*.xls$