Introdução ao robots.txt

Um arquivo robots.txt informa aos rastreadores do mecanismo de pesquisa quais URLs podem ser acessados no seu site. Esse recurso é usado principalmente para evitar a sobrecarga do site com solicitações e não funciona como um mecanismo para manter uma página da Web fora dos resultados da pesquisa do Google. Para fazer isso, bloqueie a indexação com noindex ou proteja a página com uma senha.

Para que serve um arquivo robots.txt?

Ele é usado principalmente para gerenciar o tráfego do rastreador no seu site e, em alguns casos, para manter um arquivo fora do Google, dependendo do tipo de arquivo:

Limitações de um arquivo robots.txt

Antes de criar ou editar um arquivo robots.txt, é necessário conhecer os limites desse método de bloqueio de URL. Dependendo das suas metas e situação, talvez seja melhor considerar outros mecanismos para garantir que os URLs não sejam encontrados facilmente na Web.

• As regras do arquivo robots.txt podem não ser compatíveis com todos os mecanismos de pesquisa.
  As instruções nos arquivos robots.txt não podem impor o comportamento do rastreador no seu site. Cabe ao rastreador obedecer ou não. Embora o Googlebot e outros rastreadores da Web confiáveis sigam as instruções de um arquivo robots.txt, elas podem não ser obedecidas por outros rastreadores. Por isso, caso você não queira que os rastreadores da Web acessem suas informações, é recomendado o uso de outros métodos de bloqueio, como a proteção por senha de arquivos particulares no seu servidor.
• Rastreadores diferentes interpretam a sintaxe de maneiras distintas.
  Embora os rastreadores da Web confiáveis sigam as regras de um arquivo robots.txt, cada rastreador pode interpretar essas instruções de maneira diferente. É importante saber a sintaxe apropriada para atender a diferentes rastreadores da Web, porque alguns podem não entender todas as instruções.
• Uma página não permitida no arquivo robots.txt ainda vai poder ser indexada se estiver vinculada a outros sites.
  Embora o Google não rastreie nem indexe o conteúdo bloqueado por um arquivo robots.txt, ainda podemos encontrar e indexar um URL desabilitado de outros locais da Web. Como resultado, o endereço URL e talvez outras informações disponíveis publicamente, como texto âncora em links para a página, ainda podem aparecer nos resultados da pesquisa do Google. Para impedir de maneira adequada que seu URL apareça nos resultados da pesquisa do Google, proteja os arquivos no seu servidor com uma senha, use o cabeçalho da resposta ou a tag noindex meta ou remova toda a página.

Criar ou atualizar um arquivo robots.txt

Saiba como criar um arquivo robots.txt. Caso já tenha um, descubra como atualizar o arquivo.