Comment Google interprète la spécification robots.txt

Les robots d'exploration automatiques de Google sont compatibles avec le protocole d'exclusion des robots. Cela signifie qu'avant l'exploration d'un site, les robots d'exploration de Google téléchargent et analysent son fichier robots.txt afin de déterminer les sections qui peuvent être explorées. Ce protocole ne s'applique pas aux robots d'exploration Google contrôlés par les utilisateurs (abonnements à des flux, par exemple) ni aux robots d'exploration conçus pour renforcer la sécurité des internautes (analyse des logiciels malveillants, par exemple).

Cette page décrit l'interprétation du protocole d'exclusion des robots par Google. Pour connaître la version d'origine, consultez la norme RFC 9309.

Qu'est-ce qu'un fichier robots.txt ?

Si vous ne souhaitez pas que les robots d'exploration accèdent à certaines sections de votre site, vous pouvez créer un fichier robots.txt avec des règles spécifiques. Un fichier robots.txt est un fichier texte simple qui contient des règles indiquant quels robots peuvent accéder à quelles sections d'un site. Par exemple, le fichier robots.txt correspondant à example.com peut se présenter comme suit :

# This robots.txt file controls crawling of URLs under https://example.com.
# All crawlers are disallowed to crawl files in the "includes" directory, such
# as .css, .js, but Google needs them for rendering, so Googlebot is allowed
# to crawl them.
User-agent: *
Disallow: /includes/

User-agent: Googlebot
Allow: /includes/

Sitemap: https://example.com/sitemap.xml

Si vous ne connaissez pas les principes de base du fichier robots.txt, commencez par consulter cette présentation. Vous trouverez également des conseils pour créer un fichier robots.txt.

Emplacement du fichier et plage de validité

Vous devez placer le fichier robots.txt dans le répertoire racine d'un site, en utilisant un protocole compatible. Tout comme les autres URL, l'URL du fichier robots.txt est sensible à la casse. Dans le cas de la recherche Google, les protocoles acceptés sont HTTP, HTTPS et FTP. Avec HTTP et HTTPS, les robots d'exploration récupèrent le fichier robots.txt avec une requête GET non conditionnelle HTTP. Avec le protocole FTP, les robots d'exploration utilisent une commande RETR (RETRIEVE) standard avec une connexion anonyme.

Les règles répertoriées dans le fichier robots.txt s'appliquent seulement à l'hôte, au protocole et au numéro de port sur lesquels le fichier robots.txt est hébergé.

Exemples d'URL de fichiers robots.txt valides

Le tableau suivant contient des exemples d'URL de fichiers robots.txt et les chemins d'accès pour lesquels elles sont valides. La première colonne contient l'URL d'un fichier robots.txt et la deuxième colonne contient les domaines auxquels le fichier robots.txt s'appliquerait ou non.

Gérer les erreurs et les codes d'état HTTP

Lorsque vous demandez un fichier robots.txt, le code d'état HTTP de la réponse du serveur influe sur la façon dont ce fichier robots.txt sera utilisé par les robots d'exploration Google. Le tableau suivant récapitule la façon dont Googlebot traite les fichiers robots.txt pour différents codes d'état HTTP.

Mise en cache

Google met généralement en cache le contenu du fichier robots.txt pendant 24 heures, mais peut rallonger cette durée si l'actualisation de la version mise en cache n'est pas possible (en raison d'un délai d'inactivité ou de l'erreur 5xx, par exemple). La réponse mise en cache peut être partagée par différents robots d'exploration. Nous pouvons augmenter ou diminuer la durée de vie du cache avec des en-têtes HTTP max-age Cache-Control.

Format de fichier

Le fichier robots.txt doit être un fichier de texte brut encodé en UTF-8. Ses lignes doivent être séparées par CR, CR/LF ou LF.

Google ignore les lignes non valides des fichiers robots.txt, y compris l'indicateur d'ordre des octets (BOM) Unicode au début du fichier, et n'utilise que les lignes valides. Par exemple, si le contenu téléchargé est au format HTML au lieu de règles de fichier robots.txt, Google essaie d'analyser le contenu et d'extraire les règles, puis ignore tout le reste.

De même, si l'encodage des caractères du fichier robots.txt n'est pas UTF-8, Google peut ignorer les caractères qui ne font pas partie de la plage de caractères UTF-8, ce qui pourrait invalider les règles du fichier robots.txt.

Google applique actuellement une limite de taille de fichier robots.txt de 500 kibioctets (Kio). Tout contenu qui dépasse cette taille est ignoré. Pour réduire la taille du fichier robots.txt, consolidez les règles susceptibles d'entraîner la création d'un fichier robots.txt surdimensionné. Par exemple, placez le contenu exclu dans un répertoire distinct.

Syntaxe

Les lignes robots.txt valides se composent d'un champ, du deux-points et d'une valeur. Les espaces sont facultatifs, mais recommandés pour améliorer la lisibilité. Les espaces au début et à la fin de la ligne sont ignorés. Pour inclure un commentaire, ajoutez le caractère # au début de la ligne. Gardez à l'esprit que tout ce qui suit le caractère # sera ignoré. Le format général est <field>:<value><#optional-comment>.

Google accepte les champs suivants :

• user-agent : identifie le robot d'exploration auquel les règles s'appliquent.
• allow : chemin d'URL à explorer.
• disallow : chemin d'URL à ne pas explorer.
• sitemap : URL complète d'un sitemap.

Les champs allow et disallow sont également appelés règles (ou directives). Ces règles sont toujours spécifiées sous la forme rule: [path] où [path] est facultatif. Par défaut, il n'existe pas de restrictions d'exploration pour les robots d'exploration désignés. Les robots d'exploration ignorent les règles sans [path].

Si elle est spécifiée, la valeur [path] est relative à la racine du site Web à partir duquel le fichier robots.txt a été exploré (en utilisant les mêmes protocole, numéro de port, hôte et noms de domaine). La valeur du chemin doit commencer par / pour désigner la racine. Elle est sensible à la casse. En savoir plus sur la correspondance des URL en fonction des valeurs des chemins

user-agent

La ligne user-agent identifie les robots d'exploration auxquelles les règles s'appliquent. Pour obtenir la liste complète des chaînes de user-agent que vous pouvez utiliser dans votre fichier robots.txt, consultez la page consacrée à nos robots d'exploration et à nos chaînes de user-agent.

La valeur de la ligne user-agent n'est pas sensible à la casse.

disallow

La règle disallow spécifie les chemins auxquels les robots d'exploration identifiés par la ligne user-agent avec laquelle la règle disallow est regroupée ne doivent pas avoir accès. Si aucun chemin n'est spécifié, les robots d'exploration ignorent la règle.

Google ne peut pas indexer le contenu des pages dont l'exploration n'est pas autorisée, mais peut tout de même indexer l'URL et l'afficher dans les résultats de recherche sans extrait. Découvrez comment bloquer l'indexation.

La valeur de la règle disallow est sensible à la casse.

Utilisation :

disallow: [path]

allow

La règle allow spécifie les chemins auxquels les robots d'exploration désignés peuvent accéder. Si aucun chemin n'est spécifié, les robots d'exploration ignorent la règle.

La valeur de la règle allow est sensible à la casse.

Utilisation :

allow: [path]

sitemap

Google, Bing et d'autres moteurs de recherche connus acceptent le champ sitemap dans le fichier robots.txt, tel que défini par sitemaps.org.

La valeur du champ sitemap est sensible à la casse.

Utilisation :

sitemap: [absoluteURL]

La ligne [absoluteURL] pointe vers l'emplacement d'un sitemap ou d'un fichier d'index de sitemaps. Il doit s'agir d'une URL complète, comprenant le protocole et l'hôte. Elle ne doit pas nécessairement être encodée au format URL. L'URL n'a pas besoin non plus d'être hébergée au même endroit que le fichier robots.txt. Vous pouvez spécifier plusieurs champs sitemap. Le champ "sitemap" n'est associé à aucun user-agent spécifique et peut être suivi par tous les robots d'exploration, à condition que l'exploration soit autorisée.

Exemple :

user-agent: otherbot
disallow: /kale

sitemap: https://example.com/sitemap.xml
sitemap: https://cdn.example.org/other-sitemap.xml
sitemap: https://ja.example.org/テスト-サイトマップ.xml

Regroupement de lignes et de règles

Vous pouvez regrouper les règles qui s'appliquent à plusieurs user-agents en répétant les lignes user-agent pour chaque robot.

Exemple :

user-agent: a
disallow: /c

user-agent: b
disallow: /d

user-agent: e
user-agent: f
disallow: /g

user-agent: h

Cet exemple comprend quatre groupes de règles distincts :

• Un groupe pour le user-agent "a"
• Un groupe pour le user-agent "b"
• Un groupe pour les user-agents "e" et "f"
• Un groupe pour le user-agent "h"

Pour obtenir la description technique d'un groupe, consultez le paragraphe 2.1 du protocole d'exclusion des robots.

Ordre de priorité des user-agents

Un seul groupe est valide pour un robot d'exploration particulier. Pour déterminer le groupe de règles approprié, les robots d'exploration Google recherchent dans le fichier robots.txt celui dont le user-agent correspond le plus spécifiquement possible au user-agent du robot d'exploration. Les autres groupes sont ignorés. Tout texte qui ne correspond pas est ignoré (par exemple, googlebot/1.2 et googlebot* sont équivalents à googlebot). L'ordre des groupes dans le fichier robots.txt n'est pas pris en compte.

S'il existe plusieurs groupes pour un user-agent, toutes les règles des groupes qui lui sont applicables sont combinées dans un seul et même groupe. Les groupes spécifiques à un user-agent et les groupes généraux (*) ne sont pas combinés.

Exemples

Correspondance des champs user-agent

user-agent: googlebot-news
(group 1)

user-agent: *
(group 2)

user-agent: googlebot
(group 3)

Voici la façon dont les robots d'exploration sélectionneraient le groupe approprié :

Regroupement de règles

Si un fichier robots.txt contient plusieurs groupes pertinents pour un user-agent spécifique, les robots d'exploration Google fusionnent ces groupes en interne. Exemple :

user-agent: googlebot-news
disallow: /fish

user-agent: *
disallow: /carrots

user-agent: googlebot-news
disallow: /shrimp

Les robots d'exploration regroupent les règles en fonction du user-agent. Exemple :

user-agent: googlebot-news
disallow: /fish
disallow: /shrimp

user-agent: *
disallow: /carrots

Les règles autres que allow, disallow et user-agent sont ignorées par l'analyseur robots.txt. En d'autres termes, l'extrait robots.txt suivant est traité comme un groupe. Dès lors, les attributs user-agent a et b sont tous les deux concernés par la règle disallow: / :

user-agent: a
sitemap: https://example.com/sitemap.xml

user-agent: b
disallow: /

Lorsque les robots d'exploration traitent les règles du fichier robots.txt, ils ignorent la ligne sitemap. Voici un exemple de la façon dont les robots d'exploration peuvent interpréter l'extrait robots.txt précédent :

user-agent: a
user-agent: b
disallow: /

Correspondance d'URL en fonction des valeurs des chemins

Google utilise la valeur du chemin d'accès dans les règles allow et disallow pour déterminer si une règle s'applique à une URL spécifique d'un site. Pour ce faire, la règle est comparée au composant du chemin d'URL que le robot d'exploration tente de suivre. Les caractères ASCII non encodés en 7 bits dans un chemin d'accès peuvent être inclus sous forme de caractères UTF-8 ou de caractères d'échappement encodés en UTF-8 sous forme de pourcentage conformément à la RFC 3986.

Seuls certains caractères génériques pour les valeurs de chemin sont compatibles avec Google, Bing et les autres moteurs de recherche connus. Ces caractères génériques sont les suivants :

• * désigne 0 ou plusieurs instances d'un caractère valide.
• $ désigne la fin de l'URL.

Le tableau suivant montre comment les différents caractères génériques affectent l'analyse :

Ordre de priorité des règles

Lors de la mise en correspondance des règles robots.txt avec les URL, les robots d'exploration utilisent la règle la plus spécifique en fonction de la longueur de son chemin. Dans le cas de règles contradictoires, y compris celles comportant des caractères génériques, Google utilise la règle la moins restrictive.

Les exemples suivants illustrent la règle appliquée par les robots d'exploration Google pour une URL donnée.

allow: /p
disallow: /

allow: /folder
disallow: /folder

allow: /page
disallow: /*.htm

allow: /page
disallow: /*.ph

allow: /$
disallow: /

allow: /$
disallow: /