Déboguer les erreurs réseau et DNS pour les robots d'exploration Google

Les erreurs réseau et DNS ont des effets négatifs rapides sur la capacité de Google à explorer une URL. Google traite les délais avant expiration du réseau, la réinitialisation de la connexion et les erreurs DNS de la même manière que les erreurs de serveur 5xx. En cas d'erreurs réseau, l'exploration se met immédiatement à ralentir, car une erreur réseau indique que le serveur ne peut pas gérer la charge de diffusion. Étant donné que Google n'a pas pu accéder au serveur qui héberge le site, Google n'a pas non plus reçu de contenu depuis le serveur.

Pour la recherche Google, le manque de contenu signifie que Google ne peut pas indexer les URL explorées. Les URL déjà indexées qui sont inaccessibles seront supprimées de l'index Google sous quelques jours. La Search Console peut générer des messages d'erreur pour chaque erreur.

Déboguer les erreurs réseau

Ces erreurs se produisent avant l'exploration de l'URL par Google ou pendant son exploration. Étant donné que ces erreurs peuvent se produire avant que le serveur ne réponde et avant qu'un code d'état ne permette d'identifier le problème, le diagnostic de ces erreurs peut être plus difficile. Pour déboguer les erreurs liées au délai avant expiration et à la réinitialisation de la connexion :

Examinez les paramètres et les journaux de votre pare-feu. Il se peut qu'une règle de blocage ne soit pas suffisamment précise. Assurez-vous que les adresses IP Google ne sont bloquées par aucune règle de pare-feu.
Examinez le trafic réseau. Utilisez des outils tels que tcpdump et Wireshark pour capturer et analyser les paquets TCP, puis recherchez les anomalies qui pointent vers un module ou un composant réseau spécifique.
Si vous ne trouvez rien de suspect, contactez votre hébergeur.

L'erreur peut provenir de n'importe quel composant de serveur qui gère le trafic réseau. Par exemple, les interfaces réseau surchargées peuvent ne pas traiter certains paquets, entraînant ainsi des délais avant expiration (impossibilité d'établir une connexion), et réinitialiser les connexions (paquet RST envoyé en raison de la fermeture par erreur d'un port).

Déboguer les erreurs DNS

Les erreurs DNS sont généralement dues à une mauvaise configuration, mais peuvent aussi être liées à une règle de pare-feu qui bloque les requêtes DNS de Google. Pour déboguer les erreurs DNS :

Examinez vos règles de pare-feu. Vérifiez qu'aucune adresse IP Google n'est bloquée par une règle de pare-feu, et que les requêtes UDP et TCP sont autorisées.
Examinez vos enregistrements DNS. Vérifiez que les enregistrements A et CNAME pointent respectivement vers les adresses IP et le nom d'hôte appropriés. Exemple :
```
dig +nocmd example.com a +noall +answer
```
```
dig +nocmd www.example.com cname +noall +answer
```

Vérifiez que tous vos serveurs de noms pointent vers les bonnes adresses IP de votre site. Exemple :

dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...

Si vous avez modifié votre configuration DNS au cours des dernières 72 heures, vous devrez peut-être attendre que vos modifications soient appliquées sur le réseau DNS global. Pour accélérer la propagation, vous pouvez vider le cache DNS public de Google.
Si vous exécutez votre propre serveur DNS, assurez-vous qu'il est opérationnel et qu'il n'est pas surchargé.