Как устранять ошибки DNS и сети, влияющие на работу поисковых роботов Google

Ошибки сети и DNS отрицательно сказываются на способности роботов Google сканировать URL. Роботы Google интерпретируют тайм-ауты сети, факты сброса подключения и ошибки DNS так же, как и ошибки серверов 5xx. В случае ошибок сети сканирование сразу же замедляется, так как они означают, что сервер может не справиться с нагрузкой. Так как роботы Google не смогли получить доступ к серверу, на котором размещен сайт, значит, им не удалось извлечь контент.

В результате Google не может проиндексировать ранее просканированные URL, а недоступные нашим роботам URL, которые уже были проиндексированы, будут удалены из индекса Google в течение нескольких дней. Search Console может создавать сообщения о каждой возникающей ошибке.

Как устранять ошибки сети

Эти ошибки возникают до того, как Google начинает сканирование URL, или во время этого процесса. Так как они могут присутствовать до ответа сервера, из-за отсутствия кода статуса диагностика этих ошибок может вызывать трудности. Чтобы устранить ошибки тайм-аута и сброса подключения, сделайте следующее:

  • Проверьте настройки брандмауэра и записи в журнале. У вас может быть задано слишком общее правило блокировки. Убедитесь, что ни одно правило брандмауэра не блокирует IP-адреса Google.
  • Проанализируйте сетевой трафик с помощью таких инструментов как tcpdump и Wireshark. Они помогут вам найти в пакетах TCP аномалии, относящиеся к определенному сетевому компоненту или модулю сервера.
  • Если вы не можете найти ничего подозрительного, обратитесь в свою хостинговую компанию.

Ошибка может относиться к любому серверному компоненту, который обрабатывает сетевой трафик. Возможно, что перегруженные интерфейсы сети не могут передавать пакеты и это приводит к тайм-аутам (невозможности установить подключение) и сбросу подключений (отправляется пакет RST, так как порт был закрыт по ошибке).

Как устранять ошибки DNS

Ошибки DNS чаще всего вызваны неправильной конфигурацией, но могут также возникать из-за правил брандмауэра, которые блокируют DNS-запросы Google. Чтобы устранить ошибки DNS, сделайте следующее:

  • Проверьте правила брандмауэра. Нужно, чтобы ни одно из них не блокировало IP-адреса Google и чтобы были разрешены запросы как по протоколу UDP, так и по протоколу TCP.
  • Проверьте записи DNS. Убедитесь, что записи A и CNAME ведут на правильные IP-адреса и имена хостов. Пример: 
    dig +nocmd example.com a +noall +answer
     
    dig +nocmd www.example.com cname +noall +answer
  • Убедитесь, что все ваши DNS-серверы указывают на правильные IP-адреса вашего сайта. Пример: 
    dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...
  • Если вы внесли изменения в конфигурацию DNS в течение последних 72 часов, на их применение во всей сети DNS может потребоваться некоторое время. Чтобы ускорить внедрение новых настроек, вы можете очистить общедоступный кеш DNS.
  • Если вы используете собственный DNS-сервер, убедитесь, что он исправен и не перегружен.