Отладка страниц

Общие рекомендации

Помните, что робот Googlebot сканирует страницы не сразу после их публикации. Даже если вы устраните проблему на странице, сообщение об ошибке может наблюдаться в Search Console и Google Поиске до следующего сканирования. В некоторых случаях можно запросить срочное сканирование, например при помощи инструмента проверки URL, но обычно данные обновляются через несколько дней.

Полезные инструменты для проверки

Ниже приведен список инструментов, которые могут помочь вам в отладке страниц.

Инструменты для подтвержденных владельцев сайтов

Чтобы использовать перечисленные ниже инструменты и отчеты, нужно подтвердить право собственности на сайт. Это требование связано с наличием в Search Console конфиденциальной информации о сайтах, доступ к которой должен быть только у их владельцев.

  • Search Console – сервис с инструментами для тестирования сайта и сбора статистики по нему, часть из которых перечислена ниже. Чтобы получить доступ к ним, зарегистрируйтесь в Search Console и подтвердите право собственности на сайт.
  • Отчеты о статусе расширенных результатов позволяют проверять, удается ли роботу Googlebot считывать определенные расширенные результаты с вашего сайта, и предоставляют вам информацию, которая поможет вам исправлять ошибки в расширенных результатах. Устранив их, вы сможете оперативно запросить повторное сканирование сайта. Вы не можете самостоятельно отправить желаемый URL на проверку с помощью этого инструмента.
  • Инструмент проверки URL дает возможность узнать, как ваша страница выглядит в индексе Google, протестировать опубликованную версию страницы, выяснить, как Google отображает ваш контент, и запросить индексирование определенного URL.
  • Отчет о файлах robots.txt позволяет выяснить, могут ли роботы Google обрабатывать ваши файлы robots.txt. В чрезвычайных ситуациях можно также запросить повторное сканирование файла robots.txt.
  • Отчет о статусе AMP-страниц содержит информацию об ошибках на AMP-страницах, которые были обнаружены роботом Googlebot во время сканирования. Неполадки выявляются во время планового сканирования ресурса. Вы не можете самостоятельно отправить отдельный URL на проверку с помощью этого инструмента.

Инструменты, не требующие авторизации

Для доступа к этим инструментам не требуется подтверждать право собственности на сайт. Используйте их с любыми URL. В некоторые инструменты можно вставлять фрагменты кода.

Если доступ к странице ограничен брандмауэром или она размещена на компьютере, для ее проверки вы можете использовать туннель. Подробнее о проверке страниц, размещенных на компьютере или недоступных из-за брандмауэра…

Другие инструменты

Дополнительные ресурсы и прочую полезную информацию можно найти в нашем Справочном центре.

Проверка страниц, размещенных на компьютере или недоступных из-за брандмауэра

Для тестирования уже опубликованных в интернете ресурсов компания Google предлагает ряд решений, например инструменты проверки AMP-страниц и расширенных результатов. Если же доступ к странице ограничен брандмауэром или она размещена на компьютере (без общедоступного URL), вы можете протестировать ее на этапе разработки до публикации, создав туннель к нужному инструменту.

Вам понадобится использовать сервис для туннелирования, например ngrok. Он позволит создать URL для общего доступа к странице, размещенной на компьютере или защищенном сервере.

Из примера ниже вы узнаете, как разместить страницу на компьютере с помощью модуля SimpleHTTPServer на Python, а затем открыть к ней доступ, используя ngrok.

Шаг 1

Запустите локальный HTTP-сервер и разместите страницу на заданном порте. В примере ниже используется порт 5326.

Модуль SimpleHTTPServer устанавливает текущий каталог в качестве корневого для сайта.

 python3 -m http.server 5326
Serving HTTP on 0.0.0.0 port 5326
...

Шаг 2

На другом компьютере запустите локальное приложение ngrok в режиме прослушивания порта 5326, который был открыт на шаге 1. 

 ./ngrok http 5326 --request-header-add ngrok-skip-browser-warning:1
ngrok by @inconshreveable (Ctrl+C to quit)

Session Status online
Version 2.2.4
Region United States (us)
Web Interface http://127.0.0.1:4040
Forwarding http://ad0a5735.ngrok.io -> localhost:5326
Forwarding https://ad0a5735.ngrok.io -> localhost:5326

Connections ttl opn rt1 rt5 p50 p90
0 0 0.00 0.00 0.00 0.00

Шаг 3

Вставьте URL, полученный от ngrok, в нужный инструмент проверки.

Корневой URL в нашем примере – http://ad0a5735.ngrok.io. Если страница хранится на компьютере по адресу ~/testwebdir/mypage.html, а сервер был запущен из родительского каталога ~/testwebdir/, можно протестировать URL http://ad0a5735.ngrok.io/mypage.html. Для этого понадобится вставить его в инструмент проверки расширенных результатов или перейти по адресу https://search.google.com/test/rich-results/result?url=http%3A%2F%2Fad0a5735.ngrok.io%2Fmypage.html.

Обратите внимание, что принцип обработки страниц зависит от локального хоста и сервиса для туннелирования.

Некоторые сервисы для туннелирования (отличные от ngrok) могут автоматически заблокировать доступ к временному общедоступному URL, используя файл robots.txt. Из-за этого использовать инструменты проверки Google не получится. Инструменты проверки Google учитывают правила из файла robots.txt. Предварительно ознакомьтесь с документацией к сервису для туннелирования и ПО для веб-хостинга.

Устранение проблем с доступом

Если инструменту проверки Google не удается получить доступ к странице, выполните следующие действия:

  • Убедитесь, что для доступа не требуется авторизация и что он не заблокирован в файле robots.txt.
  • Попробуйте открыть страницу на другом компьютере, в режиме инкогнито Chrome или минуя защиту брандмауэра.