Что нужно знать о сканировании сайтов поисковыми роботами Google

Google сканирует общедоступный интернет уже более 30 лет, и нам регулярно задают вопросы о том, как работают наши поисковые роботы. Чтобы ответить на некоторые из них, мы подготовили несколько фактов о поисковых роботах Google и о том, как они помогают нам упорядочивать информацию со всего мира и предоставлять пользователям доступ к контенту в интернете.

Сканирование – это процедура, позволяющая Google "видеть" интернет

При сканировании автоматизированное ПО обнаруживает новые веб-страницы и анализирует их. Благодаря этому, когда вы ищете веб-страницу в Google, мы понимаем, что она существует, и можем включить ее в результаты поиска. Все поисковые системы используют сканирование, чтобы узнавать, какие страницы и информация есть в интернете. Чтобы узнать больше, посмотрите видео о том, как Google Поиск сканирует страницы.

У нас много поисковых роботов, выполняющих разные задачи

Googlebot – самый известный из них. Благодаря ему результаты в Google Поиске остаются актуальными. У нас также есть поисковые роботы, предназначенные для других сервисов, например Google Картинок и Google Покупок. Мы предоставляем полную документацию по наиболее часто используемым поисковым роботам и их назначению. У наших поисковых роботов легко узнаваемые названия агентов пользователя и известные интернет-адреса. Это позволяет владельцам сайтов убедиться, что к ним обращаются именно поисковые роботы Google.

Мы регулярно сканируем сайты, чтобы находить новые данные и показывать в результатах поиска актуальную информацию

Чтобы находить срочные новости, мы можем сканировать главные страницы информационных сайтов каждые несколько минут. А если мы заметим, что на странице ничего не меняется годами, можем подождать месяц перед повторным сканированием. Владельцы сайтов могут влиять на частоту повторного сканирования, используя файлы Sitemap, которые сообщают нам о новых и обновленных страницах.

Частое сканирование – это хороший знак.

Если мы часто сканируем ваш сайт, значит на его страницах есть свежий или очень востребованный контент, который люди хотят находить, и наши системы учитывают этот запрос. Например, мы часто сканируем сайты электронной торговли, чтобы в результатах поиска показывались актуальные цены, акции и сведения о наличии товаров.

Со временем роботы Google начали чаще сканировать страницы, поскольку те стали сложнее

Кроме того, мы часто сканируем страницы, чтобы понять, что на них есть. Наши поисковые роботы используют технологию отрисовки, которая позволяет загружать сайт полностью и видеть страницу так же, как ее видит реальный человек. За последние годы веб-страницы стали сложнее. Средний размер мобильной страницы вырос с 816 КБ до 2,3 МБ, и теперь для ее загрузки требуется более 60 различных файлов, от изображений до интерактивных компонентов. Чтобы получить полное представление о веб-странице, нам может потребоваться просканировать ее несколько раз. Это особенно актуально, если на ней постоянно появляются новые элементы.

Мы оптимизируем сканирование автоматически

Наши поисковые роботы разработаны так, чтобы работать эффективно и не создавать проблем для владельцев сайтов. Например, если сайт работает медленно или возвращает ошибки, частота сканирования автоматически меняется, чтобы не перегружать серверы сайта. Мы стараемся не сканировать страницы лишний раз, и для этого кешируем уже отсканированный контент. В ходе анализа сайта поисковые роботы распознают разделы, которые можно сканировать реже. Например, календари до 9999 года, наверное, не требуется сканировать полностью. Владельцы сайтов могут помочь нам, указав, какой контент не нужно сканировать. Это позволит им сэкономить на инфраструктуре, а также повысит эффективность работы интернета в целом.

Поисковые роботы Google никогда не анализируют без разрешения контент, который доступен только за плату или по подписке

По умолчанию, если страница отсутствует в открытом доступе, например когда для доступа к контенту требуется войти в аккаунт, наши поисковые роботы также не могут получить к ней доступ. Если вы хотите, чтобы Google мог перенаправлять пользователей на страницы с контентом, доступным по подписке, ознакомьтесь с рекомендациями для владельцев сайтов. Если вы решите предоставить нашим роботам доступ к контенту, доступному по подписке, то можете использовать структурированные данные, чтобы по-прежнему показывать посетителям экран входа, не нарушая при этом правила в отношении спама. Вы также можете запретить показ контента, доступного по подписке, в предварительном просмотре страниц, используя настройки предварительного просмотра.

Владельцы сайтов могут управлять тем, какой их контент доступен для сканирования и каким образом

Мы поддерживаем открытые веб-стандарты, например использование файла robots.txt, в котором владельцы сайтов могут указать, как поисковые роботы должны взаимодействовать с их страницами. Файл robots.txt и метатеги robots позволяют сайтам легко сообщать Google и другим сервисам, как получать доступ к контенту сайта. Владельцы сайтов могут блокировать показ страниц в Поиске. Они также могут сообщать нам о новом контенте, который нужно просканировать, с помощью файлов Sitemap. Кроме того, они могут управлять частотой сканирования своих сайтов с помощью лимита на сканирование.

Наши стандартные поисковые роботы всегда учитывают настройки сайтов, определяющие, как можно получать доступ к их контенту и использовать его

После сканирования мы можем использовать полученные данные несколько раз, чтобы не отправлять на сайты лишние повторные запросы. Даже когда эти данные используются повторно, мы продолжаем соблюдать правила, заданные в файле robots.txt, и настройки, которые мы предлагаем в рамках этого открытого веб-протокола. Например, с помощью токена Google-Extended в файле robots.txt сайты могут контролировать, будет ли их контент использоваться для обучения будущих версий моделей Gemini. Наличие токена Google-Extended не влияет на показ сайта в Поиске, и мы не используем Google-Extended в качестве фактора ранжирования в Поиске.

Мы предлагаем владельцам сайтов множество инструментов для управления сканированием, в том числе бесплатный сервис Google Search Console. В нем содержится информация о том, сколько страниц мы просканировали и почему. Кроме того, он помогает диагностировать проблемы, например сбои в работе сервера или низкую скорость подключения. Также в Search Console можно найти подробную информацию о том, как страницы сайта представлены в Поиске и как пользователи взаимодействуют с ними.

Наши поисковые роботы помогают пользователям находить в интернете нужную информацию, и мы постоянно работаем над тем, чтобы сделать их более эффективными.