Поисковая оптимизация сайта

Если ваш сайт уже показывается в Google и вы знакомы с основами поисковой оптимизации, то вам будет проще улучшить позиции сайта в результатах поиска. В процессе управления сайтом вам наверняка приходится сталкиваться со специфическими ситуациями, влияющими на результаты поиска Google. В этом руководстве описаны более сложные задачи поисковой оптимизации, такие как подготовка к переносу сайта или управление многоязычным ресурсом.

Как управлять сканированием и индексированием сайта роботами Google

Изучите руководство по принципам работы Google Поиска. Если вы не разберетесь в механизмах сканирования и индексирования страниц, а также показа результатов поиска, то вам будет сложно устранять неполадки и определять, как контент вашего сайта будет представлен в Google.

Страницы с идентичным контентом

Вы должны знать, что такое канонические страницы и как они влияют на сканирование и индексирование вашего сайта.

Ресурсы

Все страницы и ресурсы (изображения, файлы CSS и т. д.), которые нужно сканировать, должны быть доступны для Google, то есть не заблокированы правилами в файле robots.txt и доступны без входа в аккаунт. В противном случае они не попадут в отчет об индексировании страниц и будут показываться как непросканированные при использовании инструмента проверки URL. Этот инструмент позволяет узнавать, какие ресурсы заблокированы, но только на уровне отдельных страниц. Если у наших роботов не будет доступа к важным ресурсам страницы, то они не смогут корректно просканировать ее. Чтобы узнать, как робот Googlebot видит опубликованную страницу, перейдите в инструмент проверки URL.

Файлы robots.txt

Файлы Sitemap предназначены для того, чтобы упрощать сканирование веб-страниц, а правила в файле robots.txt – чтобы запрещать его. Блокируйте сканирование страниц с идентичным контентом и второстепенных ресурсов (например, мелких, часто встречающихся изображений, таких как значки и логотипы), чтобы не перегружать свой сервер запросами. Не пытайтесь предотвратить индексирование страниц с помощью файла robots.txt. Для этой цели больше подойдет тег с директивой noindex или обязательная авторизация. Подробнее…

Файлы Sitemap

С помощью файлов Sitemap вы можете сообщать Google о том, какие страницы на вашем сайте являются более важными, и отправлять нам дополнительную информацию (например, о частоте обновления материалов). Эти файлы также играют очень важную роль при сканировании нетекстового контента (например, изображений и видео). Google при сканировании не ограничивается страницами, которые перечислены в файлах Sitemap, но отдает им приоритет. Это особенно важно для сайтов с быстро меняющимся контентом и страниц, которые нельзя найти по ссылкам. Файлы Sitemap помогают Google обнаруживать страницы вашего ресурса и определять порядок их сканирования. Подробнее о файлах Sitemap…

Многоязычные сайты

Если у вашего сайта есть версии на разных языках или он предназначен для пользователей из разных стран, следуйте этим рекомендациям:

• Узнайте, как управлять мультирегиональными и многоязычными сайтами.
• Используйте атрибут hreflang, чтобы указать Google на локализованные версии своих страниц.
• Если контент сайта меняется в зависимости от того, где находится посетитель, то узнайте, как это может повлиять на его сканирование роботами Google.

Перенос страницы или сайта

Если вам нужно перенести страницу или сайт, следуйте инструкциям ниже.

Перенос страницы

Если вы перемещаете страницу навсегда, не забудьте включить для нее переадресацию 301. Если же вы переносите ее временно, возвращайте код 302, чтобы роботы Google продолжали сканирование.

Для большего удобства пользователей вы можете в ответ на запрос удаленной страницы показывать собственную страницу 404. Однако это должна быть настоящая ошибка 404, а не soft 404.

Перенос сайта

Если вы переносите целый сайт, настройте переадресацию 301 и обновите файлы Sitemap, а затем сообщите Google о переносе, чтобы мы начали сканировать новый сайт и переадресовывать сигналы, относящиеся к прежнему сайту. Подробнее о том, как переносить сайт…

Советы по оптимизации сканирования и индексирования

• Проследите за тем, чтобы роботы Google могли переходить по ссылкам.
• Используйте атрибут rel=nofollow для платных ссылок, а также ссылок, требующих входа в аккаунт или содержащих контент, который не проверяется (например, если он публикуется пользователями). В результате такие ссылки не будут влиять на оценку качества вашего ресурса, поскольку мы не будем учитывать относящиеся к ним сигналы.
• Лимит на сканирование: если у вас очень большой сайт, который содержит сотни миллионов периодически меняющихся или десятки миллионов часто меняющихся страниц, то Google вряд ли сможет полностью сканировать его с нужной вам периодичностью. Зачастую в таких случаях целесообразно сообщать нам о том, какие страницы следует сканировать в первую очередь. В настоящее время для этого лучше всего перечислить недавно обновленные или самые важные страницы сайта в файле Sitemap и скрыть менее важные страницы с помощью правил в файле robots.txt.
• Использование JavaScript: следуйте рекомендациям Google.
• Многостраничные статьи: если у вас есть статья, разбитая на несколько страниц, убедитесь, что на каждой из них есть хорошо заметная ссылка на следующую и/или предыдущую страницу и что роботы Google могут переходить по этим ссылкам. Этого достаточно для того, чтобы роботы Google просканировали все разделы статьи.
• Страницы с бесконечной прокруткой: чтобы бесконечная прокрутка не мешала сканированию, добавляйте версии контента с разбивкой на страницы. Подробнее о поисковой оптимизации страниц с бесконечной прокруткой…
• Блокируйте доступ к URL, которые меняются в результате определенных действий, таких как отправка комментария, создание аккаунта, добавление товара в корзину и т. д. Запретить доступ к таким URL можно с помощью файла robots.txt.
• Узнайте, файлы каких типов индексирует Google.
• Если вы сочтете, что наши роботы обращаются к вашему сайту слишком часто, попробуйте снизить частоту сканирования. Однако такая необходимость возникает редко.
• Если на вашем сайте применяется протокол HTTP, рекомендуем перейти на HTTPS. Это повысит безопасность – как вашу, так и посетителей.

Помогите Google анализировать ваш сайт

Основная информация на сайте должна быть представлена в виде текста, а не изображений. Хотя Google может анализировать и индексировать файлы различных типов, текстовый контент по-прежнему обрабатывается нашими алгоритмами наиболее точно и быстро. Если на вашем сайте есть не только текстовые материалы или если вы хотите указать дополнительные сведения о контенте, добавьте на страницы структурированные данные. Это позволит нам точнее интерпретировать содержание вашего сайта и в некоторых случаях обеспечивать вам доступ к дополнительным поисковым функциям, например показывать расширенные результаты поиска.

Если вы разбираетесь в HTML и умеете создавать несложный код, то можете добавить структурированные данные вручную в соответствии с инструкциями для разработчиков. Упростить процесс можно с помощью Мастера разметки структурированных данных, который работает по принципу наглядности.

Если вы не можете добавлять структурированные данные на страницы, воспользуйтесь Маркером, чтобы сообщить Google, какую информацию содержит тот или иной раздел страницы (дату, цену, название и т. д.). Это несложно, но если вы поменяете дизайн страницы, то могут возникнуть ошибки.

Подробнее о том, как помочь Google интерпретировать контент сайта…

Рекомендации

Рекомендации для разных типов контента

Ниже приведены советы, которые помогут вам избежать проблем при добавлении информации о вашем сайте в Google.

• Видео. Чтобы системы Google могли без проблем находить ваши ролики, сканировать их и показывать в результатах поиска, следуйте нашим рекомендациям по работе с видео.
• Изображения. Чтобы изображения с вашего сайта показывались в Поиске, следуйте нашим рекомендациям по работе с Google Картинками. В Google Картинках можно показывать дополнительную информацию о графическом файле. Для этого нужно добавить на страницу, на которой он размещен, метаданные с информацией об изображении. Чтобы запретить индексирование изображения, используйте правило Disallow в файле robots.txt.
• Контент для детей. Если ваш сайт предназначен для детей, пометьте его в соответствии с требованиями закона США "О защите личных сведений детей в интернете" (COPPA).
• Сайты для взрослых. Если на вашем сайте или на некоторых его страницах есть контент для взрослых, вы можете пометить его, чтобы он не показывался у пользователей, включивших Безопасный поиск.
• Новости. Ниже приведены рекомендации для владельцев новостных сайтов.
  • Изучите документацию Google Центра издателей.
  • Создайте файл Sitemap для Google Новостей. Он поможет Google находить контент быстрее.
  • Не допускайте нарушений правил на вашем сайте.
  • Если вы хотите ограничить число просмотров контента без регистрации или подписки, ознакомьтесь с руководством по гибкому выборочному доступу.
  • Узнайте, как пометить на сайте подписной и платный контент, чтобы не заблокировать сканирование.
  • Узнайте, как с помощью метатегов ограничить использование текста или изображений в результатах поиска.
  • Используйте технологию AMP или веб-истории, чтобы ускорить загрузку контента.
• Информация для владельцев сайтов других типов (сайтов компаний, интернет-библиотек, сайтов приложений, сборников научных работ и т. п.): посмотрите, какие ещё сервисы Google позволяют добавлять информацию в результаты поиска.
• Проверьте, есть ли отдельная категория результатов поиска, соответствующая типу вашего контента. Google поддерживает специальные функции поиска для рецептов, мероприятий, вакансий и т. д.

Удобство использования

Сделать сайт удобным и интересным для пользователей – ваша главная задача. Если вы с ней справитесь, то ваш контент будет занимать более высокие позиции в результатах поиска. Удобство использования зависит от многих факторов. Ниже говорится о некоторых из них.

Чтобы сайт и пользователи были надежнее защищены, Google рекомендует использовать протокол HTTPS. HTTP-сайты могут помечаться в браузере Chrome как незащищенные. Узнайте, как защитить свой сайт протоколом HTTPS.

Пользователи обычно предпочитают страницы, которые быстро загружаются. В отчете Core Web Vitals можно узнать скорость загрузки сайта в целом, а инструмент PageSpeed Insights позволяет проверять отдельные страницы. Подробную информацию о том, как ускорить загрузку страниц, вы найдете на сайте web.dev. Также не забывайте о возможностях, которые предоставляет вам технология AMP.

Почему важно оптимизировать сайт для мобильных устройств

Более 60 % пользователей интернета по всему миру смотрят размещенный в нем контент с помощью смартфонов или планшетов. Поэтому очень важно оптимизировать сайт для таких устройств. Поисковые роботы Google теперь по умолчанию выполняют индексирование, отдавая приоритет мобильному контенту. Узнайте, как адаптировать сайт для мобильных устройств.

Как изменить вид в поиске

В Google доступны различные способы, позволяющие сделать результаты поиска более заметными: оценки, окно поиска по сайту, специальные типы результатов для мероприятий, рецептов и т. д. Выясните, какие из них подходят для вашего сайта, и воспользуйтесь ими. Вы также можете указать значок сайта и дату публикации, которые будут показываться в результатах поиска.

Ознакомьтесь с нашими рекомендациями, которые помогут вам создавать информативные ссылки-заголовки и описания страниц. При желании вы можете ограничить длину описания или опустить его. Узнайте, как с помощью тегов meta ограничить использование текста или изображений в результатах поиска.

Если ваш ресурс подпадает под определение европейской прессы, отметьте это в Search Console.

Работа с Search Console

В Search Console есть множество разнообразных отчетов, которые помогают отслеживать и улучшать показатели эффективности сайта в Google Поиске. Подробнее о полезных отчетах…