Индексация сайта в поиске

Базовая задача продвижения сайта – это попадание его страниц в результаты поисковой выдачи по релевантным запросам. Что нужно сделать, чтобы это произошло как можно скорее и какие этапы проходят страницы, есть ли требования у разных поисковиков? Разберем понятие индексации сайта на простом примере: что происходит после того, как Вы опубликовали новую страницу на сайте?

Что такое индексация сайта

Индексация сайта Поисковые системы находятся в непрерывном процессе сканирования сайтов, и первое что должно произойти с новой страницей – она должна быть просканирована поисковыми системами. Во время сканирования, поисковые роботы собирают всю имеющуюся информацию о странице – анализируют url, контент, заголовки, технические параметры, внешние сигналы и так далее. После того как страница просканирована, роботы поисковых систем заносят ее в специальный индекс. Индексация страницы – аналог базы данных для поисковых систем, в нем хранится вся информация о страницах сайтов, которые удалось найти роботам. Если страницы Вашего сайта не попали в индекс, то пользователи никак не смогут их обнаружить.

Как сообщить поисковым системам о необходимости добавления страниц в индекс?

Поисковые системы должны как-то узнать о новой странице и чем быстрее это произойдет, тем лучше для Вас. Если сайт новый, то необходимо уведомить поисковых роботов о возможности обхода страниц сайта. Существует несколько способов благодаря которым можно значительно ускорить процесс попадания страниц в индекс:

Добавьте sitemap.xml и robots.txt в Яндекс Вебмастер и Google Search Console

Sitemap или по другому карта сайта, выполняет функцию навигатора для поисковых систем, в ней содержится ключевая информация о страницах и их расположении на сайте. Как только Вы добавляете новую страницу на сайт, она автоматически обновляется в sitemap. При очередном обходе Вашего сайта, роботы заметят новую страницу, просканируют ее и добавят в индекс. Сформируйте и добавьте карту сайта в консоли вебмастеров Яндекс и Google Search Console.

Перед сканированием сайта, поисковые роботы обращаются к файлу robots txt, который передает им информацию о том какие страницы нужно индексировать, а на какие можно не тратить силы. Если допустить ошибку при создании robots txt, сайт может полностью пропасть из индекса. О том, как правильно создать файл robots мы рассказываем в отдельной статье.

Внешние ссылки

Внешние ссылки помогают поисковым роботам находить информацию в интернете. Если на Вашу страницу ссылается популярный источник, поисковые роботы замечают этот сигнал, сканируют страницу и при соблюдении определенных условий (таких как ответ на вопрос пользователя, релевантная информация) добавляют ее в индекс.

Внутренние ссылки

Внутренние ссылки выполняют точно такую же роль и помогают поисковым роботам перемещаться по Вашему сайту. С их помощью можно помочь роботу понять, как связан контент между страницами и облегчить их обход. Дополнительно почитать про оптимизацию внутренних ссылок, можно здесь. Скорость попадания сайта в индексацию зависит от множества факторов – правильно настроенный robots.txt, наличие карты сайта, оптимизация страниц сайта, присутствие внешних сигналов (внешних ссылок на Ваш ресурс), поэтому однозначно ответить на этот вопрос невозможно. В среднем поисковые системы индексируют новые страницы за 10-15 дней, если с ней нет проблем.

Как страницы из индекса попадают в результаты выдачи?

Все, что мы видим с Вами в интернете, является огромной библиотекой проиндексированных страниц. После того как страница оказывается в индексе, поисковые системы перемещают ее на «полку до особого случая». Таким случаем становится запрос пользователя, после которого алгоритмы сравнивают миллионы похожих страниц на соответствие тематике, внешним и внутренним сигналам и остальным факторам ранжирования. Сравнив страницы, поисковики формируют свой топ и предлагают его пользователю в качестве результатов выдачи.

Как проверить индексацию страниц

Проверить, проиндексированы ли страницы сайта на данный момент можно при помощи Яндекс Вебмастер и Google Search Console. Мы кратко опишем как воспользоваться этими способами: Яндекс Вебмастер содержит специальный инструмент – «Проверить статус URL», если вы хотите проверить конкретную страницу. Если вдруг страница не попала в индекс, то можно в принудительном порядке запустить переобход этих страниц. Перед перееобходом убедитесь, что вы исправили ошибки, которые мешали страницам попасть в индекс. Статистика обхода Яндекс Так же можно настроить скорость обхода страниц для экономии краулингового бюджета. Для этого перейдите в «Индексирование»/ «Скорость обхода». Google Search Console так же позволяет проверить, находится ли страница в индексе, для этого введите ссылку для проверки. Посмотреть полный список страниц Вы можете в вкладке Индексация страниц. Если по какой-то причине страницы не попали в индекс, то Google предложит несколько рекомендаций для решения проблем, а также возможность запросить повторную индексацию этих страниц. Поисковая система Google хранит в индексе мобильную страницу ресурса, поскольку используется Mobile-First и первым для обхода отправляется мобильный робот. Индексирование страниц Google Через поисковую строку Вы сможете посмотреть весь список проиндексированных страниц. Для этого введите в поисковую строку site:sitename.com и Вам будет доступен список всех страниц, доступных на данный момент.

Как закрыть страницы от индексации

Запрет индексации страниц В некоторых случаях попадание страниц в индекс нежелательно, поэтому стоит озаботиться вопросом о их закрытии от поискового робота. Для этого используются специальные директивы в robots.txt, которые сообщают поисковым ботам о том, что сканирование и индексирование страниц не требуется. Это директива Disallow, общий вид написания внутри robots.txt выглядит так: Disallow: */wp–admin Есть нюансы этих команд, поэтому советуем ознакомиться с нашей статьей о robots.txt, чтобы не допустить ошибок и не скрыть нужную страницу или большее количество. Отметим, что обычно скрывают страницы личного кабинета, системные или страницы в разработке, PDF файлы и многое другое.

Заключительные мысли

Индексация страниц сайта – это одна из основных задач на пути того, что Ваш сайт появится в результатах поисковой выдачи. Используйте указанные методы, чтобы максимально быстро и эффективно добавить желаемые страницы и исключить нежелательные. Последние статьи

Будьте в курсе самых актуальных новостей

Подпишитесь на рассылку и получайте полезные советы, которые можно мгновенно применить на практике Подписаться