Что такое краулинговый бюджет?

Важной задачей в SEO продвижении является индексирование страниц сайта, чтобы поисковые системы могли отображать их по запросам пользователей. Бывает так, что на ресурсе большое количество страниц, предположим 10000, а из них проиндексировано всего лишь 5500. Нужно разобраться, в чём же может быть проблема и существуют ли лимиты обхода страниц?

лимит краулингового бюджета

Краулинговый бюджет сайта – это количество страниц, которое может обойти и проиндексировать поисковой робот за определенное время. В большинстве случаев проблемы с индексацией связанны с более глобальными ошибками, отсутствием перелинковки, плохо составленными robots.txt, sitemap и так далее. Но если все базовые недочеты на сайте устранены, то проблема может быть связанна с краулинговым бюджетом. Поисковой робот может столкнуться с ограничением сканирования Вашего сайта в следующих случаях :

если у Вас есть сайт с более чем 10 000 страниц – у поисковых роботов могут возникнуть проблемы с индексацией из-за большого количество страниц;
ранее на сайт добавлялось небольшое количество новых страниц, сейчас же добавляется много, десятки или более – убедитесь, что Вашего бюджета хватит на такое количество страниц;
если на сайте найдено множество редиректов, ошибок 404, дублей страниц – это может съедать ваш краулинговый бюджет.

Краулинговый бюджет – это индивидуальная величина, которая зависит от размера, ведь количество страниц на каждом ресурсе не всегда одинаково. Число доступных страниц для обхода можно посмотреть в Google Search Console, во вкладке “Настройки”.

Как увеличить краулинговый бюджет?

увеличение краулингового бюджета

Краулинговый бюджет – величина непостоянная, может увеличиваться и уменьшаться. Статистика в Google отображает среднее значение за определенный период и динамику обхода страниц поисковыми роботами. Эти цифры помогут понять, хватит ли краулингового бюджета на единоразовое добавление страниц.

Вот несколько советов, которые помогут увеличить количество страниц, которые обойдут поисковые боты.

Увеличение скорости загрузки страниц

Скорость загрузки хорошо влияет на многие показатели и краулинговый бюджет не исключение. В данном случае мы будет следовать правилу: «Если страницы на сайте быстро загружаются, то у робота скорость ее сканирования так же возрастет». Робот обойдёт больше страниц, если они будут быстрее загружаться. Соответственно если страницы загружаются медленно, то и времени на обход остальных страниц будет ограничен.

Наличие внутренних ссылок

Поисковые роботы, по крайней мере Google, отдают приоритет страницам, на которые ведут множество внешних и внутренних ссылок. Внутренняя перелинковка на сайте помогает распределить вес и авторитет страниц между друг другом и направляет роботов на нужные страницы сайта. Они показывают роботу те страницы, которые Вы хотите проиндексировать. Подробнее про индексацию Вы сможете прочитать в этой статье.

Настройка robots.txt и sitemap

При помощи robots.txt Вы можете прописать правила поисковым роботам, какие страницы сайта и файлы сайта не должны быть проиндексированы. Это поможет освободить краулинговый бюджет. Так же укажите в sitemap параметр last–modified, чтобы избежать повторного сканирования страниц и обходить только новые или измененные страницы. Советуем исключить страницы пагинации, их может быть довольно много на сайте.

Избегайте дублей страниц

Одна из главных задач SEO специалиста – обеспечить индексацию важных и эффективных страниц. Если одинаковые страницы будут появляться в выдаче, то пользователи смогут запутаться в таких страницах, а поисковые системы с подозрением относиться к дублированному контенту на страницах.

Не создавайте страницы-сироты

Страницы, на которые никто не ссылается, и они сами никуда не ведут, это то, что очень непросто найти и проиндексировать. Постарайтесь сделать так, чтобы любую Вашу страницу можно было бы найти как пользователю, так и поисковым роботам с минимальным количеством времени.

Заключительные мысли

На краулинговый бюджет стоит обратить внимание, если все основные работы по оптимизации страниц уже выполнены и остается искать дополнительные способы повышения видимости в поисковых системах. Обычно индексация проходит хорошо, но есть нюансы, при которых краулинговый бюджет может истощаться – страниц очень много, Вы стали загружать их гораздо больше, чем раньше или на сайте есть много страниц с дублями, редиректов, 404 ошибок.

Последние статьи

Будьте в курсе самых актуальных новостей

Подпишитесь на рассылку и получайте полезные советы, которые можно мгновенно применить на практике

Что такое краулинговый бюджет?