Индексация
Как устроен бюджет обхода большого сайта
Бюджет обхода — не счётчик, который можно пополнить кнопкой. Для крупного сайта полезно сравнить, сколько важных новых страниц робот обнаруживает и загружает, какие URL забирают запросы и выдерживает ли сервер нагрузку.
Поймите, нужна ли вам эта диагностика
Google описывает бюджет обхода как сочетание доступной ёмкости сервера и спроса на обход. Его отдельная инструкция адресована прежде всего очень большим или часто меняющимся сайтам; небольшому сайту обычно достаточно актуального sitemap и отчёта об индексировании. Не объясняйте любую непроиндексированную страницу «недостатком бюджета» без проверки её качества и доступности.
Сравните два набора URL за неделю: новые полезные карточки, которые должны появиться в поиске, и технические варианты с параметрами. Если робот тратит большинство запросов на варианты фильтра, а новые карточки не посещает, это аргумент исследовать структуру ссылок и нагрузку, но ещё не доказательство единственной причины.
Проверьте спрос, мусорные URL и ёмкость
В Search Console откройте статистику обхода и индексирования, затем сопоставьте её с серверным журналом: сколько уникальных полезных URL и технических вариантов запрошено, каковы ошибки и время ответа. Яндекс позволяет отдельно посмотреть статистику обхода и настроить скорость обращений робота; сначала разберитесь, какие страницы он посещает чаще.
Исправьте генерацию бесконечных адресов, поддерживайте sitemap только с нужными URL и устраните ошибки сервера. После изменения сравнивайте одинаковые интервалы и долю посещённых новых полезных страниц. Ускорение сервера само по себе не заставит поисковик включить слабый контент в индекс.
Первоисточники
FAQ
Частые вопросы
Нужен ли аудит бюджета маленькому сайту?
Обычно сначала достаточно проверить доступность, sitemap, качество и статус нужных страниц.
Можно ли увеличить бюджет через sitemap?
Sitemap помогает обнаружению URL, но не гарантирует немедленный обход.
Что считать улучшением?
Большую долю посещённых важных новых URL при стабильном ответе сервера.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Какова доля запросов робота к полезным новым URL и к техническим вариантам на вашем сайте за последнюю неделю?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.