Индексация
Как найти ловушки обхода на сайте
Если робот запрашивает тысячи похожих URL, начните с источника их появления. Часто это фильтр с неограниченными сочетаниями, календарь, неверная относительная ссылка или параметр сессии; лечить нужно конкретный механизм.
Найдите шаблон адресов и первую ссылку
Сгруппируйте журнал по нормализованному пути и параметрам. Сравните три адреса из группы: обычный, самый глубокий и недавно появившийся. Если все ведут на почти одинаковое содержимое, найдите в HTML страницы ссылку, которая рождает следующий URL. Например, относительная ссылка ../../category/ на вложенной странице может повторять сегменты пути.
Google описывает бесконечные пространства URL и ошибочные относительные ссылки как источник лишнего обхода. Яндекс рекомендует посмотреть количество загруженных и участвующих в поиске страниц, прежде чем ограничивать робота. Эти наблюдения помогают отличить полезный большой каталог от настоящей ловушки.
Уберите генератор ненужных вариантов
Исправьте относительную ссылку на путь от корня, ограничьте диапазон календаря или набор сочетаний фильтра. Если уже существуют ненужные варианты, настройте правила обхода только для них; полезные карточки и категории оставьте доступны. Перед выкладкой проверьте четыре контрольных URL: две полезные страницы и два варианта ловушки.
После изменения сравните новые записи журнала за одинаковые интервалы: возникают ли новые адреса шаблона и не потеряли ли полезные разделы доступность. Снижение запросов может быть постепенным, так как старые URL ещё известны поисковику. Не считайте исчезновение запросов доказательством роста позиций.
Первоисточники
FAQ
Частые вопросы
Любое большое число URL — ловушка?
Нет. У большого каталога могут быть самостоятельные страницы; сравните содержимое и источники ссылок.
Поможет ли один canonical остановить обход?
Не всегда. Сначала исправьте генерацию ссылок на ненужные варианты.
Что проверить после правки?
Новые URL в журнале и доступность контрольных полезных страниц.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Какой повторяющийся шаблон URL виден в вашем журнале и какая ссылка создаёт следующий адрес?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.