Индексация
Страницы из sitemap не попадают в поиск: 4 причины
Карта сайта (sitemap) подсказывает поисковику, какие страницы у вас есть, но не обещает, что они попадут в поиск. Если карта говорит «вот важная страница», а сама страница — «не индексируй меня», поисковик поверит странице. Разбираем, как найти такие противоречия.
Что на самом деле делает sitemap
Карта сайта перечисляет URL, которые владелец считает важными и хочет показать поисковому роботу. Это подсказка для обнаружения страниц, а не заявка с гарантированным включением в поиск.
В sitemap стоит класть только рабочие основные адреса, которые открываются с кодом 200 («всё в порядке»). Переадресации, ошибки и копии страниц там только сбивают робота.
Четыре частые причины противоречия
Проверьте каждый URL сразу по нескольким источникам запрета и выбора основной версии.
- robots.txt запрещает роботу открывать страницу
- в коде страницы или ответе сервера стоит noindex — «не добавлять в поиск»
- тег canonical указывает, что основная версия — другой адрес
- страница отвечает переадресацией (3xx) или ошибкой (4xx, 5xx) вместо 200
Порядок диагностики
Сначала убедитесь, что робот может загрузить URL и получает ожидаемый код ответа. Затем проверьте robots.txt, директивы индексации и canonical отдельно для Яндекса и Google.
Даже технически доступная страница может не попасть в индекс из-за дублей или недостаточной ценности. Такие причины видны только в Яндекс Вебмастере и Google Search Console — краулер не должен выдавать их как установленный факт.
Что исправлять
Если страница нужна в поиске, добейтесь ответа 200, разрешите обход, уберите noindex и укажите согласованный canonical. Если страница не нужна, удалите её из sitemap.
После изменений отправьте карту сайта повторно и дождитесь нового обхода. Регулярный аудит нужен, чтобы обнаружить возврат запрета после релиза или обновления CMS.