Почему страницы из sitemap не попадают в поиск

Что на самом деле делает sitemap

Карта сайта перечисляет URL, которые владелец считает важными и хочет показать поисковому роботу. Это подсказка для обнаружения страниц, а не заявка с гарантированным включением в поиск.

В sitemap стоит класть только рабочие основные адреса, которые открываются с кодом 200 («все в порядке»). Переадресации, ошибки и копии страниц там только сбивают робота.

Четыре технических причины, которые нужно исключить

Проверьте каждый URL сразу по нескольким источникам запрета и выбора основной версии.

• robots.txt запрещает роботу открывать страницу
• в коде страницы или ответе сервера стоит noindex — «не добавлять в поиск»
• тег canonical указывает, что основная версия — другой адрес
• страница отвечает переадресацией (3xx) или ошибкой (4xx, 5xx) вместо 200

Порядок диагностики

Для одного URL запишите ответ сервера, доступность по robots.txt, наличие noindex, canonical и дату последнего обхода. Проверьте HTML через инструмент «Проверка ответа сервера» в Яндекс Вебмастере: это помогает увидеть страницу так, как её получает робот. Сравните данные с тем, что реально указано в sitemap.xml.

После технической проверки откройте статус этого же URL в «Индексирование» → «Страницы в поиске» → «Исключённые страницы». Если указан статус «малоценная или маловостребованная», он сам по себе не разделяет две причины. Краулер не может определить, какой именно фактор использовал алгоритм Яндекса.

Если Вебмастер показывает «малоценная или маловостребованная»

Проверьте, есть ли у страницы собственный вопрос пользователя. Например, статья «Как проверить индексацию одной страницы» должна дать последовательность действий и объяснить, как читать результат, а не повторять общую статью об индексации сайта. Сравните содержание с похожими страницами своего сайта.

Формулировки запросов проверьте в «Подборе слов», а показы и запросы уже видимых страниц — в статистике Вебмастера. Если страница отвечает на реальную задачу, улучшите ответ: добавьте проверяемый пример, необходимые шаги и ограничения. Если она дублирует другую страницу, определите основную версию вместо создания ещё одного похожего текста.

После содержательного изменения укажите реальную дату обновления, отправьте URL на переобход и наблюдайте статус и показы. Переобход сообщает Яндексу об изменении, но не гарантирует включения страницы в поиск.

Что исправлять

Если страница нужна в поиске, добейтесь ответа 200, разрешите обход, уберите ошибочный noindex и укажите правильный canonical. Если адрес не должен участвовать в поиске, исключите его из sitemap.xml и настройте нужный редирект, canonical или запрет по ситуации.

После технического исправления повторно проверьте URL в инструментах поисковиков. При статусе «малоценная или маловостребованная» возвращайтесь к содержанию и поисковому намерению: повторная отправка sitemap без изменения страницы не решает эту задачу.