Индексация
Как найти страницы с noindex в каталоге
В каталоге запрет noindex может быть нужен фильтрам или служебным страницам, но опасен для полезных категорий и товаров. Проверяйте не только шаблон, а реальные URL разных типов: правило может зависеть от параметра, наличия товара или окружения.
Соберите выборку по шаблонам
Возьмите главную категорию, вложенную категорию, товар в наличии, пустой фильтр и служебный URL. Для каждого сохраните полный адрес, HTTP-код, HTML head и заголовки ответа. Найдите meta name=robots, meta name=googlebot и X-Robots-Tag: noindex может приходить из шаблона страницы или с сервера. Если проверяете сотни URL автоматическим обходом, сгруппируйте находки по шаблону, а не правьте каждую карточку вручную.
Google описывает noindex как директиву в meta-теге или HTTP-заголовке и предупреждает: робот должен иметь доступ к странице, чтобы увидеть правило. Яндекс тоже поддерживает meta robots и X-Robots-Tag для запрета индексации. Поэтому одновременный Disallow в robots.txt может мешать проверить или снять действующий noindex.
Откройте только нужные страницы
Найдите условие, которое ставит noindex на полезном шаблоне, и исправьте его в одном месте. Для фильтров без самостоятельной ценности оставьте продуманную политику, не снимая запрет глобально. После выкладки повторите ту же выборку и проверьте, что важные страницы возвращают 200 без noindex, а служебный URL сохраняет нужный режим.
В Search Console и Яндекс Вебмастере протестируйте конкретный URL, затем дождитесь нового обхода. Отсутствие noindex означает только снятие одного запрета; дубли, пустой текст и выбор canonical остаются отдельными вопросами.
Первоисточники
FAQ
Частые вопросы
Где искать noindex кроме HTML?
В HTTP-заголовке X-Robots-Tag и в разных шаблонах meta robots.
Можно ли поставить Disallow и noindex одновременно?
Если робот не может обойти страницу, он может не увидеть noindex; проверяйте намерение.
Нужно ли открыть все фильтры после ошибки?
Нет. Снимайте случайный запрет только с самостоятельных полезных страниц.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Для какого шаблона каталога вы нашли случайный noindex — категории, товара или фильтра — и где он задан?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.