Noindex и nofollow: чем отличаются и когда нужны

Что делает noindex

Директива noindex запрещает поисковику включать конкретную страницу в результаты поиска. Указывается в метатеге <meta name="robots" content="noindex"> в разделе <head> страницы либо в HTTP-заголовке X-Robots-Tag: noindex, который удобен для файлов не в формате HTML — PDF, изображений.

Чтобы noindex сработал, страница должна быть открыта для обхода: если она заодно закрыта в robots.txt, робот вообще не зайдет на нее и не увидит запрет — страница может остаться в результатах поиска без описания, если на нее ведут внешние ссылки.

Типичные кандидаты на noindex: страницы фильтров с десятками комбинаций, результаты внутреннего поиска, страницы пагинации, дубли с параметрами, служебные страницы личного кабинета.

Что делает nofollow

Nofollow — атрибут ссылки <a href="..." rel="nofollow">, который просит робота не передавать вес по этой ссылке и с меньшей вероятностью переходить по ней. Страница, на которую ведет nofollow-ссылка, может все равно попасть в индекс — например, если на нее есть и обычные ссылки с других страниц.

Атрибут применяют к ссылкам на страницы входа и регистрации, к рекламным и партнерским ссылкам, к ссылкам в пользовательском контенте — комментариях, отзывах, — где сайт не может ручаться за качество ссылки.

С 2020 года Google также поддерживает уточняющие значения rel="sponsored" для рекламных ссылок и rel="ugc" для пользовательского контента — они точнее объясняют природу ссылки, чем общий nofollow.

Главная путаница: страница или ссылка

Noindex ставится на саму страницу и решает, попадет ли она в поиск. Nofollow ставится на ссылку и решает, как робот отнесется к переходу по ней. Закрыть страницу от индексации через nofollow на ссылках, ведущих на нее, не получится: если на страницу есть хотя бы одна обычная ссылка, робот ее найдет и может проиндексировать.

Еще одна путаница — с robots.txt: Disallow в robots.txt запрещает обход, а не индексацию. Если очень важно убрать страницу из поиска, а не просто «не обходить», нужен именно noindex, а не запись в robots.txt.

Частые ошибки

Ставить noindex на страницы, которые все же нужны в поиске — например, случайно проставленный шаблоном noindex на карточки товаров при обновлении CMS. Такое выявляют только регулярной проверкой сайта.

Закрывать nofollow все внутренние ссылки подряд «для безопасности» — это не имеет смысла: внутренняя перелинковка не нуждается в nofollow, она как раз помогает поисковику находить и оценивать страницы сайта.

Как проверить результат

Откройте исходный код страницы (Ctrl+U) и найдите <meta name="robots"> — если там noindex, страница закрыта от индексации. Проверьте также заголовки ответа сервера: curl -sI https://example.ru/page | grep -i x-robots-tag.

В Яндекс Вебмастере раздел «Индексирование → Страницы в поиске → Исключенные» покажет статус «Запрещено к индексированию тегом noindex» для каждой такой страницы. В Google Search Console — похожий статус в отчете об индексировании.

Проверка сайта в SEO title находит все страницы с noindex и nofollow-ссылками разом и показывает их списком — это быстрее, чем открывать исходный код каждой страницы вручную.