Clean-param: как убрать дубли страниц с параметрами в Яндексе

Откуда берутся дубли с параметрами

Адрес страницы может заканчиваться «хвостом» после знака вопроса — это GET-параметры: ?sort=price, ?utm_source=vk. Их добавляют сортировка, фильтры, рекламные метки и счетчики. Если содержимое страницы при этом не меняется, робот видит несколько адресов одной и той же страницы — это и есть дубли.

В интернет-магазине таких вариантов бывают тысячи. Позиции от этого сами по себе не падают, но робот тратит время на копии и может выбрать для поиска не тот адрес.

Что делает Clean-param

Clean-param — строка в файле robots.txt, которую понимает только Яндекс. Она говорит роботу: «эти параметры не меняют страницу, считай такие адреса одним». Похожая настройка есть и в Яндекс Вебмастере, поэтому по одному robots.txt нельзя утверждать, что параметры не настроены.

Добавляйте только те параметры, влияние которых проверено. Параметр фильтра по цвету или городу может создавать отдельную полезную страницу и не должен считаться служебным автоматически.

User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign /catalog/

Как найти опасные варианты URL

Соберите адреса из обхода сайта, карты сайта (sitemap) и Яндекс Вебмастера. Сгруппируйте их по пути без параметров и сравните: код ответа, canonical, заголовок для поиска (title), главный заголовок (H1) и текст.

SEO-краулер помогает найти повторяющиеся страницы, но решение о параметре принимает специалист: одинаковый шаблон еще не доказывает, что назначение страниц совпадает.

• Рекламные метки: utm_source, utm_medium, utm_campaign, yclid
• Сортировка и представление: sort, order, view
• Служебные параметры: from, ref и идентификаторы сессии
• Фильтры каталога — только после проверки поискового спроса и содержимого

Что сделать для Google

Google не использует директиву Clean-param. Для повторяющихся вариантов URL согласуйте внутренние ссылки и при необходимости укажите canonical на основную версию; Google воспринимает его как сигнал, а не приказ.

Если URL фильтра не нужны в поиске и создают слишком много вариантов, Google допускает запрет их обхода в robots.txt. Но тогда робот не прочитает canonical на закрытых URL. Выберите способ по задаче: объединять сигналы дублей или экономить обход ненужных комбинаций; полезные страницы фильтров не закрывайте автоматически.

Как проверить результат

После изменения robots.txt проверьте несколько URL в Яндекс Вебмастере и повторите обход сайта. Следите не только за количеством найденных вариантов, но и за тем, какие адреса поисковик продолжает обходить и показывать в поиске.

Изменения проявляются после повторного обхода. Техническая настройка уменьшает неоднозначность, но сама по себе не гарантирует исключения URL или рост позиций.