Индексация
Как найти случайно закрытые разделы сайта
Одна широкая строка Disallow иногда закрывает больше страниц, чем задумано. Ищите не только саму строку, но и реальные URL, которым она мешает: так можно исправить правило без случайного открытия личных или служебных страниц.
Соберите контрольные адреса
Возьмите по одному публичному URL из главной страницы раздела, карточки и вложенного материала, а также один адрес, который должен оставаться закрытым. Например, /catalog/ и /catalog/private/ нельзя проверять как один и тот же сценарий. Сохраните текущую версию robots.txt и время проверки.
Яндекс Вебмастер предлагает инструмент «Анализ robots.txt» с проверкой, разрешён ли конкретный URL. Google объясняет, что robots.txt управляет доступом робота к URL, но сам по себе не является надёжным способом скрыть страницу из результатов поиска. Поэтому проверяйте именно обход, не делая вывод об индексации по одной строке файла.
Найдите правило и оцените последствия
Для каждого контрольного URL запустите проверку в обоих поисковиках. Если публичный адрес запрещён, выясните, какое правило User-agent, Allow или Disallow сработало. Затем сузьте запрет до приватного пути или добавьте разрешающее правило только для нужного раздела. Не удаляйте весь файл ради одного URL.
После выкладки повторите те же четыре проверки, сравните результаты и дождитесь нового обхода. Ожидаемое состояние: публичные страницы разрешены и возвращают полезный ответ; закрытый раздел остаётся закрытым. Открытие обхода само по себе не гарантирует включение страницы в поиск.
Первоисточники
FAQ
Частые вопросы
Можно ли проверить только главную страницу раздела?
Нет. Широкое правило может иначе влиять на вложенные URL; возьмите несколько уровней.
Если URL запрещён robots.txt, его точно нет в поиске?
Нет. Поисковик может знать адрес из других ссылок; robots.txt управляет обходом.
Как не открыть личные страницы при исправлении?
Держите отдельный контрольный приватный URL и повторно проверьте его после правки.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Какой публичный раздел оказался закрыт правилом robots.txt и какое правило сработало для конкретного URL?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.