Индексация
Как проверить robots.txt после переезда
При переезде на новый домен недостаточно проверить только редирект главной. У старого и нового адресов могут быть разные robots.txt, а временный запрет тестовой площадки легко забыть в продакшене.
Составьте матрицу из двух доменов и трёх URL
Для старого и нового домена откройте robots.txt и проверьте публичную главную, внутреннюю страницу и один закрытый путь. Сохраните HTTP-код самого файла и результат проверки каждого URL. Для старого адреса дополнительно проверьте редирект на соответствующую новую страницу, а не только на новый корень сайта.
Яндекс при переезде с www или без него просит разрешить обход на старом и новом адресах и допускает перенаправление старого robots.txt на новый. Google предупреждает, что миграционный запрет robots.txt или noindex нельзя оставлять после запуска нового сайта. Эти рекомендации не заменяют проверку конкретного пути: /blog/ может быть открыт, а /catalog/ закрыт широким правилом.
Проверьте файл после переключения
После смены DNS или редиректов повторите проверку с публичной сети: файл нового домена должен быть доступен, правила — соответствовать новому адресу, старые URL — вести к правильным новым. Затем проверьте несколько новых страниц в инструментах поисковиков и сопоставьте результат с логом. Не закрывайте старый домен от обхода до того, как роботы смогут увидеть перенаправления.
Если запрет был временным, уберите его только с публичных страниц; личный кабинет и служебные пути оставьте закрытыми. Ожидаемый результат — оба робота видят маршрут переезда и полезное содержимое нового URL. Скорость переноса поисковых сигналов такой тест не предсказывает.
Первоисточники
FAQ
Частые вопросы
Нужно ли проверять robots.txt старого домена?
Да. Роботу нужен доступ к старым URL и перенаправлениям.
Можно ли перенаправить старый robots.txt на новый?
Яндекс допускает такой вариант, если итоговый файл подходит для обоих адресов.
Открывать ли личный кабинет после переезда?
Нет. Контрольный закрытый путь нужен, чтобы не снять защиту ошибочно.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
После вашего переезда какие публичные URL старого и нового домена дали разные результаты проверки robots.txt?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.