Проверка robots.txt
Поймите, какое правило robots.txt относится к адресу.
Начать проверку
Ввод: URL страницы.
Начните без регистрации. До запуска форма покажет действующие ограничения вашего аккаунта.
Как пользоваться
- Введите URL сайта или robots.txt
- При необходимости задайте URL для проверки правила
- Сравните правила для Google, Яндекса и SEOtitleBot
Что учитывает проверка
Проверяется robots.txt без обхода проверяемой страницы. Разрешение обхода не подтверждает индексацию.
Вопросы об инструменте
Запрещает ли robots индексацию?
Нет, robots.txt управляет обходом, а не гарантирует отсутствие страницы в индексе.
Почему правило может быть неизвестно?
Файл мог быть недоступен или сервер не дал полный ответ.