Индексация
Как проверить, что робот видит страницу
Открытая у вас страница не обязательно открыта роботу. Начните с точного URL и разделите три вопроса: может ли робот получить ответ сервера, разрешён ли обход и видит ли он в полученном документе нужный текст.
Проверьте ответ именно для робота
В Яндекс Вебмастере откройте «Проверка ответа сервера», укажите полный URL и выберите нужного робота. Инструмент показывает HTTP-ответ и доступность страницы. Сохраните проверенный адрес, время и код ответа: так можно сопоставить результат с логами, а не спорить о том, что открылось в браузере.
Яндекс предупреждает, что его инструмент проверки может получить другой ответ, чем обычный робот, потому что запрос приходит с другого IP-адреса. Если данные расходятся, изучите журналы сервера за время фактического обхода. Сравните конечный адрес после перенаправлений, код ответа и возможный ответ CDN или защиты.
Сравните исходный HTML и отображённую страницу
В Google Search Console проверьте URL и запустите тест опубликованной страницы. Посмотрите доступность для робота, HTML и снимок отображения. Если в исходном ответе пустой контейнер, а основной текст появляется только после скрипта, проверяйте, смог ли инструмент загрузить нужные ресурсы.
Успешный HTTP 200 подтверждает только доставку ответа. Отдельно проверьте robots.txt, meta robots и содержимое страницы. Например, каталог может возвращать 200 с текстом «Загрузка…» без карточек товара: сервер доступен, но ценного содержимого в ответе нет.
Когда результаты противоречат друг другу
Сделайте три замера одного URL: обычный запрос без авторизации, проверка Яндекса и тест Google. Запишите время, код, конечный URL, видимый заголовок и наличие главного текста. Если только роботу приходит ошибка, ищите правило WAF, защиту от ботов, географические различия или лимит запросов по журналам.
Не подменяйте диагностику сменой User-Agent в браузере: строку агента легко имитировать, а IP и поведение запроса будут другими. После исправления повторите обе проверки. Если ответ стал корректным, это ещё не обещает, что поисковик сразу добавит URL в индекс.
Первоисточники
FAQ
Частые вопросы
Достаточно ли проверить страницу в своём браузере?
Нет. У робота может быть другой IP, User-Agent и набор доступных ресурсов.
Если сервер ответил 200, текст точно виден роботу?
Нет. Нужны проверка содержимого ответа и результата отображения.
Одинаковы ли проверки Яндекса и Google?
Нет. У сервисов разные роботы и инструменты; сравнивайте результаты отдельно.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
На каком URL проверка роботом расходится с вашим браузером и что различается: код ответа или содержимое?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.