Индексация
Как проверить ответ сервера для робота
Эта проверка отвечает на узкий вопрос: какой HTTP-ответ вернул сервер для данного URL. Она не заменяет проверку видимого после JavaScript текста или статуса индексации; их разбирают отдельно после исправления доставки.
Зафиксируйте адрес и код
В Яндекс Вебмастере откройте «Проверка ответа сервера», введите полный URL и выберите робота. Запишите код, конечный адрес после редиректа и замечания инструмента. Если есть 304 Not Modified, повторите проверку с подходящим If-Modified-Since, чтобы отделить корректное кэширование от пустого ответа.
Яндекс предупреждает: тест может прийти с другого IP, чем настоящий робот, поэтому сравнивайте его с журналом реального обхода. Google советует смотреть доступность хоста и ошибки в статистике обхода; в инструменте проверки URL можно отдельно протестировать текущую страницу. Для одного URL эти данные могут относиться к разному времени.
Сравните три состояния одного URL
Создайте строку проверки: обычный запрос без входа, запрос диагностического инструмента и последний реальный запрос робота. Для каждого укажите время, начальный и конечный URL, код и наличие основного текста. Если один маршрут даёт 301, а другой 403, ищите правило CDN, WAF или условие авторизации, а не меняйте SEO-заголовок.
После устранения расхождения повторите проверку и дождитесь новой записи в журнале. Ожидаемый результат — публичный адрес стабильно отвечает корректным кодом и содержимым для робота. Код 200 сам по себе не гарантирует, что поисковик выберет этот URL для индекса.
Первоисточники
FAQ
Частые вопросы
Зачем проверять полный URL, а не только домен?
Ответы на главную и вложенный путь могут различаться по правилам сервера.
Почему проверочный инструмент и робот получили разные коды?
У них могут отличаться IP и время запроса; сверяйте журналы.
Означает ли код 200 попадание в поиск?
Нет. Это только подтверждение доступного ответа в момент проверки.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Какой код и конечный адрес получил проверочный инструмент для вашего URL, и совпало ли это с логом робота?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.