Индексация
Как читать логи поискового робота
Лог сервера — запись того, что фактически запросили у вашего сайта. Он полезен, когда панель поисковика показывает старый статус или проверочный инструмент получает не тот ответ, который видел настоящий робот.
Соберите минимальную запись запроса
Для одного спорного URL сохраните UTC-время, IP клиента, метод, путь с параметрами, HTTP-код, время ответа и User-Agent. Учитывайте прокси: если перед сервером CDN, исходный IP может быть в доверенном заголовке или отдельном журнале CDN. Нельзя сравнивать запись 10:00 UTC с событием 10:00 МСК как одну секунду.
Google отмечает, что Search Console не даёт историю обхода с фильтром по произвольному URL; для этого полезны серверные логи. Яндекс в статистике обхода показывает посещённые URL и коды ответов. Используйте панели как ориентир по времени, а журнал — как доказательство конкретного запроса.
Проверьте робота и трактуйте ответ
Один User-Agent не подтверждает Googlebot: Google рекомендует обратную DNS-проверку IP или сверку с опубликованными диапазонами адресов. Аналогично Яндекс предупреждает о маскировке роботов и описывает проверку IP. Не создавайте правило WAF «разрешать всё с этим User-Agent» по неподтверждённой строке.
Сгруппируйте записи по коду и шаблону URL: 200 на нужных страницах, 301 на старых, 403 или 5xx на публичных. Для каждой группы возьмите пример и повторите путь. Отсутствие записи может означать, что робот ещё не приходил, либо что запрос завершился на CDN до сервера приложения; уточните место логирования.
Первоисточники
FAQ
Частые вопросы
Достаточно ли поля User-Agent для подтверждения робота?
Нет. Строку можно подделать; сверяйте IP по официальному способу.
Почему в логе приложения нет запроса из панели?
Запрос мог завершиться на CDN или панели и журналы отражают разные моменты времени.
Что записать для одного URL?
Время с часовым поясом, IP, путь, код ответа и User-Agent.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Для какого URL данные панели расходятся с журналом и на каком уровне вы нашли последний запрос робота?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.