Индексация
Как отличить Googlebot от поддельного бота
Строка Googlebot в журнале не подтверждает личность робота. Прежде чем давать исключение в WAF или считать запрос частью поискового обхода, проверьте исходный IP официальным способом.
Начните с исходного IP, а не заголовка
Из журнала CDN или сервера возьмите точный IP источника, время, User-Agent и URL запроса. Если сайт за прокси, убедитесь, что поле client IP заполнено доверенным CDN, а не произвольным заголовком клиента. Не копируйте в публичный отчёт личные IP пользователей; для проверки достаточно локального журнала.
Google предупреждает, что User-Agent Googlebot часто подделывают. Официальный путь — сверить исходный IP с опубликованными диапазонами Googlebot либо выполнить обратный DNS-поиск. Второй путь включает прямую проверку полученного имени: оно должно разрешаться обратно в тот же IP, иначе одной похожей доменной строки недостаточно. Яндекс также предупреждает, что имя робота в User-Agent можно подделать, и предлагает проверять IP отдельным способом.
Что делать с результатом
Для подтверждённого робота проверьте ответ публичных страниц и правила ограничения нагрузки. Для неподтверждённого запроса применяйте обычную политику безопасности, не делая исключение по одному User-Agent. Если проверка не удалась из-за проблем DNS, пометьте событие как неопределённое, а не как доказанную подделку.
Отдельно проверьте Google-InspectionTool: запросы тестового инструмента и обычного Googlebot могут иметь разные источники и цели. Сравнивайте нужный тип робота по официальной документации и результату проверки, прежде чем менять доступ к разделу.
Первоисточники
FAQ
Частые вопросы
Достаточно ли User-Agent Googlebot?
Нет. Он может быть подделан; нужен исходный IP и официальная проверка.
Что делать при сомнительном DNS-ответе?
Не выдавать запрос за подтверждённого робота; проверить повторно и сохранить обычные правила доступа.
Можно ли разрешить Googlebot весь сайт?
Открывайте только публичные страницы; приватные пути и защита остаются закрытыми.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
В каком журнале вы нашли исходный IP запроса с User-Agent Googlebot и какой результат дала проверка этого IP?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.