AI-поиск
Как проверить ИИ-бота по IP, а не по User-Agent

Строка OAI-SearchBot в журнале не доказывает, что сайт посетил OpenAI: имя User-Agent может написать любой клиент. Для технического вывода нужны исходный IP, корректный журнал CDN или сервера и опубликованный провайдером диапазон. Ниже — проверка на одном запросе без ложной точности.
Найдите действительный адрес клиента
Возьмите запись с временем, URL, кодом ответа, User-Agent и IP. Если перед сайтом стоит CDN, поле remote_addr на origin часто содержит адрес CDN. Получите клиентский IP из доверенного поля CDN и сопоставьте запись по идентификатору запроса. Не принимайте произвольный X-Forwarded-For от прямого клиента за доказательство: заголовок можно подделать.
Начните с одного URL и узкого интервала. В разборе access-логов показано, какие поля собрать. Для сохранения доказательства запишите дату, слой журнала и маску IP, а не публикуйте сырой лог посетителей.
Сверьте IP с правильным списком
OpenAI публикует отдельные JSON-списки адресов OAI-SearchBot, GPTBot и ChatGPT-User. Откройте список именно того робота, которым назвался клиент, и проверьте попадание IP в CIDR-диапазон, а не простое совпадение текстового префикса. Список может меняться: сохраните дату загрузки.
Пример: клиент назвался OAI-SearchBot, но его IP нет в списке SearchBot. Отметьте запись как «не подтверждён», не включайте её в метрику подлинного обхода и проверьте, не ошиблись ли вы с адресом за прокси. Обратный DNS полезен как дополнительная проверка, но не заменяет актуальный список провайдера.
Превратите проверку в действие
После подтверждения робота смотрите код ответа и путь: 200 означает доставку ответа, 403 — отказ, 429 — ограничение частоты. Даже подтверждённый заход не доказывает, что статья появилась в AI-ответе. Если доступ закрыт на CDN, меняйте точное правило там; robots.txt на origin не исправит ответ 403.
Для Яндекса есть отдельная официальная проверка принадлежности робота. Не переносите диапазоны OpenAI на YandexAdditionalBot. Итоговая таблица для редакции: URL, заявленное имя, подтверждён ли IP, код, слой блокировки, следующий шаг и дата повторной проверки.
Первоисточники
FAQ
Частые вопросы
Достаточно ли User-Agent для подтверждения робота?
Нет. Имя может быть подделано; сравните исходный IP с актуальным диапазоном.
Можно ли сравнить первые цифры IP?
Нет. Проверяйте принадлежность CIDR-сети, включая маску и версию протокола.
Что означает подтверждённый заход с кодом 200?
Сервер передал ответ. Это не доказывает чтение страницы моделью или цитирование.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
На каком слое у вас сохраняется исходный IP клиента — CDN или origin-сервер?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.