AI-поиск
Как найти заходы ИИ-ботов в логах сервера

Access-лог показывает, кто запросил URL и какой код вернул сервер. Это техническое наблюдение об обходе, а не доказательство использования страницы в AI-ответе. Для начала проверьте временной диапазон, нужный User-Agent, путь статьи и статус ответа; затем подтвердите, что имя робота не подделано.
Соберите минимальный набор полей
Нужны UTC-время, IP, метод, путь, код HTTP, User-Agent и, если есть, идентификатор запроса CDN. Убедитесь, что смотрите журналы того слоя, где запрос мог быть остановлен: если CDN отдал 403 до сервера, в origin access.log записи может не быть. Разные форматы логов требуют адаптации команды.
Для обычного текстового файла можно начать с rg -i "OAI-SearchBot|GPTBot|ChatGPT-User" access.log и отфильтровать нужный URL. Не выгружайте полный журнал с IP посетителей в публичный чат; используйте ограниченный интервал и маскировку чувствительных данных.
Разделите роботов и ответы сервера
OpenAI описывает OAI-SearchBot как поискового робота, GPTBot как робота для возможного обучения и ChatGPT-User как запрос по действию пользователя. Посчитайте для каждого имя, число уникальных URL и долю кодов 200, 403, 429 и 5xx. Код 200 сообщает о переданном ответе, но не гарантирует, что страница была понята или выбрана источником.
Учебный пример: 40 запросов OAI-SearchBot, из них 30 получили 200, 10 — 403 на /blog. Следующий шаг — проверить правила доступа CDN для этих десяти URL, а не писать новую статью. Различие роботов поможет не смешать поиск с обучением.
Проверьте IP перед выводом
Строку User-Agent любой клиент может написать самостоятельно. OpenAI публикует IP-диапазоны для своих роботов; сравните адреса из логов с актуальным списком конкретного бота, а не доверяйте одному имени. Если у вас прокси, сначала восстановите клиентский IP из доверенного поля, не из произвольного заголовка.
После исправления 403 повторите наблюдение. Для Яндекса используйте его инструменты обхода и свои логи отдельно: факт посещения роботом и появление в Алисе AI — разные события. Отчёт Алисы AI измеряет упоминания, а не каждый сетевой запрос.
Первоисточники
FAQ
Частые вопросы
Достаточно ли строки OAI-SearchBot в User-Agent?
Нет. Имя можно подделать; проверьте IP по официальному диапазону.
Почему в origin-логе нет 403?
Запрос мог остановиться на CDN до обращения к серверу.
Доказывает ли HTTP 200 цитату ChatGPT?
Нет. Он показывает ответ сервера на конкретный запрос, но не выбор источника.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
В каком слое вашего сайта сейчас видны запросы, которые CDN отклоняет до сервера?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.