AI-поиск

Как найти заходы ИИ-ботов в логах сервера

Иллюстрация к статье «Как найти заходы ИИ-ботов в логах сервера»

Access-лог показывает, кто запросил URL и какой код вернул сервер. Это техническое наблюдение об обходе, а не доказательство использования страницы в AI-ответе. Для начала проверьте временной диапазон, нужный User-Agent, путь статьи и статус ответа; затем подтвердите, что имя робота не подделано.

Соберите минимальный набор полей

Нужны UTC-время, IP, метод, путь, код HTTP, User-Agent и, если есть, идентификатор запроса CDN. Убедитесь, что смотрите журналы того слоя, где запрос мог быть остановлен: если CDN отдал 403 до сервера, в origin access.log записи может не быть. Разные форматы логов требуют адаптации команды.

Для обычного текстового файла можно начать с rg -i "OAI-SearchBot|GPTBot|ChatGPT-User" access.log и отфильтровать нужный URL. Не выгружайте полный журнал с IP посетителей в публичный чат; используйте ограниченный интервал и маскировку чувствительных данных.

Разделите роботов и ответы сервера

OpenAI описывает OAI-SearchBot как поискового робота, GPTBot как робота для возможного обучения и ChatGPT-User как запрос по действию пользователя. Посчитайте для каждого имя, число уникальных URL и долю кодов 200, 403, 429 и 5xx. Код 200 сообщает о переданном ответе, но не гарантирует, что страница была понята или выбрана источником.

Учебный пример: 40 запросов OAI-SearchBot, из них 30 получили 200, 10 — 403 на /blog. Следующий шаг — проверить правила доступа CDN для этих десяти URL, а не писать новую статью. Различие роботов поможет не смешать поиск с обучением.

Проверьте IP перед выводом

Строку User-Agent любой клиент может написать самостоятельно. OpenAI публикует IP-диапазоны для своих роботов; сравните адреса из логов с актуальным списком конкретного бота, а не доверяйте одному имени. Если у вас прокси, сначала восстановите клиентский IP из доверенного поля, не из произвольного заголовка.

После исправления 403 повторите наблюдение. Для Яндекса используйте его инструменты обхода и свои логи отдельно: факт посещения роботом и появление в Алисе AI — разные события. Отчёт Алисы AI измеряет упоминания, а не каждый сетевой запрос.

Первоисточники

FAQ

Частые вопросы

Достаточно ли строки OAI-SearchBot в User-Agent?

Нет. Имя можно подделать; проверьте IP по официальному диапазону.

Почему в origin-логе нет 403?

Запрос мог остановиться на CDN до обращения к серверу.

Доказывает ли HTTP 200 цитату ChatGPT?

Нет. Он показывает ответ сервера на конкретный запрос, но не выбор источника.

Проверьте себя

Вопрос 1 из 2. Результат увидите только вы.

Что означает 200 в access-логе?

Обсуждение

В каком слое вашего сайта сейчас видны запросы, которые CDN отклоняет до сервера?

Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.