AI-поиск
ИИ-боты на сайте: кто такие GPTBot и ClaudeBot
GPTBot и ClaudeBot — имена роботов, которые их владельцы связывают со сбором общедоступного веб-контента для возможного обучения моделей. Это не те же обращения, что поиск ответа для пользователя. У OpenAI и Anthropic есть отдельные роботы для поисковых и пользовательских сценариев. Поэтому решение «открыть или закрыть ИИ-ботов» принимайте по каждому имени и своей задаче, а не по общей метке «AI».
Разделите обучение, поиск и запрос пользователя
OpenAI различает GPTBot, который связан с возможным обучением моделей, и OAI-SearchBot, доступ которого связан с обнаружением и показом материалов в поиске ChatGPT. Anthropic отдельно описывает ClaudeBot для потенциальных обучающих наборов, Claude-SearchBot для качества поисковых ответов и Claude-User для обращений по запросу человека. У разных компаний роли и названия отличаются; не переносите правило одного робота на всех остальных.
Практический пример: владелец сайта хочет разрешить появление ссылки в поисковом ответе, но ограничить сбор материала для обучения. Для OpenAI он должен отдельно проверить доступ OAI-SearchBot и правило для GPTBot; для Anthropic — отдельно правила Claude-SearchBot, Claude-User и ClaudeBot. Это выбор владельца контента, а не универсальный совет разрешать всех.
Как увидеть обращение в логах
Попросите администратора выгрузить за выбранный день строки access log с временем, URL, кодом ответа, User-Agent и IP-адресом для соответствующих имён роботов. Посчитайте обращения по типам страниц и отдельно ошибки 403, 404 и 429. Так вы поймёте, какие материалы запрашивали и не закрыла ли защита сайта нужные страницы. Не публикуйте сырые логи с IP и личными данными в статье или чате.
Строка User-Agent сама по себе не доказывает подлинность бота: её может указать любой клиент. Для решения о доступе сверяйте официальные сведения владельца робота и сетевую политику вашего сервера. Отсутствие визитов за день не означает, что сайт навсегда исключён из ответов ИИ: системы могут получать сведения разными путями и обращаться не каждый день.
Как выбрать правило доступа
Составьте таблицу: имя робота, назначение по официальной справке, нужные публичные разделы, текущий ответ сайта и ваше решение. Для каждого имени отдельно проверьте <a href="/blog/robots-txt">robots.txt</a>, а также защиту CDN и сервера. Правило robots.txt показывает предпочтение владельца сайта по обходу; оно не исправляет ошибку 403, которую выдаёт защитный слой раньше приложения.
После изменения дождитесь следующего обращения и сравните логи. Не обещайте, что разрешение поисковому роботу обеспечит цитату: выбор источника зависит от вопроса и сервиса. Если задача — управлять именно правилами GPTBot, используйте отдельную инструкцию по его секции в robots.txt после её выпуска.
Первоисточники
FAQ
Частые вопросы
GPTBot и OAI-SearchBot — один робот?
Нет. OpenAI описывает GPTBot для возможного обучения, а OAI-SearchBot — для поискового обнаружения материалов. Правила доступа проверяйте отдельно.
ClaudeBot отвечает за поиск Claude?
Anthropic выделяет отдельные Claude-SearchBot и Claude-User для поисковых и пользовательских запросов. ClaudeBot связан с потенциальным обучением.
Можно ли верить одному User-Agent в логе?
Нет. Строку можно подделать. Сверяйте официальные сведения владельца робота и сетевые данные, прежде чем делать вывод о подлинности.
Разрешение бота гарантирует ссылку в ответе?
Нет. Доступность страницы необходима для некоторых сценариев, но система выбирает источники для конкретного вопроса.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Каких ИИ-ботов вы видите в логах своего сайта, и какие публичные разделы они запрашивают чаще всего?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.