AI-поиск
Как разрешить или закрыть ИИ-ботов в robots.txt
Чтобы ограничить GPTBot, добавьте отдельную группу с User-agent: GPTBot и Disallow: / в robots.txt нужного хоста. Если вы хотите оставить доступ поисковому роботу OpenAI, проверьте отдельную группу OAI-SearchBot. Эти настройки отвечают за разные сценарии: GPTBot связан с возможным обучением моделей, OAI-SearchBot — с поисковым обнаружением сайта. Перед изменением сохраните текущий файл и проверьте, какие общие правила уже действуют.
Определите, что именно хотите ограничить
В официальной справке OpenAI GPTBot указан как робот для сбора материалов, которые могут использоваться в обучении моделей. OAI-SearchBot служит для поиска ChatGPT. Вы можете разрешить одному и запретить другому: правила независимы. Не путайте их с ChatGPT-User — обращением, инициированным пользователем; OpenAI предупреждает, что обычные правила robots.txt могут применяться к нему иначе.
Запишите решение по каждому роботу в таблицу: назначение, разрешённые разделы и ожидаемая проверка. Если вы хотите, чтобы публичная статья могла появиться в поисковых ответах, запрет OAI-SearchBot может этому помешать. Разрешение доступа, в свою очередь, не гарантирует цитату. Общее устройство файла разобрано в статье <a href="/blog/robots-txt">о robots.txt</a>.
Пример разных правил для двух роботов
Учебный пример ниже закрывает весь сайт для GPTBot и оставляет его открытым для OAI-SearchBot. Он подходит только если это действительно ваше решение и остальные правила файла не создают противоречия. Разместите файл по адресу /robots.txt на каждом нужном хосте; правило одного поддомена не следует автоматически считать правилом другого.
Если требуется закрыть лишь раздел, вместо / укажите его путь, например /private/. Не используйте robots.txt для защиты секретной информации: файл публичный, а запрет обхода не заменяет авторизацию. Перед публикацией проверьте синтаксис групп и сделайте резервную копию.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Проверьте файл и фактические обращения
Откройте https://example.ru/robots.txt и убедитесь, что сервер отдаёт нужный файл без ошибки и неожиданного редиректа. Протестируйте конкретный публичный URL отдельно для GPTBot и OAI-SearchBot в доступном анализаторе правил, затем просмотрите access log после следующего обращения. В логе сохраните время, URL, заявленный User-Agent и код ответа; строка имени сама по себе не доказывает подлинность робота.
Не делайте вывод по отсутствию запросов сразу после правки. Робот должен повторно получить robots.txt; OpenAI предупреждает о времени применения изменения в своей системе поиска. При необходимости проверьте также CDN и защиту сервера: они могут отдавать 403, даже если robots.txt разрешает обход. Если политика доступа меняется, снова проверьте оба имени, а не только GPTBot.
Первоисточники
FAQ
Частые вопросы
Если закрыть GPTBot, исчезнет ли сайт из поиска ChatGPT?
Это разные настройки. OpenAI отделяет GPTBot для потенциального обучения от OAI-SearchBot для поиска. Проверьте правило для OAI-SearchBot отдельно.
Можно ли закрыть только один раздел?
Да. В Disallow укажите путь нужного раздела вместо / и протестируйте конкретные URL. Секретные данные всё равно защищайте авторизацией.
Нужно ли менять robots.txt на каждом поддомене?
Правила файла относятся к хосту, где он размещён. Проверьте каждый используемый хост и протокол отдельно.
Изменение сработает сразу?
Нужно дождаться повторного получения файла роботом и проверить результат в логах. Не обещайте точное время по одному наблюдению.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Какие разделы сайта вы хотите оставить доступными поисковому роботу, но закрыть для сбора материалов на обучение?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.