AI-поиск

GPTBot и OAI-SearchBot: чем отличаются и что открывать

Иллюстрация к статье «GPTBot и OAI-SearchBot: чем отличаются и что открывать»

OAI-SearchBot нужен OpenAI для поиска сайтов в ChatGPT, а GPTBot связан с обходом контента для возможного обучения моделей. Их настройки независимы. Если владельцу нужны поисковые ссылки, но он против обучения, правила для двух имён следует задавать отдельно.

Не смешивайте три User-Agent

OpenAI пишет, что OAI-SearchBot используется для показа сайтов в поисковых функциях ChatGPT; исключённые из его обхода сайты не показываются в поисковых ответах, хотя могут оставаться навигационные ссылки. GPTBot получает материалы, которые могут использоваться при обучении; его запрет означает отказ от такого использования. ChatGPT-User служит отдельным действиям пользователя и не является автоматическим поисковым обходом.

Поэтому строка «разрешили GPTBot» не проверяет поисковую доступность, а строка «запретили OAI-SearchBot» влияет не только на обучение. В разборе выбора ограничений есть сценарии для издателя.

Запишите две группы правил и протестируйте путь

Пример при цели «разрешить поиск, запретить обучение»: группа User-agent: OAI-SearchBot с Allow: / и группа User-agent: GPTBot с Disallow: /. Это иллюстрация, а не готовый файл: другие правила вашего robots.txt, вложенные пути и CDN нужно проверить вместе. Оставьте обычные правила Googlebot и YandexBot без случайного изменения.

Откройте публичный robots.txt, проверьте синтаксис, затем запросите важный URL. Даже при Allow: / межсетевой экран может вернуть 403 или 429. OpenAI рекомендует также разрешать запросы из опубликованных IP-диапазонов поискового робота. Проверять только текст robots.txt недостаточно.

Не обещайте цитату после изменения

OpenAI отмечает, что обновление политики для поисковых результатов может занять около суток. Разрешение доступа делает страницу доступной для рассмотрения, но не гарантирует появления ссылки: содержание ответа и выбор источника меняются. Сохраните дату изменения, код ответа и пример вопроса для повторной проверки.

Для Яндекса действует другой набор роботов и собственный индекс. Яндекс говорит, что Алиса AI выбирает качественные страницы из поиска; правила OpenAI к ней не относятся. Если редакция не уверена в политике использования материала, сначала согласуйте цель ограничения, затем проверяйте каждый путь.

Первоисточники

FAQ

Частые вопросы

Можно ли запретить GPTBot и оставить OAI-SearchBot?

Да. OpenAI описывает независимые настройки для обучения и поиска.

ChatGPT-User равен OAI-SearchBot?

Нет. Первый связан с действиями пользователя, второй с автоматическим поисковым обходом.

Достаточно ли Allow в robots.txt?

Нет. Проверьте HTTP-ответ сервера и правила CDN для нужного робота.

Проверьте себя

Вопрос 1 из 2. Результат увидите только вы.

Какой запрет относится к обучению OpenAI?

Обсуждение

Какая политика вам нужна для своих публичных статей: поиск ChatGPT, обучение моделей или оба сценария?

Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.