AI-поиск
Cloudflare и ИИ-боты: как разделить поиск и обучение

Cloudflare умеет разделять AI-ботов по поведению: поиск, действие от имени пользователя и обучение. Это полезно издателю, который хочет оставить ссылки в поисковых ответах, но ограничить сбор для обучения. Настройку нужно сверять с реальными логами: категория и отдельное WAF-правило могут действовать одновременно.
Запишите нужную политику до переключателя
Сначала сформулируйте цель: разрешить Search, ограничить Training, отдельно решить Agent. Cloudflare описывает три категории и варианты Block, Block on pages with ads, Allow. Для смешанного робота, выполняющего поиск и обучение, политика запрета обучения может дать иной результат, чем ожидание «поиск разрешён».
Сверьте, какой робот относится к какому поведению в актуальном интерфейсе и документации. Не переносите автоматически настройки с обучающего GPTBot на поисковый OAI-SearchBot: OpenAI описывает их как разные агенты.
Проверьте дополнительные правила WAF
В Cloudflare откройте событие безопасности по конкретному URL и времени. Политика AI-ботов может разрешать поиск, но пользовательское правило по стране, пути или оценке бота всё равно возвращает 403. Cloudflare отдельно предупреждает о таких случайных блокировках известных роботов.
Если ИИ-бот получает 403, сохраните идентификатор сработавшего правила и клиентский IP. Сделайте исключение по подтверждённому боту и необходимому пути, затем повторите проверку. Не основывайте правило только на подставленной строке User-Agent.
Следите за эффектом без обещаний
После изменения сравните долю ответов 200, 403 и 429 для нужных URL и подтверждённых роботов. Отдельно проверьте обычные поисковые боты, чтобы сохранить индексирование. Запишите дату настройки, старую и новую политику, а также срок наблюдения.
Видимость в AI-ответах измеряйте отдельно от логов CDN. Разрешённый обход не гарантирует цитирования, а отсутствие переходов не доказывает отсутствие упоминаний. Не называйте настройку Cloudflare фактором ранжирования: она управляет доступом и реакцией на запрос.
Первоисточники
FAQ
Частые вопросы
Можно ли разрешить поиск и ограничить обучение?
Да, политики различают поведение, но проверьте смешанных роботов и дополнительные WAF-правила.
Почему при разрешённом поиске остаётся 403?
Запрос мог заблокировать отдельный слой или пользовательское правило WAF.
Заменяет ли политика Cloudflare robots.txt?
Нет. Проверяйте и инструкции роботам, и реальный HTTP-ответ.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Какой сценарий доступа вы хотите сохранить в первую очередь: поисковые ссылки, агентский переход или обучение?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.