AI-поиск

Cloudflare и ИИ-боты: как разделить поиск и обучение

Иллюстрация к статье «Cloudflare и ИИ-боты: как разделить поиск и обучение»

Cloudflare умеет разделять AI-ботов по поведению: поиск, действие от имени пользователя и обучение. Это полезно издателю, который хочет оставить ссылки в поисковых ответах, но ограничить сбор для обучения. Настройку нужно сверять с реальными логами: категория и отдельное WAF-правило могут действовать одновременно.

Запишите нужную политику до переключателя

Сначала сформулируйте цель: разрешить Search, ограничить Training, отдельно решить Agent. Cloudflare описывает три категории и варианты Block, Block on pages with ads, Allow. Для смешанного робота, выполняющего поиск и обучение, политика запрета обучения может дать иной результат, чем ожидание «поиск разрешён».

Сверьте, какой робот относится к какому поведению в актуальном интерфейсе и документации. Не переносите автоматически настройки с обучающего GPTBot на поисковый OAI-SearchBot: OpenAI описывает их как разные агенты.

Проверьте дополнительные правила WAF

В Cloudflare откройте событие безопасности по конкретному URL и времени. Политика AI-ботов может разрешать поиск, но пользовательское правило по стране, пути или оценке бота всё равно возвращает 403. Cloudflare отдельно предупреждает о таких случайных блокировках известных роботов.

Если ИИ-бот получает 403, сохраните идентификатор сработавшего правила и клиентский IP. Сделайте исключение по подтверждённому боту и необходимому пути, затем повторите проверку. Не основывайте правило только на подставленной строке User-Agent.

Следите за эффектом без обещаний

После изменения сравните долю ответов 200, 403 и 429 для нужных URL и подтверждённых роботов. Отдельно проверьте обычные поисковые боты, чтобы сохранить индексирование. Запишите дату настройки, старую и новую политику, а также срок наблюдения.

Видимость в AI-ответах измеряйте отдельно от логов CDN. Разрешённый обход не гарантирует цитирования, а отсутствие переходов не доказывает отсутствие упоминаний. Не называйте настройку Cloudflare фактором ранжирования: она управляет доступом и реакцией на запрос.

Первоисточники

FAQ

Частые вопросы

Можно ли разрешить поиск и ограничить обучение?

Да, политики различают поведение, но проверьте смешанных роботов и дополнительные WAF-правила.

Почему при разрешённом поиске остаётся 403?

Запрос мог заблокировать отдельный слой или пользовательское правило WAF.

Заменяет ли политика Cloudflare robots.txt?

Нет. Проверяйте и инструкции роботам, и реальный HTTP-ответ.

Проверьте себя

Вопрос 1 из 2. Результат увидите только вы.

Какие категории Cloudflare разделяет в политике AI-ботов?

Обсуждение

Какой сценарий доступа вы хотите сохранить в первую очередь: поисковые ссылки, агентский переход или обучение?

Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.