AI-поиск

Content-Signal в robots.txt: что означает и кто учитывает

Иллюстрация к статье «Content-Signal в robots.txt: что означает и кто учитывает»

Content-Signal — предложенный способ заявить желаемое использование страниц: для обычного поиска, ответа ИИ и обучения модели. Cloudflare добавляет такие сигналы в управляемый robots.txt. Это не универсальная гарантия соблюдения каждым ботом и не замена фактического HTTP-доступа. Прежде чем копировать строку, определите политику издателя.

Разделите три назначения

В документации Cloudflare Content Signals есть search для поискового индекса, ai-input для использования контента в ответе ИИ и ai-train для обучения моделей. Значения yes и no выражают предпочтение владельца. Пример цели издателя: поисковое индексирование и ссылки разрешены, обучение запрещено. Формат сигнала не равен стандартной директиве Disallow, которая управляет обходом пути соблюдающим её роботом.

Не путайте эту строку с настройкой Google-Extended или с раздельными именами GPTBot и OAI-SearchBot. Каждый провайдер описывает собственные механизмы; одной записи в robots.txt недостаточно, чтобы предсказать поведение всех сервисов.

Проверьте опубликованный robots.txt

Если управляемый robots.txt создаёт Cloudflare, сначала выгрузите его текущую публичную версию. Выясните, не перезаписывает ли CDN файл origin и в какую группу User-agent попал Content-Signal. После изменения откройте URL /robots.txt снаружи, проверьте синтаксис обычных Allow и Disallow и оставьте дату версии.

Учебный пример: владелец добавил ai-train=no на origin, но CDN отдаёт старый robots.txt. Для роботов реально опубликован старый файл. Исправлять нужно слой, который отвечает на публичный запрос; затем отдельно проверить логи подтверждённых ботов и код доступа к статье.

Не выдавайте сигнал за гарантию

Cloudflare документирует свои управляемые сигналы; это не доказательство, что каждый робот Интернета их понимает или выполняет. OpenAI отдельно описывает GPTBot и OAI-SearchBot и правила запрета по User-agent. Если издатель хочет исключить конкретный обход, сверяйте официальную политику этого провайдера и реальный HTTP-ответ.

Заявленное предпочтение, блокировка пути и наличие ссылки в AI-ответе — три разных события. Зафиксируйте цель и проверьте каждое отдельно. Для закрытых данных нужны права доступа, а не декларация в robots.txt.

Первоисточники

FAQ

Частые вопросы

Content-Signal — обязательный веб-стандарт?

Нет. Проверяйте, учитывает ли его конкретный оператор; одно объявление не гарантирует соблюдения.

Заменяет ли он Disallow?

Нет. Content-Signal описывает желаемое использование, а Disallow ограничивает обход для соблюдающего робота.

Что если CDN отдаёт другой robots.txt?

Проверяйте публичный ответ CDN: именно его получают внешние роботы.

Проверьте себя

Вопрос 1 из 2. Результат увидите только вы.

Что обозначает ai-train=no?

Обсуждение

Какую политику использования контента вы готовы явно сформулировать для поиска, AI-ответов и обучения?

Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.