AI-поиск

ИИ-бот получает 403: где искать блокировку

Иллюстрация к статье «ИИ-бот получает 403: где искать блокировку»

Если OAI-SearchBot получает 403, сначала выясните, кто ответил отказом. Сервер, CDN, WAF и приложение могут возвращать одинаковый код. Смена robots.txt не меняет правило безопасности CDN и не подтверждает подлинность заявленного робота.

Подтвердите URL, время и клиента

Возьмите конкретный запрос: UTC-время, метод, URL, User-Agent, клиентский IP, код и идентификатор CDN. Проверка IP помогает исключить подделку имени. Не делайте вывод по одному curl с произвольным User-Agent: ваша машина может пройти иной маршрут и другие правила.

Проверьте robots.txt отдельно, но помните разницу: Disallow сообщает соблюдающему роботу не обходить путь, а HTTP 403 означает фактический отказ в ответе. Оба ограничения могут действовать одновременно.

Найдите правило, которое вернуло 403

В журнале CDN ищите идентификатор запроса и сработавшее правило. Если на origin той же записи нет, отказ произошёл до него. Если origin вернул 403, смотрите права приложения и серверную конфигурацию. Cloudflare предупреждает, что пользовательское WAF-правило может случайно заблокировать известных роботов по стране, пути или ASN.

Учебный пример: для /blog/ возвращается 403 только на CDN, а главная страница доступна. Проверяйте правило по пути блога и категорию робота; не выключайте все проверки безопасности ради одного бота. В журнале изменений сохраните исходное правило и способ отката.

Исправьте узко и проверьте снова

Если политика сайта допускает поисковый обход, настройте исключение для подтверждённого робота и нужного пути. Для OpenAI проверьте опубликованные IP поискового OAI-SearchBot; для других роботов используйте их собственную документацию. После правки убедитесь, что на следующем реальном запросе возвращается нужный код и что обычные защитные правила работают.

Cloudflare может блокировать AI-ботов отдельной политикой. Проверьте её назначение: поиск, агентский доступ и обучение — разные категории. 200 после правки означает доступ к URL, но не обещает ссылку в ответе ChatGPT.

Первоисточники

FAQ

Частые вопросы

Поможет ли Allow в robots.txt против 403?

Нет. Нужно исправить правило слоя, который реально вернул HTTP 403.

Стоит ли отключить весь WAF?

Нет. Найдите сработавшее правило и примените узкое исключение для подтверждённого робота.

Гарантирует ли исправленный 403 цитирование?

Нет. Доступ к странице и выбор её источником — отдельные шаги.

Проверьте себя

Вопрос 1 из 2. Результат увидите только вы.

Где искать отказ, если на origin нет записи запроса?

Обсуждение

Где у вас впервые появляется код 403 для робота: в CDN, на сервере или в приложении?

Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.