AI-поиск
ИИ-бот получает 403: где искать блокировку

Если OAI-SearchBot получает 403, сначала выясните, кто ответил отказом. Сервер, CDN, WAF и приложение могут возвращать одинаковый код. Смена robots.txt не меняет правило безопасности CDN и не подтверждает подлинность заявленного робота.
Подтвердите URL, время и клиента
Возьмите конкретный запрос: UTC-время, метод, URL, User-Agent, клиентский IP, код и идентификатор CDN. Проверка IP помогает исключить подделку имени. Не делайте вывод по одному curl с произвольным User-Agent: ваша машина может пройти иной маршрут и другие правила.
Проверьте robots.txt отдельно, но помните разницу: Disallow сообщает соблюдающему роботу не обходить путь, а HTTP 403 означает фактический отказ в ответе. Оба ограничения могут действовать одновременно.
Найдите правило, которое вернуло 403
В журнале CDN ищите идентификатор запроса и сработавшее правило. Если на origin той же записи нет, отказ произошёл до него. Если origin вернул 403, смотрите права приложения и серверную конфигурацию. Cloudflare предупреждает, что пользовательское WAF-правило может случайно заблокировать известных роботов по стране, пути или ASN.
Учебный пример: для /blog/ возвращается 403 только на CDN, а главная страница доступна. Проверяйте правило по пути блога и категорию робота; не выключайте все проверки безопасности ради одного бота. В журнале изменений сохраните исходное правило и способ отката.
Исправьте узко и проверьте снова
Если политика сайта допускает поисковый обход, настройте исключение для подтверждённого робота и нужного пути. Для OpenAI проверьте опубликованные IP поискового OAI-SearchBot; для других роботов используйте их собственную документацию. После правки убедитесь, что на следующем реальном запросе возвращается нужный код и что обычные защитные правила работают.
Cloudflare может блокировать AI-ботов отдельной политикой. Проверьте её назначение: поиск, агентский доступ и обучение — разные категории. 200 после правки означает доступ к URL, но не обещает ссылку в ответе ChatGPT.
Первоисточники
FAQ
Частые вопросы
Поможет ли Allow в robots.txt против 403?
Нет. Нужно исправить правило слоя, который реально вернул HTTP 403.
Стоит ли отключить весь WAF?
Нет. Найдите сработавшее правило и примените узкое исключение для подтверждённого робота.
Гарантирует ли исправленный 403 цитирование?
Нет. Доступ к странице и выбор её источником — отдельные шаги.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Где у вас впервые появляется код 403 для робота: в CDN, на сервере или в приложении?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.