Индексация
Почему робот получает 403 на открытом сайте
HTTP 403 означает, что сервер отказал в доступе к URL. Если в браузере страница открывается, причина обычно находится в различии запросов: IP, cookie, авторизации, географии, правилах CDN или WAF. Диагноз подтверждают журналом конкретного запроса.
Сначала подтвердите, кто получил 403
Откройте статистику обхода и найдите URL с кодом 403. В Яндекс Вебмастере можно повторить проверку через «Проверка ответа сервера», выбрав робота. Для Google сопоставьте ошибку в Search Console с логом сервера. Запишите время, IP, путь запроса, код, правило блокировки и источник ответа — сервер приложения или CDN.
Яндекс отмечает: ответ инструмента может отличаться от ответа настоящему роботу из-за другого IP. Поэтому отсутствие 403 в разовой проверке не опровергает запись реального обхода. Сначала сравните журналы, затем меняйте правило.
Три типичных места блокировки
CDN или WAF может принять частые обращения за атаку, особенно если страница отдаёт разные ответы по стране или IP. Приложение может требовать cookie сессии даже для открытого каталога. Наконец, правило сервера иногда закрывает весь путь вместе с техническим разделом: например, /catalog вместо /catalog/private. Проверяйте условия на уровне конкретного URL, а не выключайте защиту сайта целиком.
Строка User-Agent не доказывает, что запрос пришёл от настоящего поискового робота. Google рекомендует сверять обратное DNS-имя или опубликованные диапазоны IP Googlebot. Для Яндекса есть отдельная проверка его роботов. Используйте эти способы, прежде чем вводить исключение для бота.
Исправьте правило и проверьте результат
Если блокировка ошибочна, разрешите публичный путь для подтверждённого робота, сохранив защиту приватных адресов. Зафиксируйте старое и новое правило, затем повторите проверку целевого URL и посмотрите следующий реальный запрос в журнале. Ожидаемый результат — вместо 403 возвращается корректный 200 и основной текст страницы.
Не отправляйте URL на переобход до исправления доступа: новый запрос лишь повторит отказ. Если 403 намеренный, например для личного кабинета, сохраняйте его и не обещайте индексирование закрытой страницы.
Первоисточники
FAQ
Частые вопросы
Можно ли просто разрешить любой запрос с User-Agent Googlebot?
Нет. User-Agent подделывается; подтвердите IP или обратное DNS-имя.
Почему тест в Вебмастере показал 200, а в логах есть 403?
Проверочный запрос может приходить с другого IP. Сравните время и источник ответа.
Нужно ли отключить WAF полностью?
Нет. Исправьте конкретное ложное правило, сохраняя защиту закрытых путей.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Где именно вашему роботу вернулся 403 — на CDN, WAF или сервере приложения, и что показал журнал запроса?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.