AI-поиск
Скорость сайта для поисковых и ИИ-ботов: что проверять

«Сайт открывается у меня» не означает, что робот получает все страницы быстро. Для поиска важны доступность конкретного URL, устойчивый серверный ответ и отсутствие массовых 429 или 5xx. Скорость не превращает слабый текст в полезный, но сбои могут остановить обход ещё до чтения материала.
Измерьте ответы на важных URL
Возьмите список новых и обновлённых страниц, а не только главную. Для каждого URL сопоставьте время ответа, HTTP-код, размер HTML и дату последнего успешного запроса робота. Отдельно смотрите CDN и origin: кэш может скрывать перегрузку приложения, а WAF — вернуть отказ до сервера.
Google описывает, что рост задержки, ответы 5xx и сигналы ограничения вроде 429 могут снизить объём обхода. Яндекс Вебмастер показывает статистику обхода и адреса, которые робот не смог загрузить. Эти отчёты помогают найти проблему, но не указывают единственную причину отсутствия статьи в AI-ответе.
Проверьте маршрут новой статьи
Учебный сценарий: свежая инструкция опубликована, но первые запросы к ней занимают четыре секунды, а каждый пятый получает 503. Сначала восстановите стабильный HTTP 200 и проверьте базу или кэш; редактирование title при недоступной странице не решит обход. Сохраните до и после: URL, код, время ответа и число повторных запросов.
Не урезайте полезный текст ради нескольких миллисекунд. Обычно выгоднее убрать ненужные блокирующие запросы, тяжёлые изображения и ошибки сервера. Для робота важен также HTML, доступный при первом запросе; текущую проверку проводите по исходному HTML.
Не назначайте универсальный порог
Нет общего числа миллисекунд, после которого AI-поиск «выключает» сайт. Проверяйте собственный тренд по сопоставимым страницам, часам и типам роботов. Внезапный рост 429 после изменения CDN — повод проверить лимиты; постепенное замедление 200 — повод искать нагрузку и запросы к базе.
После исправления смотрите новые реальные визиты роботов и данные Search Console или Вебмастера. Логи подтверждают успешный обход, но цитирование измеряется другими отчётами. Не называйте снижение времени ответа гарантией индексации.
Первоисточники
FAQ
Частые вопросы
Есть ли обязательная скорость в миллисекундах для AI-поиска?
Нет универсального порога; важны стабильный ответ и доступность URL.
Может ли 429 влиять на обход?
Да. Google учитывает сигналы ограничения и может снизить объём обхода.
Почему главная работает, а статья нет?
Разные URL могут проходить через разные кэши, правила CDN или обработчики приложения.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Какая новая статья у вас сейчас отвечает медленнее других, и на каком слое возникает задержка?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.