Робот SEO title
SEO title — внешний технический краулер. Он запускается пользователем, запрашивает страницы сайта и проверяет сигналы, важные для Яндекса и Google. Он также фиксирует технические ограничения, которые могут мешать чтению страниц. SEO title не является роботом или сервисом поисковых систем.
Что измеряет робот
Робот собирает HTTP-ответы, HTML, ссылки и правила доступа. Эти данные используются для SEO-здоровья и GEO-готовности.
После успешной авторизованной проверки сервер может поставить ограниченный автоматический замер через Pixel Tools: Алиса AI и Google AI Overviews, до 10 вопросов и один запуск. Расширенный протокол v2 и исследования отдельных платформ запускаются отдельно; без подтверждённых ответов показатели остаются неизвестными.
Как он представляется
Робот называется SEOtitleBot и не выдает себя за робота Яндекса или Google. В режиме Google он приходит как мобильный браузер с той же подписью; несколько контрольных запросов — как настольный браузер, тоже с пометкой SEOtitleBot. Чтобы закрыть сайт только от нашего робота, добавьте в robots.txt группу User-agent: SEOtitleBot.
Mozilla/5.0 (compatible; SEOtitleBot/1.0; +https://seotitle.ru/bot)
С какой скоростью
Без регистрации — не больше 3 запросов в секунду. После входа — до 5, объем проверки — по тарифу. Подтвержденный сайт — до 20 запросов в секунду. Робот сбавляет скорость при 429, 503 и медленных ответах и соблюдает Crawl-delay. Фактическая скорость может быть ниже одного запроса в секунду из-за Crawl-delay, Retry-After, паузы после 429/503 или сетевых сбоев.
С каких адресов
Актуальный список адресов краулера доступен в машиночитаемом виде по адресу /api/bot. Ответы 401/403 означают отказ нашему роботу: сменой адреса мы его не обходим.
Как пустить робота через защиту от ботов
Найдите отклоненный запрос в журнале защиты. Если его User-Agent содержит SEOtitleBot, настройте самое узкое исключение для правила, которое его заблокировало, запустите проверку снова и уберите временное исключение.