Индексация
Как работает Crawl-delay в robots.txt
Строка Crawl-delay выглядит как настройка паузы между запросами робота, но для двух основных поисковиков в России полагаться на неё нельзя. Яндекс перестал её учитывать в 2018 году; Google не поддерживает это поле.
Почему правило не даёт ожидаемой паузы
Яндекс сообщает, что перестал учитывать Crawl-delay с 22 февраля 2018 года. Google в своей спецификации robots.txt перечисляет поддерживаемые поля и прямо указывает, что crawl-delay среди них нет. Поэтому запись «Crawl-delay: 10» может остаться в файле для других роботов, но не должна быть основанием для расчёта нагрузки от Яндекса или Google.
Допустим, сервер начал отвечать медленно, и администратор добавил эту строку. Через сутки в журнале запросы Яндекса всё ещё идут близко друг к другу. Это не нарушение правила: для Яндекса правило не действует.
Что использовать вместо него
Для Яндекса откройте в Вебмастере раздел «Индексирование → Скорость обхода» и оцените установленный режим. Яндекс предлагает доверить выбор алгоритму или задать скорость вручную. Для Google сначала проверьте доступность хоста и избыточные URL; при настоящей перегрузке Google рекомендует временные ответы 503 или 429, но не постоянное ограничение без устранения причины.
После настройки сравните число запросов и ошибки сервера до и после изменения за одинаковые интервалы. Если проблема только в бесконечных параметрах URL, исправляйте генерацию ссылок и правила обхода для ненужных разделов, а не замедляйте полезные страницы.
Первоисточники
FAQ
Частые вопросы
Учитывает ли Яндекс Crawl-delay?
Нет, с 22 февраля 2018 года Яндекс не использует эту директиву.
Поддерживает ли Google Crawl-delay?
Нет, это поле не входит в поддерживаемый Google набор robots.txt.
Где управлять скоростью Яндекса?
В Яндекс Вебмастере в разделе «Индексирование → Скорость обхода».
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Есть ли у вас Crawl-delay в robots.txt и чем вы измеряли реальную частоту обхода после его добавления?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.