В robots.txt есть устаревшие директивы
Директивы robots.txt, которые Яндекс не учитывает
Почему это важно
Яндекс больше не учитывает Host и Crawl-delay — они ничего не делают
Как исправить
- Удалите Host и Crawl-delay. Главное зеркало задается 301-редиректом, скорость обхода — в Вебмастере
Основание
Требование или рекомендация поисковика.
Как проверить результат
Запустите повторную проверку с теми же настройками и убедитесь, что находка перешла в исправленные.
Подробнее по теме: открыть статью в блоге