Некоторым нейросетям запрещено читать сайт
AI-ботам закрыт доступ в robots.txt
Почему это важно
Явный запрет в robots.txt ограничивает обход для названных ботов, но сам по себе не доказывает отсутствие сайта в AI-ответах. Это не всегда ошибка — решение за вами
Как исправить
- Если хотите разрешить этим ботам обход, проверьте назначение каждого User-agent и удалите только соответствующие запреты
Основание
Требование или рекомендация поисковика.
Как проверить результат
Запустите повторную проверку с теми же настройками и убедитесь, что находка перешла в исправленные.
Подробнее по теме: открыть статью в блоге