AI-поиск
Стоит ли закрывать сайт от нейросетей: за и против

«Закрыть сайт от ИИ» — слишком широкая команда. Разные роботы обслуживают поиск, обучение моделей и запросы конкретного пользователя. Сначала решите, что именно хотите ограничить и какие полезные переходы готовы потерять. robots.txt — инструкция для соблюдающих её роботов, а не защита закрытых данных.
Разделите поиск, обучение и пользовательский запрос
OpenAI документирует независимые настройки OAI-SearchBot для поиска ChatGPT и GPTBot для возможного использования контента в обучении. Можно разрешить первого и запретить второго. ChatGPT-User посещает страницу по действию пользователя; его запросы отличаются от автоматического обхода, и правила robots.txt могут применяться не так же.
Яндекс описывает отдельное ограничение YandexAdditionalBot или YandexAdditional для использования содержимого в ответах Алисы AI. При этом Google AI Overviews опирается на обычную индексацию Google Search и не требует особого AI-бота для допуска. Один запрет User-agent: * может случайно перекрыть сразу несколько целей.
Оцените последствия для читателя и издателя
Если запретить OAI-SearchBot, сайт не будет показываться как источник в поисковых ответах ChatGPT, хотя возможны навигационные ссылки. Если запретить GPTBot, вы выражаете отказ от использования обхода для обучения моделей OpenAI, сохраняя отдельное решение по поиску. Если ограничить Яндекс для Алисы AI, снизится возможность использования текста в этом формате ответа.
Учебный сценарий: инструкция по ремонту приносит читателям переходы из поиска, но владелец не хочет использовать текст для обучения. Проверьте отдельные правила для каждого робота вместо полного закрытия раздела.
Вносите правило с проверкой, а не вслепую
Перед изменением сохраните robots.txt, цель и ответственного. После релиза откройте файл с публичного URL, проверьте точное имя робота и конкретный путь, затем посмотрите логи ответа сервера. Не размещайте секретные документы на публичном URL в надежде на robots.txt: недобросовестные клиенты могут игнорировать его.
Оцените результат через время, с учётом задержки обработки правил. Не делайте вывод по одному AI-ответу: он мог использовать другой источник или старые данные. Для уже индексированных URL вопрос удаления из поиска решается отдельными механизмами.
Первоисточники
FAQ
Частые вопросы
Можно ли запретить обучение, оставив поиск ChatGPT?
Да. OpenAI описывает независимые правила GPTBot и OAI-SearchBot.
Защитит ли robots.txt закрытый документ?
Нет. Не публикуйте секреты по открытому URL; нужен контроль доступа.
Есть ли отдельный робот Google только для AI Overviews?
Руководство Google описывает обычные требования Search для участия в AI-функциях.
Проверьте себя
Вопрос 1 из 2. Результат увидите только вы.
Обсуждение
Что именно вы хотите ограничить на своём сайте: поиск, обучение или доступ к закрытым данным?
Войдите, чтобы оставить комментарий. Читать обсуждение могут все. Комментарии проходят автоматическую и редакционную проверку.