ИИ-ассистенты и robots.txt: как открыть сайт для ИИ-поиска и закрыть обучение

Сложность: Сами за 5 минут Обновлено 30.10.2026

Что это значит

ИИ-ассистенты с поиском (Алиса AI в Яндексе, ChatGPT, Perplexity, Claude) отвечают на вопросы своими словами и ставят ссылки на сайты-источники. Брать сайт или нет, их роботы узнают из robots.txt. У вас там закрыт доступ одному или нескольким таким роботам.

Чем мешает

Сайт не будет попадать в ответы этих ИИ-ассистентов как источник со ссылкой. Если вы закрыли их специально, всё в порядке. Обычный поиск Яндекса и Google от этого не страдает.

Как исправить

Выберите, на чём сделан сайт: WordPress Tilda 1С-Битрикс OpenCart Другой движок или свой сервер

WordPress

Yoast: «Yoast SEO → Инструменты → Редактор файлов» → robots.txt. Rank Math: «Rank Math SEO → Общие настройки → Редактировать robots.txt». Уберите Disallow для роботов из отчёта или удалите их группы целиком.

Tilda

Tilda создаёт robots.txt сама, и вручную его не отредактировать. Если запрет появился не по вашей воле, напишите в поддержку Tilda.

1С-Битрикс

«Маркетинг → Поисковая оптимизация → Настройка robots.txt»: уберите Disallow для роботов из отчёта и сохраните.

OpenCart

Откройте файл robots.txt в корне сайта через файловый менеджер хостинга и уберите Disallow для роботов из отчёта.

Другой движок или свой сервер

Откройте robots.txt в корне сайта и уберите Disallow для роботов ИИ-поиска (YandexAdditional, OAI-SearchBot, PerplexityBot, Claude-SearchBot). Роботов обучения (GPTBot, ClaudeBot) можно оставить закрытыми.

Пример кода

Замените example.by на адрес своего сайта.

# Открыть сайт для ИИ-поиска (Алиса AI, ChatGPT, Perplexity, Claude):
User-agent: YandexAdditional
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Закрыть только обучение моделей (по желанию):
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Если сайт делал подрядчик

Перешлите ему ссылку на отчёт и эту просьбу:

В robots.txt закрыт доступ роботам ИИ-поиска (список в отчёте). Если мы хотим попадать в ответы ИИ-ассистентов, уберите, пожалуйста, для них Disallow.

Как проверить, что всё исправлено

Откройте https://ваш-сайт/robots.txt и проверьте, что для роботов из отчёта нет Disallow: /. ИИ-ассистенты учтут изменения не сразу, обычно за несколько недель. Проверьте сайт снова на yasnoseo.by.