Закрытые разделы в robots.txt и разные правила для Яндекса и Google: как проверить

Сложность: Сами за 5 минут Обновлено 30.10.2026

Что это значит

В robots.txt закрыты некоторые разделы сайта, а иногда правила для Яндекса и для Google отличаются друг от друга. Само по себе это не ошибка, но стоит проверить, что так и задумано.

  • Закрытые в robots.txt разделы. Это не ошибка, а справка: мы перечисляем разделы, которые закрыты в robots.txt.
  • Правила robots.txt для Яндекса и Google расходятся. В robots.txt отдельные группы правил для Яндекса и для остальных (Google), и они различаются: одни адреса закрыты для одного поисковика и открыты для другого.

Чем мешает

Если среди закрытых разделов оказался нужный (каталог, услуги, блог), он не попадёт в поиск. Если правила для поисковиков расходятся, страница будет в одном поисковике и пропадёт из другого.

Как исправить

Выберите, на чём сделан сайт: WordPressTilda1С-БитриксOpenCartДругой движок или свой сервер

WordPress

  1. Yoast: «Yoast SEO → Инструменты → Редактор файлов» → robots.txt.
  2. Rank Math: «Rank Math SEO → Общие настройки → Редактировать robots.txt» (нужен расширенный режим).
  3. Если нужный раздел закрыт, удалите его строку Disallow.
  4. Сравните группы User-agent: Yandex и User-agent: * и сделайте их одинаковыми, если разница не задумана.

Tilda

  1. Tilda создаёт robots.txt сама, и вручную его не отредактировать. Правила меняются через настройки индексации сайта и страниц.
  2. Чтобы открыть страницу: «Настройки страницы → SEO → Отображение в поисковой выдаче → Задать специальные метаданные» → снимите «Запретить поисковикам индексировать страницу».
  3. Tilda создаёт robots.txt сама, и вручную его не отредактировать. Правила меняются через настройки индексации сайта и страниц. Если расхождение в файле Tilda, напишите в поддержку.

1С-Битрикс

  1. «Маркетинг → Поисковая оптимизация → Настройка robots.txt»: правьте правила и сохраните.
  2. Сравните правила для Яндекса и общие правила.

OpenCart

  1. В админке OpenCart редактора robots.txt нет. Откройте файл robots.txt в корне сайта через файловый менеджер хостинга.
  2. Сравните группы User-agent: Yandex и User-agent: *.

Другой движок или свой сервер

  1. Удалите строку Disallow для раздела, который должен быть в поиске.
  2. Сверьте группы User-agent: Yandex и User-agent: Googlebot / *.

Если все закрытые разделы служебные, ничего делать не нужно.

Если сайт делал подрядчик

Перешлите ему ссылку на отчёт и эту просьбу:

Проверьте, пожалуйста, закрытые в robots.txt разделы и правила для Яндекса и Google (список в отчёте): откройте нужные для поиска и уберите незадуманную разницу.

Как проверить, что всё исправлено

Проверьте сайт снова на yasnoseo.by.

Похожие статьи

Все статьи базы знаний