Disallow all в robots.txt (Disallow: /) закрывает весь сайт: как исправить

Сложность: Сами за 5 минут Обновлено 30.10.2026

Что это значит

В файле robots.txt (инструкция для поисковых роботов) стоит строка Disallow: /, то есть «не заходить никуда». В отчёте указано, для каких поисковиков.

Чем мешает

Робот не будет обходить сайт: новые страницы не попадут в поиск, изменения не обновятся, а со временем сайт может пропасть из выдачи.

noindex или robots.txt: в чём разница

  • Disallow в robots.txt запрещает роботу заходить на страницы. Но если на страницу ведут ссылки, адрес может остаться в поиске — без описания, потому что робот не видел содержимое.
  • noindex (мета-тег robots или заголовок X-Robots-Tag) просит не показывать страницу в поиске. Чтобы робот увидел этот запрет, страница не должна быть закрыта в robots.txt.
  • Чтобы убрать страницы из поиска, ставьте noindex и оставьте их открытыми в robots.txt. Чтобы робот не тратил время на служебные разделы (корзина, поиск по сайту, фильтры), закрывайте их в robots.txt.

Как найти и снять noindex, описано в статье проверка noindex.

Как исправить

Выберите, на чём сделан сайт: WordPressTilda1С-БитриксOpenCartДругой движок или свой сервер

WordPress

  1. Yoast: «Yoast SEO → Инструменты → Редактор файлов» → robots.txt.
  2. Rank Math: «Rank Math SEO → Общие настройки → Редактировать robots.txt» (нужен расширенный режим).
  3. Если в корне сайта лежит настоящий файл robots.txt, плагины его не меняют. Тогда правьте сам файл через файловый менеджер хостинга.
  4. Удалите строку Disallow: / в указанной в отчёте группе. Галочка «Попросить поисковые системы не индексировать сайт» в «Настройки → Чтение» тоже должна быть снята.

Tilda

  1. Tilda создаёт robots.txt сама, и вручную его не отредактировать. Правила меняются через настройки индексации сайта и страниц.
  2. «Настройки сайта → SEO» → снимите «Запретить поисковикам индексировать сайт». Опубликуйте все страницы.

1С-Битрикс

  1. «Маркетинг → Поисковая оптимизация → Настройка robots.txt»: правьте правила и сохраните.
  2. Удалите правило Disallow: / в нужной группе User-agent.

OpenCart

  1. В админке OpenCart редактора robots.txt нет. Откройте файл robots.txt в корне сайта через файловый менеджер хостинга.
  2. Удалите строку Disallow: / в нужной группе.

Другой движок или свой сервер

  1. Откройте файл robots.txt в корне сайта и удалите строку Disallow: / в группе, указанной в отчёте (номер строки там же).

Пример кода

Замените example.by на адрес своего сайта.

# Было (закрыто всё):
User-agent: *
Disallow: /

# Стало (открыто всё, кроме служебного):
User-agent: *
Disallow: /cart/
Sitemap: https://example.by/sitemap.xml

Если вы закрыли сайт нарочно, учтите: Disallow: / не удаляет страницы из поиска. Как закрыть сайт правильно, описано в статье про запрет индексации.

Disallow: / и Disallow: (без косой черты) — противоположные строки: первая запрещает весь сайт, вторая ничего не запрещает.

Если сайт делал подрядчик

Перешлите ему ссылку на отчёт и эту просьбу:

В robots.txt стоит Disallow: / (строка указана в отчёте), и сайт закрыт от поисковиков. Удалите, пожалуйста, это правило.

Как проверить, что всё исправлено

Проверьте сайт снова на yasnoseo.by. Файл можно проверить в Яндекс Вебмастере: «Инструменты → Анализ robots.txt».

Похожие статьи

Все статьи базы знаний