Страницы из карты сайта закрыты в robots.txt или noindex: что делать
Что это значит
Одни и те же страницы вы одновременно включили в карту сайта («проиндексируйте, пожалуйста») и закрыли: в robots.txt («сюда не ходить») или запретом noindex на самой странице.
- Страницы из карты сайта закрыты в robots.txt. Одни и те же страницы вы одновременно включили в карту сайта («проиндексируйте, пожалуйста») и закрыли в robots.txt («сюда не ходить»).
- Страницы из карты сайта закрыты noindex. Страницы есть в карте сайта, но на самой странице стоит запрет «не добавлять в поиск» (noindex).
Чем мешает
Поисковик получает два противоположных указания. Такие страницы, скорее всего, не попадут в поиск, а в Вебмастере и Search Console появятся предупреждения.
Как исправить
WordPress
- Решите, нужны ли эти страницы в поиске. Если да, удалите правило из robots.txt (Yoast: «Yoast SEO → Инструменты → Редактор файлов» → robots.txt.). Если нет, исключите их из карты в Yoast или Rank Math.
- Yoast и Rank Math сами исключают noindex-страницы из своей карты. Если противоречие есть, возможно, на сайте вторая карта (другой плагин) — отключите её. Для нужных страниц уберите noindex («Дополнительно» → разрешить показ в поиске).
Tilda
- Tilda обычно сама согласует карту и robots.txt. Проверьте, не закрыты ли эти страницы в «Настройки страницы → SEO». Если противоречие остаётся, напишите в поддержку.
- Для нужных страниц: «Настройки страницы → SEO → Отображение в поисковой выдаче → Задать специальные метаданные» → снимите запрет индексации. Опубликуйте страницу.
1С-Битрикс
- Удалите правило в «Настройка robots.txt» или исключите разделы из «Настройка sitemap.xml» и перезапустите генерацию.
- Для нужных страниц уберите noindex. Ненужные исключите из генерации карты.
OpenCart
- Удалите правило из robots.txt или исключите страницы из карты в настройках модуля.
- Для нужных страниц уберите noindex в SEO-модуле. Ненужные исключите из карты.
Другой движок или свой сервер
- Удалите правило из отчёта в robots.txt или уберите эти адреса из sitemap.
- Для нужных страниц уберите noindex, ненужные уберите из sitemap.
Если сайт делал подрядчик
Перешлите ему ссылку на отчёт и эту просьбу:
Страницы из карты сайта закрыты в robots.txt или noindex (список в отчёте). Нужные, пожалуйста, откройте, а ненужные уберите из sitemap.
Как проверить, что всё исправлено
Проверьте сайт снова на yasnoseo.by.