Проверка noindex: как узнать, закрыта ли страница, и открыть её для поиска
Что это значит
На странице стоит запрет «не добавлять в поиск» (noindex): в коде страницы или в ответе сервера. Хуже всего, когда так закрыта главная. Часто запрет остаётся после разработки сайта.
- Главная страница запрещена к индексации. На главной стоит запрет «не добавлять в поиск» (noindex) в коде страницы или в ответе сервера. Часто он остаётся после разработки сайта.
- Страницы, на которые ведут ссылки с главной, закрыты noindex. На некоторых страницах, на которые вы ведёте посетителей с главной, стоит запрет «не добавлять в поиск» (noindex). Примеры в отчёте.
Чем мешает
Закрытая страница не показывается в Яндексе и Google. Если закрыта главная, из поиска часто пропадает весь сайт. Если закрыты служебные страницы (политика, корзина), это нормально.
Как проверить noindex
- Код страницы: откройте её и нажмите Ctrl+U, найдите поиском
noindex. Запрет выглядит как<meta name="robots" content="noindex">(иногда вместо robots указаноyandexилиgooglebot). - Ответ сервера: noindex может стоять не в коде, а в заголовке
X-Robots-Tag. Его видно в браузере (F12 → «Сеть» → выберите страницу → «Заголовки ответа») или командойcurl -I https://example.by/. - Google Search Console: «Проверка URL» покажет, разрешено ли индексирование и не мешает ли noindex.
- Яндекс Вебмастер: «Инструменты → Проверка ответа сервера» покажет код ответа и заголовки, а в исключённых страницах видно, какие адреса закрыты noindex.
Ясно SEO проверяет и мета-тег, и заголовок X-Robots-Tag на главной и страницах, на которые с неё ведут ссылки.
Как исправить
WordPress
- «Настройки → Чтение» → снимите галочку «Попросить поисковые системы не индексировать сайт» (раздел «Видимость для поисковиков»). Сохраните.
- Yoast: откройте страницу, назначенную главной, и в блоке Yoast SEO на вкладке «Дополнительно» разрешите показывать страницу в результатах поиска.
- Rank Math: в настройках страницы → вкладка «Дополнительно» → «Мета-тег robots» → «Index».
- Yoast: на странице в блоке Yoast SEO на вкладке «Дополнительно» разрешите показывать страницу в результатах поиска. Для всех страниц типа сразу: «Yoast SEO → Настройки → Типы контента».
- Rank Math: вкладка «Дополнительно» → «Мета-тег robots» → «Index».
Tilda
- «Настройки сайта → SEO» → снимите «Запретить поисковикам индексировать сайт».
- В настройках главной страницы: «SEO → Отображение в поисковой выдаче → Задать специальные метаданные» → снимите «Запретить поисковикам индексировать страницу». Опубликуйте страницу.
- «Настройки страницы → SEO → Отображение в поисковой выдаче → Задать специальные метаданные» → снимите «Запретить поисковикам индексировать страницу». Опубликуйте страницу.
1С-Битрикс
- Проверьте свойства главной страницы: если среди них есть запрет индексации (noindex), уберите его.
- Попросите разработчика проверить шаблон (
header.php) и.htaccessна noindex иX-Robots-Tag. - Проверьте свойство robots у страниц и SEO-настройки инфоблока. Если noindex ставит шаблон, нужен разработчик.
OpenCart
- Проверьте шаблон темы и установленные SEO-модули на noindex. Сам OpenCart не ставит noindex на главную.
- Проверьте SEO-модули и шаблон темы: сам OpenCart noindex не ставит.
Другой движок или свой сервер
- Найдите в коде страницы
<meta name="robots" content="noindex">и в конфигурации сервера заголовокX-Robots-Tag: noindex, затем удалите их. - Уберите
<meta name="robots" content="noindex">или заголовокX-Robots-Tagс нужных страниц.
Пример кода
Замените example.by на адрес своего сайта.
<!-- Запрет: страница не попадёт в поиск -->
<meta name="robots" content="noindex">
<!-- Разрешено: строку можно удалить совсем или оставить так -->
<meta name="robots" content="index, follow">
# nginx: найдите и удалите строку вида
add_header X-Robots-Tag "noindex";
# Apache (.htaccess)
Header set X-Robots-Tag "noindex"
Если noindex стоит в заголовке сервера (X-Robots-Tag), нужен разработчик.
Сначала решите, нужны ли эти страницы в поиске. Если нет, ничего делать не нужно.
Если сайт делал подрядчик
Перешлите ему ссылку на отчёт и эту просьбу:
На страницах из отчёта стоит noindex. Уберите, пожалуйста, его из мета-тега robots и заголовка X-Robots-Tag там, где страницы должны быть в поиске.
Как проверить, что всё исправлено
Проверьте сайт снова на yasnoseo.by. Затем в Яндекс Вебмастере («Индексирование → Переобход страниц») и Google Search Console («Проверка URL») попросите переобойти главную.