Как проверить noindex на странице: 4 способа
Что это значит
Noindex — запрет показывать страницу в поиске. Он бывает в двух местах: в HTML-коде страницы (<meta name="robots" content="noindex"> или <meta name="yandex" content="noindex">, <meta name="googlebot" content="noindex">) и в ответе сервера, в заголовке X-Robots-Tag: noindex. Второй вариант в коде страницы не виден, поэтому проверять нужно оба.
Чем мешает
Страница с noindex выпадает из поиска через несколько дней или недель после того, как робот её перепроверит, даже если на неё ведут ссылки и она есть в карте сайта. Часто noindex остаётся после разработки или ставится плагином на всю рубрику, и владелец узнаёт об этом по падению трафика.
Как исправить
Другой движок или свой сервер
- Код страницы: откройте её, нажмите Ctrl+U (на Mac — Cmd+Option+U) и найдите Ctrl+F слово
noindex. Ищите в строках<meta name="robots",<meta name="yandex"и<meta name="googlebot". Слово noindex в тексте статьи или в старом теге<noindex>Яндекса страницу не закрывает. - Заголовок сервера: в браузере откройте инструменты разработчика (F12) → «Сеть» (Network), обновите страницу, нажмите на первый запрос и найдите в «Заголовках ответа»
X-Robots-Tag. Или выполните в терминалеcurl -sI https://example.by/stranica/ | grep -i x-robots-tag. - Яндекс: в Вебмастере откройте «Инструменты» → «Проверка ответа сервера» или «Индексирование» → «Проверить статус URL». Там видно, есть ли запрет и в поиске ли страница.
- Google: в Search Console вставьте адрес в строку «Проверка URL» сверху. В блоке «Индексирование» будет указано, разрешено ли индексирование и нашёл ли Google noindex.
- Чтобы проверить сразу главную и страницы, на которые она ссылается, запустите проверку на yasnoseo.by: noindex в коде и в заголовке сервера попадут в отчёт.
Пример кода
Замените example.by на адрес своего сайта.
<meta name="robots" content="noindex, follow">
X-Robots-Tag: noindex
Если страница закрыта в robots.txt (Disallow), робот не заходит на неё и не видит noindex. Поэтому для страницы, которую нужно убрать из поиска, robots.txt должен её разрешать, а запрет ставится только noindex.
Вариант content="none" означает то же, что noindex, nofollow.
Как проверить, что всё исправлено
Если noindex убрали, проверьте страницу ещё раз всеми способами выше и отправьте её на переобход: в Вебмастере «Индексирование» → «Переобход страниц», в Search Console «Проверка URL» → «Запросить индексирование».