Директива Host в robots.txt (в том числе Host: https://) устарела: что делать
Что это значит
В robots.txt есть строка Host:. Раньше так указывали главный адрес сайта для Яндекса, но с 2018 года Яндекс её не учитывает.
Чем мешает
Вреда от строки нет, но она создаёт ложное ощущение, что главное зеркало настроено. На самом деле его задаёт перенаправление 301.
Как исправить
WordPress
- Yoast: «Yoast SEO → Инструменты → Редактор файлов» → robots.txt.
- Rank Math: «Rank Math SEO → Общие настройки → Редактировать robots.txt» (нужен расширенный режим).
- Удалите строку
Host:.
Tilda
- Tilda создаёт robots.txt сама, и вручную его не отредактировать. Правила меняются через настройки индексации сайта и страниц.
- Tilda управляет файлом сама, делать ничего не нужно.
1С-Битрикс
- «Маркетинг → Поисковая оптимизация → Настройка robots.txt»: правьте правила и сохраните.
- Удалите правило «Главное зеркало (Host)».
OpenCart
- В админке OpenCart редактора robots.txt нет. Откройте файл robots.txt в корне сайта через файловый менеджер хостинга.
- Удалите строку
Host:.
Другой движок или свой сервер
- Удалите строку
Host:из robots.txt и проверьте, что неосновные адреса перенаправляют 301 на основной.
Строки Host: https://example.by и Host: example.by одинаково устарели. Главный адрес с https теперь задают 301-редиректом с http и с www и указывают его же в canonical и в карте сайта.
Если сайт делал подрядчик
Перешлите ему ссылку на отчёт и эту просьбу:
В robots.txt есть устаревшая директива Host. Удалите её, пожалуйста, и проверьте, что главное зеркало склеено перенаправлением 301.
Как проверить, что всё исправлено
Проверьте сайт снова на yasnoseo.by.