Ошибки в robots.txt: как найти и исправить
Что это значит
В robots.txt есть строки, которые поисковик не понимает: опечатки, лишние символы, правило без группы User-agent. Номера строк указаны в отчёте.
Чем мешает
Робот может понять правила иначе, чем вы задумали: открыть закрытое или закрыть открытое.
Как исправить
WordPress
- Yoast: «Yoast SEO → Инструменты → Редактор файлов» → robots.txt.
- Rank Math: «Rank Math SEO → Общие настройки → Редактировать robots.txt» (нужен расширенный режим).
- Исправьте строки из отчёта.
Tilda
- Tilda создаёт robots.txt сама, и вручную его не отредактировать. Правила меняются через настройки индексации сайта и страниц.
- Если ошибка в файле Tilda, напишите в поддержку.
1С-Битрикс
- «Маркетинг → Поисковая оптимизация → Настройка robots.txt»: правьте правила и сохраните.
- Исправьте строки из отчёта.
OpenCart
- В админке OpenCart редактора robots.txt нет. Откройте файл robots.txt в корне сайта через файловый менеджер хостинга.
- Исправьте строки из отчёта.
Другой движок или свой сервер
- Исправьте строки из отчёта. Каждое правило имеет вид
Директива: значениеи стоит после строкиUser-agent:.
Если сайт делал подрядчик
Перешлите ему ссылку на отчёт и эту просьбу:
В robots.txt есть ошибки синтаксиса (номера строк в отчёте). Исправьте их, пожалуйста, и проверьте файл в Яндекс Вебмастере.
Как проверить, что всё исправлено
Проверьте сайт снова на yasnoseo.by. Также проверьте файл в Яндекс Вебмастере: «Инструменты → Анализ robots.txt».