Как создать и добавить robots.txt на сайт и указать в нём карту сайта
Что это значит
На сайте нет файла robots.txt или в нём нет строки Sitemap: с адресом карты сайта. Это не ошибка: без файла поисковики просто обходят всё.
- Нет файла robots.txt. На сайте нет файла robots.txt. Это не ошибка: без него поисковики просто обходят всё.
- В robots.txt не указана карта сайта. В robots.txt нет строки
Sitemap:с адресом карты сайта.
Чем мешает
Вы упускаете простой способ показать поисковикам карту сайта и закрыть служебные разделы: корзину, поиск, личный кабинет. Новые страницы находятся медленнее.
Как исправить
WordPress
- Yoast: «Yoast SEO → Инструменты → Редактор файлов» → «Создать файл robots.txt». Rank Math: «Общие настройки → Редактировать robots.txt».
- Yoast и Rank Math добавляют ссылку на карту в robots.txt сами, если файл виртуальный. Если в корне лежит настоящий файл robots.txt, допишите строку вручную (пример ниже).
Tilda
- Tilda создаёт robots.txt сама. Если его нет, проверьте, что домен подключён и страницы опубликованы, а потом напишите в поддержку.
- Tilda добавляет строку сама. Проверьте, что домен подключён и все страницы опубликованы. Если строки нет, напишите в поддержку.
1С-Битрикс
- «Маркетинг → Поисковая оптимизация → Настройка robots.txt»: правьте правила и сохраните.
- Там же можно сгенерировать стартовый набор правил кнопками справа от поля.
- «Маркетинг → Поисковая оптимизация → Настройка sitemap.xml» → в настройке карты отметьте «Добавить правило в robots.txt после генерации» и запустите генерацию. Или добавьте строку в «Настройка robots.txt».
OpenCart
- Создайте файл robots.txt в корне сайта через файловый менеджер хостинга (пример ниже).
- В админке OpenCart редактора robots.txt нет. Откройте файл robots.txt в корне сайта через файловый менеджер хостинга.
- Допишите строку Sitemap (пример ниже).
Другой движок или свой сервер
- Создайте файл robots.txt в корне сайта (пример ниже).
- Допишите в конец robots.txt строку Sitemap с полным адресом карты.
Пример кода
Замените example.by на адрес своего сайта.
User-agent: *
Disallow: /cart/
Disallow: /search/
Disallow: /account/
Sitemap: https://example.by/sitemap.xml
# адреса служебных разделов у вашего сайта могут быть другимиSitemap: https://example.by/sitemap.xmlЕсли сайт делал подрядчик
Перешлите ему ссылку на отчёт и эту просьбу:
Создайте или дополните, пожалуйста, robots.txt: строка Sitemap с полным адресом карты сайта и закрытые служебные разделы (корзина, поиск, личный кабинет).
Как проверить, что всё исправлено
Проверьте сайт снова на yasnoseo.by.