robots.txt не открывается: ошибка сервера или таймаут
Что это значит
Файл robots.txt не открылся: сервер ответил ошибкой 5xx, не ответил вовремя или оборвал соединение. Если файла просто нет и сервер отвечает 404, это не страшно, а ошибка или таймаут — проблема.
- robots.txt не открывается (ошибка сервера). При запросе файла robots.txt сервер отвечает ошибкой 5xx. Отсутствие файла не страшно (404), а ошибка сервера — это проблема.
- robots.txt не открылся (таймаут или обрыв). Файл robots.txt не открылся: сервер не ответил вовремя или оборвал соединение.
Чем мешает
Если robots.txt отдаёт ошибку сервера или не открывается, Google может временно считать весь сайт закрытым и приостановить его обход.
Как исправить
WordPress
- Чаще всего виноват плагин защиты или кэша. Проверьте журнал ошибок PHP в панели хостинга. Проще всего положить в корень сайта обычный файл robots.txt.
- Проверьте, открывается ли
https://ваш-сайт/robots.txtв браузере. Если долго, дело в хостинге или плагине защиты: посмотрите журнал ошибок и настройки защиты.
Tilda
- Это настройки сервера Tilda, сами вы их не меняете. Напишите в поддержку Tilda (форма в личном кабинете или team@tilda.cc) и приложите ссылку на отчёт yasnoseo.by.
1С-Битрикс
- Проверьте «Маркетинг → Поисковая оптимизация → Настройка robots.txt» и журнал ошибок. Если robots.txt формирует скрипт, нужен разработчик.
- Проверьте, быстро ли открывается
/robots.txt, и посмотрите журнал ошибок. Если медленно, нужен разработчик или хостинг.
OpenCart
- Положите в корень сайта обычный файл robots.txt. Если он есть, а ошибка остаётся, проверьте
.htaccessи защиту у хостинга. - Положите в корень обычный файл robots.txt и проверьте, быстро ли он открывается. Иначе обратитесь в хостинг.
Другой движок или свой сервер
- Проверьте, кто отдаёт
/robots.txt: файл или приложение. Должен отвечать 200 (или 404, если файла нет), но не 5xx. Если сайт за Cloudflare или «антиботом» хостинга, такие ответы могут отдавать именно они, а не сайт. - Проверьте время ответа
/robots.txtи не режет ли его файрвол или защита от ботов. Если сайт за Cloudflare или «антиботом» хостинга, такие ответы могут отдавать именно они, а не сайт.
Если сайт делал подрядчик
Перешлите ему ссылку на отчёт и эту просьбу:
Файл robots.txt не открылся у нашего робота (ошибка 5xx или таймаут, подробности в отчёте). Сделайте, пожалуйста, чтобы он быстро отвечал кодом 200 и не блокировался защитой.
Как проверить, что всё исправлено
Проверьте сайт снова на yasnoseo.by.