Защита от ботов (Wordfence, Cloudflare) блокирует поисковых роботов: как проверить и настроить
Что это значит
Защита сайта от ботов (у хостинга, Cloudflare или в плагине) отказала части наших запросов: коды 403 или 429, обрывы соединения либо страница «проверка браузера».
Чем мешает
Главный риск: если защита так же режет Яндекс и Google, страницы будут хуже попадать в поиск. Для нас это значит, что отчёт неполный.
Wordfence: ограничение частоты и поддельные роботы Google
- Откройте в WordPress «Wordfence → Firewall» и найдите блок Rate Limiting (ограничение частоты запросов). Если он включён, проверьте, что действие для превышения лимита — «throttle» (притормозить), а не блокировка: робот поймёт задержку, а блокировка выглядит для него как закрытый сайт.
- Параметр «How should we treat Google's crawlers»: выберите вариант, при котором проверенные роботы Google не ограничиваются (Verified Google crawlers will not be rate-limited).
- Параметр «Immediately block fake Google crawlers» блокирует тех, кто только представляется Googlebot. Если после его включения в поиске Google пропали страницы, выключите его.
- Особых настроек для Яндекса в Wordfence нет: его робот попадает под общие лимиты. Если лимиты строгие, сделайте их мягче для обходчиков (crawlers).
- Посмотрите, кого Wordfence уже заблокировал: «Wordfence → Tools → Live Traffic» и список блокировок. Если там адреса, которые при обратной проверке (reverse DNS) принадлежат yandex.ru, yandex.net или yandex.com, снимите блокировку и добавьте их в список разрешённых адресов (Allowlisted IP addresses) в настройках файрвола.
- Если вы заблокировали сами себя, отключите плагин: переименуйте через файловый менеджер хостинга папку
wp-content/plugins/wordfence, войдите в админку и верните прежнее имя.
Cloudflare: Bot Fight Mode
- Bot Fight Mode (бесплатный тариф) включается в панели Cloudflare в разделе Security → Settings, фильтр «Bot traffic». По документации Cloudflare проверенные роботы (verified bots), в том числе Googlebot и робот Яндекса, этим режимом не затрагиваются.
- Настроить исключения в Bot Fight Mode нельзя: свои правила со «Skip» на него не действуют. Если роботы всё же получают 403 или проверку-капчу, выключите Bot Fight Mode.
- На платных тарифах есть Super Bot Fight Mode: в нём для группы «Verified bots» выберите «Allow».
- Если блокирует не Bot Fight Mode, а правила WAF, добавьте собственное правило, которое пропускает проверенных роботов (поле
cf.bot_management.verified_botили «Known bots»). Cloudflare пишет, что после смены IP-адресов Яндекса его робот иногда временно попадает под управляемые правила — это проходит само, обычно до 48 часов. - Проверьте результат в Яндекс Вебмастере («Инструменты» → «Проверка ответа сервера») и снова на yasnoseo.by.
Как исправить
WordPress
- Если стоит Wordfence или другой плагин защиты, проверьте, что поисковые роботы не ограничиваются (в Wordfence это настройки ограничения частоты запросов в разделе файрвола).
- Если защиту включал хостинг, спросите поддержку, пропускает ли она Яндекс и Google.
Tilda
- У Tilda своей настраиваемой защиты нет. Если сайт за Cloudflare или другим сервисом, смотрите его настройки. Иначе напишите в поддержку Tilda.
1С-Битрикс
- Проверьте настройки модуля «Проактивная защита» и защиту у хостинга: поисковые роботы не должны ограничиваться.
OpenCart
- Проверьте модули антибота и настройки защиты у хостинга.
Другой движок или свой сервер
- Cloudflare: в разделе «Security» проверьте режим защиты от ботов и свои правила. Обычно Cloudflare пропускает проверенных поисковых роботов, но собственные правила могут их блокировать.
- Если ограничение по частоте запросов (429), сделайте лимит мягче для известных поисковых роботов.
Главное — чтобы защита пропускала Яндекс и Google. Пропускать нашего бота необязательно.
Если сайт делал подрядчик
Перешлите ему ссылку на отчёт и эту просьбу:
Защита сайта от ботов ограничивает часть запросов (коды в отчёте). Проверьте, пожалуйста, что Яндекс и Google ходят без ограничений, и при желании добавьте YasnoSEOBot в белый список.
Как проверить, что всё исправлено
В Яндекс Вебмастере («Инструменты → Проверка ответа сервера») и Google Search Console («Проверка URL») убедитесь, что страницы открываются без ошибок. Проверьте сайт снова на yasnoseo.by.