2.4.1.2.4. Защита от ботов

Примечания:

  • Проверка не выполняется для IP-адресов, которые добавлены в белый список Firewall.
  • Если нужного бота нет в списке, используйте кнопку «Предложить бота».

Принцип работы

Некоторые боты могут создавать бессмысленную нагрузку на сайт или сканировать его на наличие уязвимостей. Для таких ботов доступ к сайту по умолчанию блокируется. Блокировка выполняется по User-Agent, заблокированные боты на все запросы получают ответ 403.

flowchart LR request@{ shape: stadium, label: "➡️ Запрос" } whitelist@{ shape: rounded, label: "🧱 Режим
ограниченного
доступа" } blacklist@{ shape: rounded, label: "📋 Чёрный
список IP" } firewall@{ shape: rounded, label: "🔥 Firewall" } subgraph bots [🤖 Боты] list@{ shape: diamond, label: "📋 Бот
есть в списке?" } E[ ]:::empty classDef empty height: 0, width: 0 subgraph rules [Правила] allow@{ shape: rounded, label: "✔️ Всегда разрешать" } ddos@{ shape: rounded, label: "🛡 Разрешать,
но ограничивать во время повышенной нагрузки" } deny@{ shape: rounded, label: "❌ Запретить" } end end countries@{ shape: rounded, label: "🌎 Страны" } suspicious@{ shape: rounded, label: "🔍 Подозрительные IP" } iam@{ shape: rounded, label: "🛡️ I'm Under Attack" } site@{ shape: stadium, label: "✅ Сайт" } error_403@{ shape: stadium, label: "🚫 Ошибка 403" } request-->whitelist request-->blacklist blacklist-->firewall whitelist-->firewall firewall-->list list---E-->|✅|rules allow-->site ddos-->countries deny-....->error_403 list-->|❌ или запрос не от бота|countries countries-->suspicious suspicious-->iam iam-->site firewall-.->site

В цепочке всех этапов защиты сайта защита от ботов идёт после режима ограниченного доступа, чёрного списка IP и Firewall перед ограничением доступа по странам, проверкой подозрительных IP и I'm Under Attack.

Настройка

Доступ к сайту для ботов настраивается в разделе «Защита сайта» на вкладке «Боты» с помощью правил:

  • Всегда разрешать — боты будут получать доступ к сайту. Исключение: IP-адреса, доступ для которых ограничен с помощью чёрного списка IP или режима ограниченного доступа.
  • Разрешить, но ограничивать во время повышенной нагрузки на сайт — если бот попадает под любое правило, которое ограничивает доступ (например, ограничение доступа по странам, I'm Under Attack), то доступ будет запрещён. Полезно использовать, когда работа этого бота нужна, но в случае превышения нагрузки и включения защиты, доступ для него был запрещён и он получал ошибку 429.
  • Запретить — боты будут получать ошибку 403.

Для установки правил используйте кнопки ✔️, 🛡 и ❌ возле названия бота или группы ботов:

Кнопка «Применить ко всем сайтам хостинг-аккаунта» устанавливает настройки текущего сайта для всех сайтов в данном хостинг-аккаунте.

Кнопка «Восстановить правила по умолчанию» устанавливает стандартные настройки защиты от ботов.

Статистика

Статистика позволяет быстро оценить, от каких ботов поступает больше всего запросов и для каких из них может понадобиться ограничение доступа.

Вверху вкладки «Боты» выводится топ-20 ботов по количеству разрешённых запросов (всего запросов минус ограничено запросов) по дням за последние 10 дней:

Цвет строки соответствует текущему правилу, которое установлено для бота (зелёный = ✔️, оранжевый = 🛡, красный = ❌).

Нажатие на название бота прокручивает страницу к настройкам доступа для него и подсвечивает их.

Также статистика для каждого бота выводится в настройках возле его названия (если был минимум 1 запрос):

Содержание
    (5)