2.4.1.2.4. Захист від ботів

Примітки:

  • Перевірка не виконується для IP-адрес, які додані в білий список Firewall.
  • Якщо потрібного бота немає у списку, скористайтеся кнопкою «Запропонувати бота».

Принцип роботи

Деякі боти можуть створювати безглузде навантаження на сайт або сканувати його на наявність вразливостей. Для таких ботів доступ до сайту за замовчуванням блокується. Блокування виконується за User-Agent, заблоковані боти на всі запити отримують відповідь 403.

flowchart LR request@{ shape: stadium, label: "➡️ Запит" } whitelist@{ shape: rounded, label: "🧱 Режим
обмеженого
доступу" } blacklist@{ shape: rounded, label: "📋 Чорний
список IP" } firewall@{ shape: rounded, label: "🔥 Firewall" } subgraph bots [🤖 Боти] list@{ shape: diamond, label: "📋 Бот
є в списку?" } E[ ]:::empty classDef empty height: 0, width: 0 subgraph rules [Правила] allow@{ shape: rounded, label: "✔️ Завжди дозволяти" } ddos@{ shape: rounded, label: "🛡 Дозволити,
але обмежувати під час підвищеного навантаження" } deny@{ shape: rounded, label: "❌ Заборонити" } end end countries@{ shape: rounded, label: "🌎 Країни" } suspicious@{ shape: rounded, label: "🔍 Підозрілі IP" } iam@{ shape: rounded, label: "🛡️ I'm Under Attack" } site@{ shape: stadium, label: "✅ Сайт" } error_403@{ shape: stadium, label: "🚫 Помилка 403" } request-->whitelist request-->blacklist blacklist-->firewall whitelist-->firewall firewall-->list list---E-->|✅|rules allow-->site ddos-->countries deny-....->error_403 list-->|❌ або запит не від бота|countries countries-->suspicious suspicious-->iam iam-->site firewall-.->site

У ланцюжку всіх етапів захисту сайту захист від ботів йде після режиму обмеженого доступу, чорного списку IP і Firewall перед обмеженням доступу за країнами, перевіркою підозрілих IP і I'm Under Attack.

Налаштування

Доступ до сайту для ботів налаштовується в розділі «Захист сайту» на вкладці «Боти» за допомогою правил:

  • Завжди дозволяти — боти будуть отримувати доступ до сайту. Виняток: IP-адреси, доступ для яких обмежений за допомогою чорного списку IP або режиму обмеженого доступу.
  • Дозволити, але обмежувати під час підвищеного навантаження на сайт — якщо бот підпадає під будь-яке правило, яке обмежує доступ (наприклад, обмеження доступу за країнами, I'm Under Attack), то доступ буде заборонено. Корисно використовувати, коли робота цього бота потрібна, але в разі перевищення навантаження і увімкнення захисту, доступ для нього був заборонений і він отримував помилку 429.
  • Заборонити — боти будуть отримувати помилку 403.

Для встановлення правил використовуйте кнопки ✔️, 🛡 і ❌ біля назви бота або групи ботів:

Кнопка «Застосувати до всіх сайтів хостинг-акаунта» встановлює налаштування поточного сайту для всіх сайтів в даному хостинг-акаунті.

Кнопка «Відновити правила за замовчуванням» встановлює стандартні налаштування захисту від ботів.

Статистика

Статистика дозволяє швидко визначити, від яких ботів надходить найбільше запитів і для яких із них може знадобитися обмеження доступу.

У верхній частині вкладки «Боти» відображається топ-20 ботів за кількістю дозволених запитів (загальна кількість запитів мінус кількість обмежених запитів) з початку поточного дня:

Натискання на назву бота прокручує сторінку до налаштувань доступу для нього та виділяє їх.

Також статистика для кожного бота відображається в налаштуваннях поруч із його назвою (якщо був мінімум 1 запит):

Зміст
    (4)