2.34. Блокування ботів

За замовчуванням на хостингу блокуються:

• Боти, створюють безглузду навантаження на сайт або скануючі його на наявність вразливостей.
• Запити з IP-адрес, яких ми вважаємо ботами, у яких клієнти не підтримують JavaScript.

Список User-Agent, яким обмежений доступ до хостингу (у відповідь на запити вони отримують відповідь 403) І яких не можна розблокувати:

1. JDatabaseDriverMysqli
2. 80legs.com
3. DLE_Spider.exe
4. xpymep.exe
5. libwww-perl
6. BOT for JCE
7. coccoc
8. heritrix
9. Aibot
10. exabot.com
11. butterfly
12. CareerBot
13. FTRF
14. www.exb.de
15. magpie-crawler
16. SISTRIX
17. radian6
18. BLEXBot
19. JikeSpider
20. Sosospider
21. Attentio
22. filterdb.iss.net
23. cmscrawler
24. tkl.iis.u-tokyo.ac.jp
25. J-BRO
26. ApacheBench
27. meanpathbot
28. IndoXploitTools

Деякі User-Agent, використовувані ботами, блокуються через створення безглуздою навантаження, але їх блокування можна відключити. Така можливість доступна для ботів:

1. SemrushBot
2. MegaIndex
3. Dotbot
4. LTX71
5. Nmap
6. velen.io
7. Re-re Studio
8. netEstate NE Crawler
9. statdom.ru
10. SEOkicks
11. 7Siters
12. Seekport Crawler
13. serpstatbot
14. panscient.com
15. ZoominfoBot
16. SearchAtlas
17. DuckDuckBot
18. AwarioRssBot
19. AwarioSmartBot
20. NetpeakSpiderBot
21. GetIntent
22. ia_archiver
23. AspiegelBot
24. WPScan
25. https://gdnplus.com
26. DuckDuckGo
27. ApacheBench
28. python-requests
29. BorneoBot
30. Ahrefs
31. MJ12Bot

Щоб відключити блокування, в налаштуваннях сайту навпроти «Чи не блокувати ботів»Виберіть ботів, яких не потрібно блокувати, і збережіть зміни:

Зміни вступають в силу в протягом 10-15 хвилин з моменту збереження.

Будь-яким іншим User-Agent можна самостійно обмежувати доступ за допомогою директив в .htaccess.