2.34. Блокировка и разблокировка ботов

1 По умолчанию на хостинге блокируются:

  • Боты, создающие бессмысленную нагрузку на сайт или сканирующие его на наличие уязвимостей.
  • Запросы с IP-адресов, которых мы считаем ботами, у которых клиенты не поддерживают JavaScript.

Список User-Agent, которым ограничен доступ к хостингу (в ответ на запросы они получают ответ 403) и которых нельзя разблокировать:

  1. JDatabaseDriverMysqli
  2. 80legs.com
  3. DLE_Spider.exe
  4. xpymep.exe
  5. libwww-perl
  6. BOT for JCE
  7. coccoc
  8. heritrix
  9. Aibot
  10. exabot.com
  11. butterfly
  12. CareerBot
  13. FTRF
  14. www.exb.de
  15. magpie-crawler
  16. SISTRIX
  17. radian6
  18. BLEXBot
  19. JikeSpider
  20. Sosospider
  21. Attentio
  22. filterdb.iss.net
  23. cmscrawler
  24. tkl.iis.u-tokyo.ac.jp
  25. J-BRO
  26. ApacheBench
  27. meanpathbot
  28. IndoXploitTools

Некоторые User-Agent, используемые ботами, блокируются по причине создания бессмысленной нагрузки, но их блокировку можно отключить. Такая возможность доступна для ботов:

  1. SemrushBot
  2. MegaIndex
  3. Dotbot
  4. LTX71
  5. Nmap
  6. velen.io
  7. Re-re Studio
  8. netEstate NE Crawler
  9. statdom.ru
  10. SEOkicks
  11. 7Siters
  12. Seekport Crawler
  13. serpstatbot
  14. panscient.com
  15. ZoominfoBot
  16. SearchAtlas
  17. AwarioRssBot
  18. AwarioSmartBot
  19. NetpeakSpiderBot
  20. GetIntent
  21. ia_archiver
  22. AspiegelBot
  23. WPScan
  24. https://gdnplus.com
  25. ApacheBench
  26. python-requests
  27. BorneoBot
  28. Ahrefs
  29. MJ12Bot

Для отключения блокировки в настройках сайта напротив «Не блокировать ботов» выберите ботов, которых не нужно блокировать, и сохраните изменения:

Изменения вступают в силу в течение 10-15 минут с момента сохранения.

Внимание!

User-agent может указываться на стороне клиента-отправителя и с течением времени может измениться. Крайне рекомендуется время от времени проверять нагрузку по IP для определения новых User-agent.

Любым другим User-Agent можно самостоятельно ограничивать доступ с помощью директив в .htaccess.

Содержание