За замовчуванням на хостингу блокуються:
Список User-Agent, яким обмежений доступ до хостингу (у відповідь на запити вони отримують відповідь 403) І яких не можна розблокувати:
JDatabaseDriverMysqli
80legs.com
DLE_Spider.exe
xpymep.exe
libwww-perl
BOT for JCE
coccoc
heritrix
Aibot
exabot.com
butterfly
CareerBot
FTRF
www.exb.de
magpie-crawler
SISTRIX
radian6
BLEXBot
JikeSpider
Sosospider
Attentio
filterdb.iss.net
cmscrawler
tkl.iis.u-tokyo.ac.jp
J-BRO
ApacheBench
meanpathbot
IndoXploitTools
Деякі User-Agent, використовувані ботами, блокуються через створення безглуздою навантаження, але їх блокування можна відключити. Така можливість доступна для ботів:
SemrushBot
MegaIndex
Dotbot
LTX71
Nmap
velen.io
Re-re Studio
netEstate NE Crawler
statdom.ru
SEOkicks
7Siters
Seekport Crawler
serpstatbot
panscient.com
ZoominfoBot
SearchAtlas
DuckDuckBot
AwarioRssBot
AwarioSmartBot
NetpeakSpiderBot
GetIntent
ia_archiver
AspiegelBot
WPScan
https://gdnplus.com
DuckDuckGo
ApacheBench
python-requests
BorneoBot
Ahrefs
MJ12Bot
Щоб відключити блокування, в налаштуваннях сайту навпроти «Чи не блокувати ботів»Виберіть ботів, яких не потрібно блокувати, і збережіть зміни:
Зміни вступають в силу в протягом 10-15 хвилин з моменту збереження.
User-agent може вказуватися на стороні клієнта-відправника і з плином часу може змінитися. Вкрай рекомендується час від часу перевіряти
навантаження по IP для визначення нових User-agent.
Будь-яким іншим User-Agent можна самостійно обмежувати доступ за допомогою директив в .htaccess.