Пожелания и предложения. Обновляемый список хороших ботов для "Защита от ботов"

broker
1 год
0

Предлагаю добавить обновляемый список хороших ботов (поисковики, соцсети, сервисы) в список исключений User-agent для «Защиты от ботов» (2.3.14. Защита от ботов [Хостинг Украина] Например в виде галочки или пердустановленного списка.
Пример списка:
Googlebot,Google,Yandex,Bingbot,Slurp,DuckDuckBot,Baiduspider,Sogou,facebot,ia_archiver,msnbot,Mail.RU_Bot,StackRambler,Teoma,Scooter,WebAlta,Facebook

Буду благодарен за внедрение, поддержку актуальности данного списка и его расширение.

rudenko
12 месяцев
0

У нас и так поисковые системы считаются хорошими ботами, но определяем мы их по IP. Так как подделать user agent довольно просто. Многие поисковики скрывают реальные сети, которые используются для индексации, поэтому указание исключений - сугубо на усмотрение пользователя.