Хостинг. Защита от ботов - чуть-чуть не хватает

Буквально чуть-чуть не хватает функционала по Javascript Challenge. Очень нужна возможность добавлять URL через звездочку * то есть не важно сколько впереди от корня / (пример на скриншоте) и возможность пропускать ботов Yandex, Google

У нас есть актуальная база ботов google и yandex. Они не проходят проверку.
Хотя злоупотреблять этим не стоит.

Относительно - *, не знаю насколько полезен будет такой функционал другим клиентам.

при проверке ботами Яндекс https://webmaster.yandex.ru/tools/server-response/
отдается 503 ошибка

Относительно - *
Если ставить на защиту каталога например /catalog/ и перед каталогом например город /msk/catalog или /spb/catalog/ и городов может быть 50 или 100, то сейчас оно не понимает что надо защитить каталог по всем городам, а прописывать каждый город это сложно их может быть сотня. Было бы здорово если бы понимало такую конструкцию */catalog/ либо по умолчанию сделать защиту не от корня сайта, а по вхождению ключевого слова

Попробуем сделать запрошенный функционал.

Почему блокирует бот Яндекса - проверим. Блокировать боты поисковых систем защита не должна.

Кажется, вы пытаетесь решить вопрос не тем инструментом. Если вам важно, чтобы эти страницы индексировались, защита от ботов в этом случае не подходит, т.к. ее смысл как раз в блокировании запросов ботов (в том числе, Google/Yandex). И даже если мы добавим возможность разрешить запросы с Google/Yandex - вы готовы принять то, что если они начнут индексировать с новых IP адресов, то защищенные страницы выпадут из их индекса?

Почему не тем? разве Javascript Challenge не для этого и создан? Например Cloudflare и DDOS Guard активно это используют для фильтрации трафика.
А причем тут IP адреса Яндекса и Гугла? Можно же пропускать по UserAgent - Yandexbot, Googlebot и там еще штук 10 их типа Googleimage Bot и тд а у остальных проверять наличие JS.
Я почему заинтересовался этим вопросом, нас активно атакуют ботами для накрутки плохих поведенческих факторов, так вот у Cloudflare и DDOS Guard именно такая защита стоит. У вас не хватает буквально чуть-чуть это прописать пути через звездочку и добавить список UserAgent которых можно пропускать без проверки и будет отличная альтернатива Cloudflare

Нет. Javascript Challenge - это один из вариантов настройки защиты от ботов.



Основной вариант использования защиты от ботов - это закрытие доступа к админкам cms, чтобы не подбирали пароли и не сканировали уязвимости. Такая вредоносная деятельность часто сопровождается подделкой User-Agent как раз под всякие Googlebot, чтобы обходить такие блокировки, как вы сейчас предлагаете.

Я сейчас не пытаюсь сказать, что идея плохая. Чем больше разных возможностей, тем конечно лучше.



Поправьте, если я не о том говорю, но разве такие накрутки могут выполняться без javascript? Насколько я понимаю, такие вещи делаются скриптованным браузерным движком - в этом случае Javascript Challenge будет легко пройден. Точно так же, как и js проверка у cloudflare.

обычно такое делается буксами типа Seosprint или Redsurf, там пользователь в запущенной программе посещает сайты и выполняет задания а программа определяет все ли он сделал правильно (лайкнул там или нет образно)
так вот обходится это все таким скриптом защитой от CAP/ Буксов



оно не дает грузить сайт в фрейме и накручивать ПФ в общем. Обойти этот скрипт можно отключив Javascript и вот тут бы идеально подошла проверка на наличие JS.

Единственный момент это надо чтоб не блокировались Яндексы и Гуглы

Так при этом уже не будет накрутки поведенческих факторов. Ведь без js браузер не отправит данные в google analytics / яндекс метрику и тд, по которым пс могут отследить поведение на сайте.

да так и есть, если отключен JS то и метрика не работает, но тут подсказывают что Яндекс Браузер и прочие плагины Яндекса отслеживают страницы даже без JS по кукам или как-то еще. Кроме того, всякие парсеры слизывают контент тоже без JS и в общем было бы круто им вешать заглушку, но при этом пропускать яндекс и гугл

да кстати вот подсказывают что тогда не обязательно будет на каждой странице вешать капчу на формы заявок, а то пришлось везде recapcha invisible делать. Ну в общем в этом вопросе лучше перебздеть, так как парсеров и спамеров хватает, да и вообще мне кажется, могу ошибаться, это здорово снизит нагрузки на сервера

Добавили возможность отключать проверку для указанных User-Agent ботов и сделали несколько вариантов указания url защищаемых страниц (начинается/заканчивается/содержит).