Мы используем cookie-файлы
Для оптимизации работы нашего сайта мы используем cookie-файлы. Продолжая использовать сайт, Вы соглашаетесь с использованием cookie-файлов.
Панель управления
  • Русский
  • Українська
  • UAH
  • USD
  • RUB
  • EUR
  • +38(044) 392-74-33  Киев
  • +38(057) 728-39-00  Харьков
  • +38(056) 794-38-31  Днепр
  • +38(032) 229-58-93  Львов
  • +38(048) 738-57-70  Одесса
  • +38(093) 170-15-42  Life
  • +38(067) 400-88-44  Киевстар
  • +38(095) 630-90-82  Vodafone
  • +1(888)393-24-51  USA, Toll free
  • +44(131)507-01-14  Great Britain
  • +7(499) 348-28-61  Москва

Хостинг. Защита от ботов - чуть-чуть не хватает


itradestorez
6 месяцев
0
Защита от ботов - чуть-чуть не хватает

Буквально чуть-чуть не хватает функционала по Javascript Challenge. Очень нужна возможность добавлять URL через звездочку * то есть не важно сколько впереди от корня / (пример на скриншоте) и возможность пропускать ботов Yandex, Google

rudenko
6 месяцев
0

У нас есть актуальная база ботов google и yandex. Они не проходят проверку.
Хотя злоупотреблять этим не стоит.
Относительно - *, не знаю насколько полезен будет такой функционал другим клиентам.

itradestorez
6 месяцев
0

при проверке ботами Яндекс https://webmaster.yandex.ru/tools/server-response/
отдается 503 ошибка
Относительно - *
Если ставить на защиту каталога например /catalog/ и перед каталогом например город /msk/catalog или /spb/catalog/ и городов может быть 50 или 100, то сейчас оно не понимает что надо защитить каталог по всем городам, а прописывать каждый город это сложно их может быть сотня. Было бы здорово если бы понимало такую конструкцию */catalog/ либо по умолчанию сделать защиту не от корня сайта, а по вхождению ключевого слова

rudenko
6 месяцев
1

Попробуем сделать запрошенный функционал.

rudenko
6 месяцев
0

Почему блокирует бот Яндекса - проверим. Блокировать боты поисковых систем защита не должна.

eugen
6 месяцев
0

Кажется, вы пытаетесь решить вопрос не тем инструментом. Если вам важно, чтобы эти страницы индексировались, защита от ботов в этом случае не подходит, т.к. ее смысл как раз в блокировании запросов ботов (в том числе, Google/Yandex). И даже если мы добавим возможность разрешить запросы с Google/Yandex - вы готовы принять то, что если они начнут индексировать с новых IP адресов, то защищенные страницы выпадут из их индекса?

itradestorez
6 месяцев
0

Почему не тем? разве Javascript Challenge не для этого и создан? Например Cloudflare и DDOS Guard активно это используют для фильтрации трафика.
А причем тут IP адреса Яндекса и Гугла? Можно же пропускать по UserAgent - Yandexbot, Googlebot и там еще штук 10 их типа Googleimage Bot и тд а у остальных проверять наличие JS.
Я почему заинтересовался этим вопросом, нас активно атакуют ботами для накрутки плохих поведенческих факторов, так вот у Cloudflare и DDOS Guard именно такая защита стоит. У вас не хватает буквально чуть-чуть это прописать пути через звездочку и добавить список UserAgent которых можно пропускать без проверки и будет отличная альтернатива Cloudflare

eugen
6 месяцев
0

Почему не тем? разве Javascript Challenge не для этого и создан? © itradestorez

Нет. Javascript Challenge - это один из вариантов настройки защиты от ботов.
А причем тут IP адреса Яндекса и Гугла? Можно же пропускать по UserAgent - Yandexbot, Googlebot © itradestorez

Основной вариант использования защиты от ботов - это закрытие доступа к админкам cms, чтобы не подбирали пароли и не сканировали уязвимости. Такая вредоносная деятельность часто сопровождается подделкой User-Agent как раз под всякие Googlebot, чтобы обходить такие блокировки, как вы сейчас предлагаете.
Я сейчас не пытаюсь сказать, что идея плохая. Чем больше разных возможностей, тем конечно лучше.
для накрутки плохих поведенческих факторов © itradestorez

Поправьте, если я не о том говорю, но разве такие накрутки могут выполняться без javascript? Насколько я понимаю, такие вещи делаются скриптованным браузерным движком - в этом случае Javascript Challenge будет легко пройден. Точно так же, как и js проверка у cloudflare.

itradestorez
6 месяцев
0

Насколько я понимаю, такие вещи делаются скриптованным браузерным движком

обычно такое делается буксами типа Seosprint или Redsurf, там пользователь в запущенной программе посещает сайты и выполняет задания а программа определяет все ли он сделал правильно (лайкнул там или нет образно)
так вот обходится это все таким скриптом защитой от CAP/ Буксов
<!-- CAP Protection -->
<script type="text/javascript">if (top.location != self.location)top.location = self.location</script>
<!-- /CAP Protection -->

оно не дает грузить сайт в фрейме и накручивать ПФ в общем. Обойти этот скрипт можно отключив Javascript и вот тут бы идеально подошла проверка на наличие JS.
Единственный момент это надо чтоб не блокировались Яндексы и Гуглы

eugen
6 месяцев
0

Обойти этот скрипт можно отключив Javascript © itradestorez

Так при этом уже не будет накрутки поведенческих факторов. Ведь без js браузер не отправит данные в google analytics / яндекс метрику и тд, по которым пс могут отследить поведение на сайте.

itradestorez
6 месяцев
0

да так и есть, если отключен JS то и метрика не работает, но тут подсказывают что Яндекс Браузер и прочие плагины Яндекса отслеживают страницы даже без JS по кукам или как-то еще. Кроме того, всякие парсеры слизывают контент тоже без JS и в общем было бы круто им вешать заглушку, но при этом пропускать яндекс и гугл

itradestorez
6 месяцев
0

да кстати вот подсказывают что тогда не обязательно будет на каждой странице вешать капчу на формы заявок, а то пришлось везде recapcha invisible делать. Ну в общем в этом вопросе лучше перебздеть, так как парсеров и спамеров хватает, да и вообще мне кажется, могу ошибаться, это здорово снизит нагрузки на сервера

eugen
6 месяцев
1

Добавили возможность отключать проверку для указанных User-Agent ботов и сделали несколько вариантов указания url защищаемых страниц (начинается/заканчивается/содержит).

Участвовать в общении на этом форуме могут только зарегистрированные пользователи.