Панель керування хостингом. Защита от DDOS

У меня постоянно в список заблокированных попадает IP 77.88.29.246 - Yandex
Я уже его и диапазоном в белый список вносил, и конкретно этот IP - не помогает, опять попадает в заблокированные.
Хотя никакой особой нагрузки не создает. А уж говорить о достижении тех пределов, что настроены для блокировки, и говорить не приходится

у вас автоматом попадает на хостинге в заблокированные?
лучше всего для вас сделать запись в файле robots.txt
типа
User-agent: Yandex
Crawl-delay: 150

150 это время в милисекундах между запросами Яндекса на ваш сайт!
также можно это сделать для всех поисковых ботов которые запрашивают ваш сайт!

А 150 случаем не в сек. а то я читал что Crawl-delay поддерживает формат 1.5 полторы секунды.
Или смотри по времени загрузки сайта берешь свободный участок времени аштиасесом отправляеш бот в аут :) кроме указаного времени

Не все так просто.
Вот за ночь он опять попал в заблокированные (автоматом, разумеется)
Просмотрел лог. Этот IP был на сайте за ночь 3 раза с интервалом около полутора часов!!! Так что 150 милисекунд тут никак не помогут.

Александр это не время между заходами.
Это время между чтением страниц. Я у себя этот параметр не устанавливал но думаю для начала 3 сек. попробуй.
ЗЫ шото айпи ядекса интересный надо взглянуть

нормальный айпи, он у меня по форуму гуляет. ПРичем давно заметил, что гугль заходит реже, но берет сразу пачку страниц. А яндекс - неторопясь... раз в часик-полтора забегает.. одну страничку взял - и ушел...
Впрочем - дело не в этом... Поскольку нагрузки на сервер он не создает, самым логичным было бы:
1. Разобраться, почему он попадает в список заблокированных;
2. Если с п.1 ничего не удается, поместить его в белый список (что я и сделал)
Но... выяснилось, что белый список не работает. Поэтому, думаю, тут вопрос скорее к администрации (техподдержке)
Наверное, баг в панельке, который подправить надо.
А с яндексом мне очень не хочется ссориться ;)

Хм. у меня тоже этот айпи висит в бане!
По белому списку скорее всего он имеет меньший приоритет чем защита от д о с.

Я в настройках уже поставил, что для попадания в бан нужно 10000 запросов или 50% нагрузки на сайт. Все равно попадает. В статистике "нагрузка по IP" у него нули, в отличие от некоторых других IP.
Потому и говорю - баг.
Да и о каком приоритете речь может быть? Это мои личные настройки. Есть автоматическая защита, а есть белый список, к которому она применяться не должна. Потому он и называется белым списком, что приоритет его должен быть на первом месте, ибо вносятся туда исключительно доверенные и проверенные IP.

а попробуйте вписать в robots.txt
User-agent: Yandex
Crawl-delay: 150

и проверить результат? вроде не так уж сложно!
у меня все замечательно с этими записями, и никто из поисковиков в бан не попадает!

Не, ну не серьезно только хотел написать про запросы :)
проверил свои айпи тоже пару поисковиков висит в бане.
попробую Crawl-delay поставить и настройки изменил запросов оставил 1000 а %30
посмотрим что будет.

Сервис защита от DDOS сейчас работает в тестовом режиме, он ничего не блокирует. На этой неделе будет завершено тестирование и он начнет работать полнофункционально, исключая белые списки и т.д. В данный момент можете не обращать внимание на те записи, которые есть в черном списке.

Как не странно у меня тоже оказались заблокированные IP адреса: Яндекс, Rambler.
Посмотрим что будет при 1000 запросов за сутки или 20% нагрузки

а на днях по совету Андрей попробуем вписать в robots.txt
User-agent: Yandex
Crawl-delay: 150

гуд. токо пиши после Disallow:
просто интересно как условие построено в аут если 1000 запросов | 20% нагрузки
если так то ok.
(1000 зап. * 150 сек.) /60 /60 = 41.6 часов.
а что яд. в хаотическом движение постоянно :)

ЗЫ У меня стоко линков нет ;)
А каким скриптом ботов отслежуешь ?
&& Спецификация янд. help.yandex.ru/webmaster/?id=996567

сегодня опять то же самое (яндекс заблокирован). Но уже улучшено оформление. Т.е. видно, что работа ведется.
Вопрос - на самом деле блокировка по прежнему не работает и обкатывается или уже работает?
Если не работает - а как мы узнаем, когда заработает?

Блокировка по прежнему не работает. Перед тем как запустить защиту мы:
1. Очистим все данные, которые были собраны во время тестирования. Тоесть все старые IP, котоыре попали в список - исчезнут.
2. Установим большие лимиты, около 10000 запросов и 30% нагрузки. Этот сервис создан не для администраторов, а для пользователей, поэтому ставим лимиты заведомо большие, что б малок кто их мог достичь. Если пользователь захочет блокировать IP - он сам уменьшит их на свое усмотрение.
3. Будет произведена рассылка новостей всем клиентам хостинга о нововведении.

Парни!
А можно для тех кто в танке, причем очень бронированном:
Как рассчитать скоко надо запросов чтоб загрузить на 10% процессор.

И я почти прошу прощения, а 10000 запросов с одного айпишника не доф***.

Александр буквально вчера яндекс у меня гулял, но перед этим я айпишник удалил )
как узнать? обнуляешь установки пишешь свой айпи и пробуешь зайти а так чтоб наверняка ставишь 1 и 1% а у себя запускаешь скрипт обращения к домену так этак раз 1000, и смотришь вылетел или нет :)

to Andrey
1.Запрос запросу рознь. Никак не расчитать
2.10000 - да, конечно доф***... а сколько нормально, пользователи (т.е. мы ) будут решать сами. В статистике можно посмотреть, сколько кто в сутки делает запросов, какую нагрузку создает и сделать выводы, какого значения будет достаточно. Зависит от конкретного сайта, его содержания, и как долго посетители по нему обычно гуляют.
3.Если вопрос в последнем абзаце ко мне - очень сумбурно, ничего не понял...

1. Ну как же никак если в админке рассчитывается, просто наврят-ли админы ответят ;)
3. не обращай внимания, я когда писал еще по скапу говорил :))))

В админке да - расчитывается. И если внимательно посмотреть на расчеты, становится понятно (мне по крайней сере, на примере моего сайта), что порой 4 запроса может загрузить проц сильнее, чем 50 других запросов.
Потому что есть небольшие, почти статические странички, а есть мощные динамические, с большим количеством обращений к другим файлам и базам данных.

Что-то новое:
"Не блокировать поисковую систему Google Yandex Meta Rambler"
Как работает? Надо попробовать.
Наверное проще будет, вместо того что-бы в белый список вбивать IP.

Попробовал.
Очистил белый список. Поставил галочки, чтобы не блокировать поисковики, и через пару часов яндекс IP:77.88.29.246 попал в список заблокированных. Т.е. функция, видимо, еще недоработана.
Единственное - надеюсь, что попадающие в черный список адреса по прежнему реально не блокируются до полной "обкатки" функции, поскольку в новостях ничего об этом пока не было (как обещал Илья после ее запуска)

Появилась галочка "включить защиту". Это правильно, что можно самостоятельно решать, включить или выключить защиту.
Означает ли, что с этого момента при включении защиты, система начнет блокировать адреса из черного списка?

И второе - хочу обратить внимание разработчиков еще вот на что... Опять в список заблокированных попал яндекс. Когда навожу на него мышь - пишет 8271 запросов. Но по статитстике и логам этот IP-адрес посещал сегодня сайт всего 2 раза. Похоже, что-то считается неправильно. И посещения считаются не за сутки, а за все время. Ну или не только у моего сайта, а суммируются у всех сайтов хостинга. Ну или я не знаю, откуда еще могут браться такие цифры.
Прошу администрацию по возможности прокомментировать.

Согласен с Александром, таже история по поводу яндекса, (запросов в сотни раз больше. ). И могу добавить Rambler тоже самое.
Ждем пояснений с админ...

Если я правильно понимаю, функция "защита от DDOS" уже введена в строй и реально блокирует IP?
Надо сказать, с поисковиками сейчас проблем не наблюдаю./. тут все ОК.
Но вот вчера в список заблокированных попал IP 91.212.226.194, при этом указано 4758 запросов.
Но судя по статистике IP и по файлу с логами сервера, этот IP сделал вчера всего 19 запросов.
Другими словами - или я не до конца понимаю логику работы этой функции (хотя казалось бы - чего проще?), или имеет место ошибка программистов, в результате которой, возможно, счетчики запросов либо не обнуляются с началом суток, либо счетчик считает все посещения с данного IP для всех сайтов хостинга (что тоже неправильно). Но это мое предположение, программистам виднее, конечно, где собака зарыта.
Если же я чего-то не понимаю в работе этой функции - прошу пояснить.

Да, возможно ошибка, напишите как называется Ваш аккаунт, программисты перепроверят.

Чтобы наверняка - написал запрос в техподдержку

Доброе времени суток. сегодня уже второй раз мой ip блокируется и выдает 403 ошибку на сайте.
этот же ip внесен в белый список адресов. с утра его внес в белый список и все равно блокируется системой. совет от Roman V.Golovko в поддержке отключить DDOS.
"дельный совет" - толку тогда создавать белый список?

Напишите запрос в техподдержку с примичением "Для Ильи Руденко" - проблему найдем и исправим.

А как узнать сайт в бане яндекса или нет ?

А какое отношение бан яндекса имеет к защите от DDOS?

Опять на блокирует IP по нагрузке

Напишите IP адрес, который не заблокировала программа, я проверю.

81.19.66.91 - 4.64%
67.195.114.242 - 2.05%
195.189.107.129 - 4.85%

установлен порог в 0.5%

Ау... Илья.... Вы где???
По прежнему ничего не блокируется....

А какие оптимальные настройки посоветовала бы тех.поддержка?