Хостинг . Проблема с Sape

Поставил на свой сайт код сапы, уже 2 недели как ссылки успешно продаются со страниц.
НО недавно заметил такую станность: каждый день больше половины ссылок уходят в error. Но к вечеру обратно возвращаются в состояние OK.
Насколько я понимаю, это происходит из-за того, что при проверке сайта системой он находится в нерабочем состоянии. Но я ниразу не мог застать нерабочий сайт.
Кто нибудь сталкивался с таким? И кто что может подсказать?

это у самой сапы есть глючные боты тормознутые боты, которые не дожидаются статуса 200 страницы и валят ерроры. в течении дня всё исправляется.

На счет тормознутости сапоботов я не горячился бы.
Сколько сапоботу нужно ждать ответа от сервера? Тогда как получается, что днем он его не дождался, а вечером дождался?
Мне кажется, что сервак просто захлебывается при обработке запросов сапобота, потому и не успевает. Такое наблюдается не только на этом хостинге :(

Изучил Вашу проблему, все, кто включает блокировку DDOS обращайте внимание на то, не появилась ли в списках сеть FIORD-QWARTA. Так как это и есть САПА. Программистам будет поставлена задача написать фильтр, который не будет блокировать запросы с этой сети. Сейчас все списки блокировок - обнулены.

Илья, спасибо за ответ. и за меры

2 Илья,
На сайте сапы появилось объявление о том, что у некоторых роботов Sape изменились ip-адреса. Добавьте пожалуйста новые IP тоже в белые списки. Спасибо

Савинский Павел, к сожалению sape не опубликовали эти самые новые адреса на сайте. Если у кого-то есть информация по этим адресам - просьба написать об этом в этой теме или на http://ukraine.com.ua/support/ , мы добавим их в белые списки.

88.72.80.205
188.72.80.201

может не у всех эти IP
help.sape.ru/sape/faq/232 вот где можно посмотреть!

хостер забанил IP адреса нашего робота (IP адреса робота можно посмотреть в конце файла links.db);

188.72.80.0 - 188.72.87.255
это инфа из whois о QWARTANET, занесенного в блэклист защиты от DDOS

у меня тоже был занесен только второй адрес 188
первого вообще нет в заблокированных! 88

странно, у меня в links.db написаны
188.72.80.205
188.72.80.201

ну я же и написал что не у всех может быть такие же. я думаю у них много ip для их роботов))

В файле links.db, который описан в FAQ SAPE находятся IP адреса роботов, которые уже сканировали сайт, но не сети, которые нам нужны. :(
188.72.80.0 - 188.72.87.255 - этот диапазон будет добавлен в белый список SAPE, присылайте еще сети, которые заблокированы.

IP
217.107.36.73
217.107.36.132
81.177.144.46
87.242.74.101
80.251.136.38
93.191.15.77
93.191.15.81
188.72.80.203
188.72.80.204
188.72.80.41


вот что мне ответили в сапе))

в последние дня 3 наблюдается такая картина. как и раньше утром почти все ссылки уходят в еррор. но к вечеру даже не все стали восстанавниваться, хотя на сайте они отображаются нормально. при этом в список блокируемых ip остается пустым и защита от ddos выключена.

Написал обращение по своей проблеме в саппорт Sape.
Что, мол, хостер не блокирует IP роботов и на сайте ссылки отображаются нормально, но все равно постоянно ссылки выпадают в еррор.
Ответ собственно был весьма предсказуем:
"Здравствуйте,
данная ошибка возникает при проблемах с Вашими ДНС-серверами. Выясните у хостера, почему они работают некорректно."

Но самое забавное, что при этом все ссылки находящиеся до этого в состоянии error двое суток каким-то образом стали OK.

ну так сапе тоже иногда выгодно что бы ссылки висели на сайте но хозяин сайта не получал ничего))
думаю хозяева сапы не за даром все держат))

Если я не ошибаюсь, за ссылки в эрроре ничего не начисляется вебмастерам, значит и не снимается у оптимизаторов, а, значит, сапа с этого имеет что? правильно - болт. Так кому это выгодно?
С недавних пор у меня все наладилось как то само собой, хотя и странно... Видать программеры взялись за эту проблему серьезно.

Смысл им опрашивать каждый раз наши сервера DNS, если эти данные обычно кешируются. Со своей стороны поставлю проверку на DNS, пока еще никто не жаловался на их работу.

если вчера до конца дня так и не одного еррора не было, то сегодня опять вместо почти всех ошибки.

Скажите адрес сайта, на котором расположены ссылки или ваш логин в sape.ru, я напишу им запрос, что б они объяснили причину на конкретном примере.

tvoi-recepty.ru

Илья, ну как? есть хоть какие-нибудь продвижения в этом вопросе? ато ссылки так и висят в ошибках :(

Павел, мы уже добавили все адреса, предоставленные нам sape, в белый список и не блокируем их. На вашем сайте tvoi-recepty.ru эти адреса не блокируются нашей системой ни на каком уровне.

Есть подозрение, что ваша cms сама блокирует адрес 188.72.80.204. На сайте есть какие-то модули, которые могут это делать? (может ограничители по нагрузке какие-то)

этот сайт на joomla.
сейчас пересмотрел все модули, которые установлены, и у меня есть подозрение на sh404sef.
у этого компонента есть что-то наподобие защиты от большого количества запросов. добавлю ip сапы в белый список в этом компоненте и позже отпишусь о результате

все верно. мои подозрения оправдались. эта фича, о которой нигде не упоминалось, портила всё.

Огромное Вам спасибо за содействие в решении проблемы.

Павел, если вас не затруднит - опишите что было причиной проблемы и что вы сделали для ее решения. Многие используют Joomla с sef модулями, думаю эта информация будет полезной.

в настройках sh404sef во вкладке "Безопасность" есть раздел "Параметры анти-флуда".
Поставил переключатель "Активировать анти-флуд" (по умолчанию 'да') на 'нет'.

Возможно будет достаточно внести IP роботов сапы в белый список там же в настройках. Но я сразу полностью отключил анти-флуд.

все ссылки упали в error :(
т.к. странички доступны и ссылки на них имеются да и к тому же никаких изменений по сайтам не производил, то вывод один дело в хосте.

да и подкумарило ограничение по количеству запросов...
как ни прискорбно но мы украинцы, еще не научились предоставлять услугу хостинга...
придется переходить, опять... :(