• UAH
  • USD
  • RUB
  • EUR
  • +38(044) 392-74-33  Киев
  • +38(057) 728-39-00  Харьков
  • +38(056) 794-38-31  Днепр
  • +38(032) 229-58-93  Львов
  • +38(048) 738-57-70  Одесса
  • +38(093) 449-04-21  Life
  • +38(067) 400-88-44  Киевстар
  • +38(095) 630-90-82  MTC
  • +1(888)393-24-51  USA, Toll free
  • +44(131)507-01-14  Great Britain
  • +7(499) 348-28-61  Москва

SEO. Повышенная активность Googlebot

Форумы SEO Повышенная активность Googlebot
economstroy
16.06.2015
хостинг: есть
домен: есть
Повышенная активность Googlebot
Уже два дня наблюдается повышенная активность Googlebot
66.249.64.29 Googlebot/2.1
66.249.64.24 Googlebot/2.1
66.249.64.19 Googlebot/2.1
В панели webmaster стоит ограничение на сканирование. А боты как озверели с каждого адреса с утра по 3000 запросов.
У кого такое было? Как умерить пыл?
Евгений В.
16.06.2015
хостинг: есть
домен: нет
Самый правильный, на мой взгляд, вариант - прописать в файле robots.txt
User-agent: *
Crawl-delay: 15

,где 15 - это минимальная задержка в секундах между посещениями поискового робота.
* - значит что правило для ботов всех поисковых систем.
Обычно поисковые боты на это реагируют через 3-8 часов после добавления.

Если нужно ограничить строго гугль, то

User-agent: GoogleBot
Crawl-delay: 15
economstroy
16.06.2015
хостинг: есть
домен: есть
crawl delay для google не работает, можно только ограничить через Вебмастер. Написал в поддержку google, там есть форма по googlebot.
Евгений В.
16.06.2015
хостинг: есть
домен: нет
crawl delay для google не работает, © economstroy

А можно ссылку на источник? Пока не смог найти ни одного упоминания о том что Google не учитывает Crawl-delay
Евгений В.
16.06.2015
хостинг: есть
домен: нет
Поиск по гуглопомощи даёт /рекомендацию/ использовать внутренний инструмент. но нет ни слова о том что Crawl-delay игнорируется.
economstroy
20.06.2015
хостинг: есть
домен: есть
Поиск по гуглопомощи даёт /рекомендацию/ использовать внутренний инструмент. но нет ни слова о том что Crawl-delay игнорируется. © Евгений В.


Когда обновляешь в google Вебмастер robots.txt напротив crawl-delay пишет что не поддерживается.

Нагрузка от роботов Google осталась. Идет большое сканирование

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Т.е. ограничение в google панели не работает. Все началось с 15 июня.
economstroy
20.06.2015
хостинг: есть
домен: есть
такая же проблема есть в описании на сайте googlebot suddenly ignores crawl rate preference and drains VPS | Web Hosting Talk


Т.е. это уже массовость?

Не блокировать же IP google?
toxi
23.06.2015
хостинг: есть
домен: есть
Видимо боты Гугл сканируют заново сайты для определения, будут ли они работать на мобильных устройствах либо нет.
economstroy
23.06.2015
хостинг: есть
домен: есть
Видимо боты Гугл сканируют заново сайты для определения, будут ли они работать на мобильных устройствах либо нет. © toxi



Уже вроде бы активность сканирования спадает! Но 5 дней, робот был бешеный. Что самое интересное на всех сайтах где было ограничение в панели Вебмастера, а те сайты где ограничения не было, т.е. по умолчанию, все стабильно!
economstroy
24.06.2015
хостинг: есть
домен: есть
Опять роботы google начали сходить с ума и не придерживаются ограничения в Вебмастере.
Участвовать в общении на этом форуме могут только
зарегистрированные пользователи.

Если вы уже зарегистрированы Вам необходимо войти на форум.

Тема закрыта по истечению срока давности.
Горячая линия
(044)
392 74 33
другие города