Мы используем cookie-файлы
Для оптимизации работы нашего сайта мы используем cookie-файлы. Продолжая использовать сайт, Вы соглашаетесь с использованием cookie-файлов.
Панель управления
  • Русский
  • Українська
  • UAH
  • USD
  • RUB
  • EUR
  • 0-800-307-307  Горячая линия
  • +38(044) 392-74-33  Киев
  • +38(057) 728-39-00  Харьков
  • +38(056) 794-38-31  Днепр
  • +38(032) 229-58-93  Львов
  • +38(048) 738-57-70  Одесса
  • +38(093) 170-15-42  Life
  • +38(067) 400-88-44  Киевстар
  • +1(888)393-24-51  USA, Toll free
  • +44(131)507-01-14  Great Britain
  • +7(499) 348-28-61  Москва

SEO. Повышенная активность Googlebot


economstroy
5 лет
0
Повышенная активность Googlebot

Уже два дня наблюдается повышенная активность Googlebot
66.249.64.29 Googlebot/2.1
66.249.64.24 Googlebot/2.1
66.249.64.19 Googlebot/2.1
В панели webmaster стоит ограничение на сканирование. А боты как озверели с каждого адреса с утра по 3000 запросов.
У кого такое было? Как умерить пыл?

Евгений В.
5 лет
0

Самый правильный, на мой взгляд, вариант - прописать в файле robots.txt

User-agent: *
Crawl-delay: 15

,где 15 - это минимальная задержка в секундах между посещениями поискового робота.
* - значит что правило для ботов всех поисковых систем.
Обычно поисковые боты на это реагируют через 3-8 часов после добавления.
Если нужно ограничить строго гугль, то
User-agent: GoogleBot
Crawl-delay: 15

economstroy
5 лет
0

crawl delay для google не работает, можно только ограничить через Вебмастер. Написал в поддержку google, там есть форма по googlebot.

Евгений В.
5 лет
0

crawl delay для google не работает, © economstroy

А можно ссылку на источник? Пока не смог найти ни одного упоминания о том что Google не учитывает Crawl-delay

Евгений В.
5 лет
0

Поиск по гуглопомощи даёт /рекомендацию/ использовать внутренний инструмент. но нет ни слова о том что Crawl-delay игнорируется.

economstroy
5 лет
0

Поиск по гуглопомощи даёт /рекомендацию/ использовать внутренний инструмент. но нет ни слова о том что Crawl-delay игнорируется. © Евгений В.

Когда обновляешь в google Вебмастер robots.txt напротив crawl-delay пишет что не поддерживается.
Нагрузка от роботов Google осталась. Идет большое сканирование
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Т.е. ограничение в google панели не работает. Все началось с 15 июня.

economstroy
5 лет
0

такая же проблема есть в описании на сайте googlebot suddenly ignores crawl rate preference and drains VPS | Web Hosting Talk

Т.е. это уже массовость?
Не блокировать же IP google?

toxi
5 лет
0

Видимо боты Гугл сканируют заново сайты для определения, будут ли они работать на мобильных устройствах либо нет.

economstroy
5 лет
0

Видимо боты Гугл сканируют заново сайты для определения, будут ли они работать на мобильных устройствах либо нет. © toxi


Уже вроде бы активность сканирования спадает! Но 5 дней, робот был бешеный. Что самое интересное на всех сайтах где было ограничение в панели Вебмастера, а те сайты где ограничения не было, т.е. по умолчанию, все стабильно!

economstroy
5 лет
0

Опять роботы google начали сходить с ума и не придерживаются ограничения в Вебмастере.

Участвовать в общении на этом форуме могут только зарегистрированные пользователи.