Мы используем cookie-файлы
Для оптимизации работы нашего сайта мы используем cookie-файлы. Продолжая использовать сайт, Вы соглашаетесь с использованием cookie-файлов.
  • UAH
  • USD
  • RUB
  • EUR
  • +38(044) 392-74-33  Киев
  • +38(057) 728-39-00  Харьков
  • +38(056) 794-38-31  Днепр
  • +38(032) 229-58-93  Львов
  • +38(048) 738-57-70  Одесса
  • +38(093) 170-15-42  Life
  • +38(067) 400-88-44  Киевстар
  • +38(095) 630-90-82  MTC
  • +1(888)393-24-51  USA, Toll free
  • +44(131)507-01-14  Great Britain
  • +7(499) 348-28-61  Москва

SEO. Повышенная активность Googlebot

Форумы SEO Повышенная активность Googlebot
economstroy
3 года
хостинг: есть
домен: есть
Повышенная активность Googlebot
Уже два дня наблюдается повышенная активность Googlebot
66.249.64.29 Googlebot/2.1
66.249.64.24 Googlebot/2.1
66.249.64.19 Googlebot/2.1
В панели webmaster стоит ограничение на сканирование. А боты как озверели с каждого адреса с утра по 3000 запросов.
У кого такое было? Как умерить пыл?
Евгений В.
3 года
хостинг: есть
домен: нет
Самый правильный, на мой взгляд, вариант - прописать в файле robots.txt
User-agent: *
Crawl-delay: 15

,где 15 - это минимальная задержка в секундах между посещениями поискового робота.
* - значит что правило для ботов всех поисковых систем.
Обычно поисковые боты на это реагируют через 3-8 часов после добавления.

Если нужно ограничить строго гугль, то

User-agent: GoogleBot
Crawl-delay: 15
economstroy
3 года
хостинг: есть
домен: есть
crawl delay для google не работает, можно только ограничить через Вебмастер. Написал в поддержку google, там есть форма по googlebot.
Евгений В.
3 года
хостинг: есть
домен: нет
crawl delay для google не работает, © economstroy

А можно ссылку на источник? Пока не смог найти ни одного упоминания о том что Google не учитывает Crawl-delay
Евгений В.
3 года
хостинг: есть
домен: нет
Поиск по гуглопомощи даёт /рекомендацию/ использовать внутренний инструмент. но нет ни слова о том что Crawl-delay игнорируется.
economstroy
3 года
хостинг: есть
домен: есть
Поиск по гуглопомощи даёт /рекомендацию/ использовать внутренний инструмент. но нет ни слова о том что Crawl-delay игнорируется. © Евгений В.


Когда обновляешь в google Вебмастер robots.txt напротив crawl-delay пишет что не поддерживается.

Нагрузка от роботов Google осталась. Идет большое сканирование

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Т.е. ограничение в google панели не работает. Все началось с 15 июня.
economstroy
3 года
хостинг: есть
домен: есть
такая же проблема есть в описании на сайте googlebot suddenly ignores crawl rate preference and drains VPS | Web Hosting Talk


Т.е. это уже массовость?

Не блокировать же IP google?
toxi
3 года
хостинг: есть
домен: есть
Видимо боты Гугл сканируют заново сайты для определения, будут ли они работать на мобильных устройствах либо нет.
economstroy
3 года
хостинг: есть
домен: есть
Видимо боты Гугл сканируют заново сайты для определения, будут ли они работать на мобильных устройствах либо нет. © toxi



Уже вроде бы активность сканирования спадает! Но 5 дней, робот был бешеный. Что самое интересное на всех сайтах где было ограничение в панели Вебмастера, а те сайты где ограничения не было, т.е. по умолчанию, все стабильно!
economstroy
3 года
хостинг: есть
домен: есть
Опять роботы google начали сходить с ума и не придерживаются ограничения в Вебмастере.
Участвовать в общении на этом форуме могут только
зарегистрированные пользователи.

Если вы уже зарегистрированы Вам необходимо войти на форум.

Тема закрыта по истечению срока давности.
Горячая линия
(044)
392 74 33
другие города