Акция!  Домен 34 грн, домен 55 грн, домен  - 200 грн домен  - 65 грн, домен  - 99 грн, домен  - 56 грн!, домен  - 425 грн!
Мы используем cookie-файлы
Для оптимизации работы нашего сайта мы используем cookie-файлы. Продолжая использовать сайт, Вы соглашаетесь с использованием cookie-файлов.
  • RUB
  • USD
  • EUR
  • UAH
Чат техподдержки
Вы являетесь клиентом?
  • +38(044) 392-74-33  Киев
  • +38(057) 728-39-00  Харьков
  • +38(056) 794-38-31  Днепр
  • +38(032) 229-58-93  Львов
  • +38(048) 738-57-70  Одесса
  • +38(093) 170-15-42  Life
  • +38(067) 400-88-44  Киевстар
  • +38(095) 630-90-82  MTC
  • +1(888)393-24-51  USA, Toll free
  • +44(131)507-01-14  Great Britain
  • +7(499) 348-28-61  Москва

SEO. Повышенная активность Googlebot

Форумы SEO Повышенная активность Googlebot
economstroy
4 года
хостинг: есть
домен: есть
Повышенная активность Googlebot
Уже два дня наблюдается повышенная активность Googlebot
66.249.64.29 Googlebot/2.1
66.249.64.24 Googlebot/2.1
66.249.64.19 Googlebot/2.1
В панели webmaster стоит ограничение на сканирование. А боты как озверели с каждого адреса с утра по 3000 запросов.
У кого такое было? Как умерить пыл?
Евгений В.
4 года
хостинг: есть
домен: нет
Самый правильный, на мой взгляд, вариант - прописать в файле robots.txt
User-agent: *
Crawl-delay: 15

,где 15 - это минимальная задержка в секундах между посещениями поискового робота.
* - значит что правило для ботов всех поисковых систем.
Обычно поисковые боты на это реагируют через 3-8 часов после добавления.

Если нужно ограничить строго гугль, то

User-agent: GoogleBot
Crawl-delay: 15
economstroy
4 года
хостинг: есть
домен: есть
crawl delay для google не работает, можно только ограничить через Вебмастер. Написал в поддержку google, там есть форма по googlebot.
Евгений В.
4 года
хостинг: есть
домен: нет
crawl delay для google не работает, © economstroy

А можно ссылку на источник? Пока не смог найти ни одного упоминания о том что Google не учитывает Crawl-delay
Евгений В.
4 года
хостинг: есть
домен: нет
Поиск по гуглопомощи даёт /рекомендацию/ использовать внутренний инструмент. но нет ни слова о том что Crawl-delay игнорируется.
economstroy
4 года
хостинг: есть
домен: есть
Поиск по гуглопомощи даёт /рекомендацию/ использовать внутренний инструмент. но нет ни слова о том что Crawl-delay игнорируется. © Евгений В.


Когда обновляешь в google Вебмастер robots.txt напротив crawl-delay пишет что не поддерживается.

Нагрузка от роботов Google осталась. Идет большое сканирование

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Т.е. ограничение в google панели не работает. Все началось с 15 июня.
economstroy
4 года
хостинг: есть
домен: есть
такая же проблема есть в описании на сайте googlebot suddenly ignores crawl rate preference and drains VPS | Web Hosting Talk


Т.е. это уже массовость?

Не блокировать же IP google?
toxi
4 года
хостинг: есть
домен: есть
Видимо боты Гугл сканируют заново сайты для определения, будут ли они работать на мобильных устройствах либо нет.
economstroy
4 года
хостинг: есть
домен: есть
Видимо боты Гугл сканируют заново сайты для определения, будут ли они работать на мобильных устройствах либо нет. © toxi



Уже вроде бы активность сканирования спадает! Но 5 дней, робот был бешеный. Что самое интересное на всех сайтах где было ограничение в панели Вебмастера, а те сайты где ограничения не было, т.е. по умолчанию, все стабильно!
economstroy
4 года
хостинг: есть
домен: есть
Опять роботы google начали сходить с ума и не придерживаются ограничения в Вебмастере.
Участвовать в общении на этом форуме могут только
зарегистрированные пользователи.

Если вы уже зарегистрированы Вам необходимо войти на форум.

Тема закрыта по истечению срока давности.