Русский
Українська

Чат техподдержки

Внимание! Вы не авторизованы.

Вы являетесь клиентом?

Выберите тип обращения:

+38(044) 392-74-33 Киев
+38(057) 728-39-00 Харьков
+38(056) 794-38-31 Днепр
+38(032) 229-58-93 Львов
+38(048) 738-57-70 Одесса
+38(093) 170-15-42 Life
+38(067) 400-88-44 Киевстар
+38(095) 630-90-82 Vodafone
+1(888)393-24-51 USA, Toll free
+44(131)507-01-14 Great Britain
+7(499) 348-28-61 Москва

2.39. Ограничение частоты индексации

Индексирующие боты производят частые запросы к страницам сайта для актуализации информации и сохранения её в своих базах для последующей выдачи в поисковых системах. Работа этих ботов полезна, но иногда интервал между запросами или частота сканирования могут быть слишком высоки, в связи с чем будет возникать излишняя бесполезная нагрузка.

Для некоторых индексирующих ботов можно настроить ограничения:

Google
Яндекс

Чтобы настроить интервал сканирования страниц (crawl-delay), выполните следующее:

Авторизуйтесь или зарегистрируйтесь, если у вас ещё нет аккаунта, в Google Search Console.
Добавьте и подтвердите домен в этой системе, если он не был подтверждён.
Перейдите на страницу управления настройками частоты сканирования и выберите нужный ресурс:
Установите переключатель напротив «Ограничить максимальную скорость сканирования Google», задайте нужное значение и нажмите «Сохранить»:

Чтобы настроить интервал сканирования страниц (crawl-delay), выполните следующее:

Авторизуйтесь или зарегистрируйтесь, если у вас ещё нет аккаунта, в Яндекс.Вебмастер.
Добавьте и подтвердите домен в этой системе, если он не был подтверждён.
Выберите нужный сайт и перейдите в раздел «Индексирование Скорость обхода»:
Установите переключатель напротив «Задать вручную», задайте нужное значение и нажмите «Сохранить»: