2.38. Ограничение частоты индексации

Индексирующие боты выполняют частые запросы к страницам сайта для актуализации информации и сохранения её в своих базах для последующей выдачи в поисковых системах. Работа этих ботов полезна, но слишком высокая частота сканирования может вызывать появление лишней бесполезной нагрузки.

1. Авторизуйтесь или зарегистрируйтесь, если у вас ещё нет аккаунта, в Google Search Console.
2. Добавьте и подтвердите домен в этой системе, если он не был подтверждён.
3. Перейдите на страницу управления настройками частоты сканирования и выберите нужный ресурс:
4. Установите переключатель напротив «Ограничить максимальную скорость сканирования Google», задайте нужное значение и нажмите «Сохранить»:

1. Авторизуйтесь или зарегистрируйтесь, если у вас ещё нет аккаунта, в Яндекс.Вебмастер.
2. Добавьте и подтвердите домен в этой системе, если он не был подтверждён.
3. Выберите нужный сайт и перейдите в раздел «Индексирование → Скорость обхода»:
4. Установите переключатель напротив «Задать вручную», задайте нужное значение и нажмите «Сохранить»:

1. Авторизуйтесь или зарегистрируйтесь, используя социальные сети, в Bing Webmaster.
2. Добавьте и подтвердите домен в этой системе, если он не был подтверждён.
3. Выберите нужный сайт, перейдите в раздел «Конфигурация → Управление обходом», выберите необходимый шаблон частоты посещений сайта, либо выберите «Настраиваемый» и укажите частоту индексации по часам самостоятельно, после чего нажмите на кнопку «Сохранить изменения»:

Как правило, индексирующие боты придерживаются директив, указанных в robots.txt, где можно задавать интервал индексации. Для этого выполните следующее:

1. Создайте или отредактируйте файл, если он уже существует, robots.txt в корневом каталоге сайта.
2. В файле robots.txt укажите директиву crawl-delay:

   User-Agent: *
   Disallow:
   Crawl-delay: 3

   Вместо * можно указать определённый User-Agent, для которого должна ограничиваться частота индексации. Параметр Crawl-delay задаёт интервал в секундах между запросами от бота.