2.19.5.3. Ограничение частоты индексации

Индексирующие боты выполняют частые запросы к страницам сайта для актуализации информации и сохранения её в своих базах для последующей выдачи в поисковых системах. Работа этих ботов полезна, но слишком высокая частота сканирования может вызывать появление лишней бесполезной нагрузки.

Ограничение частоты индексации приведёт к понижению рейтинга сайта или его выпадению из поискового индекса, поэтому правильным решением является не применение ограничений, а оптимизация работы самого сайта. Разработчику сайта нужно проанализировать его работу, найти узкие места и устранить их, чтобы увеличить скорость ответа.

Возможными решениями могут быть:

• Подключение OPcache.
• Оптимизация сайта, базы данных, запросов к базе данных.
• Переход на тариф с большим количеством доступных ресурсов, если ресурсов текущего тарифа недостаточно (см. Графики потребления серверных ресурсов).

Однако, если работа сайта в текущий момент важнее его позиций в индексе, можно средствами самого сайта специально замедлять скорость формирования ответов для Google Bot или возвращать коды ответа, отличные от положительных, например 500.

1. Авторизуйтесь или зарегистрируйтесь в Bing Webmaster.
2. Добавьте и подтвердите домен (если не подтверждён).
3. Выберите ваш сайт, перейдите в раздел «Конфигурация → Управление обходом», выберите готовый шаблон частоты посещений сайта или выберите «Настраиваемый» и укажите свою частоту индексации по часам, и сохраните изменения:

Как правило, индексирующие боты придерживаются директив из файла robots.txt, где можно задавать интервал индексации.

В корневом каталоге сайта cоздайте или отредактируйте существующий файл robots.txt и укажите в нём директиву Crawl-delay (вместо * можно указать User-Agent, для которого должна ограничиваться частота индексации, вместо 3 — количество секунд между запросами от бота):

User-Agent: *
Disallow:
Crawl-delay: 3