2.19.5.3. Обмеження частоти індексації

Індексуючі боти виконують часті запити до сторінок сайту для актуалізації інформації та збереження її у своїх базах для подальшої видачі в пошукових системах. Робота цих ботів корисна, але занадто висока частота сканування може викликати появу зайвого непотрібного навантаження.

Обмеження частоти індексації призведе до зниження рейтингу сайту або його випадання з пошукового індексу, тому правильним рішенням є не застосування обмежень, а оптимізація роботи самого сайту. Розробнику сайту потрібно проаналізувати його роботу, знайти вузькі місця і усунути їх, щоб збільшити швидкість відповіді.

Можливими рішеннями можуть бути:

• Підключення OPcache.
• Оптимізація сайту, бази даних, запитів до бази даних.
• Перехід на тариф з більшою кількістю доступних ресурсів, якщо ресурсів поточного тарифу недостатньо (див. Графіки споживання серверних ресурсів).

Однак, якщо робота сайту в даний момент важливіша за його позиції в індексі, можна засобами самого сайту спеціально сповільнювати швидкість формування відповідей для Google Bot або повертати коди відповіді, відмінні від позитивних, наприклад 500.

1. Авторизуйтеся або зареєструйтеся в Bing Webmaster.
2. Додайте та підтвердіть домен (якщо не підтверджений).
3. Виберіть ваш сайт, перейдіть у розділ «Конфігурація → Керування обходами», виберіть готовий шаблон частоти відвідувань сайту або виберіть «Спеціальний» і вкажіть свою частоту індексації по годинах, і збережіть зміни:

Як правило, індексуючі боти дотримуються директив з файлу robots.txt, де можна задавати інтервал індексації.

У кореневому каталозі сайту створіть або відредагуйте існуючий файл robots.txt і вкажіть в ньому директиву Crawl-delay (замість * можна вказати User-Agent, для якого має обмежуватися частота індексації, замість 3 — кількість секунд між запитами від бота):

User-Agent: *
Disallow:
Crawl-delay: 3