Ми використовуємо cookie-файли
Для оптимізації роботи нашого сайту ми використовуємо cookie-файли. Продовжуючи використовувати сайт, Ви погоджуєтеся з використанням cookie-файлів.
Новий дизайн
Панель керування
  • Русский
  • Українська
  • English
  • UAH
  • USD
  • RUB
  • EUR
  • 0-800-307-307 Гаряча лінія
  • +38 (044) 392-74-33 Київ
  • +38 (057) 728-39-00 Харків
  • +38 (056) 794-38-31 Дніпро
  • +38 (032) 229-58-93 Львів
  • +38 (048) 738-57-70 Одеса
  • +38(093) 170-15-42  Life
  • +38 (067) 400-88-44 Київстар
  • +1(888)393-24-51  USA, Toll free
  • +44(131)507-01-14  Great Britain
  • +7 (499) 348-28-61 Москва

2.39. Обмеження частоти індексації

Індексуючі боти виконують часті запити до сторінок сайту для актуалізації інформації та збереження її в своїх базах для подальшої видачі в пошукових системах. Робота цих ботів корисна, але занадто висока частота сканування може викликати появу зайвої непотрібної навантаження.

Для деяких індексуючих ботів можна налаштувати обмеження:

Для настройки інтервалу сканування сторінок виконайте наступне:
  1. Авторизуйтесь або зареєструйтесь, якщо у вас ще немає облікового запису, в Google Search Console.
  2. Додайте і підтвердіть домен в цій системі, якщо він не був підтверджений.
  3. Перейдіть на сторінку керування настройками частоти сканування і виберіть потрібний ресурс:
  4. Встановіть перемикач навпроти «Обмежити максимальну швидкість сканування Google», Задайте потрібне значення і натисніть«Зберегти»:
Для настройки інтервалу сканування сторінок виконайте наступне: - Авторизуйтесь або зареєструйтеся, якщо у вас ще немає облікового запису, в Яндекс.Вебмайстер.
  1. Додайте і підтвердіть домен в цій системі, якщо він не був підтверджений.
  2. Оберіть потрібний сайт і перейдіть в розділ «Індексування → Швидкість обходу»:
  3. Встановіть перемикач навпроти «Задати вручну», Задайте потрібне значення і натисніть«Зберегти»:
Для настройки інтервалу сканування сторінок виконайте наступне:
  1. Авторизуйтесь або зареєструйтесь, використовуючи соціальні мережі, в Bing Webmaster.
  2. Додайте і підтвердіть домен в цій системі, якщо він не був підтверджений.
  3. Виберіть потрібний сайт, перейдіть в розділ «Конфігурація → Управління обходом», Виберіть необхідний шаблон частоти відвідувань сайту, або виберіть«Настроюється»І як часто індексації по годинах самостійно, після чого натисніть на кнопку«Зберегти зміни»:

Увага!

Деякі боти можуть повністю ігнорувати директиву Crawl-delay.

Як правило, індексуючі боти дотримуються директив, зазначених в robots.txt, Де можна задавати інтервал індексації. Для цього виконайте наступне:

  1. Створіть або відредагуйте файл, якщо він вже існує, robots.txt в кореневому каталозі сайту.
  2. У файлі robots.txt вкажіть директиву crawl-delay:
    User-Agent: *
    Disallow:
    Crawl-delay: 3

    Замість * можна вказати певний User-Agent, для якого повинна обмежуватися частота індексації. Параметр Crawl-delay задає інтервал в секундах між запитами від бота.