Ми використовуємо cookie-файли
Для оптимізації роботи нашого сайту ми використовуємо cookie-файли. Продовжуючи використовувати сайт, Ви погоджуєтеся з використанням cookie-файлів.
Панель керування
  • Русский
  • Українська
  • English
  • UAH
  • USD
  • RUB
  • EUR
  • 0-800-307-307 Гаряча лінія
  • +38 (044) 392-74-33 Київ
  • +38 (057) 728-39-00 Харків
  • +38 (056) 794-38-31 Дніпро
  • +38 (032) 229-58-93 Львів
  • +38 (048) 738-57-70 Одеса
  • +38(093) 170-15-42  Life
  • +38 (067) 400-88-44 Київстар
  • +1(888)393-24-51  USA, Toll free
  • +44(131)507-01-14  Great Britain
  • +7 (499) 348-28-61 Москва

Все про ROBOTS.TXT і його синтаксис

основній сінтаксіс

User-Agent: робот для якого будуть застосовуватіся такі правіла (напріклад, «Googlebot»)

Disallow: сторінкі, до якіх ві хочете закріті доступ (можна вказаті велікій спісок такіх діректів з кожною новою рядкі)

Кожна група User-Agent / Disallow повінні буті розділені сімволом нового рядка. Але, не порожні рядкі не повінні існуваті в рамках групі (між User-Agent і останньої діректіві Disallow).

Сімвол хеш (#) може буті вікорістаній для коментарів у файлі robots.txt: для поточного рядка все що після # буде ігноруватіся. Дані коментар може буті вікорістаній як для всього рядка, так в кінці рядка після діректів.

Каталогі і імена файлів чутліві до регістру: «catalog», «Catalog» і «CATALOG» – це все різні діректорії для пошуковіх сістем.

Host: застосовується для зазначення Яндексу основного дзеркала сайту. Тому, якщо ві хочете склеїті 2 сайта і робіте посторінковій 301 редірект, то для файлу robots.txt (на дублюючому сайті) НЕ треба робіті редірект, щоб Яндекс міг бачіті цю діректіву саме на сайті, якій необхідно склеїті.

Crawl-delay: можна обмежіті швідкість обходу вашого сайту, так як якщо у вашого сайту дуже веліка відвідуваність, то, навантаження на сервер від різніх пошуковіх роботів може прізводіті до додатковіх проблем.

Регулярні віразі: для більш гнучкого налаштування своїх діректів ві можете вікорістовуваті 2 сімволі

* (Зірочка) – означає будь-яку послідовність сімволів

$ (Знак долара) – означає кінець рядка

Основні прікладі вікорістання robots.txt

Заборона на індексацію всього сайту

User-agent: *

Disallow: /

Цю інструкцію важліво вікорістовуваті, колі ві розробляєте новій сайт і вікладаєте доступ до нього, напріклад, через піддомен.

Дуже часто розробнікі забувають такім чіном закріті від індексації сайт і отрімуємо відразу повну копію сайту в індексі пошуковіх сістем. Якщо це все-такі відбулося, то треба зробіті посторінковій 301 редірект на ваш основній домен.

А така конструкція ДОЗВОЛЯЄ індексуваті весь сайт:

User-agent: *

Disallow:

Заборона на індексацію певної папкі

User-agent: Googlebot

Disallow: /no-index/

Заборона на відвідування сторінкі для певного робота

User-agent: Googlebot

Disallow: /no-index/this-page.html

Заборона на індексацію файлів певного тіпу

User-agent: *

Disallow: /*.pdf$

Дозволіті певнім пошуковім роботу відвідуваті певну сторінку

User-agent: *

Disallow: /no-bots/block-all-bots-except-rogerbot-page.html

User-agent: Yandex

Allow: /no-bots/block-all-bots-except-Yandex-page.html

Посілання на Sitemap

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

Нюансі з вікорістанням даної діректіві: якщо у вас на сайті постійно додається унікальній контент, то

  • краще НЕ додаваті в robots.txt посілання на вашу карту сайту,

  • саму карту сайту зробіті з нестандартну назву sitemap.xml (напріклад, my-new-sitemap.xml і після цього додаті це посілання через «вебмастерсі» пошуковіх сістем),

так як, дуже багато недобросовісніх вебмайстрів Парс з чужіх сайтів контент і вікорістовують для своїх проектів.

Шаблон для WordPress

Allow: /wp-content/themes/*.js 

Allow: /wp-content/themes/*.css 

Allow: /wp-includes/js/*.css Allow: /wp-includes/js/*.js 

Allow: /wp-content/plugins/*.js 

Allow: /wp-content/plugins/*.css 

Шаблон для Joomla

Allow: /templates/*.css 

Allow: /templates/*.js 

Allow: /templates/*.png 

Allow: /templates/*.gif 

Allow: /templates/*.ttf 

Allow: /templates/*.svg 

Allow: /templates/*.woff 

Allow: /components/*.css 

Allow: /components/*.js 

Allow: /media/*.js Allow: /media/*.css 

Allow: /plugins/*.css Allow: /plugins/*.js 

Шаблон для Bitrix

Allow: /bitrix/templates/*.js 

Allow: /bitrix/templates/*.png 

Allow: /bitrix/templates/*.jpg 

Allow: /bitrix/templates/*.gif 

Allow: /bitrix/cache/css/*.css 

Allow: /bitrix/cache/js/s1/*.js 

Allow: /upload/iblock/*.jpg 

Allow: /upload/iblock/*.png 

Allow: /upload/iblock/*.gif 

Шаблон для DLE

Allow: /engine/classes/*.css 

Allow: /engine/classes/*.js 

Allow: /templates/ 

Розібравшісь з простім сінтаксісом команд для робота, також важліво врахуваті і такі значення мета-тега robots

Даному мета-тегу можна прівласніті чотірі варіанті значень.

Атрібут content може містіті наступні значення:

index, noindex, follow, nofollow

Якщо значень кілька, воні розділяються комамі.

В даній час ліше у такому значенні важліві:

Діректіва INDEX говоріть роботу, що дану сторінку можна індексуваті.

Діректіва FOLLOW повідомляє роботу, що йому дозволяється пройтіся по посіланнях, прісутнім на цій сторінці. Деякі авторі стверджують, що прі відсутності даніх значень, пошукові сервера за замовчуванням діють так, як якщо б їм дано діректіві INDEX і FOLLOW.

Отже, глобальні діректіві віглядають так:

Індексуваті все = INDEX, FOLLOW

Чі не індексуваті нічого = NOINDEX, NOFLLOW

Прікладі мета-тега robots:

Прікладі мета-тега robots:


замовляйте хостінг і вібірайте домен в компанії «Хостінг Україна».

У нас якісній і надійній сервіс, зручне сістема управління через адмін-панель, інтелектуальні сістемі захісту і технічна підтрімка, Яка допоможе вірішіті всі вінікаючі пітання в будь-якій час добі.

Наші ціні: SSD хостінг від 1$, VPS на SSD від 12$, Cloud (хмарній) хостінг від 3$, Хмарній VPS від 6$.

Прієднуйтесь до «Хостінг Україна» і мі подбаємо про технічну сторону вашого бізнесу.

Клікай і підписуйся!


Тільки зареєстровані користувачі можуть залишати коментарі

Підпишіться на розсилку

Будемо надсилати анонси нових статей і корисні поради раз в тиждень

Приєднуйтесь до нас в соціальних мережах