2.38. robots.txt

Файл robots.txt состоит из групп правил, которые определяют поведение роботов на сайте.

Каждая группа может содержать несколько одинаковых правил. К примеру, это удобно для указания нескольких роботов или страниц.

Группа правил должна быть в следующем порядке и состоять из указанных директив:

1. User-agent — обязательная директива, может быть указана множество раз в одной группе правил.
2. Disallow и Allow — обязательные директивы. Как минимум одна из них должна быть указана в каждой группе правил.
3. Host, Crawl-delay, Sitemap — необязательные директивы.

Для указания регулярных выражений используются:

• * — означает последовательность любой длины из любых символов.
• $ — означает конец строки.

Директива User-agent определяет имя робота, на которого будет распространяться правило. Для указания всех роботов можно использовать:

User-agent: *

Если данная директива будет указана с определенным именем робота — правило с * будет проигнорировано.

Указанные директивы разрешат доступ роботу с именем Googlebot и запретят остальным:

User-agent: *
Dissalow: /
User-agent: Googlebot
Dissalow: 

Директива Disallow определяет страницы, к которым запрещён доступ роботов.

Запретить доступ ко всему сайту можно, указав:

Dissalow: /

Запрет к отдельным страницам можно указать так:

Dissalow: /admin

Директива Allow определяет страницы, к которым запрещён доступ роботов. Директива используется для создания исключений при указании Disallow.

Следующее правило указывает заблокировать для робота Googlebot весь сайт, кроме каталога pages:

User-agent: Googlebot
Disallow: /
Allow: /pages/

Директива Host определяет основной домен сайта. Директива полезна, если к сайту привязано несколько доменных имён и для корректной поисковой индексации, таким образом, можно указать, какой домен будет являться основным, чтобы остальные домены были определены как зеркала, технические адреса и т. д.

Пример использования директивы в рамках сайта с доменами example.com и domain.com, где для всех роботов example.com будет основным доменом:

User-agent: *
Disallow: 
Host: domain.com

Директива Crawl-delay определяет интервал между окончанием загрузки одной страницы и началом загрузки следующей для роботов. Данная директива полезна для уменьшения запросов к сайту, что помогает снизить нагрузку на сервер. Интервал указывается в секундах.

Пример использования:

User-Agent: *
Disallow:
Crawl-delay: 3

Директива Sitemap определяет URL-адрес файла sitemap на сайте. Данная директива может быть указана множество раз. Указание адреса должно быть обязательно в формате протокол://адрес/путь/к/sitemap.

Пример использования:

Sitemap: https://example.com/sitemap.xml
Sitemap: http://www.example.com/sitemap.xml

Если на сайте используется несколько доменов, например с помощью псевдонимов, то настройки, указываемые в файле robots.txt, могут отличаться для каждого сайта в связи с определённой SEO-оптимизацией или другими задачами. Для реализации динамического robots.txt выполните следующее:

1. Ознакомьтесь с важной информацией из данной статьи и убедитесь, что все условия выполнены.
2. Создайте файлы domain.com-robots.txt в корневом каталоге сайта, где вместо domain.com укажите домен, для которого будут применяться указанные правила.
3. Укажите необходимые правила для каждого домена в созданных файлах.
4. Настройте вывод файлов, добавив в начале файла .htaccess следующие правила:

   RewriteEngine On
   RewriteCond %{REQUEST_URI} ^/robots\.txt$
   RewriteRule ^robots\.txt$ %{HTTP_HOST}-robots.txt [L]

5. Проверьте вывод правил по каждому из доменов.