2.3.21. Логи доступа сайта (Access-лог)

Логи доступа сайта (Access-логи) — это логи абсолютно всех запросов к сайту, дошедших до нашего веб-сервера. Он находится в разделе «ХостингМои сайты → Логи доступа сайта»:

При использовании сервисов фильтрации трафика вроде Cloudflare не всегда удаётся оперативно отслеживать включение или отключение фильтрации, поэтому в лог могут попадать не реальные IP посетителей, а адреса используемых сервисов. Для принудительного обновления информации о сервисе фильтрации в нашей системе в верхней части страницы с логом напротив «Автоматически определённый сервис фильтрации трафика» нажмите на кнопку с названием используемого сервиса фильтрации:

После нажатия кнопки новые запросы будут фиксироваться уже с реальными IP. Старые записи при этом не изменяются.

Все запросы к сайту фиксируются в логе доступа nginx. На бизнес-хостинге присутствует дополнительный лог — лог доступа FPM. В него попадают запросы, поступающие на сайт, когда в настройках сайта в качестве веб-сервера выбран PHP-FPM. Логи выводятся в виде вкладок над блоком выбора даты. На обычном хостинге доступен только общий лог доступа nginx.

Важные моменты:

  • Логи хранятся только за текущий и 4 предыдущих месяца, и только за те дни, когда к сайтам были запросы. Более старые логи не хранятся.
  • Текущая дата в списке доступна всегда, вне зависимости от того, есть записи в логе или нет.
  • Если в списке дат отсутствует вчерашнее число, значит логи за этот день ещё обрабатываются и станут доступны позже (как правило, ближе ко второй половине дня). Аналогичная ситуация может быть 1 числа месяца с логами и отчётами за предыдущий месяц.

Над логом за день выводится список всех дат, за которые доступны логи:

В списке можно:

Важные моменты:

  • Если размер лога не превышает 100 МБ, его можно просматривать напрямую в браузере и скачать себе. Лог большего размера можно только скачать.
  • При включённой защите от ботов в логе будут присутствовать связанные с ней GET- и POST-запросы.
  • После выполнения технической проверки сайта или очистки кеша PageSpeed в логах может встретиться наш IP 185.39.224.11. Это обусловлено тем, что для выполнения этих действий нашему серверу необходимо выполнять запрос к сайту.
  • В результате работы системы создания скриншотов для раздела «Мои сайты» в логах могут встречаться запросы с User-Agent adm.tools screenshot tools.

В логе за день выводится информация по всем запросам за выбранную дату:

  • Выбор метода запроса и поле поиска с кнопкой «Искать» — позволяет отфильтровать запросы по методу, дате, IP или наличию фрагмента текста.
  • «Учитывать регистр» — включает режим поиска со строгим соответствием больших/маленьких букв.
  • «Скачать» — скачать лог за день.
  • «Отчёт GoAccess» — просмотреть отчёт GoAccess за день. Примечание Только для лога доступа nginx.
  • Временная шкала с кнопками «Отфильтровать» и «Сбросить фильтр» — позволяет задать диапазон времени, за который будут выводиться или скачиваться лог за день.
  • Каждая строка лога имеет строго фиксированный формат:
    • «Время» — время запроса.
    • «IP» — IP-адрес, с которого выполнялся запрос. По нажатию на адрес запросы автоматически отфильтруются по этому IP. Адреса, которым ограничен доступ, выводятся красным цветом.
    • «Запрос» — сам запрос. В запросе:
      1. GET — метод запроса.
      2. /URI.
      3. HTTP/1.0" — версия используемого HTTP-протокола.
      4. 200 — код ответа сервера для данного запроса.
      5. 12345 — длина ответа сервера на запрос в байтах.
      6. "https://www.google.com.ua/"URL-источник запроса.
      7. "Mozilla/5.0 (XXXXXX) XXXXXX — User-Agent посетителя.
    • 🚫 — добавляет IP в список ограничения доступа и включает режим «Разрешить доступ к сайту всем, заблокировать пользователей с указанными ниже IP».
  • За день:
    1. В блоке выбора даты выберите нужную дату.
    2. В логе за день нажмите «Скачать».
  • За месяц — в блоке выбора даты напротив нужного месяца нажмите «Скачать за месяц». Примечание Только для лога доступа nginx. Внимание! Лог за текущий месяц включает в себя только прошедшие дни (то есть все дни с начала месяца, кроме текущего).

На основе Access-логов можно формировать удобные HTML-отчёты. Они генерируются с помощью программы GoAccess, встроенной на хостинге. Каждый отчёт содержит наглядную статистику по следующим показателям: уникальные посетители, запрошенные URL и статические файлы, ошибки 404, имена хостов и IP посетителей, их операционные системы и браузеры, распределение запросов по времени, ссылающиеся сайты, коды ответов HTTP и страны, откуда поступали запросы.

Важные моменты:

  • Отчёты доступны только для лога доступа nginx.
  • Отчёты формируются на языке, который установлен в учётной записи.
  • После первого открытия отчёты кешируются на отдельном сервере и хранятся в течение того же времени, что и Access-логи.
  • Отчёт за текущий день всегда генерируется заново и всегда содержит актуальную информацию.
  • Отчёт за текущий месяц включает в себя только прошедшие дни (то есть все дни с начала месяца, кроме текущего).
  • За день:
    1. В блоке выбора даты выберите нужную дату.
    2. В логе за день нажмите «Отчёт GoAccess».
  • За месяц — в блоке выбора даты напротив нужного месяца нажмите «Отчёт GoAccess».
  • За произвольные периоды — можно создавать самостоятельно. Например, это может пригодиться, когда нужно создать один большой отчёт, включающий в себя период более одного месяца. Для создания отчёта необходимо скачать логи за нужные периоды и на их основе сгенерировать отчёт у себя на ПК.

Access-лог можно скачать и изучать с помощью консольных команд или специализированного ПО, способного анализировать подобные логи и выводить различную статическую и аналитическую информацию, например Apache Log Viewer.

Содержание