2.3.5. Sphinx

Sphinx (SQL Phrase Index) — система повнотекстового пошуку з підтримкою морфології різних мов. Дозволяє швидко і гнучко шукати інформацію в базі даних за довільним текстом.

Протоколи доступу до пошукового демона Sphinx (searchd):

• «Сокет MySQL-Sphinx» — доступ через SphinxQL, різновид SQL, схожий на MySQL.
• «Сокет Native-Sphinx» — доступ через SphinxAPI, власний API Sphinx.

Для використання Sphinx потрібно:

1. Налаштувати Sphinx — через панель керування або ручним редагуванням.
2. Налаштувати сайт

1. У блоці «Основні дані» вимкніть «Ручне редагування»:
2. Додайте джерело даних:
   1. У блоці «Бази даних» натисніть «Підключити базу даних»:
   2. Вкажіть назву та дані для підключення до бази даних MySQL (можна вибрати існуючу базу даних і поля заповняться автоматично) та натисніть «Зберегти»:
3. Додайте індекс:
   1. У блоці «Індекси» натисніть «Створити індекс»:
   2. Вкажіть назву індексу, виберіть базу даних, вкажіть SQL-запит для отримання даних для індексування (наприклад, SELECT id, title, content FROM table — стовпці id, title і content з таблиці table), і натисніть « Зберегти»:

      Наявність у SQL-запиті стовпця id є обов'язковою умовою Sphinx. Якщо в якості ID використовується стовпець з іншою назвою, використовуйте псевдонім: SELECT custom_id as id.

      

4. Налаштуйте індекс:
   • Поля в індексі та атрибути — список полів і типів даних для кожного з них (мінімум одне поле повинно мати тип Fulltext):
   • Частота індексації — розклад, за яким має виконуватися індексація. Налаштовується аналогічно часу запуску в cron. За замовчуванням виконується щодня кожні 15 хвилин.
   • Морфологія та параметри індексації:
     • Морфологія — назва бібліотеки (наприклад, stem_ru), яка буде використовуватися для пошуку слова з різними словоформами — наприклад, за запитом «собака» будуть повертатися результати з варіантами «собаки», «собакой», «собаками» і т. д.
     • Параметри індексації — видалення HTML (html_strip), зберігання оригінальних слів (index_exact_words), автоматичне розширення запитів (expand_keywords), мінімальний розмір слова (min_word_len), інфікси (min_infix_len), префікси (min_prefix_len), шлях до словника спеціалізованих термінів (wordforms), таблиця кодування та ігнорування символів.
5. У блоці «Основні дані» натисніть «Застосувати конфігурацію» для оновлення конфігурації на сервері. Примітка За допомогою кнопки «sphinx.conf» можна переглянути вміст згенерованого конфігураційного файлу.

1. У блоці «Основні дані» увімкніть «Ручне редагування»:
2. У блоці «Конфігурація Sphinx» вкажіть джерела даних, параметри індексації та збережіть зміни:
   • Джерело даних (секція source) — конфігурація джерела даних (звідки Sphinx повинен брати дані) і його назва (у прикладі db_source):
     • Тип даних (type) — тип джерела даних (у прикладі mysql).
     • Дані для підключення до бази даних (sql_host, sql_port, sql_user, sql_pass, sql_db) — дані для підключення до бази даних MySQL, звідки буде братися інформація для індексування.
     • Попередній запит (sql_query_pre) — запит, який буде перед основним запитом на отримання даних з бази (у прикладі SET NAMES utf8 — встановлення кодування UTF-8).
     • Основний запит (sql_query) — запит на отримання з бази даних необхідних даних для індексування (у прикладі select id, title, content from table — стовпці id, title и content з таблиці table).
     • Інші директиви — дозволяють визначати порядок групування, фільтрації, сортування (детальну інформацію можна знайти в офіційній документації).
   • Параметри індексації (секція index) — конфігурація індексу (як саме Sphinx повинен працювати з даними) і його назва (у прикладі test_index):
     • Джерело даних для індексування (source) — назва джерела даних, звідки буде братися інформація для індексування (у прикладі db_source — див. вище).
     • Шлях, за яким будуть зберігатися дані індексу (path) — абсолютний шлях до файлу з індексами (у прикладі /home/example/.system/sphinx/test_index).
     • Налаштування морфології (morphology) — назва бібліотеки (у прикладі stem_ru), яка буде використовуватися для пошуку слова з різними словоформами — наприклад, за запитом «собака» будуть повертатися результати з варіантами «собаки», «собакой», «собаками» тощо.
     • Збереження в індексі слів у вихідному вигляді (index_exact_words) — при використанні разом з директивою expand_keywords дозволяє повертати за запитом більш релевантні результати (у прикладі 1 — увімкнено).
     • Мінімальна довжина слова для індексації (min_word_len) — за замовчуванням використовується 1, але слова такої довжини зазвичай не несуть смислового навантаження (у прикладі 3).
     • Інші директиви — дозволяють визначати порядок групування, фільтрації, сортування (детальну інформацію можна знайти в офіційній документації).
   • Лематизація. Для увімкнення підтримки лематизації потрібно розмістити в хостинг-акаунті файли потрібних словників і додати в конфігурацію секцію:

     common {
         lemmatizer_base = /home/example/path/to/sphinx/dicts/
     }

3. Після збереження конфігурації:
   • Sphinx буде перезапущений.
   • При наявності в конфігурації секцій index в блоці «Індекси» для кожного індексу буде створено cron-завдання на його оновлення раз на 15 хвилин і буде запущено створення індексів (може зайняти деякий час):

     У блоці «Індекси»:

     • Дані про розмір кешуються на 10 хвилин.
     • Після натискання кнопки видалення з конфігурації буде видалено секцію index даного індексу.

     Увага!

     Збереження змін у конфігурації Sphinx не запускає оновлення створених раніше індексів, вони оновляться автоматично за встановленим розкладом cron. Для примусового оновлення всіх індексів підключіться до хостинг-акаунта по SSH і виконайте команду:

     /usr/local/sphinx/bin/indexer --config ~/.system/sphinx/sphinx.conf --rotate --all

Налаштування сайту для роботи з Sphinx знаходиться в компетенції розробника сайту або залучених сторонніх фахівців.

Завдання зводиться до наступних етапів:

1. Вивчити вміст бази даних сайту і визначити, за якими саме даними потрібен швидкий пошук.
2. Налаштувати Sphinx з необхідними параметрами: вказати, з якої бази даних потрібно брати дані, які таблиці та стовпці потрібно індексувати, задати правила індексації.
3. Додати на сайт код, який замість стандартного пошуку в базі даних буде шукати дані в створеному індексі Sphinx. Код може бути написаний розробником або самостійно, або за основу можуть бути взяті готові плагіни або модулі, згадані на офіційному сайті.

Підключення сайту до Sphinx виконується через сокет. Шлях до сокету можна знайти на сторінці керування Sphinx. Порт слід вказувати залежно від конфігурації підключеного плагіна, в цілому портом можна знехтувати, вказавши його як 0 або 9312.

Переглядати лог можна декількома способами:

• Панель керування: у розділі «Sphinx» у блоці «Основні дані» натисніть «Лог» — з'явиться вікно, в якому в реальному часі будуть виводитися останні записи у логу.
• Файловий менеджер: у розділі «Sphinx» у блоці «Основні дані» у рядку «Лог» натисніть 🔍 — лог відкриється у вбудованому редакторі файл-менеджера.
• Консоль: підключіться до хостингу по SSH і виконайте потрібну команду:
  • Перегляд повного логу:

    cat ~/.system/sphinx/searchd.log

  • Моніторинг логу в реальному часі:

    tail -f ~/.system/sphinx/searchd.log

    Для завершення використовуйте комбінацію Ctrl+C.