8.7.17. Словники в Manticore Search

Словник словоформ використовується для нормалізації вхідних слів під час індексування та пошуку. По суті, за допомогою цього словника одні слова замінюються іншими (наприклад, слова «walks», «walked», «walking» можуть бути приведені до нормальної форми «walk»). Також словник може використовуватися для реалізації винятків зі стеммінгу, оскільки він не застосовується до слів зі списку форм.

Файл словника являє собою простий текстовий файл у кодуванні UTF-8. Кожен рядок файлу містить пару слів — вихідну словоформу (що замінити) і цільову словоформу (на що замінити), зазначених через > або ⇒. Для коментарів використовується символ #.

Приклад вмісту файлу словника:

# comment
walks > walk
walked > walk
walking > walk

Словник виключень (або синонімів) дозволяє зіставляти один або кілька токенів з одним ключовим словом (включно з токенами, що містять символи, які зазвичай виключаються). Виключення, так само як і словоформи, виконують зіставлення, але мають низку відмінностей: враховують регістр, дозволяють використовувати спеціальні символи, яких немає в таблиці кодування, і водночас мають нижчу продуктивність при використанні великого словника.

Файл словника являє собою простий текстовий файл у кодуванні UTF-8. Кожен рядок файлу містить пару слів — вихідну словоформу (що замінити) і цільову словоформу (на що замінити), зазначених через > або ⇒. Для коментарів використовується символ #.

Приклад вмісту файлу словника:

# comment
MS Windows => ms windows
Microsoft Windows => ms windows
C++ => cplusplus
c++ => cplusplus
C plus plus => cplusplus

Словник стоп-слів використовується для ігнорування часто повторюваних або малозначущих слів при індексації та пошуку. Стоп-слова не індексуються, проте впливають на позиції ключових слів (наприклад, якщо один документ містить фразу «in office», а інший «in the office», то при пошуку «in office» як точної фрази буде повернуто тільки перший документ, навіть якщо «the» пропущено як стоп-слово в другому документі).

Файл словника являє собою простий текстовий файл у кодуванні UTF-8. У файлі вказується список слів, кожне слово з нового рядка.

Приклад вмісту файлу словника:

a
the
is
of
for

Завантаження словників виконується у розділі «Manticore Search» на вкладці «Джерела». Для завантаження словника потрібно в блоці «Словники» натиснути «Завантажити словник», у формі вибрати тип словника, вказати його назву, вибрати файл словника і натиснути «Додати».

Завантажені словники відображаються у списку. Там же їх можна скачувати та видаляти.

Словники підключаються до таблиць на вкладці «Таблиці» наступними способами:

• У формі створення нової таблиці — на вкладці «Морфологія» вибрати в полях «Словники термінів», «Словник синонімів» та «Словники для ігнорування».
• У формі редагування структури існуючої таблиці — у блоці таблиці натиснути «Структура», на вкладці «Морфологія» вибрати у полях «Словники термінів», «Словник синонімів» та «Словники ігнорування».

Підключені словники відображаються внизу списку налаштувань таблиці. ⚠️ При створенні таблиці Manticore Search копіює словник в інстанс у каталог data і змінює його ім'я, повністю знеособлюючи. Через це засобами Manticore Search не можна визначити, які саме словники підключені. Щоб можна було це обійти, на початку файлу кожного словника додається коментар з інформацією про те, що це за словник.