Стемминг – ствольная основа поисковых алгоритмов

Поисковые системы неустанно работают над повышением релевантности и качества результатов выдачи по пользовательским запросам. Специальные алгоритмические формулы, анализирующие содержимое веб-страниц, постоянно совершенствуются и модернизируются. Высокой степени тематического соответствия вряд ли удалось бы добиться внедрения в поисковые алгоритмы такого механизма, как стемминг, который вычленяет морфологическую основу из любой словоформы. Сам данный термин, произошедший от английского слова «stem», которое можно перевести, как ствол, наилучшим образом характеризует принцип работы и назначение этого программного инструмента.

Именно благодаря стеммингу пользователю демонстрируются не только документы, содержащие точное вхождение поисковой фразы, но и страницы с различными словоформами, что значительно повышает релевантность выдачи и делает ее гораздо разнообразнее и вариативнее. Кроме того, благодаря этому инструментальному средству в SERP могут быть включены документы, пусть и содержащие заданного запроса, но представляющие потенциальный интерес для пользователя, то есть прямо или косвенно относящиеся к данной тематике. Помимо стемминга для улучшения качества выдачи при анализе веб-страниц используются:

• Леммитизация;
• Латентно-семантический анализ текста;

Механизм выделения морфологического корня из различных словоформ также часто применяется при организации системы поиска по сайту с целью улучшения юзабилити и создания более комфортных условий посетителям для использования возможностей ресурса.

Принцип действия стемминга

Проблема выделения корня слова при программно-информационном поиске имеет достаточно давнюю историю. Первая научная работа, посвященная решению этой сложной технической задачи, была опубликована еще 1968 году. Современный стемминг представляет собой одну из фаз автоматической нормализации текстового материала. Сейчас уже разработаны различные алгоритмические формулы, предназначенные для решения данной задачи: от простого поиска флективной формы до автоматической генерации специальных программных таблиц для каждого языка индивидуально.