Функция расстояния между строками на основе кусочно-постоянной модели Текст научной статьи по специальности «Математика»

Доклады БГУИР

2013 № 4 (74)

УДК 004.424.4; 004.424.62

ФУНКЦИЯ РАССТОЯНИЯ МЕЖДУ СТРОКАМИ НА ОСНОВЕ КУСОЧНО-

ПОСТОЯННОЙ МОДЕЛИ

В.А. ПРЫТКОВ

Белорусский государственный университет информатики и радиоэлектроники П.Бровки, 6, Минск, 220013, Беларусь

Поступила в редакцию 23 ноября 2012

Предложена кусочно-постоянная модель строки, которая позволяет определить расстояние между двумя строками. Модель может использоваться в задачах нечеткого поиска и анализа текстов, применима к циклическим строкам.

Ключевые слова: строка символов, последовательность, мера сходства, расстояние, нечеткий поиск, анализ текстов, циклические последовательности.

Введение

Алгоритмы поиска и сравнения последовательностей активно используются при работе с неструктурированными данными, обработке больших объемов информации, поисковых запросов и т.д. Возросший объем информации предъявляет все более высокие требования к качеству и скорости поиска. Как правило, такие алгоритмы разделяются на три больших группы: алгоритмы точного поиска подстрок, нечеткий поиск и поиск наибольшей общей подпоследовательности. Последняя группа имеет важное значение при вычислении расстояний и, таким образом, тесно связана со второй.

Задачи нечеткого поиска чаще всего возникают при коррекции ошибок, фильтрации нежелательных сообщений, обнаружении плагиата, поиске с учетом форм одного и того же слова и основаны на определении расстояния между строками. Эти методы используются также ив генетике. В настоящей работе предлагается модель на основе кусочно-постоянной функции, позволяющая определить меру подобия строк символов.

Теоретический анализ

Хорошие обзоры по теме поиска последовательностей приведены в [1-4]. Рассмотрим вначале основные алгоритмы определения расстояния между строками. Наиболее известны расстояния Хэмминга и Левенштейна, а также «-граммы.

Расстояние Хэмминга определяется как число позиций, в которых соответствующие символы двух слов одинаковой длины различны [5, 6]. В [1] приводится альтернативное определение: если две строки А, и Л, имеют одинаковую длину п, расстояние Хемминга (Л,, А;) определяется как минимальное количество подстановок (замен), необходимых для преобразования строки Л{ в строку А;-.

Расстояние Хэмминга обладает свойствами метрики, удовлетворяя следующим условиям:

й(х, у) > 0 й(х, у) = 0 о х = у

й (х, у) = й (у, х) (1)

й(х, г) < й(х, у) + й(у, г)

Очевидным недостатком этой меры является требование одинаковой длины строк. Любые искажения в виде пропуска либо лишнего символа не позволяют использовать эту меру. Второй недостаток - ненормированность: в результате и длинная, и короткая пара строк, с одинаковым количеством различающихся символов, имеют одно и то же значение . Эту проблему легко преодолеть, нормируя по длине строки: /п.

Расстояние Левенштейна ^ (Л7, Лу) определяется как минимальное количество операций вставки, удаления либо замены одного символа на другой, необходимых для превращения одной строки в другую [7]. В [1] расстояние Левенштейна учитывает только операции удаления и вставки, а расстояние, учитывающее еще и замену (подстановку) называется расстоянием преобразования (Л,, Лу). Расстояния и являются метриками. Классический алгоритм вычисления расстояния Левенштейна имеет сложность О(тп) для строк длиной т и п. Значительная часть исследований посвящена снижению сложности алгоритмов этого типа, для лучших из них сложность достигает О(п+т). Примером таких работ могут являться [8, 9].

Недостатки этой меры: при перестановке местами слов или частей слов получаются сравнительно большие расстояния; расстояния между совершенно разными короткими словами оказываются меньшими, чем расстояния между очень похожими длинными словами. Второй недостаток также устраняется нормировкой по длине строки.

Обобщением расстояния Левенштейна ^ (Л,, Лу) является использование матрицы весовых коэффициентов для замены символа 7 символом у. Это расстояние будет являться метрикой только если матрица весовых коэффициентов симметрична [1]. Частным случаем будет вариант, учитывающий вес для каждой из операций, вне зависимости от заменяемого символа. Для вычисления расстояния с использованием весовых коэффициентов, используют алгоритм Вагнера-Фишера.

Еще одной модификацией является расстояние Дамерау-Левенштейна, в котором дополнительно учитываются и операции перестановки (транспозиции) двух соседних символов; п-граммами (^-граммами) называют множество подстрок длины п исходной строки. Оценка расстояния производится на основе подсчета количества различающихся п-грамм данного множества. Одной из базовых работ в этой области является [10].

Помимо рассмотренных, для нечеткого поиска используют также алгоритмы на основе поиска наибольшей общей подпоследовательности, Укконена-Майерса, расширения выборки, триангуляционные, суффиксные, префиксные или Ше-деревья, хеширование.

Отдельные алгоритмы поиска подстрок либо их виды, а также варианты реализации рассматриваются в [11-14]. К алгоритмам поиска точного вхождения строк относят алгоритмы Карпа-Рабина, Кнута-Морриса-Пратта, Бойера-Мура и его модификации, Демелки-Бейза-Ятса-Гоннета, поиск регулярных выражений с использованием конечных автоматов, методы, основанные на битовых операциях, алгоритмы поиска множества подстрок Ахо-Корасик, Коммен-ца-Уолтера и др. Поиск наибольшей общей подпоследовательности выполняют алгоритмы Хешберга, Ханта-Шиманского, Машека-Патерсона и др.

Методика

Все указанные алгоритмы рассматривают цепочку символов (строку) как множество символов. Вместе с тем, если каждому символу поставить в соответствие некоторое числовое значение, то строку можно описать кусочно-постоянной функцией

А( х) =

к1; если 0 < х < Х1 к2, если х1 <х <х2

кт, если хт_х < х < хп

(2)

где т - количество символов в строке, х1, х2, ... , хт-1 - границы смежных символов, и хт - длина строки. Для возможности сравнения цепочек нормализуем функцию по длине строки:

А( х) =

к1, если 0 < х < -—

(3)

х Хо

к2, если —- < х <

кт, если —— < х < 1

хт

где х = [0, 1).

Подобная нормализация делает модель инвариантной к размеру строки. Определим функцию Ец двух цепочек Л, и Л, как

Г1, если А (х) = А (х)

Еи у (х) = \п ' . (4)

[0, если иначе

Тогда в качестве расстояния можно использовать 1

йРС (А, Ау) = 1 - | Еу (А (х), Ау (х)) (х .

х=0

Однако, для строк разной длины интервалы, соответствующие одному символу, различны по длине. Поэтому функцию расстояния необходимо определить с учетом сдвига Л, и Л, относительно друг друга. Пусть и - сдвиг строки Л}- относительно Л{ , и = [-1, 1). Определим

1

функцию соответствия М^ цепочек следующим образом: Мг Ди) = | Ег ] (А (х), А (х + и)) (х,

х=0

тогда расстояние Ърс (А, А ■ ) = 1 - тах(М ■ (и)) .

В таком виде модель уже можно использовать, однако точность вычислений при этом зависит от шага дискретизации. Из определения функции Е^ следует, что она является кусочно-постоянной. Поскольку интеграл от постоянной величины является линейной функцией, то функция соответствия Му(и) будет являться кусочно-линейной функцией, при этом можно показать, что она непрерывна. Следовательно, функция соответствия Му(и) достигает максимума в точках изменения угловых коэффициентов на концах соответствующих интервалов. Определим эти точки.

Учтем, что длина каждого интервала строки одинакова. При этом обратим внимание на тот факт, что существенными являются границы только тех пар интервалов, значения функций Л, и Л, на которых совпадают. Пусть X - множество точек разрыва функции Л:

X = (хг —, ■ = 0, 1,...,т}. Тогда множество Цу точек изменения угловых коэффициентов т

функции Му(и) определяется следующим образом: и! у = {и; у |х; - ху, х! е X (А■), ху е Х(Ау), А1■ (х;) = Ау (ху)

либо А■ (х;-1) = Ау (ху) (5)

либо А:(хг-) = Ау (ху-1)}.

Альтернативы учитывают прерывность функции в точке разрыва. Можно отметить, что к

^7777^7-7' ^ = ,НОК(т,п)}, (6)

Здесь НОК - наименьшее общее кратное. В этом случае расстояние будет вычисляться следующим образом: Ърс (А, Ау ) = 1 - тах(М; у (Ц у )). Использование (6) в алгоритме расчета является более простым, но и несколько избыточным способом вычисления расстояния. 24

Предложенное расстояние будет являться метрикой. Докажем это. Поскольку Е(х) < 1 и х = [0, 1), то М(и) < 1, и, следовательно dPС(Л7, Лу) > 0. ёРС(Л7, Лу) = 0 тогда и только тогда, когда шах(^г . (и .)) = 1. Поскольку при любом и, отличном от 0, строки не полностью сравниваются друг с другом, то М(и ^0) < 1. Следовательно, равенство едини-

1

це может иметь место только при и = 0. Тогда |Е ](А(х), А(х)) ёх = 1. Из определения

х=0

функции Е (4) следует, что данное равенство выполняется тогда и только тогда, когда Л, = Лу.

Равенство dPC(Лi, Лу) = dPC(Лj, Л,) элементарным образом сводится к Е(Л7, Лу) = Е(Лу, Л,), верность которого следует из определения функции Е (4). Докажем свойство треугольника ё(х, z) < ё(х, у) + ё(у, z) .

Независимо от сдвига и, при котором достигается максимум М, все множество точек функции Лх, Лу, Лг будет состоять из точек множеств X, У, X не совпадающих ни с одной из двух оставшихся строк, множеств ХУ, XX, УХ соответственно из точек, совпавших только для строк х и у, х и г, у и г соответственно и ХУХ, состоящее из точек, совпавших у всех строк.

Рис. 1. Множества точек

При этом выполняется: |X| + \XX| + XY + \XYX\ = 1, |Y| + |YZ| + \XY\ + \XYX\ = 1, |Z| + XX + \YX| + |XYX| = 1. Кроме того , dpc (x, y) = 1 - |XY| - |XYX|, dpc (x, z) = 1 - XX - XyX|, dPC (y, z) = 1 - |YX| - XYXl Выполнив соответствующую подстановку, получаем: 1 - XX - |XYX| < 1 - |XY| - XYX + 1 - |YX| - XYX, оттуда - XX < 1 - |XY| - |YX| - ¡XYX, и, наконец, - XX < 1 - |Y|.

Так как длина любого участка строки не отрицательна и не превышает 1, то правая часть неравенства всегда неотрицательна, левая - не превышает нуля. Таким образом, доказано, что предложенная функция расстояния является метрикой.

Оценим вычислительную сложность полученной модели. Алгоритм включает в себя вычисление множества U и, в соответствии с количеством элементов данного множества, расчета функции M и выбора максимального значения: f (m) = 2(m + n) + p\k(m + n) + |U|.

Здесь m и n - количество символов в сравниваемых цепочках, k - некоторый коэффициент, учитывающий количество операций по вычислению частичной суммы при расчете значения функции M. Мощность множества U не превысит mn для произвольных цепочек. Таким образом, вычислительная сложность предложенного алгоритма O(m2n).

Экспериментальная часть

Сравним расстояния dH, dL и dPC, а также нормированное расстояние Хэмминга dH* и нормированное расстояние Левенштейна dL*. Расстояние Левенштейна будем считать с использованием операций удаления, добавления и замены. Будем выполнять проверки для случаев несовпадающих символов, пропущенных (добавленных) символов, переставленных символов.

Обозначим сравниваемые строки Ai и Aj. Для всех экспериментов будем считать, что все символы каждой из сравниваемых строк отличны друг от друга, и все символы строки Ai совпадают с соответствующими символами строки Aj, исключая проверяемый случай. Например, при проверке отсутствия символа в середине строки, строка Ai = ABCDEFGHIJKL, строка A, = ABCDEFHIJKL.

Для строк одинаковой длины n = \At\ = Aj\, и количества отличных символов к, в одинаковых позициях сравниваемых строк, независимо от их положения в строке расстояние dH = dL = к, dH* = dL* = dPC = к / n.

Пусть \Аг\ = n, Aj = m, и n > m. Такая ситуация соответствует пропуску (добавлению) символов. Пусть к = n - m, пропущенные символы находятся друг за другом и в самом начале строки (либо в самом конце, что эквивалентно). Тогда dL = к, dL* = к/n. dPC имеет сложную зависимость от величины к: dPC = 1-1/n при к = n-1, dPC = 1-2/n при к = [n/2, n-2], и нелинейный характер на участке к = [0, n/2). Графики зависимостей приведены на рис. 2, а.

Пусть \Ai\ = n, \А;\ = n-1. Такая ситуация соответствует пропуску (добавлению) одного символа. Пусть i = 1, 2, ..., n/2 указывает на позицию пропущенного символа. Тогда dL = 1, dL* = 1/n. dPC = n/4(n+1), если n - четно, и dPC = (n+1)/4n, если n - нечетно. При этом ни dL, ни dPC не зависят от позиции пропущенного символа.

d OS ЛРС, н=50 . Л Iis

¿г с,я=20.

0,6 / / dp / Ofi

0 4 1, 7 d- ri - П 4 \

0,2 > /4* 0,2 dpc

n П

0 0,2 и•. до ля удал 0.8 енных ИМБОЛО 1 Б 2 5 30 60 90 120 150 длин 180 строки

а б

Рис. 2. Зависимости dL* и dPC для случаев к пропущенных символов (а); пропуска (добавления) символа в позиции к (б)

Рассмотрим случай циклического сдвига. В этом случае n = \Ai\ = \А;|. Пусть i = 1 2, ..., n-1 указывает на количество циклически сдвинутых символов. Тогда dH = n, dL = 2 min(i, n-i). dH* = 1, dL* = 2 min(i/n, 1-i/n). dPC = min(i/n, 1-i/n). В этом случае dPC симметрично относительно середины строки и ровно вдвое меньше dL*. Графики зависимостей приведены на рис. 3, а.

Строку Ai можно представить как конкатенацию подстрок Ai = aßy5s. Пусть строка Aj получена из строки Ai путем перестановки подцепочек Aj = a5yßs. Для упрощения будем считать, что длина переставляемых подцепочек одинакова \5\ = \ß\ = к, и они расположены симметрично относительно центра строки, т.е. \a\ = \s\ = i, причем \у\ = 0, если n - четно, и \у\ = 1, если n нечетное. Тогда dH = dL = 2к. dH* = dL* = 2к/^ dPC имеет следующую зависимость: dPC = 2^n при к = [0, n/3] и dPC = 1-Un при к = (n/3, n/2].

d / \dL. Кя1

0,8 / \

0,6 / \

0,4 / \

0,2 / / \ \ \

n

0 0.1 0,2 0,3 0,4 0.5 0,6 0.7 0.8 0.9 сдвига

d 0,8 L*/

0,6

0,4 / dpc '

0,2 /

0

0 0,05 0,1 0,15 0,2 0,25 0,3 доля пе 0,35 ремеща 0.4 L МОЙ ПО 0,45 дстроки

а б

Рис. 3. Зависимости йнйь* и йРС для случаев циклического сдвига к символов (а); перестановки подстрок длиной к символов (б)

Результаты и их обсуждение

В случае пропуска (добавления) k символов (рис. 2, а) при к>п/2 расстояние DPC является постоянной величиной. Объяснить это достаточно легко. При таком k одна строка в два и более раза короче, соответственно каждый фрагмент второй строки при вычислении расстояния перекрывает не менее чем два смежных фрагмента первой. Поскольку все символы отличны друг от друга по условию проведения эксперимента, то в результате независимо от величины сдвига невозможно совпадение более чем на двух соседних участках. Соответственно для больших строк (п^<х>) на этом участке dPC ^ 1. Этим свойством можно воспользоваться для сокращения времени работы алгоритма на больших строках.

В отличие от расстояния Левенштейна, предложенная модель нелинейна, и уже при отличии 10-20% в длинах строк полученное расстояние близко к максимальному. Это свойство может быть полезным для задач, в которых близкими можно считать только строки с минимальными отличиями.

Позиция одного пропущенного символа не влияет на рассчитанное расстояние (рис. 2, б). Для больших строк (п^<х>) dPC ^0,25. Это значение можно условно считать «штрафом» за пропуск (добавление) символа.

В случае циклического сдвига предложенное расстояние меньше расстояния Левенштейна в два раза (рис. 3, а), что позволяет рассматривать модель как более подходящую для работы с циклическими последовательностями.

Моделирование перестановок подстрок (рис. 3, б) позволяет сделать вывод о том, что предложенная модель в меньшей степени, по сравнению с расстоянием Левенштейна, подвержена тому недостатку, что при перестановке местами слов или частей слов получаются сравнительно большие расстояния.

На слабоподобных участках количество элементов множества V существенно снижается по сравнению с максимальной оценкой, а на близких фрагментах - приближается к ней, поскольку данный параметр зависит от количества одинаковых символов в строке. Таким образом, если вероятность совпадения строк невысока, выгоднее при расчете использовать точную формулу (5) поиска элементов множества V.

Интересным свойством модели является то, что она не требует соблюдения условия равенства всех участков для каждого символа. Фактически, длина участка, соответствующего одному символу, может отличаться от длины участка, соответствующего другому символу. Это свойство делает возможным использование данной модели в задачах распознавания, основанных на структурном (синтаксическом) подходе.

Модель легко адаптировать для сравнения циклических последовательностей, для этого функция (3) должна быть переписана как периодическая с периодом 1. Необходимость в такой модификации может возникнуть в некоторых задачах генетики [4], в задачах распознавания образов и обработки изображений, в частности, в текстурном анализе [15]. Учитывая, что модель менее чувствительна к циклическому сдвигу, а также наличие возможности обобщения на произвольные длины фрагментов, использование периодической модификации модели представляется весьма перспективным.

Заключение

В работе предложена модель строки символов, которая позволяет определить расстояние между двумя строками. Модель основана на представлении строки в виде кусочно-постоянной функции, позволяет сравнивать строки разной длины, легко адаптируется для работы с циклическими строками.

FUNCTION OF DISTANCE BETWEEN THE STRINGS BASED ON PIECEWISE

CONSTANT MODEL

V.A. PRYTKOV Abstract

A piecewise model of a string which allows to define a distance between two strings is proposed. The model can be applied to problems of fuzzy matching and text analysis and the model can be used with cyclic strings.

Список литературы

1. Смит У. Методы и алгоритмы вычислений на строках. М., 2006.

2. Gonzalo Navarro // ACM Computing Surveys. 2001. Vol. 33, № 1. P. 31-88.

3. Graham A. Stephen. String Seaching Algorithms, 1994.

4. ГасфилдД. Строки, деревья и последовательности в алгоритмах. СПб, 2003.

5. HammingR. W. // The Bell System Technical Journal. 1950. Vol. XXIX, № 2. P.147-160.

6. Federal Standard 1037C, 1996.

7. Левенштейн В.И. // Докл. Академий Наук СССР. 1965. Т. 163, №4. С. 845-848.

8. Masek W.J., Paterson M.S. // Journal of Computer and System Sciences. 1980. Vol. 20, № 1.

9. EhrenfeuchtA., Haussler D. // Discrete Applied Mathematics. 1988. Vol. 20, № 3. P. 191-203.

10. Ukkonen E. Approximate string-matching with q-grams and maximal matches // Theoretical Computer Science 1992. Vol. 92, № 1. P.191-211.

11. HallP.A.V., Dowling G.R. // Computing Surveys. 1980. Vol. 12, № 4. P. 381-402.

12. Blumer A., Blumer J., Haussler D. et al. // Theoretical Computer Science. 1985. Vol. 40. P. 31-55.

13. HirschbergD.S. // Journal of the Assoclauon for Computing Machinery. 1977. Vol 24, № 4. P. 664-675.

14. Кормен Т., Лейзерсон Ч., Ривест Р. и др. Алгоритмы: построение и анализ. М., 2005.

15. Прытков В.А., Барташевич Ю.А., Лукашевич М.М. // Матер. V межд. конф.-форума «Информационные системы и технологии». Минск, 2009. С. 172-175.