Исследование плохо обусловленных матриц парных сравнений при коррекции метрических нарушений Текст научной статьи по специальности «Математика»

Rudnev Dmitry Olegovich, postgraduete, dima [email protected], Russia, Tula, Tula State University,

Sychugov Alexey Alekseevich, candidate of technical science, docent, [email protected], Russia, Tula, Tula State University

УДК 519.67

ИССЛЕДОВАНИЕ ПЛОХО ОБУСЛОВЛЕННЫХ МАТРИЦ ПАРНЫХ СРАВНЕНИЙ ПРИ КОРРЕКЦИИ МЕТРИЧЕСКИХ

НАРУШЕНИЙ

С.Д. Двоенко, Д.О. Пшеничный

Исследуется проблема оптимального снижения числа обусловленности скорректированной матрицы скалярных произведений.

Ключевые слова: метрика, детерминант, собственное число, собственный вектор, скалярное произведение, парные сравнения.

В современных задачах интеллектуального анализа данных результаты экспериментов часто представлены в виде парных сравнений сходства или различия объектов исследования. Для адекватного применения алгоритмов машинного обучения результаты парного сравнения необходимо корректно погрузить в метрическое пространство. В отсутствие явно заданного пространства признаков одним из условий корректного погружения является неотрицательная определенность матрицы парных близостей элементов множества друг с другом. В этом случае неотрицательные близости представляют собой скалярные произведения векторов в положительном квадранте гипотетического признакового пространства, а соответствующие различия представляют расстояния.

На практике обычно возникает необходимость в метрической коррекции произвольных экспериментальных матриц парных сравнений, чтобы обеспечить положительную определенность соответствующих им нормированных матриц скалярных произведений. Естественное требование минимизации отклонений значений скорректированных матриц от их исходных значений обычно приводит к плохо обусловленным матрицам скалярных произведений с большим числом обусловленности.

1. Задача коррекции метрических нарушений

Рассмотрим нормированную матрицу скалярных произведений 5(п, п), для элементов которой выполняются условия: Sjj = 1,1 = 1,...п ;

sij = s ji, | sij | < 1, ¡, у = 1,... п, где п - число элементов множества. Такая матрица может быть получена из матрицы расстояний 0(п, п) между элементами множества относительно некоторого начала координат по теореме косинусов.

На практике, непосредственно оценивая сходство элементов множества между собой, применяют различные функции близостей, получая матрицы парных близостей £(п, п) с неотрицательными элементами Sjj > 0. Неотрицательные значения элементов Sjj > 0 могут рассматриваться как скалярные произведения элементов множества, представленных векторами в положительном квадранте соответствующего признакового пространства.

Одним из условий отсутствия метрических нарушений в конфигурации множества элементов является неотрицательная определенность матрицы их взвешенных скалярных произведений. Если на практике такими свойствами обладает некоторая произвольная матрица близостей £(п, п), то мы считаем, что элементы данного множества корректно погружены в некоторое метрическое пространство, размерность которого не превышает п. В этом случае совершенно необязательно иметь признаковое пространство в явном виде как набор измерений соответствующих характеристик, чтобы применить алгоритмы машинного обучения, кластер-анализа и т. д.

Но часто оказывается, что экспериментальная матрица сходства элементов множества между собой неположительно определена. По каким причинам такое произошло - это отдельный вопрос. Но это не позволяет считать, что соответствующее множество элементов может быть представлено точками в некотором неизвестном нам признаковом пространстве. Для математически корректной обработки таких наблюдений в виде близостей необходимо скорректировать некоторые парные близости, чтобы все множество элементов оказалось погруженным в метрическое пространство. Только в этом случае мы можем быть уверены, что при «внезапном» появлении признакового пространства результаты обработки не изменятся.

В итоге, для заданной матрицы парных сравнений сходства или различия, для которой соответствующая матрица нормированных скалярных произведений неположительно определена, требуется так скорректировать значения скалярных произведений, чтобы восстановить ее положительную определенность при минимальных в некотором смысле отклонениях скорректированных значений некоторых ее элементов от исходных.

Проблемы преобразования произвольных матриц парных сравнений к нормированному виду и некоторые вопросы их коррекции были ранее рассмотрены в [1 - 3]. Разработка алгоритмов классификации по матрицам парных сравнений была рассмотрена в [4, 5].

В [6] была сформулирована общая постановка задачи оптимальной коррекции в нормированной матрице скалярных произведений произвольного подмножества парных сравнений элемента, нарушающего метрич-ность конфигурации, с остальными элементами множества при условии минимизации суммы квадратов отклонений скорректированных элементов от исходных.

К сожалению, такое естественное требование немедленно приводит к нулевому детерминанту скорректированной матрицы, что, как минимум, говорит о некорректной вложенности множества в гипотетическое пространство избыточной размерности. Поэтому необходимо обеспечить некоторое небольшое, но положительное значение детерминанта скорректированной матрицы. Вопрос его выбора немедленно приводит к проблеме обусловленности матрицы парных сравнений сходства. Ниже рассматривается проблема определения оптимального числа обусловленности матрицы нормированных скалярных произведений при решении задачи ее метрической коррекции.

2. Оптимальная коррекция парных сравнений

Рассмотрим последовательность главных миноров £ (1,1) = 1,

£ (2,2),... £ (к, к),... £ (п, п) нормированной матрицы скалярных произведений £ (п, п). Их значения £1 = 1,... £к = det £ (к, к),... £п = ёй £ (п, п) убывают, оставаясь положительными при добавлении очередного элемента множества, не нарушающего метрическую конфигурацию. Если имеются метрические нарушения, то такая последовательность миноров оказывается знакопеременной с уменьшающимися по модулю значениями. Тогда отрицательность минора £к = £ (к, к) означает, что очередной добавленный элемент, представленный своими парными сравнениями =, I = 1,... к внес метрическое нарушение, которое требуется исправить так, чтобы получить £к > 0 .

Вычислим значение £к минора £ (к, к). Для этого разложим его по элементам последней строки

£к = £ (-1)к(£к )к = к^(-1)к(£к )к + £к -1, I=1 I=1

где (£к )к - значение минора (£ (к, к)). , полученного из минора £ (к, к)

удалением строки к и столбца I. Далее разложим минор (£(к, к) )к по последнему столбцу и вычислим его

(£к )к = ^НУ+к-1/ ((£к )к )к. /=1

0 7 1

После подстановки этого разложения с учетом (-1)2к-1 = -1 получим к -1 к -1

£к = £ £ (-1)к+г (-1)7+к-1 / (£к-1)/ + £к-1 = I=1 /=1

к-1 к-1 . .

= £к-1 - £ £ 5м*/к (-1)1+к (£к-1)/.

I=1 /=1

k-1 k-1

1 - I I SkiSjkTij i=1 j=1

(1)

J

Если рассмотреть матрицу S(k -1, k -1) и обратную ей R = S-1(k -1, k -1), то вычисление элементов обратной матрицы R(k -1, k -1) дает их значения Tj = (-1)i+j (Sk-1)j / Sk-1. Отсюда окончательно получим

k-1 k-1

Sk = Sk-1 - II skisjkSk-1Tij = Sk-1 i=1 j=1

Пусть Sk < 0, при Si > 0, i = 1,... k -1. Скорректируем некоторые элементы последних строки k и столбца k текущего минора, индексы которых образуют множество I í {1,... k -1}.

Пусть после коррекции Sk = C, где 0 < C < Sk -. Обозначим элементы Ski = Sik скорректированной матрицы S(k, k) как переменные Xi, i = 1,... k -1 и, согласно (1), получим ограничения на их значения

k-1 k-1

II XiXjTij = C, C = 1 - C / Sk-1, (2)

i=1 j=1

где для индексов i <£ I элементы Xi = Ski = Sik остаются неизменными.

Минимизация отклонений скорректированных элементов при заданном ограничении (2) приводит к следующей задаче оптимизации

k-1 k-1 k-1

I - X)2 ® т1п; I I xixjrij

г=1 i=1 j=1

Для задачи (3) по методу множителей Лагранжа получим систему уравнений

C.

(3)

1 I XiTip + I SkiTip

iel Ш

skp

X

p e I

I I XiXjTij + II XiSjkTij +

iel jel iel j£l

+ II SkiXjTij + I I SláSjkTij

Ш jel i£l j£l

(4)

C.

Решая данную систему численным методом, получим оптимально скорректированные строку и столбец данного минора. Количество уравнений в системе (4) зависит от индексов р е I, т.е. от количества и состава корректируемых элементов.

3. Обусловленность матрицы парных сравнений Известно, что число обусловленности квадратной матрицы показывает степень ее вырожденности. Если квадратная матрица А является матрицей коэффициентов некоторой системы линейных уравнений Ах = Ь и почти вырождена, то малые изменения А и Ь вызовут большие изменения в решении х. Если матрица коэффициентов невырождена (например,

50

близка к единичной), то малые изменения A и b повлекут только малые изменения в решении x. Невырожденная квадратная матрица характеризуется небольшим числом обусловленности.

Рассмотрим квадратную матрицу S. Известно, что ее число обусловленности может быть определено как произведение норм ее и обратной ей матриц Cond(S) =|| S || • || S-11|. Норма матрицы может быть определена различными способами, например, как максимальное по модулю собственное число || S ||= max| 11. Норма обратной матрицы окажется

|| S-11|= 1/ min 111, т.к. собственные числа обратной матрицы обратны собственным числам исходной матрицы.

Для положительно определенной матрицы S(n, n) ее число обусловленности Cond(S(n,n)) = 1i/ 1n, где 1 max = 1 > ... > 1n = 1 min > 0.

Заметим, что метрические нарушения приводят к появлению отрицательных собственных чисел, а коррекция их устраняет. Поэтому такое определение числа обусловленности является приемлемым.

В то же время, другие возможные определения норм матрицы могут не подойти, например max | Sj |, т.к. здесь данный элемент может вообще

не измениться при коррекции. Такая коррекция никак не отразится на числе обусловленности.

К сожалению, решение задачи (3) никак определенно не связывает значение Sk = C скорректированного минора S(к, к) с его числом обусловленности Cond (S(к, к)), хотя известно, что Sk = Пк=11/. Действительно, из условия к = ^ к=11/ можно лишь утверждать, что 1 max = 1 > 0 уменьшится, а 1 min возрастет, став положительным 1 min = 1 к > 0. Отсюда число обусловленности Cond (S(к, к) ) = ^/1 к упадет, а обусловленность минора S (к, к) улучшится.

Очевидно, что наилучшее решение задачи (3), доставляющее минимум отклонений, определяет значение Sk = 0. Также очевидно, что такое

решение неприемлемо, т.к. 1 min = 1 к = 0, а Cond (S(к, к)) = ¥. Как было

отмечено выше, указанное противоречие необходимо разрешить, позволив сильнее скорректировать элементы последней строки и столбца минора S(к,к) с выбранными индексами из множества I с {1,... к -1}.

С другой стороны, значение Sk скорректированного минора не может превысить значение предыдущего минора Sk £ Sk-1. Если же после коррекции Sk = Sk-1, то из (1) следует, что была выполнена коррекция нулевой строкой и столбцом Sk/ = S/k = 0, i = 1,... к -1 по всем индексам I = {1,... к -1}. Очевидно, что в этом случае число обусловленности мини-

51

мально для данного минора Cond (S (k, k)) = Cond (S(k -1, k -1)). Но также

очевидно, что такая коррекция неприемлема из-за недопустимо большого расхождения между исходными и новыми значениями элементов скорректированного минора S (k, k).

Таким образом, величина C является параметром задачи оптимизации (3), который неявно связан с числом обусловленности. Для согласования двух противоречивых требований (минимизации отклонений и минимизации числа обусловленности), предлагается эвристическая процедура построения с некоторым шагом из интервала 0 < a < 1 графиков изменения

_7 1 о

двух величин Conda(S(k,k)) и Da= Yjk-\(sik -xi) для параметра C = 1 -a в задаче оптимизации (3), где C = aSk-i, a- доля значения минора Sk -1. Для поиска оптимального числа обусловленности применим популярный эвристический способ совместного анализа графиков противоположно изменяющихся величин, приведенных к единому масштабу.

Очевидно, что точка их пересечения претендует на оптимальность в некотором эвристическом смысле.

4. Модельные эксперименты

' 1

Рассмотрим матрицу S(3,3) =

0.5 0.5

0.5 1

-0.9

0.5 -0.9 1

с главными мино-

у

рами = 1, = 0.75, £3 = -0.76. Выполним корректировку строкой для £3 = С = 0.1. Таким образом, доля а = С / 52 = 0.1/0.75 » 0.13 . Отсюда определим параметр С = 1 - 0.1/0.75 = 13/15 » 0.87. Вычислим матрицу ' 4/3 -2/3Л

R = S-1(2,2) =

-2/3

4/3 l

и получим систему уравнений

x1 - j x2 )= ^ -l(-! x1+4 x2 )=-10

x1

9

x2

4 x2

3 x1

4 x x + 4 x2 = 13 3 x1x2 + 3 x2 = 15

с решением Х} = 0.285487 и Х2 = -0.624637 .

Рассмотрим корректировку только одного элемента £31 = 0.5 для тех же условий. Получим систему уравнений

i( 4 x1 - 3(-10))

1 2

x1

4 x 2 3 x1

4 x ( 9 ) + 4 ( 9 )2 = 13 3 x1(-^) + 3(-^) = 15

с решением x1 = -0.243845

Наконец, скорректируем последний элемент 532 =-0.9 для тех же условий. Получим систему уравнений

с решением х2 = -0.430074.

Все решения оптимальны в том смысле, что восстанавливают положительное значение последнего минора £3 = 0.1. Легко заметить, что при корректировке строкой новые значения интуитивно воспринимаются более похожими на предыдущие, чем при корректировке неполной строкой (одиночными элементами в данном случае). Особенно неприемлемым воспринимается результат радикальной корректировки элемента 531 = 0.5 до значения х1 =-0.243845.

Таким образом, чем меньше множество корректируемых элементов, тем сильнее корректируются их значения, что не всегда может восприниматься содержательно допустимым в конкретном исследовании.

Выясним оптимальность полученных решений, исследуя обусловленность скорректированной матрицы. Для этого построим графики изменения величин Сопйа и Ва. Как было отмечено выше, построить графики

их изменения на всем диапазоне 0 < а < 1 можно будет только для корректировки полной строкой, т.к. только в этом случае можно получить предельное скорректированное значение минора £к = £к -1 при а = 1. В данной статье ограничимся только этим случаем (рис.1).

На рис.1 в едином масштабе показаны графики изменения числа обусловленности, минимальных отклонений, максимального и минимального собственных чисел при корректировке минора £(3, 3) при постепенном увеличении его значения минора в диапазоне 0 < £3 < £2. Горизонтальная ось показывает долю а значения минора £к = £3 от значения минора -1 = £2 = 0.75 . Легко увидеть, что эвристической точкой оптимальности является точка пересечения графиков с противоположными тенденциями изменения: числа обусловленности и оптимальных отклонений.

Графики изменения значений скорректированных элементов показаны на рис. 2.

Рассмотренный выше пример корректировки строкой для £3 = С = 0.1 соответствует точке а = 1 - С = 1 - Ц = 2 » 0.13. Согласно графикам, ей соответствуют полученные ранее расчетные значения, показанные на рис. 3а, с точностью шага по а до одного процента. Как было отмечено выше, скорректированные в данном случае значения воспринимаются достаточно естественно, а число обусловленности значительно снижается на порядок (с 500 при а = 0 до 38.8). Мы видим, что произвольно выбранное достаточно малое значение С = 0.1 оказалось также и эмпирически оптимальным значением.

4(1)2 - 4 , . 3Ч2' 3 2

(1)

3

15

Рис. 1. Графики изменения числа обусловленности (Сопйа), оптимального отклонения (Ба), максимального (1 тах) и минимального (1 т^п) собственных чисел скорректированного минора 5(3,3) в зависимости от доли а его значения от значения 52 = 0.75

минора 5(2,2)

Значение детерминанта в процентах от предыдущего

Рис. 2. Графики изменения скорректированных значений ^ и 532

13

- Число обусловленности : 36,356639

- Отклонение : 0,347773 Максимальное собственное число : 1,677553 Минимальное собственное число : 0,045516

- Элемент {3; 1): 0,236233 Элемент {3; 2): -0,625679

30

— Число обусловленности : 14,933097

— Отклонение : 0,416796 Максимальное собственное число : 1,646349 Минимальное собственное число : 0,10933

— Элемент [3; 1): 0,24637 Элемент [3; 2): -0,569257

а

б

Рис. 3. Значения характеристик скорректированного минора 5(3,3)

при доле а = 0,13 (а) и а = 0.3 (б)

54

Согласно рис. 1 также видно, что вполне допустимо исходить из доли вплоть до а = 0.3, что дает значение параметра С = 0.7 и снижение числа обусловленности более, чем в два раза при все еще приемлемой естественности скорректированных значений (рис 3. б).

Заключение

В данной работе рассмотрен алгоритм оптимальной коррекции неположительно определенных матриц парных близостей. Алгоритм позволяет определить, какие элементы множества вносят метрические искажения и скорректировать их парные сравнения.

Предложенный алгоритм позволяет регулировать степень коррекции парных сравнений элемента множества, опираясь на заранее заданный параметр коррекции. В работе показано, что естественное требование минимизации отклонений скорректированных значений от исходных с неизбежностью приводит к (почти) нулевому детерминанту скорректированного минора, что недопустимо, т.к. соответствующая нормированная матрица близостей элементов множества оказывается плохо определенной с (почти) бесконечным числом обусловленности.

В работе поставлена и решена задача поиска оптимальной коррекции, позволяющей получить приемлемое значение числа обусловленности скорректированной матрицы. К сожалению, параметр задачи оптимизации связан с числом обусловленность лишь неявно, что пока не позволило сформулировать на данном этапе исследований математически корректную задачу поиска оптимального числа обусловленности. Тем не менее, в работе предложен эмпирический способ определения диапазона подходящих значений числа обусловленности.

Данное исследование поддержано грантом РФФИ 17-07-00319.

Список литературы

1. Двоенко С. Д., Пшеничный Д.О. Устранение метрических нарушений в матрицах парных сравнений // Известия Тульского государственного университета. Технические науки. 2013. Вып. 2. С. 96 - 104.

2. Двоенко С. Д., Пшеничный Д. О. О локализации отрицательных собственных значений в матрицах парных сравнений // Известия Тульского государственного университета. Технические науки. 2013. Вып. 9. Ч. 2. С.94 - 102.

3. Двоенко С.Д., Пшеничный Д.О. О метрической коррекции матриц парных сравнений // Машинное обучение и анализ данных. 2013. Т. 1. № 5. С. 606 - 620.

4. Двоенко С.Д. Кластеризация множества, описанного парными расстояниями и близостями между его элементами // Сибирский журнал индустриальной математики. 2009. Т. 12. № 1. С. 61 - 73.

55

5. Двоенко С. Д. Двухкомпонентная функция качества кластеризации множества элементов, представленных парными сравнениями // Машинное обучение и анализ данных. 2014. Т. 1. № 9. С. 1141 - 1153.

6. Двоенко С. Д., Пшеничный Д.О. Оптимальная коррекция метрических нарушений в матрицах парных сравнений // Машинное обучение и анализ данных. 2014. Т. 1. № 7. С. 885 - 890.

Двоенко Сергей Данилович, д-р физ.-мат. наук, проф., dsd@tsu. tula.ru, Россия, Тула, Тульский государственный университет,

Пшеничный Денис Олегович, асп., [email protected], Россия, Тула, Тульский государственный университет

INVESTIGATION OF ILL-CONDITIONED MATRICES OF PAIRWISE COMPARISONS UNDER CORRECTION OF METRIC VIOLATIONS

S.D. Dvoenko, D.O. Pshenichny

The problem of the optimal decreasing of the condition number of matrices of pair-wise comparisons under corrections of metric violations is investigated.

Key words: metrics, determinant, eigenvalue, eigenvector, scalar product, pairwise comparisons.

Dvoenko Sergey Danilovich, doctor of physic-mathematical sciences, professor, dsd@tsu. tula. ru, Russia, Tula, Tula State University,

Denis Olegovich Pshenichny, postgraduate, denispshenichny@yandex. com, Russia, Tula, Tula State University