CC BY
16
УДК 519.61+512.6 Вестник СПбГУ. Математика. Механика. Астрономия. 2018. Т. 5 (63). Вып. 2 МБС 15А80, 41А50, 41А63, 49Л35, 15А18
Одноранговая аппроксимация положительных матриц на основе методов тропической математики*
Н. К. Кривулин, Е. Ю. Романова
Санкт-Петербургский государственный университет,
Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7—9
Для цитирования: Кривулин Н. К., Романова Е. Ю. Одноранговая аппроксимация положительных матриц на основе методов тропической математики // Вестник Санкт-Петербургского университета. Математика. Механика. Астрономия. 2018. Т. 5(63). Вып. 2. С. 256-269. https://doi.org/10.21638/11701/spbu01.2018.206
Малоранговая аппроксимация матриц находит широкое применение при анализе больших данных, в рекомендательных системах в сети Интернет, для приближенного решения некоторых уравнений механики и в других областях. В статье предлагается метод аппроксимации положительных матриц матрицами единичного ранга на основе минимизации к^-чебышёвского расстояния. Задача аппроксимации сводится к задаче оптимизации, имеющей компактное представление в терминах идемпотентного полуполя с операцией вычисления максимума в роли сложения, которое часто называют тах-алгеброй. Приводятся необходимые определения и предварительные результаты из области тропической математики, на основе которых строится решение исходной задачи. С помощью применения методов и результатов тропической оптимизации находятся в явном виде все положительные матрицы, на которых достигается минимум погрешности аппроксимации. Рассматривается численный пример, иллюстрирующий применение предложенного метода одноранговой аппроксимации.
Ключевые слова: тропическая математика, идемпотентное полуполе, одноранговая аппроксимация матриц, ^-чебышёвская функция расстояния.
1. Введение. К задаче аппроксимации матриц сводится значительное число прикладных проблем из разных областей. Многие практические задачи, например задачи вычислительной гидродинамики и теории электрических цепей, уравнения балансов и сохранения в механике требуют решения системы линейных алгебраических уравнений. Методы решения таких систем принято разделять на прямые и итерационные. Прямые методы обычно опираются на ЬИ-разложение и требуют больших затрат памяти и временных ресурсов. Применение техники малоранговой аппроксимации к множителям ЬИ-разложения, изложенное в работе [1], значительно повышает эффективность этих методов. Аналогичный подход может быть применен и к решению задачи итерационными методами. Например, в [2] описано использование приближения ЬДЬт-разложения, полученного на основе малоранговой аппроксимации, в качестве предобуславливателя. Потребность в аппроксимации возникает при разработке рекомендательных систем в сети Интернет [3, 4] и при обработке больших массивов данных [5, 6]. Матрицы, заполненные результатами физическо-
* Работа выполнена при финансовой поддержке РФФИ в рамках научного проекта №18-01000723.
(¡5 Санкт-Петербургский государственный университет, 2018
го эксперимента, биологических наблюдений или оценками пользователей, могут иметь пропуски или значения, которые затрудняют обработку данных. Аппроксимация матрицами из выбранного множества матриц дает возможность представить данные в удобной и корректной с математической точки зрения форме. В работах [5, 7, 8] малоранговая аппроксимация матриц используется для решения задач аппроксимации тензоров высоких порядков, возникающих в многомерном анализе данных и методах обработки сигналов в системах телекоммуникации.
Понижение ранга матрицы при помощи аппроксимации существенно упрощает ее структуру и позволяет сократить объем памяти для ее хранения. Особое значение приобретает аппроксимация матрицами единичного ранга, которые устроены наиболее просто. Так, если исходная матрица размера п х п определяется п2 элементами, то матрица, полученная в результате одноранговой аппроксимации, задается всего 2п элементами. Подобное сжатие информации сопряжено с некоторыми потерями, поэтому такие методы следует применять тогда, когда матрица предположительно имеет малый ранг.
Во многих приложениях допущение о единичном ранге матрицы вполне оправдано. Например, одноранговая аппроксимация оказывается полезной для задач, возникающих в области машинного обучения [9], технического зрения [10] и в статистике [11]. Некоторые методы одноранговой аппроксимации описаны в работах [6, 12]. Известен ряд результатов, связанных с решением более общей задачи одноранговой аппроксимации тензоров. В работах [13, 14] предложены методы одноранговой аппроксимации тензоров, часть из которых может быть применена к матрицам.
Задача аппроксимации вещественной квадратной матрицы А € К"х" матрицами X из некоторого подмножества Б С К"х" формулируется как задача оптимизации
штё(А, X),
хеБ
ё — функция расстояния на множестве К"х", измеряющая ошибку аппроксимации.
Подходы к решению задачи аппроксимации могут варьироваться в зависимости от постановки исходной задачи и особенностей матрицы. Различия между подходами во многом определяются выбором функции расстояния. Многие подходы обеспечивают алгоритмическое решение, которое ограничивается нахождением одной аппроксимирующей матрицы. При других подходах оказывается возможным описать множество всех матриц, которые наилучшим образом аппроксимируют исходную, в явном виде и в замкнутой форме. Такой подход позволяет из всего множества матриц, на которых достигается минимум погрешности аппроксимации, выбрать ту, дальнейшее использование которой наиболее предпочтительно в условиях конкретной задачи.
Распространенным решением проблемы является применение к аппроксимации матриц разновидностей метода наименьших квадратов, в основе которого лежит минимизация евклидова расстояния. Варианты применения такого подхода описаны в работах [13, 15, 16]. Метод надежен, но требует значительных затрат вычислительных ресурсов, что делает его малопригодным для решения задач больших размерностей или задач, в которых проблема экономии ресурсов является первостепенной. В [17] освещается использование расстояния Минковского (1р-метрики), вычисление которого при р > 2 еще более трудоемко, чем расстояния Евклида.
Интерес представляет предельный случай 1р-метрики при р ^ то, называемый метрикой Чебышёва. В силу равномерности расстояния Чебышёва, его использова-
ние в решении задачи аппроксимации должно обеспечивать хорошее приближение исходной матрицы. В работе [17] доказывается существование приближения Чебы-шёва с рангом r для любой матрицы A с большим рангом и результат сравнивается с приближением в метрике Минковского с конечным p. Проблема чебышёвской аппроксимации сформулирована в [18] в виде задачи линейного программирования, к решению которой могут применяться соответствующие методы, например симплексный метод. В работе [19] показано, что в случае аппроксимации матрицами единичного ранга задача чебышёвской аппроксимации является NP-полной и может быть решена за полиномиальное время, если исходная матрица неотрицательна.
Для аппроксимации положительных матриц иногда целесообразнее перейти к оценке погрешности в логарифмической шкале. Задача минимизации log-чебышёвского расстояния может быть сведена к задаче конического программирования второго порядка, как в работе [20], и решена, например, барьерным методом [18].
В работах [21-23] для log-чебышёвской аппроксимации матриц предлагается применять методы тропической (идемпотентной) математики, которая связана с изучением теории и приложений алгебраических систем с идемпотентными операциями. В частности, для задачи одноранговой аппроксимации произвольной квадратной матрицы в [21] найдено частное решение, которое строится при помощи тропических собственных векторов некоторых матриц, полученных из исходной матрицы.
В настоящей статье предлагается полное решение задачи аппроксимации положительных матриц при помощи матриц единичного ранга на основе минимизации log-чебышёвского расстояния. Задача аппроксимации приводится к задаче оптимизации, записанной в компактной форме в терминах идемпотентного полуполя с операцией вычисления максимума в роли сложения, которое часто называют max-алгеброй. Для решения задачи используется подход на основе применения методов и результатов тропической оптимизации [21, 24, 25], который позволяет описать все решения задачи в явном виде в компактной векторной форме. Рассматривается численный пример, иллюстрирующий применение предложенного метода одноранговой аппроксимации.
2. Одноранговая log-чебышёвская аппроксимация. Чебышёвская аппроксимация положительной матрицы A = (aij) при помощи положительной матрицы X = (xij) в логарифмической шкале использует функцию расстояния
d(A, X) = max | log aij — log xij
где логарифм берется по основанию больше единицы.
Справедливо следующее утверждение.
Утверждение 1. Пусть A, X — положительные матрицы. Минимизация по X величины d(A, X) эквивалентна минимизации
d'(A, X) = maxmax[a,ijx—1, a-~j1xij}. i,j j j
Доказательство. Учитывая свойства логарифма по основанию больше единицы, имеем следующую цепочку равенств:
d(A, X) = max | log aj - log xj | = maxmax{log(aijx-1), - log(ajx-1)}
i,3
= maxmax{log(ajx-. ), log(a-. xj)} = logmaxmax{ajx-. , a-. xj} = logd'(A, X).
В силу того, что логарифм является монотонной функцией, минимум величины logd'(A, X) достигается там же, где достигается минимум d'(A, X). Следовательно, минимизация величины d'(A, X) равносильна минимизации величины d(A, X). □
Таким образом, задача log-чебышёвской аппроксимации сводится к задаче
mind'(A, X).
X
Принимая во внимание то, что любая матрица X ранга 1 может быть представлена в форме X = stT, где векторы s = (sj) и t = (tj) не содержат нулевых элементов, целевую функцию рассматриваемой задачи можно записать так:
d'(A, X) = d'(A, stT) = maxmax{s-1aijt--1, sia-~j1tj}.
j,j j j
В результате задача одноранговой аппроксимации принимает следующий вид: minmaxmaxjs71aijt-1, sia-j1t^, (1)
s,t i,j j J j ij J
где минимум берется по всем положительным векторам s и t.
3. Элементы тропической математики. Приведем основные определения, обозначения и предварительные результаты тропической (идемпотентной) математики [21, 24, 25], на которые будем опираться в дальнейшем. Для более детального изучения могут быть использованы работы [26-29].
3.1. Идемпотентное полуполе. Идемпотентным полуполем называется алгебраическая система (X, ф, (, 0,1), где X — непустое множество, которое замкнуто относительно ассоциативных и коммутативных операций сложения ф и умножения (, и включает их нейтральные элементы 0 и 1. Сложение является идемпотентным, то есть удовлетворяет условию x ф x = x для всех x G X. Умножение дистрибутивно относительно сложения и для каждого x = 0 существует обратный по умножению элемент x-1 такой, что x-1 ( x = 1. Далее знак умножения ( , как обычно, опускается для сокращения записи.
В полуполе для любого x = 0 и целого p > 0 определена целая степень так, что x0 = 1, xp = xp-1 x, x-p = (x-1 )p и 0p = 0. Дополнительно предполагается, что полуполе является алгебраически полным, что обеспечивает решение уравнения xp = a при любом натуральном p и a G X и, тем самым, существование рациональных степеней.
Для любых x,y G X и рационального q > 0 справедливо равенство (x ф y)q = xq ф yq, которое представляет собой тропический аналог биномиального тождества.
В вещественном полуполе Rmax,x = (R+, max, х, 0,1), где R+ —множество неотрицательных вещественных чисел, операция сложения ф определена как взятие максимума двух чисел и имеет нейтральный элемент 0, а умножение ( определено как арифметическое умножение с нейтральным элементом 1. Понятия обратного элемента и степени имеют обычный смысл. Такое полуполе обычно называют max-алгеброй.
i,j
3.2. Матрицы и векторы. Множество всех матриц, которые имеют m строк и n столбцов с элементами из X, обозначается через Xmxn. Матрица, все элементы которой равны числу 0, называется нулевой и обозначается 0. Квадратная матрица, все диагональные элементы которой равны числу 1, а недиагональные — числу 0, называется единичной и обозначается 7. Матрица, у которой все элементы ниже или выше диагонали равны числу 0, — треугольная. Матрица называется разложимой, если перестановкой строк вместе с такой же перестановкой столбцов ее можно привести к блочно-треугольному виду. В противном случае матрица называется неразложимой. Сложение и умножение двух матриц подходящего размера и умножение матрицы на число выполняются по стандартным правилам с заменой обычных арифметических операций на операции ф и (.
Для любой ненулевой матрицы A = (aß) G Xmxn определена мультипликативно сопряженная матрица A- = (a-) G Xnxm с элементами a- = a—\ если aß = 0, и a— = 0 в противном случае.
След матрицы A = (aß) G Xnxn вычисляется по формуле tr A = ац ф • • • ф ann.
Для любых двух матриц A, B G Xnxn выполняется равенство tr(AB) = tr(BA).
Множество всех векторов-столбцов размера n с элементами из X обозначается Xn. Вектор, все элементы которого равны 0, называется нулевым. Вектор называется регулярным, если он не имеет нулевых элементов. Для ненулевого вектора-столбца x = (xj) определен вектор-строка x- = (x-), где x- = x-1, если xj = 0, и x- = 0 иначе.
3.3. Собственное число и вектор матрицы. Число Л G X и ненулевой вектор x G Xn называются собственным значением и собственным вектором квадратной матрицы A G Xnxn, если они удовлетворяют равенству
Ax = Лх.
Любая матрица A = (aß) порядка n имеет собственное число, которое вычисляется по формуле
nn
Л =0tr1/m(Am )=0 0 Kj2 ••• ajm )1/m. (2)
m=1 m=1 1<ii <n
Если у матрицы A есть другие собственные числа, то они по величине не превосходят числа Л, которое называется спектральным радиусом матрицы.
Предположим, что Л = 0, и введем следующие матрицы:
Aa = Л-U, AA = 7 ф Aa ф---ф An-1, A+ = AaA^ = Aa ф---ф Aa .
Собственные векторы матрицы A, которые соответствуют Л, находятся так. После построения матриц Aa и A+ составляется матрица A^ из тех столбцов матрицы A+, у которых диагональный элемент равен числу 1. Все собственные векторы матрицы A имеют вид х = A^u, где u — произвольный регулярный вектор.
3-4- Экстремальное свойство собственного числа. Предположим, что задана матрица A G Xnxn и требуется решить задачу
min x-Ax, (3)
x v '
где минимум берется по всем регулярным векторам x G Xn.
В работе [25] получено полное решение задачи (3) в следующем виде.
Лемма 1. Пусть A — матрица со спектральным радиусом А > 0. Тогда минимум в задаче (3) 'равен А и достигается тогда и только тогда, когда x = A*xu, где u е Xn.
4. Задача тропической оптимизации и ее решение. В этом разделе рассматривается задача оптимизации, записанная в терминах тропической математики, и приводится ее частное решение, полученное в работе [21]. Затем предлагается полное решение задачи, которое основано на приведении задачи к виду (3) с последующим применением леммы 1.
Пусть имеется матрица A е Xnxn. Рассмотрим задачу минимизации в виде
min x-Ay ф y-A-x, (4)
где минимум берется по всем регулярным векторам x, y е Xn. В работе [21] найдено следующее решение.
Теорема 1. Пусть A —неразложимая матрица, ^ —спектральный радиус матрицы AA-. Тогда минимум в задаче (4) равен ^1/2 и достигается, когда x и y = ^-1/2A-x —собственные векторы матриц AA- и A-A, соответствующие (U,.
Теперь представим новый результат, который определяет все векторы x и y, обеспечивающие минимум в задаче (4), и тем самым дает полное решение этой задачи.
Теорема 2. Пусть A — ненулевая матрица, а ^ — спектральный радиус матрицы AA-. Введем обозначения (AA-)* = ^-1AA- и (A-A)* = ^-1A-A. Тогда минимум в задаче (4) равен ^1/2 и достигается тогда и только тогда, когда
x = (AA-)*v ф M-1/2A(A-A)*w, y = M-1/2A-(AA-)*v ф (A-A)*w,
где v, w е Xn.
В частности, минимум достигается, когда x и y = yuT
-1/2A-
x — собственные
векторы матриц AA- и A- A, соответствующие ^.
Доказательство. Чтобы решить задачу (4), сначала приведем ее к виду (3). Введем следующие обозначения:
Учитывая, что в этом случае выполняется равенство x-Ay ф y-A-x = z-Bz, задача (4) принимает вид
min z-Bz.
z
Обозначим спектральный радиус матрицы B через п. Нетрудно понять, что для любой ненулевой матрицы A матрица B будет иметь ненулевые элементы, расположенные симметрично относительно диагонали, откуда следует, что п > 0.
Применяя лемму 1, получаем, что для задачи (4) справедливо равенство
min z-Bz = n,
z
а все регулярные решения задачи с учетом обозначения Bn = n-1B имеют вид
z = B^u, u G X2n. В соответствии с формулой (2) спектральный радиус матрицы B равен
2n
П = 0tr1/fc (Bk). fc=1
Для дальнейших преобразований полученного выражения вычислим для всех натуральных k степени
B2k-1 = ( 0 A(A-A)k-1 N B2fc = ( (AA-)k 0
А-(АА-)к-1 0 У ' В V 0 (А-А)к
Заметим, что ^В2к-1 = 0 и ^В2к = 1г(АА-)к ф 1г(А-А)к = 1г(АА-)к. Применяя тропический аналог биномиального тождества, получим
2n n n 1/2
, 1 / к I -r-,k\ /Ts , 1 * .. —\k\l /Т\ , si-sl
= м
П = 01г1/к (Вк) = 01г1/(2к)((АА- )к) = 01г1/к ((АА-)к ) 1 = »1/2 к=1 к=1 \й=1 /
Используя полученные выражения для степеней матрицы В, вычислим
В = 22-1 = ( (АА-); м-1/2А(А-А); ■ В к=0 В V м-1/2А-(АА-); (А-А);
После подстановки в равенство г = В^м будем иметь
X \ = ( (АА-); м-1/2А(А-А); N ( V у ) \ м-1/2А-(АА-); (А-А); ) \ w
Следовательно, все регулярные решения задачи (4) имеют вид
X = (АА-);« ф м-1/2А(А-A);w,
y = м-1/2A-(AA-)*v ф (A-A)>,
где V, w € X".
Предположим, что х и у = ^,-1/2А-х являются собственными векторами для матриц АА- и А- А, соответствующими Так же, как в работе [21], покажем, что на этих векторах достигается минимум ^1/2 в задаче (4).
Сначала проверим, что вектор у = ^,-1/2А-х является собственным для матрицы А-А. Действительно, А-Ау = ^,-1/2А-АА-х = ^,-1/2А-(^,х) = ^у.
Вычисление целевой функции для таких векторов х и у дает следующий результат: х-Ау ф у-А-х = ^-1/2х-АА-х ф ^1/2у-у = ^1/2х-х ф ^1/2у-у.
Учитывая, что векторы х и у ненулевые, имеем х-х = у-у = 1. Следовательно, выполняется равенство х~Ау © у-А-ж = ¡л1/2. □
Заметим, что вычислительная сложность полученного решения определяется трудоемкостью вычисления матриц (AA-)* и (A- A)*, которая имеет порядок не более, чем O(n4).
5. Решение задачи аппроксимации. Рассмотрим задачу одноранговой аппроксимации (1) положительной квадратной матрицы A порядка n. При замене арифметических операций на операции полуполя RmaXjX получим целевую функцию в виде
0(s-1ftjt-1 Ф sia--1tj) = s-A(t-)T ф tTA-s.
Таким образом, задача (1) принимает вид
min s-A(t-)T ф tTA-s,
s,t
где минимум берется по всем регулярным векторам s и t.
Положив x = s, y = (t-)T, получим задачу тропической оптимизации в форме (4). В силу того, что матрица A положительная, матрица AA- тоже является положительной и потому имеет спектральный радиус ^ > 0 = 0. Таким образом, выполнены условия теоремы 2. Применяя теорему, получим решение задачи аппроксимации в виде следующего утверждения.
Теорема 3. Пусть A — положительная матрица, ^ — спектральный радиус матрицы AA-. Введем обозначения (AA-)* = ^-1AA- и (A-A)* = ^-1A-A. Тогда минимум погрешности аппроксимации матрицы A в задаче (1) равен ^1/2 и достигается на матрицах вида stT, где s и t — положительные векторы такие, что
s = (AA- )*v ф M-1/2A(A-A)>, tT = (M-1/2A-(AA-)*v ф (A-A)*w)-,
где v, w — векторы размера n.
В частности, минимальная погрешность достигается, когда s и tT = s) — собственные векторы матриц AA и A A, соответствующие ^.
6. Численный пример. Предположим, что требуется аппроксимировать положительную матрицу
A
Чтобы решить задачу, применим теорему 3. Сначала построим матрицы
243 96 240 48
128 81 160 32
256 128 405 64
144 72 180 36
A-
( 1/243 1/128 1/256 1/144 \
1/96 1/81 1/128 1/72
1/240 1/160 1/405 1/180
1/48 1/32 1/64 1/36
АА-
1
27/32 27/16 3/4
243/128 1
81/32 9/8
243/256 27/16 \ 81/128 9/8 1 9/4 9/16 1
/
Вычисление спектрального радиуса матрицы АА по формуле (2) дает
^ = 81/64.
Для нахождения собственных векторов матрицы АА- вычислим матрицы
64/81 3/2 3/4 4/3
(АА"),
2/3 64/81 1/2 8/9 4/3 2 64/81 16/9
16/27 8/9 ( 1
(АА"= (АА"=
2/3 4/3 16/27
4/9 64/81
3/2 3/4 4/3
1 1/2 8/9
2 1 16/9 8/9 4/9 64/81
Затем найдем матрицы
(АА-
1 3/2 3/4 4/3 1 3/2 3/4 4/3
)* = 2/3 4/3 1 2 1/2 1 8/9 16/9 , (АА")+ = 2/3 4/3 1 2 1/2 1 8/9 16/9
16/27 8/9 4/9 1 16/27 8/9 4/9 64/81
Выбирая столбцы матрицы (АА )Х с единицами на диагонали, получаем мат-
рицу
(АА")>
1 3/2 3/4
)Х = 2/3 1 1/2
4/3 2 1
16/27 8/9 4/9
Заметим, что второй и третий столбцы матрицы (АА")Х пропорциональны первому и потому могут быть отброшены без потери собственных векторов. Тогда все собственные векторы, соответствующие собственному числу ^ = 81/64, имеют вид в = (1, 2/3, 4/3,16/27)ти, где и — произвольное положительное число.
Положим и = 12 и вычислим соответствующий вектор = ^1/2(А"в)". В результате получим, что минимальная погрешность аппроксимации достигается, когда в = (12, 8,16, 64/9)т и = (9/8)(16, 8, 20, 4), а матрица аппроксимации имеет вид
( 216 108 270 54 \
144 72 180 36
288 144 360 72
у 128 64 160 32 )
Теперь найдем все матрицы, на которых достигается минимум погрешности аппроксимации. Для применения основного результата теоремы 3 сначала вычислим
матрицу
м-1/2 А-(АА-Г = (8/9)
( 1/192 1/128 1/256 1/144 \
1/96 1/64 1/128 1/72
1/240 1/160 1/320 1/180
\ 1/48 1/32 1/64 1/36 )
Затем рассмотрим матрицу
(А-А),
64/81 1/2 5/4 16/81
2 64/81 5/2 32/81
4/5 2/5 64/81 64/405
4 2 5 64/81 )
Вычисляя степени этой матрицы, получаем
(
(А-А),
(Л-Л),
(А-А),
1
2
4/5 4
1
2
4/5 4
1/2 1
2/5 2
1/2 1
2/5 2
5/4 5/2 1 5
5/4 16/81
5/2 32/81
1 64/405
5 64/81
16/81 32/81
64/405 1
Наконец, построим матрицу
м-1/2А(А- А), = (8/9)
Возьмем векторы V и ш и составим векторы
243 243/2 1215/4 48
162 81 405/2 32
324 162 405 64
144 72 180 36
( 1 3/2 3/4 4/3 \
(I1)- = (8/9)
2/3 1 4/3 2 \ 16/27 8/9
1/192 1/96
1/240 1/48
1/2 1
4/9
1/128 1/64 1/160 1/32
8/9 16/9 1
243 243/2 1215/4 48
/
1/256 1/128 1/320 1/64
V ф(8/9)
1/144 1/72 1/180 1/36
162
324 144(
V ф
/
81 162 72
1
2
4/5 4
405/2 405 180
1/2 1
2/5 2
5/4 5/2 1 5
32 64 36
16/81 32/81 64/405 64/81
ш.
Чтобы упростить полученные выражения, введем новые векторы V и № = (^1, с элементами
V = «1/12 ф «2/8 ф «3/16, V = /9, = 16ад1 ф 8ад2 ф 20ад3, = 4ад4.
/
(V
я
Нетрудно проверить, что при переходе к новым переменным выражения для векторов в и t принимают вид
V ©(8/9)
)- = (8/9)
/12 12 \
88 16 16 V 64/9 9 )
1/16 1/16
1/8 1/8 1/20 1/20
1/4 1/4
V ©
243/16 12
81/8 8 W
81/4 16
9 ч
1/16 4/81
1/8 8/8 1
1/20 16/405
1/4 1/4
W.
В частности, при V = 1, V = "1 = = 0 имеем полученное ранее решение
12 8 16 64/9
(^)- = (8/9)
1/16 1/8 1/20 1/4
216 108 270 54
144 72 180 36
288 144 360 72
128 64 160 32
Если положить V = =0, = = 1, получим решение, которое сохраняет последний столбец исходной матрицы,
12 1/18 216 108 270 48
8 , (^)- = 1/9 , = 144 72 180 32
16 2/45 288 144 360 64
9 1/4 162 81 405/2 36
При V = "2 строку матрицы,
0, У2 = "1 = 1 имеем решение, которое сохраняет последнюю
27/2 1/16 216 108 270 54
9 , (^)- = 1/8 , = 144 72 180 36
18 1/20 288 144 360 72
9 1/4 144 72 180 36
в
в
в
в
7. Заключение. В настоящей статье исследована проблема аппроксимации матриц матрицами более низкого ранга и приведено решение задачи одноранговой аппроксимации для случая положительных матриц. Решение основывается на представлении задачи аппроксимации в виде задачи оптимизации и использовании результатов тропической математики. Представленный метод находит в явном виде все матрицы, на которых достигается минимум погрешности аппроксимации и имеет трудоемкость не более, чем 0(п4), где п — размерность задачи. Применение метода продемонстрировано на численном примере. В силу того, что векторы, которые задают аппроксимирующие матрицы, определяются явными формулами, становится возможным дальнейшее изучение свойств этих матриц, а также выбор среди них матриц, удовлетворяющих дополнительным ограничениям, которые могут быть установлены в конкретной задаче.
Литература
1. Соловьев С. А. Решение разреженных систем линейных уравнений методом Гаусса с использованием техники аппроксимации матрицами малого ранга // Выч. мет. программирование.
2014. Т. 15, №3. С. 441-460.
2. Воронин К. В., Соловьев С. А. Решение уравнения Гельмгольца с использованием метода малоранговой аппроксимации в качестве предобуславливателя // Выч. мет. программирование.
2015. Т. 16, №2. С. 268-280.
3. Lee J., Kim S., Lebanon G., Singer Y. Local low-rank matrix approximation // Proc. 30th Intern. Conf. on Machine Learning, Atlanta, Georgia, USA. 2013. P. 82-90.
4. Lee J., Bengio S., Kim S. et al. Local collaborative ranking // Proc. 23rd Intern. Conf. on World Wide Web (WWW'14), April 7-11, 2014, Seoul, Korea. ACM. 2014. P. 85-96. https://doi.org/10.1145/2566486.2567970
5. Savas B. Algorithms in data mining using matrix and tensor methods // Linkoping Studies in Science and Technology: Dissertations, Vol. 1178. Linkoping Univ. Tech. 2008. 138 p.
6. Ispany M., Michaletzky G., Reiczigel J. et al. Approximation of non-negative integer-valued matrices with application to Hungarian mortality data // Proc. 19th Intern. Symp. on Mathematical Theory of Networks and Systems (MTNS 2010), 5-9 July, 2010, Budapest, Hungary. P. 831-838.
7. Тыртышников Е. Е. Матрицы, тензоры, вычисления. Учебный курс. М.: МГУ им. М. В. Ломоносова, 2013.
8. Wang H., Ahuja N. A tensor approximation approach to dimensionality reduction // Int. J. Comput. Vis. 2008. Vol. 76, N 3. P. 217-229. https://doi.org/10.1007/s11263-007-0053-0
9. Yao Q., Kwok J. Greedy learning of generalized low-rank models // Proc. 25th Intern. Joint Conf. on Artificial Intelligence (IJCAI'16), New York, 2016. AAAI Press. 2016. P. 2294-2300.
10. Шлянников А. В. Алгоритм восстановления трехмерной модели лица по фотографии // Научно-технический вестник ИТМО. 2010. Т. 69, №5. С. 86-90.
11. Aissa-El-Bey A., Seghouane K. Sparse canonical correlation analysis based on rank-1 matrix approximation and its application for FMRI signals // 2016 IEEE Intern. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Shanghai, China. IEEE. 2016. P. 4678-4682. https://doi.org/10.1109/ICASSP.2016.7472564
12. Luss R., Teboulle M. Conditional gradient algorithms for rank-one matrix approximations with a sparsity constraint // SIAM Review. 2013. Vol. 55, N 1. P. 65-98. https://doi.org/10.1137/110839072
13. Friedland S., Mehrmann V., Pa,ja,rola, R., Suter S. K. On best rank one approximation of tensors // Numer. Linear Algebra Appl. 2013. Vol. 20, N 6. P. 942-955. https://doi.org/10.1002/nla.1878
14. da Silva A. P., Comon P., de Almeida A.L.F. Rank-1 tensor approximation methods and application to deflation. Research report. GIPSA-lab, 2015.
15. Саати Т. Принятие решений. Метод анализа иерархий / Пер. с англ. Р. Г. Вачнадзе. М.: Радио и связь, 1993. 315 c.
16. Shen H., Huang J. Sparse principal component analysis via regularized low rank matrix approximation // J. Multivariate Anal. 2008. Vol. 99, N 6. P. 1015-1034. https://doi.org/10.1016 /j.j mva.2007.06.007
17. Zi§tak K. The Chebyshev approximation of a rectangular matrix by matrices of smaller rank as the limit of Ip-approximation // J. Comput. Appl. Math. 1984. Vol. 11. P. 297-305. https://doi.org/10.1016/0377-0427(84)90004-9
18. Boyd S., Vandenberghe L. Convex optimization. Cambridge: Cambridge Univ. Press, 2004.
19. Gillis N., Shitov Y. Low-rank matrix approximation in the infinity norm // Computing Research Repository. 2017. arXiv:1706.00078.
20. Lobo M. S., Vandenberghe L., Boyd S., Lebret H. Applications of second-order cone programming // Linear Algebra Appl. 1998. Vol. 284. P. 193-228. https://doi.org/10.1016/S0024-3795(98)10032-0
21. Кривулин Н. К. Методы идемпотентной алгебры в задачах моделирования и анализа сложных систем. СПб.: Изд-во С.-Петерб. ун-та, 2009. С. 107-108.
22. Krivulin N. Using tropical optimization techniques to evaluate alternatives via pairwise comparisons // 2016 Proc. 7th SIAM Workshop on Combinatorial Scientific Computing. Philadelphia: SIAM,
2016. P. 62-72. https://doi.org/10.1137/L9781611974690xh7
23. Кривулин Н.К., Агеев В. А., Гладких И. В. Применение методов тропической оптимизации для оценки альтернатив на основе парных сравнений // Вестн. С.-Петерб. ун-та. Прикладная математика. Информатика. Процессы управления. 2017. Т. 13. Вып. 1. С. 27-41. https://doi.org/10.21638/11701/spbu10.2017.103
24. Krivulin N. K. Eigenvalues and eigenvectors of matrices in idempotent algebra // Vestnik St. Petersburg Univ. Math. 2006. Vol. 39, N 2. P. 72-83.
25. Krivulin N. Extremal properties of tropical eigenvalues and solutions to tropical optimization problems // Linear Algebra Appl. 2015. Vol. 468. P. 211-232. https://doi.org/10.1016/j.laa.2014.06.044
26. Маслов В. П., Колокольцов В. Н. Идемпотентный анализ и его применение в оптимальном управлении. М.: Физматлит, 1994. 144 с.
27. Pin J.-E. Tropical semirings // Idempotency / ed. by J. Gunawardena. Cambridge: Cambridge Univ. Press, 1998. P. 50-69.
28. Литвинов Г. Л., Маслов В. П., Соболевский А. Н. Идемпотентная математика и интервальный анализ // Вычислительные технологии. 2001. Т. 6, №6. С. 47-70.
29. Butkovic P. Max-linear systems. In: Springer Monographs in Mathematics. London: Springer, 2010. 272 p. https://doi.org/10.1007/978-1-84996-299-5
Статья поступила в редакцию 15 июля 2017 г.; рекомендована в печать 21 сентября 2017 г. Контактная информация:
Кривулин Николай Кимович —д-р физ.-мат. наук, доц.; nkk@math.spbu.ru Романова Елизавета Юрьевна — romanova.ej@gmail.com
Rank-one approximation of positive matrices based on methods of tropical mathematics
N. K. Krivulin, E. Yu. Romanova
St. Petersburg State University,
Universitetskaya nab., 7-9, St. Petersburg, 199034, Russian Federation
For citation: Krivulin N.K., Romanova E. Yu. Rank-one approximation of positive matrices based on methods of tropical mathematics. Vestnik of Saint Petersburg University. Mathematics. Mechanics. Astronomy, 2018, vol. 5(63), issue 2, pp. 256-269. https://doi.org/10.21638 /11701/spbu01.2018.206
Low-rank matrix approximation finds wide application in the analysis of big data, in recommendation systems on the Internet, for approximate solution of some equations in mechanics, and in other fields. In the paper, a method for approximating positive matrices by matrices of unit rank is proposed on the basis of minimization of log-Chebyshev distance. The approximation problem is reduced to an optimization problem that has a compact representation in terms of an idempotent semifield that uses the operation of taking maximum in the role of addition, and is often called the max-algebra. The necessary definitions and preliminary results of tropical mathematics are given, on the basis of which the solution of the original problem is derived. Using methods and results of tropical optimization, all the positive matrices which provide the minimum of approximation error are obtained in explicit form. A numerical example that illustrates the application of the proposed rank-one approximation method is considered.
Keywords: tropical mathematics, idempotent semifield, rank-one matrix approximation, log-Chebyshev distance.
References
1. Solovyev S. A., "Application of the low-rank approximation technique in the Gauss elimination method for sparse linear systems", Vychisl. Metody Programm. 15(3), 441-460 (2014) [in Russian].
2. Voronin K. V., Solovyev S. A., "Solution of the Helmholtz problem using the preconditioned low-rank approximation technique", Vychisl. Metody Programm. 16(2), 268-280 (2015) [in Russian].
3. Lee J., Kim S., Lebanon G., Singer Y., "Local low-rank matrix approximation", Proc. 30th Intern. Conf. on Machine Learning, Atlanta, Georgia, USA, 82-90 (2013).
4. Lee J., Bengio S., Kim S. et al., "Local collaborative ranking", Proc. 23rd Intern. Conf. on World Wide Web (WWW'14), April 7-11, 2014, Seoul, Korea, 85-96 (New York, ACM, 2014). https://doi.org/10.1145/2566486.2567970
5. Savas B., Algorithms in data mining using matrix and tensor methods (Linkoping Studies in Science and Technology, Dissertations, No. 1178, Linkoping Univ. Tech., 2008, 138 p.).
6. Ispany M., Michaletzky G., Reiczigel J. et al., "Approximation of non-negative integer—valued matrices with application to Hungarian mortality data", Proc. 19th Intern. Symp. on Mathematical Theory of Networks and Systems (MTNS 2010), 5-9 July, 2010, Budapest, Hungary, 831—838 (2010).
7. Tyrtyshnikov E. E., Matrices, tensors and computations. Textbook (Lomonosov Moscow State Univ. Press, Moscow, 2013) [in Russian].
8. Wang H., Ahuja N., "A tensor approximation approach to dimensionality reduction", Int. J. Comput. Vis. 76(3), 217—229 (2008). https://doi.org/10.1007/s11263-007-0053-0
9. Yao Q., Kwok J., "Greedy learning of generalized low-rank models", Proc. 25th Intern. Joint Conf. on Artificial Intelligence (IJCAI'16), New York, 2016, 2294—2300 (AAAI Press, 2016).
10. Shlyannikov A.V., "Generation algorithm for 3D face model by a photograph", Nauchno-Tehnicheskii Vestnik Informatsionnykh Tekhnologii, Mekhanikii Optiki69(5), 86—90 (2010) [in Russian].
11. Aissa-El-Bey A., Seghouane K., "Sparse canonical correlation analysis based on rank-1 matrix approximation and its application for FMRI signals", 2016 IEEE Intern. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Shanghai, China. IEEE, 4678—4682 (2016). https://doi.org/10.1109/ICASSP.2016.7472564
12. Luss R., Teboulle M., "Conditional gradient algorithms for rank-one matrix approximations with a sparsity constraint", SIAM Review 55(1), 65—98 (2013). https://doi.org/ 10.1137/110839072
13. Friedland S., Mehrmann V., Pajarola R., Suter S. K., "On best rank one approximation of tensors", Numer. Linear Algebra Appl. 20(6), 942—955 (2013). https://doi.org/10.1002/nla.1878
14. da Silva A. P., Comon P., de Almeida A. L. F., Rank-1 tensor approximation methods and application to deflation. Research report (GIPSA-lab, 2015).
15. Saaty T., The analytic hierarchy process: planning, priority setting, resource allocation (McGraw-Hill, New York, 1980, 281 p.).
16. Shen H., Huang J., "Sparse principal component analysis via regularized low rank matrix approximation", J. Multivariate Anal. 99(6), 1015—1034 (2008). https://doi.org/10.1016 /j.jmva.2007.06.007
17. Zietak K., "The Chebyshev approximation of a rectangular matrix by matrices of smaller rank as the limit of Ip-approximation", J. Comput. Appl. Math. 11, 297—305 (1984). https://doi.org/10.1016/0377-0427(84)90004-9
18. Boyd S., Vandenberghe L., Convex optimization (Cambridge Univ. Press, Cambridge, 2004).
19. Gillis N., Shitov Y., "Low-rank matrix approximation in the infinity norm", Computing Research Repository, arXiv: 1706.00078 (2017).
20. Lobo M. S., Vandenberghe L., Boyd S., Lebret H., "Applications of second-order cone programming", Linear Algebra Appl. 284, 193—228 (1998). https://doi.org/10.1016/S0024-3795(98)10032-0
21. Krivulin N. K., Methods of idempotent algebra for problems in modeling and analysis of complex systems (St. Petersburg Univ. Press, St. Petersburg, 2009, 256 p.) [in Russian].
22. Krivulin N., "Using tropical optimization techniques to evaluate alternatives via pairwise comparisons", 2016 Proc. 7th SIAM Workshop on Combinatorial Scientific Computing, 62—72 (SIAM, Philadelphia, 2016). https://doi.org/10.1137/L9781611974690.ch7
23. Krivulin N. K., Ageev V. A., Gladkikh I. V., "Application of methods of tropical optimization for evaluating alternatives based on pairwise comparisons", Vestnik St. Petersburg Univ. Applied mathematics. Computer science. Control processes 13, issue 1, 27—41 (2017) [in Russian]. https://doi.org/:10.21638/11701/spbu10.2017.103
24. Krivulin N. K., "Eigenvalues and eigenvectors of matrices in idempotent algebra", Vestnik St. Petersburg Univ.: Math. 39(2), 72—83 (2006).
25. Krivulin N., "Extremal properties of tropical eigenvalues and solutions to tropical optimization problems", Linear Algebra Appl. 468, 211—232 (2015). https://doi.org/10.1016/ j.laa.2014.06.044
26. Maslov V. P., Kolokoltsov V. N., Idempotent Analysis and Its Applications to Optimal Control Theory (Nauka Publ., Moscow, 1994, 144p.) [in Russian].
27. Pin J.-E., Tropical semirings. In: Idempotency (ed. by J. Gunawardena, Cambridge Univ. Press, Cambridge, 1998, pp. 50—69).
28. Litvinov G. L., Maslov V. P., Sobolevskii A. N., "Idempotent mathematics and interval analysis", Vychislitel'nye tekhnologii 6(6), 47—70 (2001) [in Russian].
29. Butkovic P., Max-linear systems. In: Springer Monographs in Mathematics (Springer, London, 2010, 272p.). https://doi.org/10.1007/978-1-84996-299-5
Author's information:
Nikolai K. Krivulin — nkk@math.spbu.ru
Elizaveta Yu. Romanova — romanova.ej@gmail.com
