CC BY
73
УДК 629.78+ 621.384.62
ВЫЧИСЛЕНИЕ РЕШЕНИЙ РЕГУЛЯРИЗОВАННЫХ РАСШИРЕННЫХ НОРМАЛЬНЫХ СИСТЕМ УРАВНЕНИЙ МЕТОДОМ Ьи-РАЗЛОЖЕНИЯ
© 2011 В. В. Долишний, А. И. Жданов
Самарский государственный аэрокосмический университет имени академика С. П. Королёва (национальный исследовательский университет)
Проводится сравнительный анализ трёх подходов к вычислению решений стандартной задачи регуляризации Тихонова: на основе нормальной системы уравнений, сингулярного разложения и расширенной нормальной системы. Сравнение проводится на следующих классах задач: совместные определённые системы с плохо обусловленной матрицей, системы, в которых вектор правой части задан с погрешностью, и системы неполного машинного ранга.
Расширенные регуляризованные нормальные системы уравнений, регуляризация Тихонова, плохо обусловленные линейные алгебраические системы.
Введение
Рассмотрим стандартную задачу регуляризации Тихонова:
0(х,а) = I \Ax - Ь
12 || ||2 + а| л ^ тт.
представляющую нахождение регуляризова-нного решения системы уравнений Ах = Ь, (1)
где А е Rmxn, Ь е Ят , т > п , а > 0 - параметр регуляризации, Ц - евклидова векторная норма.
Известно, что задача о минимизации сглаживающего функционала Тихонова □(х,а) может быть сведена к нормальной системе уравнений (или уравнению Эйлера): (АТА + аЕ)х = АТЬ . (2)
Решение системы (2) называют регуля-ризованным псевдорешением системы (1).
Рассмотрим три основных способа получения регуляризованного псевдорешения системы (1):
- на основе нормальной системы уравнений (2);
- на основе сингулярного разложения матрицы системы А [1];
- на основе расширенной регуляризованной нормальной системы [2].
В данной работе дан сравнительный анализ этих трёх методов для различных классов задач. Метод, использующий сингулярное разложение, описан, например, в [1].
Для решения системы нормальных уравнений использовано разложение Холесского, так как матрица системы (2) является симметричной положительно определённой при любом а > 0 . В работе используется расширенная регуляризованная система нормальных уравнений, предложенная в [2], которая имеет вид:
(оЕ_ А У уЛ (Ь Л
- оЕ„
V 0 У
(3)
где Ет, Еп - единичные матрицы порядка соответственно т и п, параметр регуляризации о = у/а .
Достоинством расширенной регуляри-зованной нормальной системы (3) является то, что
к.
(О
(
^шах + °
V ^шт +° У
:(к2 (АТА + 0Е))2,
где к2 (А) - спектральное число обусловленности матрицы А , дшах (А), 5шт (А) - соответственно максимальное и минимальное сингулярные числа матрицы А , Ао - матрица системы (3) [2].
Для решения системы (3) используются подходы на основе трёх матричных разложений: LU, QR (на основе отражений Хаус-
холдера) и LDLT. Последнее представляет собой модификацию разложения Холесского
Т
X
для знаконеопределённых матриц, которая описана в [3].
Численный эксперимент
Рассмотрим линейные системы с возмущением в векторе правой части.
Первая группа тестов представляет собой решение следующей системы:
Ах = Кие + ^
где ЬГие - точное значение правой части, % -возмущения вектора правой части.
Подразумевается, что при отсутствии погрешности правой части % данная система совместная и имеет единственное решение, однако наличие погрешности делает её несовместной. Матрица системы А плохо обусловлена, поэтому для повышения точности нахождения псевдорешения системы требуется регуляризация.
1. Восстановление одномерного сигнала
Матраца А и вектор х получаются путём дискретизации на интервале
п п ,
- — < s, I < — функций:
a (s, t) = (cos(s) + cos(t))l sln(u)^ ,
b(s )= Ja(s, t )x(t )dt,
где a(s, t ) =
і + cos
n(s -1)
|s -t| < З, Is -1\ > З,
x(t )=
1 + cos1 -П- j, |t| < З, It > З,
1 + -cosl П 2 І З
9
+------sin
2п
V
З
u = ^(sin (5)+ sin (t)), x{t )= 2e -6(t-°,8)2 + e -2(t+°,5)2, вектор правой части btrue = Ax.
Относительная погрешность решений, полученных рассматриваемыми численными алгоритмами, для этой задачи при размерности матрицы A, равной 64, и уровне шума
0,05, приведена в табл. 1. Число обусловленности матрицы системы cond (A) = 1,217 х 1°19.
2. Интегральное уравнение Фредгольма первого рода
Матрица A и векторы btrue и x получены дискретизацией интегрального уравнения Фредгольма первого рода:
Результаты, полученные для этого тестового примера при размере матрицы А, равной 32, и уровне шума 0,1, представлены в табл. 2. Число обусловленности матрицы системы соМ(А) = 2,6669 х 104.
Системы с плохо обусловленной матрицей
Рассмотрим систему с матрицей Гильберта. Данная система будет совместной и определённой, однако плохая обусловленность матрицы системы не позволяет решить её напрямую. Относительная погрешность решений, полученная для матрицы Гильберта порядка 32, приведена в табл.3.
Число обусловленности матрицы системы сопё (А) = 1,4542х 1020.
Линейные системы с матрицей неполного машинного ранга
Третий класс тестовых задач будет содержать систему, матрица которой имеет неполный машинный ранг [4].
Рассмотрим следующую несовместную систему линейных уравнений, заданную своей матрицей А и вектором правой части Ь : (11 1 >\
1 1 1 1 1 1,00000001 1 1,0000002 1
A =
ґ
b =
- 94
Л
є R4
(4)
106 6,00000003 у 6,0000004 ,
Точное псевдорешение такой системы уравнений х = (1,2,3)Г . Решения, полученные рассматриваемыми численными алгоритмами, и их относительные погрешности приведены в табл. 4.
З
Таблица 1. Относительная погрешность решений задачи восстановления одномерного сигнала при уровне шума 0,05, размерность матрицы 64_______________________________________
а Нормальная система SVD-метод Нормальная расширенная система, LU Нормальная расширенная система, QR Нормальная расширенная система, LDLT
10 0,9506 0,9506 0,9506 0,9506 0,9506
5 0,8440 0,8440 0,8440 0,8440 0,8440
1 0,3887 0,3887 0,3887 0,3887 0,3887
0,5 0,2471 0,2471 0,2471 0,2471 0,2471
0,1 0,1908 0,1908 0,1908 0,1908 0,1908
0,05 0,2927 0,2927 0,2927 0,2927 0,2927
0,01 0,9904 0,9904 0,9904 0,9904 0,9904
0,005 2,5029 2,5029 2,5029 2,5029 2,5029
Таблица 2. Относительная погрешность решений уравнения Фредгольма первого рода при уровне шума 0,1, размерность матрицы 32_______________________________________________
а Нормальная система SVD-метод Нормальная расширенная система, LU Нормальная расширенная система, QR Нормальная расширенная система, LDLT
10 0,7985 0,7985 0,7985 0,7985 0,7985
5 0,5371 0,5371 0,5371 0,5371 0,5370
1 0,0837 0,0837 0,0837 0,0837 0,0827
0,5 0,1451 0,1451 0,1451 0,1451 0,1457
0,1 0,7971 0,7971 0,7971 0,7971 0,7699
0,05 1,6539 1,6539 1,6539 1,6539 1,7003
0,01 15,2092 15,2092 15,2092 15,2092 14,7956
0,005 29,9268 29,9268 29,9268 29,9268 29,4448
Таблица 3. Относительная погрешность решений системы с матрицей Гильберта поряд-
ка 32
а Нормальная система SVD-метод Нормальная расширенная система, LU Нормальная расширенная система, QR Нормальная расширенная система, LDLT
10 9,7658 х 10 -1 9,7658 х 10 -1 9,7658 х 10-1 9,7658 х 10-1 9,7658 х 10-1
1 5,3739 х 10 -1 5,3739 х 10 -1 5,3739 х 10-1 5,3739 х 10-1 5,3739 х 10-1
10-1 1,6232 х 10-1 1,6232 х 10-1 1,6232 х 10-1 1,6232 х 10-1 1,6232 х 10-1
10 ~3 1,4947 х 10 ~2 1,4947 х 10 ~2 1,4947 х 10 1,4947 х 10 ~2 1,4947 х 10 ~2
10 ~5 1,4485 х 10 ~3 1,4487 х 10 ~3 1,4487 х 10 ~3 1,4487 х 10 ~3 2,0262 х 10 -1
10 ~7 3,6381 х 10 ~2 1,4105 х 10 ~4 1,4105 х 10 ~4 1,4105 х 10 ~4 1,7678 х 10 -1
10 ~9 - 1,7387 х 10-5 1,7408 х 10-5 1,7374 х 10-5 1,7678 х 10 -1
10-11 - 4,5851 х 10-6 6,9798 х 10-6 2,5407 х 10-5 1,7678 х 10-1
10 ~13 - 3,5864 х 10 ~4 6,0532 х 10 ~4 3,0973 х 10 ~3 2,5000 х 10 -1
10-15 - 7,6580 х 10 ~3 2,8558 х 10 ~2 2,7948 х 10-1 2,5151 х 10 -1
Таблица 4. Решения и их относительная погрешность для задачи неполного машинного
ранга(3)
а Нормальная система SVD-метод Нормальная расширенная система, LU Нормальная расширенная система, QR Нормальная расширенная система, LDLT
1G-1 3,7797x10-1 3,7797x10-1 3,7797x10-1 3,7797x10-1 3,7797x10-1
1G-з 3,7796x10-1 3,7796x10-1 3,7796x10-1 3,7796x10-1 3,7796x10-1
1G-5 3,7795x10-1 3,7785x10-1 3,7796x10-1 3,7796x10-1 3,7796x10-1
1G-7 3,0878x10-1 7,9533x10-1 3,7669x10-1 4,0816x10-1 3,9187x10-1
1G-9 - 3,3507x102 1,1194x10-2 1,4162x103 5,7586x10-1
1G-11 - 3,4531x102 8,8793x10-7 1,5246x105 5,9669x10-5
1G-13 - 3,4531x102 8,3925x10-10 1,1333x107 7,2989x10-7
1G-15 - 3,4531x102 8,3925x10-10 7,6146x107 7,2988x10-7
1G-17 - 3,4531x102 8,3925x10-10 4,0846x109 7,1634x10-7
1G-19 - 3,4531x102 8,3925x10-10 3,8796x109 9,2317x10-9
1G -21 - 3,4531x102 8,3925x10-10 3,8776x109 7,1634x10-7
Анализ полученных результатов и основные выводы
Полученные результаты численных экспериментов показывают, что использование регуляризованных расширенных нормальных систем позволяет расширить класс решаемых задач. Так, в примере (4) для задачи с матрицей неполного машинного ранга решение удалось получить только с использованием регуляризованных расширенных нормальных систем.
Для решения расширенных нормальных систем вида (3) наиболее стабильные по точности результаты показал метод, основанный на LU-разложении. При этом использовались стандартные подпрограммы из пакета МайаЬ.
Следует также отметить, что решение систем линейных алгебраических уравнений при помощи LU-разложения является широко используемым, и в настоящее время существует большое число стандартных пакетов и подпрограмм, реализующих его, в
том числе для векторных и параллельных компьютеров.
Библиографический список
1. Chung J., Nagy J. G., O’Leary D. P. Aweighted-GCV method for Lanczos-hybrid regularization // Electronic Transactions on Numerical Analysis. 2008. Vol. 28. 149-167 p.
2. Жданов, А. И. Об одном численно устойчивом алгоритме решения систем линейных алгебраических уравнений неполного ранга [Текст] / А. И. Жданов // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. 2008. № 1(16). - С. 149-153.
3. Голуб, Дж. Матричные вычисления [Текст] / Дж. Голуб, Ван Лоун Ч. - М.: Мир, 1999. - 548 с.
4. Жданов, А. И. Введение в методы решения некорректных задач [Текст]: учеб. пособие / А. И. Жданов. - Самара: Изд-во Самар. гос. аэрокосм. ун-та, 2006. - 87 с.
COMPUTATION OF SOLUTION REGULARIZED AUGMENTED NORMAL SYSTEMS OF EQUATION BY LU-DECOMPOSITION METHOD
© 2011 V. V. Dolishniy, A. I. Zhdanov
Samara State Aerospace University named after academician S. P. Korolyov
(National Research University)
The article presents a comparative analysis of three approaches to the calculation of standard solutions for the Tikhonov regularization problem: Based on the normal system of equations, singular value decomposition and extended the normal system. Comparison is carried out in these classes of problem: joint defined systems with ill-conditioned matrix, systems in which the right-side vector is set with an inaccuracy and the system of deficient engine rank.
Augmented regularized normal systems of equation, Tikhonov regularization, ill-conditioned linear algebraic systems.
Информация об авторах
Жданов Александр Иванович, доктор физико-математических наук, профессор, заведующий кафедрой прикладной математики, Самарский государственный аэрокосмический университет имени академика С. П. Королёва (национальный исследовательский университет). E-mail: [email protected]. Область научных интересов: вычислительная математика, матричные вычисления.
Долишний Василий Владимирович, аспирант кафедры прикладной математики, Самарский государственный аэрокосмический университет имени академика С. П. Королёва (национальный исследовательский университет). E-mail: [email protected]. Область научных интересов: вычислительная математика, матричные вычисления.
Zhdanov Alexander Ivanovitch, doctor of physical and mathematical science, professor, head of the chair of applied mathematics, Samara State Aerospace University named after academician
S. P. Korolyov (National Research University). E-mail: [email protected]. Area of research: computing mathematics, matrix computations.
Dolishniy Vasiliy Vladimiravitch, post-graduate student of the applied mathematics department, Samara State Aerospace University named after academician S. P. Korolyov (National Research University). E-mail: [email protected]. Area of research: computing mathematics, matrix computations.
