CC BY
43
УДК 517.5
РЕШЕНИЕ ЗАДАЧИ ПОЛИНОМИАЛЬНОЙ АППРОКСИМАЦИИ С ИСПОЛЬЗОВАНИЕМ ИТЕРАЦИОННОГО МЕТОДА КАЧМАЖА
© 2008 А. А. Иванов
Самарский государственный аэрокосмический университет
Дается описание классического итерационного метода Качмажа и его модификации с использованием релаксационного параметра. Исследуется скорость сходимости метода Качмажа с релаксационным параметром применительно к задаче наименьших квадратов большой размерности. Даются рекомендации по выбору релаксационного параметра для частного случая - задача аппроксимации экспериментальных данных полиномиальными зависимостями в смысле наименьших квадратов.
Итерационные методы, метод наименьших квадратов, переопределенные системы, метод Качмажа, полиномиальная аппроксимация, параметр релаксации
Введение
Многие задачи вычислительной математики сводятся, в конечном счете, к решению систем линейных алгебраических уравнений. Чаще такие системы получаются переопределенными и имеют большие размерности. Применение прямых методов для решения подобных задач требует существенных затрат памяти и иных вычислительных ресурсов ЭВМ.
Для многих практических задач вычислительной математики требуется решение задачи полиномиальной аппроксимации в смысле метода наименьших квадратов (МНК). Применение известных итерационных методов для решения данного класса задач сопряжено с очень низкой скоростью сходимости, которая вызвана плохой обусловленностью данной задачи.
Итерационный метод Качмажа
В работе [1] математиком С. Качмажем (Stefan Kaczmarz) был предложен итерационный метод (относящийся к классу проекционных) решения систем линейных алгебраических уравнений (СЛАУ) с квадратной невырожденной матрицей:
A ■ u = f, A є □ nxn, f є 0і, det A Ф 0.
(1)
Суть этого метода состоит в последовательном ортогональном проектировании приближения на гиперплоскости
(Л., и), 1 = 1,2,..., п, где А - строки матрицы.
Итерационная последовательность в соответствии с этим алгоритмом определяется рекуррентной формулой
і і-1 . aT
uk = uk + Ai
f -(A > uk-1)
і = 1,2,..., n, k = 1,2,...
(2)
uk+1 = uk ■
где к - номер внешней итерации, і - номер внутренней, а Т - символ транспонирования.
В качестве критерия остановки итерационного процесса (2) часто выбирают критерий
8 =
uk+1 uk
<A.
(З)
Одним из первых практических применений итерационного метода Качмажа к решению задачи наименьших квадратов (переопределенных СЛАУ) является компьютерная томография [2,3].
Рассматриваемый метод был исследован Гордоном (R. Gordon) в работе [2], после чего стал известен как ART метод (Algebraic Reconstruction technique). Подробное описание данной технологии можно найти в фундаментальной работе [3].
В [4] показано, что в случае переопределенных систем полного ранга (4) итерационная последовательность (2) сходится к псевдорешению (5) при любом начальном приближении, т. е. когда
A • u = f, A е □ mxn, u е ), f е ' m >n, "i = 1,2,...,m Ai ^0,
где 0 - нулевой вектор,
u*=(AT • A) • AT • f,rank(A) = n.
(4)
(5)
Итерационный метод Качмажа с параметром релаксации
Для итерационного метода Качмажа до сих пор отсутствуют теоретические результаты о его скорости сходимости. Более того, при решении ряда практических задач данный метод имеет неудовлетворительную (низкую) скорость сходимости.
Для ее улучшения предлагается введение в алгоритм (2) релаксационного параметра ю. В этом случае итерационная последовательность (2) преобразуется к виду:
uk = uk 1 +w AT
і = 1,2,..., m, k = 1,2,...,
(б)
uk+1 = uk ■
В [4] доказано, что данная последовательность сходится к псевдорешению (5), если юе (0;2). Однако не дается никаких
рекомендаций по практическому выбору параметра ю.
Описание модельной задачи
Представленные здесь алгоритмы были реализованы в свободно распространяемом математическом пакете БаЬаЬ.
В качестве модельной задачи была выбрана задача полиномиальной аппроксимации достаточно большой размерности:
A ■u = f, где
/.
A є □
1GG1X5
u
1GG1
(7)
A =
1
1 t,,
і = і ■ 1G_2, і = G,1G.
Л \
(В)
Число обусловленности этой матрицы велико и равно 29064.
При вычислительном эксперименте необходимо знать точное псевдорешение системы (7), которое используется в дальнейшем для контроля погрешности.
В эксперименте был выбран вектор
Т
и = (1, 2, 3, 4, 5) . Поскольку часто при измерениях возникают неустранимые погрешности, то пусть / = Л ■ и + Х, где Хе □ п - некоторый случайный вектор (невязка), компоненты которого распределены равномерно в интервале (0;1) и М [Х] = 0,5, а
° [Х]=-•
12
Тогда точным псевдорешением системы (7) будет вектор и = Л+ ■ / .
Здесь псевдообратная матрица Л+ вычисляется средствами пакета БаЬаЬ.
Результаты вычислительного эксперимента
Очевидно, при релаксационном параметре ю = 1 итерационная последовательность (6) соответствует классическому методу Качмажа. В эксперименте было выбрано А = 0,001.
Тогда, используя итерационную последовательность (2), необходимо провести всего 34 итерации.
Данное число итераций возможно уменьшить, если применять метод Качмажа с релаксационным параметром.
В таблице 1 показано, каким образом изменяется число итераций для алгоритма (6) в зависимости от значения ю.
Численный эксперимент показывает, что при ю = 0,015 происходит уменьшение числа итераций на 41%.
Рассмотрим задачу большей размерности, а именно:
Л■ и = /,Ле □ 10001х1,ие 0,/е ЧГ, (9)
где матрица Л строится аналогично (8).
При ю = 1 количество итераций для решения такой задачи равно также к=35.
Отметим интересную особенность метода Качмажа - сильное увеличение размер-
1BG
ности задачи слабо сказывается на числе Если ю = 0,0015, то число итераций
необходимых итерации. равно всего А=21
Таблица 1. Количество итераций для построчного метода Качмажа
Значение параметра релаксации Количество итераций Улучшение
1,500 34 0,00%
1,000 34 0,00%
0,900 34 0,00%
0,800 34 0,00%
0,700 35 -2,94%
0,600 35 -2,94%
0,100 35 -2,94%
0,090 35 -2,94%
0,030 33 2,94%
0,020 29 14,71%
0,015 20 41,18%
0,010 22 35,29%
0,009 23 32,35%
0,001 89 -161,76%
применение рекомендации (10) может не дать ожидаемого уменьшения числа итераций, а, наоборот, увеличить их.
Заключение
В работе проведено экспериментальное исследование метода Качмажа применительно к задаче полиномиальной аппроксимации в смысле МНК. Дается рекомендация по выбору релаксационного параметра ю.
Рассматриваемые в работе модельные задачи представляют серьезную сложность при решении их прямыми или известными итерационными методами.
Показано, что алгоритм Качмажа и особенно его модифицированная форма позволяют эффективно решать задачи полиномиальной аппроксимации в смысле МНК. Таким образом, данный подход может найти широкое применение при решении многочисленных задач математического моделирования.
Из вышеприведенных результатов можно сделать вывод о том, что при
ю □ 10 (10)
т
происходит уменьшение числа итераций применительно к задаче полиномиальной аппроксимации.
Было проведено около 100 экспериментов для задач рассматриваемого типа разных размерностей, результаты которых подтверждают сделанный вывод (10).
Более того, была рассмотрена задача полиномиальной аппроксимации с числом строк 100000. При ю = 1 число итераций составило 34, а при использовании рекомендации (10) всего 9.
При малых размерностях т □ 100 не имеет особого смысла применять метод с релаксационным параметром, так как и при ю = 1 число итераций не столь велико. А
Метод Качмажа является очень перспективным среди других итерационных методов решения задач больших размерностей, хотя и нуждается в дополнительных теоретических и практических исследованиях.
Благодарности
Работа выполнена при поддержке гранта для молодых исследователей НОЦ SA-014-02 «Математические основы дифракционной оптики и обработки изображений».
Библиографический список
1. Kaczmarz, S. Approximate solution of systems of linear equations [текст] / Kaczmarz
S. // Internat. J. Control. - 1993. - V. 57, N 6. -P.1269-1271.
2. Gordon, R. Reconstruction of pictures from their projections [текст] / R. Gordon, G. Herman // Communications of the ACM. -1971. - V. 14, N 12. - P. 759-768.
3. Avinash, C. Kak Principles of computerized tomographic imaging [текст] / C. Kak Avinash, Slaney Malkolm // IEEE PRESS, 1987. - 329 p.
4. Ильин, В.П. Об итерационном методе Качмажа и его обобщениях [текст] / В.П. Ильин // Сибирский журнал индустриальной математики. - 2006. - Т. 9, №3.
References
1. Kaczmarz, S. Approximate solution of systems of linear equations / Kaczmarz S. // Internat. J. Control. - 1993. - V. 57, N 6. -P.1269-1271.
2. Gordon, R. Reconstruction of pictures from their projections / R. Gordon, G. Herman // Communications of the ACM. - 1971. - V. 14, N 12. - P. 759-768.
3. Avinash, C. Kak Principles of computerized tomographic imaging / C. Kak Avinash, Slaney Malkolm // IEEE PRESS. - 1987. - 329 p.
4. Iljin, V.P. About Kaczmarz’s iterative method and its generalizations / V.P. Iljin // The Siberian magazine of industrial mathematics. -2006. - V. 9, N 3. - [in Russian].
SOLVING THE POLYNOMIAL APPROXIMATION PROBLEM WITH USE OF THE ITERATIVE KACHMAZH METHOD
© 2008 A.A. Ivanov
S. P. Korolyov Samara State Aerospace University
In this work, we describe a classical iterative Kachmazh method and a modification thereof using a relaxation parameter. We study at which rate the Kachmazh method with a relaxation parameter converges when applied to solving a least squares problem of large dimension. Recommendations are given for choosing the relaxation parameter in a particular case - when solving the problem of polynomial approximation of the experimental data in the least squares sense.
Iterative methods, least squares method, overdefined systems, Kachmazh method, polynomial approximation, relaxation parameter
Сведения об авторе
Иванов Андрей Александрович, Самарский государственный аэрокосмический университет имени академика С.П. Королева, студент. Область научных интересов - математическое моделирование.
Ivanov Andrey Alexandrovich, S. P. Korolyov Samara State Aerospace University, student. Area of research: mathematical modeling.
