О регуляризованном методе наименьших квадратов А. Н. Тихонова Текст научной статьи по специальности «Математика»

2017 ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА Т. 13. Вып. 1 _ПРИКЛАДНАЯ МАТЕМАТИКА. ИНФОРМАТИКА. ПРОЦЕССЫ УПРАВЛЕНИЯ_

ПРИКЛАДНАЯ МАТЕМАТИКА

УДК 519.6

В. И. Ерохин1, В. В. Волков2

0 РЕГУЛЯРИЗОВАННОМ МЕТОДЕ НАИМЕНЬШИХ КВАДРАТОВ А. Н. ТИХОНОВА*

1 Военно-космическая академия имени А. Ф. Можайского, Российская Федерация, 197198, Санкт-Петербург, ул. Ждановская, 13

2 Борисоглебский филиал ФГБОУ ВО «Воронежский государственный университет», Российская Федерация, 397160, Воронежская обл., г. Борисоглебск, ул. Народная, 43

Рассматриваются регуляризованный метод наименьших квадратов А. Н. Тихонова и его приложения к задачам обработки зашумленной информации. Представлены априорные нижние оценки максимальной погрешности этого метода и алгебраическое преобразование, понижающее его численную обусловленность. Рассмотрен пример — прикладная задача восстановления изображения, приведены результаты вычислительных экспериментов. Библиогр. 18 назв. Ил. 3.

Ключевые слова: приближенная система линейных алгебраических уравнений, регу-ляризованный метод наименьших квадратов А. Н. Тихонова.

V. I. Erokhin, V. V. Volkov

ABOUT A. N. TIKHONOV'S REGULARIZED LEAST SQUARES METHOD

1 Mozhaisky Military Space Academy, 13, Jdanovskaya ul., St. Petersburg, 197198, Russian Federation

2 Borisoglebsk branch of Voronezh State University, 43, Narondaya ul., Borisoglebsk, 397160, Russian Federation

The Tikhonov's regularized least squares method (RLS) and its applications to problems of noisy data processing are considered. The starting point of this research is method for solving approximate systems of linear algebraic equations (SLAE), proposed by A. N. Tikhonov in 1980 that he later named 'RLS'. The traditional method of finding sustainable solutions of the problems with approximate data is Tikhonov's regularization: unconditional minimization of the smoothing functional. RLS differs from this approach. This method makes use of the solution approach to the mathematical programming problem of a special kind. Nowadays RLS has not

Ерохин Владимир Иванович — доктор физико-математических наук, профессор; erohin_v_i@ mail.ru

Волков Владимир Викторович — кандидат физико-математических наук, доцент; volkov@ bsk.vsu.ru

Erokhin Vladimir Ivanovich — doctor of physical and mathematical sciences, professor; erohin_v_i@ mail.ru

Volkov Vladimir Viktorovich — PhD of physical and mathematical sciences, associate professor; [email protected]

* Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проект № 16-31-50016 мол_нр).

© Санкт-Петербургский государственный университет, 2017

become a common tool for solving approximate linear systems, and the theory of RLS is not well researched. The purpose of the article is to remedy this deficiency. A number of important theoretical and practical aspects of RLS are considered. New results are presented. One of the results is the method of constructing a model SLAE with the exact right-hand side and approximate matrix for which a priori lower bounds for the maximum relative error of RLS are achieved. It is shown that, under certain conditions, RLS reduces to the problem of minimizing the smoothing functional or to the least squares method or — and this is an unexpected result — to the problem of finding a stationary point of smoothing functional with a negative regularization parameter. The algebraic transformation which reduces the conditionality of the RLS problem to a numerical solution is constructed and substantiated. We propose illustrative example of RLS through an applied image restoration problem for an image, registered by a device with an inexact point-spread function. The results of computational experiments are given. Refs 18. Figs 3.

Keywords: the approximate system of linear algebraic equations, regularized least squares method.

Введение. В настоящей работе рассматривается метод решения приближенных систем линейных алгебраических уравнений (СЛАУ), предложенный А. Н. Тихоновым в работах [1, 2] и позже названный им регуляризованным методом наименьших квадратов (РМНК) [3].

Задача Po(p,S) (РМНК). Пусть существует гипотетическая точная совместная СЛАУ

Aox = bo, (1)

где A0 е |Rmxn; b0 е IRm; b0 = 0; соотношения между размерами A0 и ее рангом не оговариваются; xo е IR" — решение системы (1) с минимальной евклидовой нормой (нормальное решение). Численные значения Ao и bo неизвестны, а вместо них заданы приближенные матрица A е |Rmxn и вектор b е IRm, b = 0, такие, что выполняются условия

II Ao - A|| < (2)

llbo - bII < S< ||b||. (3)

В неравенствах (2) и (3) л ^ 0 и S ^ 0 — известные параметры, одновременно не равные нулю, символом || • || обозначена, в зависимости от контекста, матричная или векторная евклидова норма. Полнота ранга матрицы A и совместность системы

Ax = b (4)

в общем случае не предполагаются.

Требуется найти Ai е IRmxn, bi е IRm, xi е IRn такие, что ||A-Ai|| < ¡, ||b-bi|| < S, Aix1 = b1, ||xi|| ^ min.

Как было показано в работах [1, 2], вектор xi является устойчивым приближением к вектору xo, т. е. lim xi = xo.

Кроме того, в [1, 2] был предложен способ решения задачи Po(p,S), не ставший стандартным для сложившейся в последнее время теории и практики решения приближенных СЛАУ. Указанный способ заключается в переходе от задачи Po(ß, S) к задаче математического программирования:

Pi(v,S): ||x|H тЧ „ л. (5)

Утверждения [1, 2].

1. Задача Pi(^,S) имеет решение тогда и только тогда, когда существует хотя бы одна совместная СЛАУ Ax = b, для которой ||A — A|| ^ ¡¡, Hb — b|| ^ S.

2. Если решение задачи Р\(/, 6) существует, то оно единственное при /л, 6 ^ 0.

3. Если х^ —решение задачи Р\(/, 6), то решение задачи Р0(/, 6) имеет вид

5 .......xT

x1=xßS, Ъг = Ъ - - Ax^s), Ai = А + (6i - Axßg)-

T

При этом xßg есть решение системы A1x = Ь1 с минимальной евклидовой нормой и выполняются условия ||Ai — A|| = ¡, ||bi — Ь|| = 5.

Более традиционным [4-6] способом решения приближенных СЛАУ является безусловная минимизация сглаживающего функционала А. Н. Тихонова при некотором заданном положительном значении скалярного параметра а:

Р2(а) : Фа(х,А,Ь) = ЦЬ — Ax||2 + аЦхЦ2 ^ min . (6)

x

Будем обозначать через za решение задачи Р2(а).

Известно (см., например, [7]), что при любом а > 0 существует единственный вектор za. Кроме того, при соответствующем а > 0 вектор za — устойчивое приближение к вектору хо, т. е. он представляет собой решение задачи Ро при ¡,5 ^ 0

[4-6].

Рассмотрим систему

(AT A + aIn )х = AT Ь, (7)

в которой In — единичная матрица порядка п. Введем обозначения: ха —решение системы (7) при любом заданном а G IR, ха+ — решение системы (7) при а ^ 0; ха- — решение системы (7) при а < 0, х — нормальное псевдорешение системы (4) и в то же время нормальное решение системы (7) при а = 0, т. е. х = A+Ь, где A+ — псевдообратная матрица [7].

Справедливы следующие утверждения.

Лемма 1. Стационарные точки функционала (6) являются решениями СЛАУ (7).

Справедливость леммы непосредственно следует из условия равенства нулю градиента Фа (х, A, Ь).

Лемма 2 [8]. Если решение задачи Р1(л,5) существует, то найдется значение а такое, что xß,g = ха.

Теорема 1 [8]. Если задача Р1 (¡,5) имеет решение х, то возможны такие случаи:

1) если выполняется условие ||Ь — AX|| < ¡¡ЦхЦ + 5, то вектор хесть единственное решение задач Р0(л, 5), Р1(л, 5) и Р2(а) при некотором а > 0;

2) если выполняется условие ||Ь — AX|| = ¡¡ЦхЦ + 5, то вектор х = х— единственное решение задач Р0(л, 5), Р1(л, 5) и Р2(а) при а = 0;

3) если выполняется условие ||Ь — AX|| > ¡¡ЦхЦ + 5, то вектор хявляется стационарной точкой функционала (6) при а ^ 0. Если матрица A имеет полный столбцевой ранг, то а < 0 и вектор х— единственное решение задач Р0(л,5) и Р1(л,5). В противном случае а = 0, решение задач Р0(л,5) и Р1 (¡,5) не единственно и имеет вид х= х + Ах, где Ах — произвольный вектор, такой, что AAx = 0, ЦЬ — AxH = ¡Цх + Ах|| + 5.

В данной работе рассмотрен ряд важных теоретических и практических аспектов РМНК. В п. 1 исследованы модельные СЛАУ, для которых решения задачи Р1(л, 5) могут оказаться достаточно далеки от нормального решения х0 гипотетической точной системы (1). В п. 2 строится и обосновывается алгебраическое преобразование,

снижающее обусловленность решения задачи РМНК. В п. 3, 4 рассматривается пример РМНК — прикладная задача восстановления изображения, зарегистрированного прибором с неточно заданной аппаратной функцией, представлены результаты соответствующих вычислительных экспериментов.

1. Априорные нижние оценки максимальной относительной погрешности решения задачи РМНК. Оценивание погрешности решения приближенной СЛАУ относится к важным теоретическим и прикладным проблемам. Априорные оценки погрешности классического метода наименьших квадратов хорошо известны [7, 9], чего нельзя утверждать о РМНК.

Уточним постановку проблемы. Рассмотрим вектор Дж = xo — xi отклонений решения xo гипотетической точной СЛАУ (1) от решения xi соответствующей задачи РМНК. Величину 11Дx^ будем называть абсолютной погрешностью решения задачи РМНК, а е = i^'l — относительной погрешностью. С учетом вышесказанного рассмотрим проблему построения наихудшей нижней оценки относительной погрешности решения задачи РМНК, которая может быть формализована как проблема построения двух модельных СЛАУ — точной и приближенной — таких, что значение £ оказывается максимальным.

Ввиду сложности указанной проблемы ограничимся случаем, когда правая часть исследуемой приближенной СЛАУ свободна от погрешности, т. е. S = 0, а термин РМНК применяется к задачам P0 (л, 0) и Р1(л, 0).

Для практики наибольший интерес представляет случай, когда матрица A приближенной СЛАУ имеет полный столбцевой ранг, а ее погрешность ¡л меньше ее минимального сингулярного числа <7min. Поэтому изучим именно этот случай.

Следующие теоремы дают априорные нижние оценки максимальной относительной погрешности решения задачи РМНК для различных случаев «поведения» приближенной СЛАУ, рассмотренных в теореме 1.

Теорема 2. Для случая ||bo — Ax\\ < ¡||x||, rank A = n, ¡л < amin максимальное значение относительной погрешности решения задачи РМНК будет не меньше, чем величина

2л

£1 = -—•

^min + л

Теорема 3. Для случая ||bo — Ax || > ¡||x||, rank A = n, ¡л < amin максимальное значение относительной погрешности решения задачи РМНК будет не меньше, чем величина

- 2м4

amin + M4'

Теорема 4. Для случая ||bo — Ax || = ¡||x||, rank A = n, ¡л < amin максимальное значение относительной погрешности решения задачи РМНК будет не меньше, чем величина

^min +

Доказательство теорем 2 и 3 приведено в работе [8]. Доказательство теоремы 4 вошло в диссертационное исследование [10], но ранее не публиковалось, поэтому ниже оно приведено полностью.

Доказательство. Покажем, что существуют удовлетворяющие условиям теоремы модельная точная и соответствующая ей оптимальная (в смысле РМНК) приближенная СЛАУ, для которых оценка (8) достигается. Для модельной точной СЛАУ укажем способ построения матрицы Ao, векторов bo и xo, обоснуем существование

£3 ~ -ТТ2 • (8)

указанных объектов, а также то, что вектор xo есть единственное решение системы (1). В силу утверждения 1, содержащего методику построения оптимальной приближенной СЛАУ по решению задачи РМНК, покажем (и этого достаточно), что модельный вектор xa действительно является решением соответствующей задачи Pi(p, 0), а матрицы Ao и A удовлетворяют условию (2).

1. Приведем расчетные формулы для построения объектов A, Ao, bo, xo, xa и убедимся, что эти объекты действительно могут быть построены.

Пусть A е Rmxn — произвольная матрица, такая, что n < m, rank A = n (следовательно, amin > 0), xц = 0 — собственный вектор матрицы AT A, соответствующий ее минимальному собственному значению Amin(ATA) = o^in! 0 < / < omin; параметры точной системы рассчитываются следующим образом:

xo

+

°min- /2

bo = Axß + Ab, Ao = A + (bo - Axo)

T :

xo xo

(9)

причем выполнены условия

\\Ab\\ =

AT Ab = 0.

(10)

Убедимся в существовании объектов, задаваемых формулами (9), (10). Матрица А и векторы хо, хм, очевидно, существуют, причем из условия = 0 следует условие хо = 0, достаточное для существования матрицы Ао. Поскольку п < т, возможно существование ненулевого вектора АЪ, удовлетворяющего условию АТ АЪ = 0. Таким образом, соответствующим выбором величины ||АЪ|| можно обеспечить выполнение условия ЦАЪЦ = /лЦх^Ц.

Следовательно, все рассматриваемые объекты А, Ао, Ъо, хо, на самом деле существуют.

2. Заметим, что из (9) непосредственно вытекает, что вектор хо действительно есть решение СЛАУ (1).

3. Покажем, что

\\Ao - AW

И bp - Ах о

1Ы1

(11)

В силу (9), (10) и того факта, что вектор хм является собственным вектором матрицы АТА, отвечающим ее минимальному собственному значению о^т, имеем

ЦЪо - АхоЦ2 = ЦАх» + АЪ - АхоЦ2 = ЦА(х» - хо) + АЪЦ2 =

^ _ °тт + А4

02 ■ -и? o min Г

Ax а + Ab

(omin- /2)

2 \\Ax\ + \\Ab\\2 = /2

-2/2

2 _

o min Г

Axu + Ab

4/

(oLn - л2)2

\\Ax\ + \\x\

= Z2\\xJ2

4/ o,

22 min

(°lin - /2)2

+ 1)= Z2\\xJ2

+ /

02 . - u2 o min Г

= Z2\\xo\\2,

откуда и получаем равенство (11). Сопоставив (2) и (11), убеждаемся, что матрицы A0 и A отвечают условию (2) задачи РМНК.

4. Заметим, что совокупность условий rank A = n, ¡л < amin, ||Ao — Ay < л гарантирует выполнение условия rank Ao = n [11].

2

o

x

o

x

а

2

2

2

o

Это, в свою очередь, означает, что вектор хо —единственное решение СЛАУ (1), которое, в силу единственности, является нормальным.

д|| напрямую следует (12)

5. Из совокупности условий Ьо = Ахм + ДЬ и ||ДЬ|| = равенство

||Ьо - Ах^Ц = /Цх^Ц.

Сопоставив (5) и (12), убеждаемся, что вектор хм принадлежит допустимому множеству задачи Р\ (/, 0).

6. Рассмотрим СЛАУ АтЬ0 = (АтА + а1 )х. Учтя равенство Ь0 = Ахм + ДЬ и условие АтДЬ = 0, получаем, что вектор хм есть решение указанной СЛАУ при а = 0. Следовательно, в силу (12), лемм 1, 2 и теоремы 1, вектор хм является решением задачи Р\(/, 0), соответствующим случаю 2 теоремы 1.

Совокупность утверждений, обоснованных в п. 1-6 позволяет сделать вывод, что векторы хо, хм, Ьо, ДЬ и матрицы А, Ао действительно существуют и отвечают условиям задачи Ро(0).

7. Покажем, что оценка (8) достигается как равенство на векторах хо и хм. Действительно,

Ц.г-р - Хц\

1Ы1

х0 - -¥

Х0

Хо|1

1 -

2 2 gmin ~ АГ

^min + M2

2M2

+ М

2

Теорема доказана. □

Замечание. Из теорем 2-4 вытекает, что существуют такие задачи РМНК, для которых

lim £k = 1, k = 1, 2, 3.

2. Обусловленность задачи РМНК. Из теоремы 1 следует, что РМНК может использоваться при различных значениях параметра а: при а > 0 (классическая регуляризация); при а ^ 0+ (классический метод наименьших квадратов); при а < 0 (обобщенный метод наименьших квадратов) [8, 12].

Для уменьшения вычислительных погрешностей решения СЛАУ (7) при а > 0 в работе [13] был предложен прием ее сведения к следующей эквивалентной системе:

(13)

в которой 1т — единичная матрица порядка т, 1п — единичная матрица порядка п,

0п —нулевой вектор порядка п, г = Ъ — Аха). Матрицу системы (13) обозначим

Azh.

Как было показано в [13], число обусловленности матрицы Azh по спектральной норме

а • Im А z b

AT -y/ä ■ I„ xa 0n

cond Azh =

lAzhll2 _ |An

I A-1 II

Azh 2

|An

где || • ||2 —спектральная норма; Ат1П, Атах — минимальное и максимальное собственное значение указанной матрицы, оказывается меньше числа обусловленности матрицы системы (7) для любого а > 0, а для вычисления собственных значений матрицы Azh при а > 0 может быть использована следующая теорема.

2

д

2

а

д—

Теорема 5.

1. Если A = Omxn — нулевая m х n-матрица, то собственные значения расширенной матрицы Azh есть числа у/а. и — у/а. кратностей т и п соответственно.

2. Если А / Отхп, тогда собственными значениями матрицы Azh являются числа ±y/af+a, г = 1,2 ,... ,г, а также у/а и —у/а кратностей т — г и п — г соответственно, где r = rank A ^ 1, —сингулярные числа матрицы A, причем

= атаХ > а2 > ... > аг > 0.

Случай а < 0 в работе [13] не рассматривался. Однако существуют приближенные СЛАУ, в которых именно при отрицательных значениях параметра регуляризации полученное решение оказывается наиболее близким к решению точной системы [12, 14].

Отметим, что, в отличие от случая а > 0, матрица Azh при а < 0 неэрмитова, что затрудняет поиск ее сингулярных чисел и оценивание числа обусловленности.

Введем в рассмотрение еще одну систему линейных алгебраических уравнений:

AT

A 2 b

ll - Ха 0n

(14)

где 2 :

= (Ь - Ax а).

Матрицу системы (14) обозначим Azh. Несложно показать, что при а = 0 система (14) также эквивалентна системе (7), причем при а < 0 матрица Azh и вектор решения системы (14) являются вещественными.

Как было показано в работе [15], для матрицы Azh при а < 0 справедлива Теорема 6. Пусть A G |Rmxn, rank A = r ^ 1, а < 0. Тогда при выполнении условия m = n = r собственные значения матрицы Azh образуют множество

|а| + ai, .. ., v/H + v/H ~~ °"Ь • • •, VH

а если условие m = n = r не выполняется — то множество \ у/\а~\+а i, .. ., \/\а\ + аг, |а|,. .., |а|, у/\а\ - ai,. ...

причем число |а| есть собственное значение матрицы Агн кратности т + п — 2г.

Как показывают вычисления (доказательство разрабатывается), при — ст^т < а < 0 выполняется условие еопё Агн < сопё(АТА + а1), если матрица А имеет полный столбцевой ранг и еопё А > 2.

Таким образом, для вычислительной реализации РМНК, обладающей минимальной обусловленностью, можно предложить использовать решение системы (13) при а > 0 и решение системы (14) при а < 0.

3. Задача восстановления исходного изображения по изображению, зарегистрированному прибором с неточной аппаратной функцией. Пусть имеется некоторая техническая система, регистрирующая изображения. Как правило [16, 17], связь между исходным изображением х(т\, Т2) и зарегистрированным изображением ¿2) может быть описана интегральным уравнением Фредгольма I рода типа свертки (с разностным ядром) следующего вида (см., например, [16]):

<¡1 й2

— Т1, ¿2 — Т2 )х(т1, Т2 ) ¿Т1^2 = 6(^1,^2), (15)

где h(r1 ,т2) — аппаратная функция регистрирующей системы, представляющая

1

r

ш — а

собой ядро интегрального уравнения (в идеальном случае — ¿-функция); Ь2 и Т1, Т2 — соответственно горизонтальные и вертикальные координаты точек изображения; х и Ъ — матрицы интенсивности цвета в соответствующих точках изображения; при исследовании монохромного (в оттенках серого) изображения и его хранении в однобайтовом беззнаковом формате элементы этих матриц принимают целочисленные значения в диапазоне от 0 до 255.

На практике нередко регистрацию изображения затрудняют внешние факторы:

— аппаратная функция Ъ,(т\, Т2) может отличаться от ¿-функции в силу конечной полосы пропускания регистрирующей системы;

— вместо Ъ(г1:г2) регистрируется зашумленная правая часть Ъ(1\,12) = Ъ(1\,12) +

— вместо Ъ,(т\,т2) может быть известно только ее приближенное значение Цт1 ,Т2) = Нт1,Т2 )+€(п,Т2) .

Третий фактор может наблюдаться, например, если функция Н(т\,Т2) оценивается при помощи процедуры непараметрической идентификации или она изменяется под воздействием случайных неконтролируемых факторов или воздействий.

В общем виде задача восстановления изображения, зарегистрированного прибором с неточно заданной аппаратной функцией, может быть сформулирована следующим образом: по заданным приближенным значениям Ъ,(т\,т2) и Ъ(Ь\,12) оценить значение исходного изображения х(т\,т2).

Некоторые подходы к решению задачи в таком виде рассмотрены, к примеру, в работе [17], а более общие постановки задач —в монографии [16].

Конкретизируем постановку задачи, приняв ряд дополнительных предположений (исследованию задачи в такой постановке посвящена работа [18]):

1) регистрация изображения происходит построчно (аппаратная функция одномерна);

2) аппаратная функция представляет собой ¿-функцию (зарегистрированное изображение не подвергается дефокусировке, «размытию»), но вместо ее точного значения известно только приближенное (на аппаратную функцию наложен шум, что приводит к построчному «смазыванию» изображения);

3) правая часть Ъ(1\,12) регистрируется точно (без шума).

С учетом первого предположения вместо решения двумерного интегрального уравнения (15) задача сводится к решению набора одномерных интегральных уравнений (для каждой строки изображения). В этом случае связь между строкой исходного изображения xtí и строкой зарегистрированного изображения Ъ^ может быть описана одномерным интегральным уравнением Фредгольма I рода типа свертки

где Ь,(Ь2 — т) — одномерная аппаратная функция регистрирующей системы, известная с некоторой ошибкой. Решить уравнение (16) относительно (т) означает по значениям Ъ^ ^2) оценить значения входного изображения х^1 (т) при неточно заданном ядре Н(Ь2 - т).

Уравнение (16) может быть сведено к системе линейных алгебраических уравнений путем дискретизации (как правило, используется попиксельная дискретизация):

а

(16)

С

п+1-1 £

Нк Хг,к = Ъ^, г = 1,...,т, 3 = 1,...,п + I - 1,

к=1

или в матричной форме

ахт = вт

г = 1,..,т. (17)

В (17) и — строки исходного и зарегистрированного изображений, Н = (К^) — вектор аппаратной функции, I — его длина, т и п — размеры изображения.

Для решения получившейся СЛАУ (17) может быть применен РМНК, а также другие методы [16].

4. Вычислительные эксперименты. На рис. 1-3 представлены результаты вычислительных экспериментов, в ходе которых описанный выше метод, реализованный с использованием системы МаНаЪ, применялся для решения задачи восстановления изображения, зарегистрированного с помощью устройства с неточно заданной аппаратной функцией.

а б в

Рис. 1. Исходное, искаженное и восстановленное изображения Объяснение в тексте.

0.45 0.4 0.35 0.3

0.25 0.2

0.15

-0.1671

-0.25-0.2 -0.15-0.1 -0.05 0 0.05 0.1 0.15 0.2 0.25

Рис. 2. Зависимость относительной погрешности решения £ от параметра регуляризации а

соп<1 (Ак)

Рис. 3. Числа обусловленности матриц Ле (1) и Лш (2) при различных значениях параметра а

Цель указанных экспериментов — эмпирическое определение значений параметра регуляризации а, при которых задача восстановления изображения может быть решена с наименьшей относительной погрешностью, а также тестирование предложенного в п. 2 алгоритма и проверка теорем 5 и 6.

В вычислительных экспериментах моделировалась регистрация изображения технической системой, на аппаратную функцию которой наложен случайный шум, распределенный по нормальному закону с нулевым средним и стандартным отклонением 0.01. Для получения «шума» применялась встроенная функция тптэе системы МаШЬ.

С использованием этой «зашумленной» аппаратной функции моделировалось получение «зарегистрированного с искажениями» изображения, которое затем восстанавливалось построчно с помощью регуляризованного метода наименьших квадратов А. Н. Тихонова (вместо «зашумленной» бралась гипотетическая «точная» аппаратная функция).

В эксперименте использовалось модельное изображение черного кольца на белом фоне.

Размер изображения — 50 х 50 пикселей.

На рис. 1 представлены исходное изображение (а), изображение, «зарегистри-

рованное с искажениями» (б), а также наилучший из результатов восстановления изображения (в).

Наилучшее восстановление неточно зафиксированного изображения удалось осуществить при а* = —0.1671. Относительная погрешность решения при указанном значении параметра регуляризации составила е = 0.1307.

На рис. 2 показана зависимость относительной погрешности восстановления изображения е от параметра регуляризации а.

На рис. 3 приведены значения чисел обусловленности матрицы Ae системы (7) и матрицы Аш ((13) и (14)). Видно, что матрица Аш имеет меньшее число обусловленности как для положительных, так и для отрицательных а.

Заключение. В работе рассмотрен ряд важных теоретических и практических аспектов регуляризованного метода наименьших квадратов А. Н. Тихонова, одним из которых является методика построения модельных СЛАУ с точной правой частью и приближенной матрицей, позволяющая получить априорные нижние оценки максимальной относительной погрешности метода РМНК.

Показано, что при определенных условиях РМНК сводится к минимизации сглаживающего функционала, методу наименьших квадратов и, что является неожиданным результатом, к поиску стационарной точки сглаживающего функционала с отрицательным параметром регуляризации.

Построено и обосновано алгебраическое преобразование, снижающее обусловленность численного решения задачи РМНК, наиболее актуальное при использовании отрицательного параметра регуляризации. Приведен иллюстративный пример, характеризующий вычислительные аспекты РМНК — прикладная задача восстановления изображения, зарегистрированного прибором с неточно заданной аппаратной функцией, представлены результаты соответствующих вычислительных экспериментов.

Авторы благодарят участников семинара СПбГУ по конструктивному негладкому анализу и недифференцируемой оптимизации (CNSA&NDO) и его руководителя профессора Василия Николаевича Малоземова за конструктивное обсуждение результатов статьи, ценные замечания и пожелания.

Литература

1. Тихонов А. Н. О приближенных системах линейных алгебраических уравнений // Журн. вычисл. математики и матем. физики. 1980. Т. 20, № 6. С. 1373—1383.

2. Тихонов А. Н. О нормальных решениях приближенных систем линейных алгебраических уравнений // Докл. АН СССР. 1980. Т. 254, № 3. С. 549-554.

3. Тихонов А. Н. О методах автоматизации обработки наблюдений // Вестн. АН СССР. 1983. № 1. С. 14-25.

4. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач. М.: Наука, 1986. 288 с.

5. Иванов В. К., Васин В. В., Танана В. П. Теория линейных некорректных задач и ее приложения. М.: Наука, 1978. 206 с.

6. Тихонов А. Н., Гончарский А. В., Степанов В. В., Ягола А. Г. Численные методы решения некорректных задач. М.: Наука, 1990. 229 с.

7. Воеводин В. В., Кузнецов Ю. А. Матрицы и вычисления. М.: Наука, 1984. 320 с.

8. Волков В. В., Ерохин В. И. О тихоновских решениях приближенных систем линейных алгебраических уравнений при конечных возмущениях их матриц // Журн. вычисл. математики и матем. физики. 2010. Т. 50, № 4. С. 618-635.

9. Лоусон Ч., Хенсон Р. Численное решение задач метода наименьших квадратов / пер. с англ. Х. Д. Икрамова. М.: Наука, 1986. 232 с. (Lawson Ch., Hanson R. J. Solving least squares problems.)

10. Волков В. В. Восстановление линейных зависимостей по неточной информации: дис. канд. физ.-матем. наук. М.: Моск. педагог. гос. ун-т, 2011. 135 с.

11. Хорн Р., Джонсон Ч. Матричный анализ / пер. c англ. Х. Д. Икрамова и др.; под ред. Х. Д. Икрамова. М.: Мир, 1989. 655 с. (Horn R. A., Johnson Ch. R. Matrix analysis.)

12. Golub G. H., Hansen P. C., O'Leary D. P. Tikhonov regularization and total least squares // SIAM J. on Matrix Analysis and Applications. 1999. Vol. 21, N 1. P. 185-194.

13. Жданов А. И. Метод расширенных регуляризованных нормальных уравнений // Журн. вычисл. математики и матем. физ. 2012. Т. 52, № 2. С. 205-208.

14. Горелик В. А., Ерохин В. И. Оптимальная матричная коррекция несовместных систем линейных алгебраических уравнений по минимуму евклидовой нормы. М.: ВЦ РАН, 2004. 194 с.

15. Ерохин В. И., Волков В. В., Будаев А. А. О применении отрицательного параметра регуляризации в регуляризованном методе наименьших квадратов А. Н. Тихонова // Изв. С.-Петерб. гос. технол. ин-та (Техн. ун-та). 2014. № 24(50). С. 86-92.

16. Сизиков В. С. Обратные прикладные задачи и Matlab. СПб.: Изд-во «Лань», 2011. 256 с.

17. Воскобойников Ю. Е., Литасов В. А. Устойчивый алгоритм восстановления изображения при неточно заданной аппаратной функции // Автометрия. 2006. Т. 42, № 6. С. 3-15.

18. Erokhin V. I., Volkov V. V. Recovering images, registered by device with inexact point-spread function, using tikhonov's regularized least squares method // Intern. Journal of Artificial Intelligence. 2015. Vol. 13, N 1. 12 p. URL: http://www.ceser.in/ceserp/index.php/ijai/article/view/3531 (дата обращения: 01.06.2016)

Для цитирования: Ерохин В. И., Волков В. В. О регуляризованном методе наименьших квадратов А. Н. Тихонова // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2017. Т. 13. Вып. 1. С. 4-16. DOI: 10.21638/11701/spbu10.2017.101

References

1. Tikhonov A. N. O priblizhennyh sistemah linejnyh algebraicheskih uravnenij [About approximate systems of linear algebraic equations]. USSR Computational Mathematics and Mathematical Physics, 1980, vol. 20, no. 6, pp. 1373-1383. (In Russian)

2. Tikhonov A. N. O normalnyh resheniyah priblizhennyh sistem linejnyh algebraicheskih uravnenij [About normal solutions of approximate systems of linear algebraic equations]. Doklady Akademii Nauk SSSR [Papers of Academy of sciences of USSR], 1980, vol. 254, no. 3, pp. 549-554. (In Russian)

3. Tikhonov A. N. O metodah avtomatizacii obrabotki nablyudenij [About methods of automation of processing observations]. Vestnik Akademii Nauk SSSR [Vestnik of Academy of sciences of USSR], 1983, no. 1, pp. 14-25. (In Russian)

4. Tikhonov A. N., Arsenin V. Ya. Metody resheniya nekorrektnyh zadach [Methods of solving incorrect problems]. Moscow, Nauka Publ., 1986, 288 p. (In Russian)

5. Ivanov V. K., Vasin V. V., Tanana V. P. Teoriya linejnyh nekorrektnyh zadach i ee prilozheniya [Theory of linear incorrect problems and it's applications]. Moscow, Nauka Publ., 1978, 206 p. (In Russian)

6. Tikhonov A. N., Goncharsky A. V., Stepanov V. V., Yagola A. G. Chislennye metody resheniya nekorrektnyh zadach [Numerical methods of solving incorrect problems]. Moscow, Nauka Publ., 1990, 229 p. (In Russian)

7. Voevodin V. V., Kuznetcov Yu. A. Matricy i vychisleniya [Matrices and calculations]. Moscow, Nauka Publ., 1984, 320 p. (In Russian)

8. Volkov V. V., Erokhin V. I. Tikhonov solutions of approximately given systems of linear algebraic equations under finite pertuberations of their matrices. Computational Mathematics and Mathematical Physics, 2010, vol. 50, no. 4, pp. 589-605. (Original Russian text © V. V. Volkov, V. I. Erokhin, 2010, published in Zhurnal Vychidlitel'noi Matematiki i Matematicheskoi Fiziki, 2010, vol. 50, no. 4, pp. 618635.) (In Russian)

9. Lawson Ch., Hanson R. J. Solving least squares problems. New Jork, Englewood Cliffs, 1985, 374 p. (Russ. ed.: Lawson C., Hanson R. Chislennoe reshenie zadach metoda naimenshih kvadratov. Moscow, Nauka Publ., 1986, 232 p.)

10. Volkov V. V. Vosstanovlenie linejnyh zavisimostej po netochnoj informacii [Recovering linear dependencies on inaccurate information]. PhD dissertation. Moscow, Moscow State University of Education, 2011, 135 p. (In Russian)

11. Horn R. A., Johnson Ch. R. Matrix analysis. Cambridge, Cambridge University Press, 1985, 561 p. (Russ. ed.: Horn R., Johnson C. Matrichnyj analiz. Moscow, Mir Publ., 1989, 655 p.)

12. Golub G. H., Hansen P. C., O'Leary D. P. Tikhonov regularization and total least squares. SIAM J. on Matrix Analysis and Applications, 1999, vol. 21, no. 1, pp. 185-194.

13. Zhdanov A. I. The method of augmented regularized normal equations. Computational Mathematics and Mathematical Physics, 2012, vol. 52, no. 2, pp. 194-197. (Original Russian text ©c A. I. Zhdanov, 2012, published in Zhurnal Vychidlitel'noi Matematiki i Matematicheskoi Fiziki, 2012, vol. 52, no. 2, pp. 205-208.) (In Russian)

14. Gorelik V. A., Erokhin V. I. Optimalnaya matrichnaya korrekciya nesovmestnyh sistem linejnyh algebraicheskih uravnenij po minimumu evklidovoj normy [Optimal matrix correction of inconsistent

systems of linear algebraic equations by minimum of euclidean norm]. Moscow, VC RAN, 2004, 194 p. (In Russian)

15. Erokhin V. I., Volkov V. V., Budaev A. A. O primenenii otricatelnogo parametra regulyarizacii v regulyarizovannom metode naimenshih kvadratov A. N. Tihonova [Using negative regularization parameter in Tikhonov's regularized least squares method]. Izvestija Sankt Peterburgskogo Gosudarstvennogo Technologicheskogo Instituta (Technicheskogo Universiteta) [Proceedings of Saint Petersburg State Technological Institute (Technical University)], 2014, no. 24(50), pp. 86—92. (In Russian)

16. Sizikov V. S. Obratnye prikladnye zadachi i Matlab [Inverse applied problems and Matlab]. Saint Petersburg, Lan' Publ., 2011, 256 p. (In Russian)

17. Voskoboinikov Yu. E., Litasov V. A. Ustojchivyj algoritm vosstanovleniya izobrazheniya pri netochno zadannoj apparatnoj funkcii [A stable image reconstruction algorithm for inexact point-spread function]. Avtometrija [Optoelectronics, Instrumentation and Data Processing], 2006, no. 42(6), pp. 3—15. (In Russian)

18. Erokhin V. I., Volkov V. V. Recovering images, registered by device with inexact point-spread function, using tikhonov's regularized least squares method. International Journal of Artificial Intelligence, 2015, vol. 13, no. 1, 12 p. Available at: http://www.ceser.in/ceserp/index.php/ijai/article/ view/3531 (accessed: 01.06.2016).

For citation: Erokhin V. I., Volkov V. V. About A. N. Tikhonov's regularized least squares method. Vestnik of Saint Petersburg University. Applied mathematics. Computer science. Control processes, 2017, volume 13, issue 1, pp. 4-16. DOI: 10.21638/11701/spbu10.2017.101

Статья поступила в редакцию 2 июня 2016 г. Статья принята к печати 19 января 2017 г.