CC BY
48
Sazonov A.Yu., Fomicheva Yu. G. On connection of the classical and generalized solutions to the Dirichlet problem containing singular operators in some space variables. In the work there is considered the Dirichlet problem for one class of singular В-elliptic operators. Sufficient conditions under which the classical and generalized solutions to such a problem coincide almost everywhere in a given bounded area are derived.
Keywords: singular В-elliptic operator; fundamental solution; generalized solution.
Сазонов Анатолий Юрьевич, Тамбовский государственный университет имени Г.Р. Державина, г. Тамбов, кандидат физико-математических наук, доцент, доцент кафедры алгебры и геометрии, e-mail: [email protected]
Фомичева Юлия Геннадьевна, Тамбовский государственный университет имени Г.Р. Державина, г. Тамбов, кандидат физико-математических наук, доцент, доцент кафедры алгебры и геометрии, e-mail: [email protected]
УДК 519.853
ПАРАМЕТРИЧЕСКАЯ ДВОЙСТВЕННАЯ РЕГУЛЯРИЗАЦИЯ И ТЕОРЕМА КУНА-ТАККЕРА
(с) М. И. Сумин
Ключевые слова: выпуклое программирование, принцип Лагранжа, теорема Куна-Таккера в недифференциальной форме, параметрическая задача, минимизирующая последовательность, двойственность, регуляризация, метод возмущений.
Работа посвящена формулировке и доказательству на основе метода двойственной регуляризации так называемой регуляризованной теоремы Куна-Таккера в недифференциальной форме для параметрической задачи выпуклого программирования в гильбертовом пространстве в случае сильно выпуклого функционала цели. Эта теорема представляет собой утверждение в терминах минимизирующих последовательностей о возможности аппроксимации решения задачи выпуклого программирования точками минимума ее регулярной (с равным единице множителем Лагранжа при функционале цели) функции Лагранжа без каких-либо предположений регулярности самой оптимизационной задачи. При этом аппроксимирующие решение точки конструктивно указываются. Устанавливается связь этого утверждения с дифференциальными свойствами функции значений ( 3 -функции). В качестве частного случая теорема содержит классический вариант теоремы Куна-Таккера в недифференциальной форме. Рассматривается вариант регуляризованной теоремы Куна-Таккера в случае выпуклого функционала цели.
Введение
Как известно (см., например, [1] - [4]), классическая теорема Куна-Таккера представляет собой принцип Лагранжа в недифференциальной форме в задаче выпуклого программирования. Чаще всего она формулируется как критерий оптимальности, выражаемый в разных вариантах, но в каждом из этих критериев присутствует условие регулярности задачи [1]
- [4]. Например, в [2] условие регулярности формулируется в виде условия существования вектора Куна-Таккера, а в [3] — в форме конкретных условий регулярности Слейтера и
линейности. Классическая теорема Куна-Таккера во всех этих случаях представляет собой утверждение, формулируемое в терминах решения задачи выпуклого программирования, соответствующего множителя Лагранжа и регулярной (с равным единице множителем Лагранжа при функционале цели) функции Лагранжа оптимизационной задачи. В отсутствие регулярности задачи такая классическая теорема Куна-Таккера, вообще говоря, не верна даже в простейших конечномерных задачах выпуклого программирования.
В настоящей работе приводится формулировка и доказательство на основе метода двойственной регуляризации (см., например, [5] - [11]) так называемой регуляризованной теоремы Куна-Таккера в недифференциальной форме для параметрической задачи выпуклого программирования в гильбертовом пространстве в случае сильно выпуклого функционала цели. Эта теорема представляет собой утверждение в терминах минимизирующих последовательностей о возможности аппроксимации решения задачи выпуклого программирования точками минимума ее регулярной функции Лагранжа без каких-либо предположений регулярности самой оптимизационной задачи. Другими словами, мы получаем теорему Куна-Таккера в так называемой секвенциальной форме. Подчеркнем при этом, что аппроксимирующие решение задачи точки конструктивно указываются, так как они порождаются посредством цитированного выше алгоритма двойственной регуляризации. Подчеркнем также, что в более общих задачах оптимизации указанную выше аппроксимацию следует понимать в том или ином подходящем смысле. Кроме того, в работе достаточно подробно обсуждается связь теоремы Куна-Таккера, как в классической, так и в регуляризованной форме, со свойствами субдифференцируемости (в смысле выпуклого анализа) выпуклой функции значений ( 5 -функции) задачи выпуклого программирования. В заключение работы приводятся варианты формулировки регуляризованной теоремы Куна-Таккера в случае задачи выпуклого программирования с выпуклым функционалом цели.
Основные результаты этой работы были доложены автором на Международной научной конференции «Современные физико-математические и информационные методы в естествознании, технике и гуманитарных науках», посвященной 80-летию Института математики, физики и информатики Тамбовского государственного университета имени Г.Р. Державина.
1. Предварительные соображения
В данном разделе на примере простейшей задачи выпуклого программирования в гильбертовом пространстве приводятся предварительные соображения, говорящие о естественности связи классической теоремы Куна-Таккера с проблемой аппроксимации решений задач математического программирования точками минимума регулярных функций Лагранжа этих задач.
С целью более компактного изложения материала в данном разделе рассмотрим простейшую параметрическую задачу выпуклого программирования в гильбертовом пространстве с ограничением типа равенства
(Рр) /(г) -> пип, Аг = И + р, г е Z, р € Н — параметр,
с непрерывным сильно выпуклым функционалом / : Z —> Я1 , линейным ограниченным оператором А: Z —> Н , с гильбертовыми пространствами 2, Я ис решением г® , которое считаем существующим.
Напомним, прежде всего, что вектором Куна-Таккера в этой задаче называется элемент X* Е Н такой, что
/; = /(*°) ^ Ьр(г, А*) = f(z) + (а;, Аг-ь-р) V г е г.
Можно показать (см., например, [8], [10]), что любой такой вектор Куна-Таккера А*
в паре с 2р составляют седловую точку функции Лагранжа 1/р(-,-), а взятый с обратным знаком, то есть вектор —А* , является одновременно элементом субдифференциала (в смысле выпуклого анализа) д/3(р) выпуклой полунепрерывной снизу функции значений
(3(р) = {/(2Гр), если 2р существует; +оо в противном случае}
и нормалью (в смысле выпуклого анализа) вида (<^, —1) к ер 1/3 в точке (р, /3(р)).
Классическая теорема Куна-Таккера в недифференциальной форме говорит о том, что в случае существования вектора Куна-Таккера необходимым и достаточным условием того, чтобы точка г* Е {г Е Z : Аг = к+р) была решением задачи ( Рр ), является существование вектора А* Е Н, для которого выполняется неравенство
Ьр{г\\*)^Ьр{г,\*) VzEZ. (1)
При этом оказывается, что А* — вектор Куна-Таккера задачи [Рр), пара (г*, А*) — сед-ловая точка функции Лагранжа Ьр(г, А), (г, А) Е Z х Н и одновременно А* — решение двойственной задачи
^(А) = ттЬр(г, А) -> тах, А Е Н.
z^Z
Подчеркнем здесь, что условие существования вектора Куна-Таккера мы могли бы заменить эквивалентными: 1) условием существования седловой точки функции Лагранжа Ьр(-,-); 2) условием непустоты субдифференциала (в смысле выпуклого анализа) д(3{р) выпуклой полунепрерывной снизу функции значений /0; 3) условием существования нормали (в смысле выпуклого анализа) вида (С? — 1) к ер1/3 в точке {р,Р{р)).
Другими словами, в случае существования вектора Куна-Таккера необходимым и достаточным условием того, чтобы точка г* 6 {г 6 Z : Аг = к + р} была решением задачи (Рр), является существование вектора А* Е Н такого, что он представляет собой решение двойственной задачи и одновременно точка 2* является решением задачи минимизации функции Лагранжа
Ьр(г, А*) —>■ тт, г Е Z.
Таким образом, решение исходной задачи совпадает с точкой минимума функции Лагранжа и уже в этой простейшей ситуации можно говорить, что решение задачи (Рр) аппроксимируется точкой минимума регулярной функции Лагранжа.
Если задача (Рр) не обладает вектором Куна-Таккера, то утверждение классической теоремы не верно, так как указанного в ней вектора А* просто не существует, и значит, теорема Куна-Таккера (принцип Лагранжа) в недифференциальной форме (1) в такой задаче не имеет места. В противном случае в задаче (Рр) существовал бы вектор Куна-Таккера.
Подобные задачи существуют, в частности, одной из них является задача
||г||2 —► тт, Аг = р (2)
с инъективным и самосопряженным оператором А : Z -* Н таким, что Я{А) ф Н (например, А может быть интегральным оператором Фредгольма с замкнутым симметрическим ядром). Покажем, что в задаче (2) при выбранных определенным образом р принцип Лагранжа не выполняется. Пусть г° Е Н, но г° $ ЩА). Тогда рассматриваем задачу (2) с р = Аг° . В ней классический принцип Лагранжа в дифференциальной форме, а как следствие, и в недифференциальной форме, не выполняется. Действительно, если бы это было не так, то существовала бы невырожденная пара множителей (Ао, А) Е Я1 х Н такая, что 2Ао2° + АХ = 0 . В этом случае при Ао = 0 получаем А = 0 в силу инъективности А , а при Ао = 1, соответственно, противоречивое равенство г° = —1/2АХ, что и доказывает невыполнимость классического принципа Лагранжа в задаче (2) с выбранным р.
Так как производная Фреше дУр(А) существует в нашем случае в любой точке А € Н и равна (подробности см., например, в [7] - [10])
дУр(Х) = Аг[\\ — к — р, г[А] = а^тт{1ур(;г, Л) : г € Z},
то в случае существования вектора Куна-Таккера А* в соответствии с классической теоремой Куна-Таккера решение г® задачи ( Рр ) характеризуется соотношениями
*1 = г[^] = а.щтт{ьр(г, А*) : г € 2}, А* = ги^тах{Кр(А) : А € Я} (3)
дУр(У) = Аг[А;]-А-р = 0.
Если в задаче ( Рр ) вектора Куна-Таккера нет, а она разрешима, то двойственная задача
Ур(А) -* вир, А 6 Н
не имеет решения, так как в противном случае в точке А* , являющейся ее решением, выполняются все соотношения (3) и она является вектором Куна-Таккера. Одновременно, очевидно выполняется неравенство Ур(А) ^ /(*$) УА 6 Н. При этом, как можно показать (подробности см., например, в [7] - [10]), функция Ур(-) имеет глобально Липшицев градиент. Таким образом, в нашем случае не существует такой точки А, при которой функция Лагранжа Ьр(г, А), г 6 Z достигала бы минимума в точке, являющейся решением задачи
(РР)-
Одновременно, в случае существования вектора Куна-Таккера, если Хк —> А*, к -» оо, то, так как г[А] липшицевым образом зависит от А € Н (подробности см., например, в [7] - [10]), ^[А*] —► 2°, к —> оо. Другими словами, в этом случае решение задачи (Рр) аппроксимируется точками г[Хк], в каждой из которых регулярная функция Лагранжа Ьр(-, Хк) принимает минимальное значение, в то время как двойственная функция, взятая в точках Хк , стремится к своему максимуму при к —> оо :
При этом ее градиент, взятый в этих точках, стремится к нулю:
дУр(\к) = Аг[А*] — к — р 0, к оо.
С учетом сказанного выше, в случае, когда вектор Куна-Таккера не существует, представляется естественным стараться аппроксимировать при к —>■ оо точку zр другими точками zk , которые при некоторых Хк минимизировали бы регулярную функцию Лагранжа Lp(-,Xk) и для которых одновременно выполнялись бы предельные соотношения
Vv(\k) -» sup Vp(A), dVJXk) = As[Ak] - h - p -> 0, k -> oo. (4)
Лея
Забегая вперед, можно утверждать, что существование таких последовательностей Хк, к = 1,2,... , обеспечивает, в частности, алгоритм двойственной регуляризации [6] - [11]. В то же время такое существование не является очевидным. Приведем некоторые простые рассуждения на эту тему.
1. Прежде всего, заметим, что в качестве таких последовательностей Хк, к = 1,2,... , нельзя взять произвольную последовательность, удовлетворяющую предельным соотношениям (4), так как соответствующие им точки минимума функции Лагранжа z[Xk] совершенно не обязательно должны стремиться при к —> оо к решению задачи zp . В подтверждение этого приведем простой иллюстративный пример задачи вида (Рр)
||z||2 —^ min, Az—p (5)
с инъективным, самосопряженным и вполне непрерывным оператором А: Z -» Н .В этом случае, как известно, уравнение Az = р является одновременно плотно разрешимым. Конкретным примером (5) с указанными свойствами является, в частности, задача нахождения решения (нормального) интегрального уравнения Фредгольма первого рода с замкнутым симметричным ядром.
В предположении разрешимости задачи (5) построим последовательность Afc 6 Н, к = 1,2,... , такую, для которой выполняется второе из предельных соотношений (4) (являющееся в этом случае, в силу липшицевости градиента dVp(X) = Az[А] — р, z[A] = —1/2АХ , необходимым условием выполнения первого из них), но не выполняется предельное соотношение z[Xk] —> Zp , к —> оо. С этой целью возьмем произвольную последовательность zk, к = 1,2,... , которая не сходится (сильно) при к -> оо к zjj, но для которой, в то же время, выполняется предельное соотношение Azk р, к —>■ оо. В частности, такой последовательностью может служить любая последовательность, сходящаяся к zp слабо, но не сильно. Так как AZ = Н, то в любой окрестности zk существует такой элемент z, что —1/2,АХ = z = z[A] для некоторого А G Я. Поэтому для любого элемента zk найдется элемент А(Е Я, для которого соответствующий элемент zk = z[Xk] можно считать сколь угодно близким к zk . Пусть к = 1,2,... , - произвольная сходящаяся к нулю последовательность положительных чисел. Тогда, считая, что элемент Хк выбирается так, что ||zk — zk|| ^ ек , к = 1,2,... , получаем, что zk zp , к —> оо, но одновременно Azk —> р, к —У оо .
2. Если, например, Хк, к = 1,2,..., такая последовательность, что Vp(Xk) -> sup VP(X),
лея
то, очевидно, можем записать
/(*[А*]) + (Afc,Az[Xk] - h-p) ^ f(z) + (Аk,Az -h-p) Уz e Z.
В этом случае нужная сходимость ^[А*] -> zp, к —> оо могла бы быть обеспечена при выполнении пары предельных соотношений
Az[Хк] — h — р -> 0, (Afc, ^[А^] — h — р) ^ —ек —> 0, ек ^ 0, к оо,
которые, вообще говоря, не являются очевидными.
3. Пусть в дополнение к уже сделанным предположениям функция / субдифферен-цируема в точках Z. Пусть точка р такова, что dß{jp) = 0 и рк —> р, к -» оо, причем точки р* таковы, что в них непусты субдифференциалы dß(pk) и ß(pk) —> ß(p) , к оо (такие последовательности существуют, так как ß выпукла и полунепрерывна снизу, а такие функции субдифференцируемы на плотном в dom/З множестве, см., например, [12], [13]). Это означает, что в каждой задаче (Ррк) имеется свой вектор Куна-Таккера Х*к и выполняется неравенство
/(z[A;„]) = f(z[x;„]) + (A*t, Az[A*b] - h-pk> < f(z) + (\;k,Az -h-pk)Vz£ z.
При этом, благодаря сильной выпуклости, непрерывности, субдифференцируемости / и слабой полунепрерывности снизу выпуклого непрерывного функционала в гильбертовом пространстве, мы можем считать также одновременно, что имеют место и предельные соотношения
z[X*pk] -> f(z[X*pk]) -> /(г°), к ^ оо.
Тогда можем записать:
Ур(А\) = minLp(г, AM = minL fc(г, A\) + (А*k,pk ~p) = Vpk(X*k) + (X*k,pk -p) =
= /(*[***]) + (X*pk,Pk ~Р) < sup Vp{\) ^ /(*£). у Лея
Из этих соотношений также видно, что для выполнимости предельного соотношения
VpWpk) -> supVp{\)
У Лея
требуется некоторая дополнительная информация. Можно заметить, что для его выполнимости достаточно, чтобы выполнялось предельное соотношение
(^рк,Рк — р) -> 0, к —> оо.
Выполнимость же последнего совершенно не очевидна.
Из сказанного выше можно сделать вывод о том, что, если вектор Куна-Таккера в задаче (Рр ) отсутствует, то содержательным является утверждение, в соответствии с которым существует такая последовательность двойственных переменных Afc, А: = 1,2,... , для которой выполняются предельные соотношения (4), а соответствующие точки 2[Afc], минимизирующие функцию Лагранжа Lp(-, \к), аппроксимируют решение z® задачи (Рр) . Именно подобного рода утверждение, которое можно называть регуляризованной теоремой Куна-Таккера или теоремой Куна-Таккера в секвенциальной форме, должно, по нашему мнению, дополнить утверждение классической теоремы Куна-Таккера, превратив ее в утверждение, справедливое для любой задачи (Рр), если только она разрешима. Подчеркнем при этом, что в более общих задачах оптимизации указанную выше аппроксимацию следует понимать в том или ином подходящем смысле.
Заметим при этом, что важнейшим моментом в нашей ситуации является то, что такие «хорошие» точки А*, к = 1,2,... , конструктивно порождает алгоритм двойственной регуляризации [5] - [11].
2. Регуляризованная теорема Куна-Таккера или теорема Куна-Таккера в секвенциальной форме
В данном разделе для задачи выпуклого программирования общего вида с операторным ограничением типа равенства и конечным числом функциональных ограничений типа неравенства в гильбертовом пространстве обсуждается так называемая регуляризованная теорема Куна-Таккера или, другими словами, теорема Куна-Таккера в секвенциальной форме, представляющая собою утверждение о возможности аппроксимации решений оптимизационной задачи точками минимума ее регулярных функций Лагранжа.
2.1. Постановка задачи выпуклого программирования
Рассмотрим параметрическую задачу минимизации
(Рр,г) f(z) -> min, Az = h + p, gi(z) ^ n, г = 1,..., m, z G V С Z,
p G #, r = (r*i,..., rm)* £ Rm — параметры,
где / : D —> Rl — непрерывный выпуклый функционал, A : Z —> H — линейный огра-
ниченный оператор, gi : D —> R1, i = l,...,m, — непрерывные выпуклые функционалы, g(z) = (g\(z),... ,gm(z))* , V — выпуклое замкнутое множество, Z, H — гильбертовы пространства. Предполагаем, что задача (РР)Г) разрешима.
Введем обозначения:
LptT(z, А, /1, /¿о) = Mo f(z) + {\,Az - h-p) + (¿¿, g{z) - г),
LP)r(z, Л, /i, 1) = LPtr(z, A, fi) = f(z) + (Л, Az-h-p) + (д, g(z) - г),
Vps = {z ev : \\Az - h - p\\ < €, Pi (г) < + €, г = 1,..., m}, б ^ 0.
Ниже важное значение для нас будет играть понятие минимизирующкго приближенного решения задачи (-Рр,г). Напомним, что последовательность zk Е V, к = 1,2,... , называется минимизирующим приближенным решением (МПР) в задаче (Рр>г ), если
/(**) ->• /3(р,г), z* Е £>р*г, е* 0, А; -> оо.
Здесь /3(р, г) — обобщенная нижняя грань:
/3(р,г) = /З+о(р,г) = lim . &(р,г), /Зе(р,г) = inf /(г), /Зс(р,г) = +оо, если Vi = 0.
с—>+ü zGP* Г
Напомним также, что вектором Куна-Таккера задачи ( РР)Г ) называется пара (Л*, ц*) Е Е Я х Я™ такая, что
/;, = /(4r) < LV)T(z, А*,м*) = /(г) + (А*,Лг - h-p) + (pT,g(z) -r)VzeZ,
где Zp r — решение или одно из решений задачи ( РР)Г ).
Определим вогнутый двойственный функционал — функционал значений
Vp,r(\,ii) = inf LPyr(z,\,ii), ЛЕЯ, fit Rm
zEV
и двойственную задачу
Vp>r(\,p,) -У sup, (A,¿¿) Е Я х Я™. (6)
2.2. Классическая параметрическая теорема Куна-Таккера
Сформулируем прежде всего параметрический принцип Лагранжа, доказательство которого легко проводится по схеме доказательств аналогичных результатов в [8] - [10].
Т е о р е м а 1. [ Параметрический принцип Лагранжа в недифференциальной форме] Пусть функция / : Z R1 выпукла, /3(р, г) < +оо и z°r € 23«, = {z eV : Az-
— h — p = 0, gi(z) ^ n, г = 1,..., m} — оптимальный элемент в задаче (РР)Г), то есть f(Zp r) = (3(р,г) . Тогда справедливы следующие утверждения.
1. Если С Е д(3(р,г), где д(3(р,г) — субдифференциал в смысле выпуклого анализа,
то для множителей Лагранжа у Е Я, £ Е -R+, (?/,£) = — С > /-¿0 = 1 выполняются
соотношения
£Р)ГСг£г,/1о,у,0 ^ Lp>r(z,/x0,2/,£) У z eV, &(gi(z¡¡}T.) - r¿) = 0, г = 1,...,т, (7)
г/ при этом —С = (у,£) — вектор Куна-Таккера задачи (Рр>Г) •
Я, наоборот, если zp r Е 2^ такой элемент, что при некоторых /1о > 0, у е Н, £ Е Я+ выполняются соотношения ( 7), то этот элемент оптимален в задаче (Рр,г), пара (у/цо,£/^о) является вектором Куна-Таккера для нее и одновременно (—у/цо,— -(/fio) Е <ЭДр,г) .
2. Если эюе (р, г) Е ddomp u ( Е д°°(3(р,г), где д°°(3(р,г) — сингулярный ( асимптотический) субдифференциал (см., например, [14] ), определяемый формулой
д°°Р(р,г) = {(í/,0 ЕЯхГ: ((у, 0,0) Е iVepi^((p,r),^(p,r))},
где через Nn(x) обозначается конус нормалей ( в смысле выпуклого анализа) к выпуклому множеству Гi в точке х Е Ü , то для множителей Лагранжа у ЕЯ, £ЕЯ+ , (?/, О = —С > соотношения (7) выполняются при /íq = 0 .
И, наоборот, если zpr G Vp r — такой элемент, что при цо = 0 и некоторых у G Н, £ G , (у, О ф 0, выполняются соотношения (7), то (р,г) G ddomß и одновременно (-»> -¿) £ d°°ß{p,r) .
Замечание 1. Легко сообразить, что пара двойственных переменных [у/р o,£/a¿o) , о которой идет речь в обоих утверждениях первой части теоремы 1, является одновременно вектором Куна-Таккера задачи (РР)Г ) и решением двойственной задачи (6).
Замечание2. Первая часть теоремы 1 представляет собой, по сути дела, формулировку классической параметрической теоремы Куна-Таккера (см., например, [1] - [4]) с использованием вместо понятия вектора Куна-Таккера эквивалентного в данном контексте понятия субдифференциала функции значений.
Замечание 3. Важным является то, что этой теоремой Куна-Таккера «не охватываются» задачи (РР)Г), для которых одновременно dß(p,r) = 0 и d°°ß(p,r) = {0} , что вполне возможно для задач с ограничениями, задаваемыми операторами с бесконечномерными образами. Одной из таких задач является задача минимизации
rb
\\z\\2 —>• min, A(z)(x) = / К(х, s)z(s) ds — р{х), a^x^b (8)
J а
c z G ^2(0, b), с параметром p G ^2(0,6) и с замкнутым симметрическим непрерывным на квадрате П = [а, 6] х [а, Ь] ядром К интегрального оператора. Задача (8) эквивалентна задаче поиска нормального решения интегрального уравнения Фредгольма первого рода:
гЬ
A(z)(x) = / К(х, s)z(s) ds = р(х), a^x^b.
J а
Можно показать (подробности см. в [8] - [10]), что в параметрической задаче (8) плотно во множестве всех р, для которых это уравнение разрешимо, лежат такие р, для которых в задаче (8) принцип Лагранжа не выполняется, что равносильно в рассматриваемой ситуации совокупности соотношений dß(p,r) = 0 , d°°ß(p,r) = {0} .
2.3. Параметрическая двойственная регуляризация
Опишем в краткой форме регуляризованный двойственный алгоритм [5] - [11] для задачи ( РР)Г ) с сильно выпуклым целевым функционалом / в предположении точного задания исходных данных.
Ввиду сильной выпуклости функционала Лагранжа в этом случае для любой пары (A,/i) £ Н х R™ , где R1^ ее {х = (ж1,...,ят)* G Rm : xt ^ 0, г = 1,т} , значение VPir[A,¿¿) достигается на единственном элементе z[\,p] = argmin{LP)r(z, A,/i), z G V} .
Обозначим через (A£r,/¿“r) единственную в HxRточку, дающую на этом множестве максимум функционалу
Д“г(А,М) = Vp,r(Kß) ~ «Р||2 - «И2, (А,М) 6 Я х Я?.
Аппроксимация решения zp r задачи (РР)Г ) при а —> 0 происходит с помощью регуля-ризованных элементов z[\a,pa].
Справедлива следующая теорема, доказательство которой можно найти в [7] - [10].
Теорема 2. [Регуляризирующий двойственный алгоритм] Пусть ß{p,r) < +00. Вне зависимости от того, разрешима или нет, двойственная к (Рр,г) задача, выполняются соотношения
а||(А“г1/£г)||-Ю, /(2[А“г,м“г])-^/«г), о-* 0,
Az[\*r,V%,r] -h-p^0, gi{z[\°r,fi“r]) - п ^ к{а), к{а) 0, а -> 0, p,r^p,r)> (MK,r^vA ~ h -P>9{z[Xp,r,Vp,r}) ~ r)) ^ 0? vpAx%,n Vp,r) SUP VpAA> A*). Qf 0.
(\,n)eHxR™
Если же сильно выпуклый функционал / является и субдифференцируемым ( в смысле выпуклого анализа) в точках V, то справедливо и предельное соотношение
1ИАр)Г>Мр,г] ” zp,rll О» а -»• 0.
Другими словами, вне зависимости от того, разрешима или нет двойственная задача, ре-гуляризованный двойственный алгоритм представляет собой регуляризирующий в смысле [15] алгоритм.
Подчеркнем, что, в зависимости от того, имеет или нет решение двойственная к (РР)Г) задача, сформулированный выше двойственный алгоритм ведет себя двояко. В случае существования решения двойственной задачи генерируемое в соответствии с алгоритмом семейство двойственных переменных (\рГ,р,рГ), а -» 0 ограничено в Я х . Если же такого решения нет, то нормы элементов этого семейства неограниченно возрастают при ос —У 0.
2.4. Регуляризованная параметрическая теорема Куна-Таккера в случае сильно выпуклого целевого функционала
Сформулируем и докажем регуляризованную параметрическую теорему Куна-Таккера в случае сильно выпуклого целевого функционала. Ее формулировка представляет собой «искомое» утверждение о возможности аппроксимации решения задачи выпуклого программирования точками минимума ее регулярной функции Лагранжа.
Т еоремаЗ. Пусть / : V —> R1 — непрерывный сильно выпуклый субдифференциру-емый функционал и /3(р,г) < 4-оо . Тогда имеют место следующие утверждения.
1. Если субдифференциал д(3(р,г) ф 0, то найдется пара двойственных переменных (A,/i) G Н х R™ такая, что
(A,/i) G argmaxiV^rfA',//) : (A7,//) G Я х Я™},
zp,r = Л Mt(0*(2p,r) “ ri) = 0» « =
Наоборот, если найдется такая пара (А, ц) G Н х R™, что
z[X,p] G Т)рГ, p,i(gi(z[\,р]) -ri) = 0, t = l,...,m,
то
Zpr = z[А,/х], (A,/z) G argmaxjFp^A',//') : (A',/i;) G Я х R£}.
2. Если субдифференциал д(3(р,г) = 0, то найдется последовательность двойственных переменных (Ak,/ik) G Я х Я™, к = 1,2,... , такая, что
Lp,r(z[A*,M*],Afc,/) = V(Afc,Mfc)-> sup Vp,r(AV),
*[A*,/i*]-><r, fc ->oo, ((А*,Л(Аг[А*,/]-Л-Р,9(г[А*,р*])-г))^0.
Наоборот, если найдется такая последовательность двойственных переменных (\к,^к) G G Н х Д™, к = 1,2,..., что
Ур,г(Хк,цк) —>■ sup Vp,r(AV),
2r[Afc, /ifc] G б* ->• 0, /г —> оо, ((А*, /х*), (Аг[Ал, //] - h - р, i/(2r[Afc, /]) - г)) ^ О,
то
z[\k,fik] -> z°r, к оо.
Доказательство. Первое утверждение первой части теоремы является следствием первого утверждения первой части теоремы 1. Его можно получить также, как следствие теоремы 2, если учесть, что при а —> точки (Аа,//*) сходятся в этом случае к минимальному по норме решению двойственной задачи (подробности см. в [8] - [10]). Второе утверждение первой части является следствием второго утверждения первой части теоремы 1. При анализе обоих утверждений первой части следует учесть замечания 1,2.
Первое утверждение второй части теоремы является следствием теоремы 2. При этом надо положить: (\k,fik) = (Ар£,/х“£), где а*, к = 1,2,... , — произвольная последовательность сходящихся к нулю положительных чисел. Докажем второе утверждение второй части. Так как точка г[\к,цк] минимизирует функционал Лагранжа £Р)Г(-, \к, цк), то можем записать
f(z{\k,S]) + ((Л*,/), (Az[А*,/] - h - р, g(z[\k, цк]) - г)) ^
f{z) + ((A ,k,/ik),Az - h —p,g(z) -r)Vze V.
Отсюда в силу условий теоремы получаем
f{z[А*, //]) ^f{z) + ((А*, //), Az-h-p, g(z) - г) Vz G V.
Подставляя в последнее неравенство z = zp r, получаем f(z[Xk1fik]) ^ f(zp r). Так как
к тому же ^[А^,^] G Vpr, то, благодаря классическим свойствам слабой компактности выпуклого замкнутого ограниченного множества, слабой полунепрерывное™ снизу выпуклого непрерывного функционала в гильбертовом пространстве, сильной выпуклости и субдифференцируемости /, ИЗ последних двух фактов легко ВЫВОДИМ, ЧТО z[\k,flk] —> Zpr, к —> оо . Теорема доказана.
«Склеим» далее обе части теоремы 3 и получим регуляризованную теорему Куна-Таккера или, другими словами, теорему Куна-Таккера в секвенциальной форме, в более компактном виде. При этом теорема формулируется только в терминах МПР, и в ее формулировке отсутствует условие Р{р,г) < +СЮ .
Теорема4. Пусть / : V —>• R1 — непрерывный сильно выпуклый субдифференциру-емый функционал. Для того, чтобы существовало ограниченное МПР в задаче (РР]Г) ( и, значит, одновременно сходилось сильно к Zp r при к —> оо ), необходимо и достаточно, чтобы существовала последовательность двойственных переменных (Ak,fJ,k) G Н х Я+, к = 1,2,... , такая, что
Lp,r{z[\k 1 цк],Afc,¡ik) = Vp,r{A*,/) -> sup УР)Г(A,/x),
(\,n)eHxRy
z[ A*,/]G<r, e* -> 0, k -> oo, ((\k^k),(Az[\k,»k]-h-p,g(z[\k,fik])-r))>0,
а последовательность z[\к,цк], к = 1,2,... , ограничена. При этом она является искомым МПР и z[\k,nk] —У Zp r, к -+ оо .
2.5. Регуляризованная параметрическая теорема Куна-Таккера в случае выпуклого целевого функционала
Будем далее считать, что множество V ограничено, и введем обозначения:
zp,r = iz* е v°pr : f{z*) = min f(z)},
P,r
Z[A,/i] = {z* G V : LPtr(z*, А, ц) = minLPir(z, A, //)}.
z£V
Можно показать, что в случае выпуклого функционала цели справедлива следующая регуляризованная теорема Куна-Таккера.
Теорема 5. Пусть f : V R1 — непрерывный выпуклый функционал и ß(p,r) < + -f-оо. Если субдифференциал dß(p,r) ф 0, то найдется пара двойственных переменных (А,/х) G Н х R™ такая, что
(A,/i) 6 а^тах{УР)Г(А',^') : (A',//') G Я х Я™},
е ßi{gi(z*tr) — г*) = 0, г = 1,... ,771,
где Zpir G r — произвольный элемент.
Наоборот, если найдется такая пара (А,^) G Я х Я™, что для некоторого элемента z[A,/z] G Z[A,/x] выполняются соотношения
z[\,n\ G Х>р)Г, /i*te(^[A,/i]) - и) = 0, г = 1,... ,т,
то
z[\,fi] G Zpr, (A,/i) G argmax{Vp)r(A',//) : (A',/Z) G Я x Я™}.
Если субдифференциал dß(p,r) = 0, 7720 найдется последовательность двойственных переменных (\к,цк) G Я х Я™, /г = 1,2,... , такая, что для некоторых элементов z[\k,ßh)€Z[\h,ßk] выполняются соотношения
Ьр,г(г[Ак,/],А‘,/) = Кр,г(А*,^)-+ sup КР,Г(А'У),
(А'.мОеЯхДГр
z[\k,p,k] G ек —> О, ^[А^,/^] -> z*r G £р)Г слабо в Z, к —У оо,
((А*, Л (^[Afc, /х*] ~h-p, 0(z[A*, //]) - r)> ^ 0.
Наоборот, если найдется такая последовательность двойственных переменных (\к,цк) G G Я х Я™, А: = 1,2,... , что для некоторых элементов ^[А*, ßk] е Z[\k,nk] выполняются соотношения
^,г(А*,/х*) -> sup 7p>r(А',//),
i:[Afc,/]G^r, e*->0, /с ->oo, ((Afc,//), (Az[Xk,fik] - h - p,g(z[\k,цк]) - r)> ^ 0,
то любая слабая предельная точка последовательности z[\k,iik], k = 1,2,... , является решением задачи (Рр,г) •
«Склейка» обеих частей теоремы 5 в одно утверждение приводит к следующему более «компактному» варианту теоремы. При этом, как и выше, теорема формулируется только в терминах МПР и в ее формулировке отсутствует условие ß{p,r) < +00.
Теоремаб. Пусть / : Т> —> R1 — непрерывный выпуклый функционал. Для того, чтобы существовало МПР в задаче (РР)Г) ( и, значит, одновременно любая его слабая предельная точка принадлежала множеству Z* r ), необходимо и достаточно, чтобы существовала последовательность двойственных переменных (Лk,fik) £ Н х R™ , k = 1,2,... , такая, что для некоторых элементов z[Хк,цк] Е Z[\k,(j,k] выполняются соотношения
Lp,r(z[^k, Цк], \к, р,к) = Vp,r{\k,iik) -> sup Fp,r(A,M),
(А,/х)€ЯхЯ™
z[\k,»k)ev£r, ек -> О, к -> 00, ((\k^k),(Az[\k^k}-h-p,9(z[Xk^k])-r))^0.
При этом последовательность z[\k,[ik], к = 1,2,... , является искомым МПР, а любая ее слабая предельная точка — решением задачи (РР)Г) •
ЛИТЕРАТУРА
1. Алексеев В.М., Тихомиров В.М., Фомин С.В. Оптимальное управление. М.: Наука, 1979.
2. Сухарев А.Г., Тимохов А.В., Федоров В.В. Курс методов оптимизации. М.: Наука, 1986.
3. Васильев Ф.П. Методы оптимизации. М.: Факториал Пресс, 2002.
4. Мину М. Математическое программирование. Теория и алгоритмы. М.: Наука, 1990.
5. Сумин М.И. Оптимальное управление параболическими уравнениями: двойственные численные методы, регуляризация. В кн. «Распределенные системы: оптимизация и приложения в экономике и науках об окружающей среде. Сб. докладов к Международной конференции (Екатеринбург, 30 мая - 2 июня 2000 г.)», 2000, Екатеринбург: Изд-во Ин-та математики и механики УрО РАН. 2000. С.66-69.
6. Сумин М.И. Регуляризованный градиентный двойственный метод решения обратной задачи финального наблюдения для параболического уравнения // Ж. вычисл. матем. и матем. физ., 2004. Т. 44. № 11. С. 2001-2019.
7. Сумин М.И. Регуляризация в линейно выпуклой задаче математического программирования на основе теории двойственности // Ж. вычисл. матем. и матем. физ., 2007. Т. 47. JY8 4. С. 602-625.
8. Сумин М. И. Метод возмущений и двойственная регуляризация в линейно выпуклой задаче математического программирования //В кн. «Проблемы динамического управления. Сборник научных трудов факультета ВМиК МГУ им. М.В. Ломоносова / Под редакцией Ю.С. Осипова, А.В. Кряжимского». Выпуск 3. 2008. М.: Издательский отдел факультета ВМиК МГУ, С.200-231.
9. Сумин М.И. Некорректные задачи и методы их решения. Материалы к лекциям для студентов старших курсов: Учебное пособие. Нижний Новгород: Издательство Нижегородского госуниверси-тета, 2009.
10. Sumin МЛ. Parametric Dual Regularization in a Linear-Convex Mathematical Programming. In book «Computational Optimization: New Research Developments». Chapter 10. New-York: Nova Science Publishers Inc., 2010. P.265-311.
11. Сумин М.И. Параметрическая двойственная регуляризация в оптимизации, оптимальном управлении и обратных задачах // Вестник Тамбовского университета. Сер. Естественные и технические науки, 2010. Т.15. Вып. 1. С. 467-492.
12. Обен Ж.-П., Экланд И. Прикладной нелинейный анализ. М.: Мир, 1988.
13. Обен Ж.-П. Нелинейный анализ и его экономические приложения. М.: Мир, 1988.
14. Loewen P.D. Optimal Control via Nonsmooth Analysis. CRM Proceedings and Lecture Notes, vol. 2. Amer. Math. Soc., Providence, RI, 1993.
15. Тихонов A.H., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1986.
БЛАГОДАРНОСТИ: Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проект 09-01-97019-р_поволжье_а), аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы (2009-2010 годы)» Минобрнауки РФ (проект 2.1.1/3927) и Федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы (проект НК-13П-13).
Поступила в редакцию 10 ноября 2010 г.
Sumin М. Parametric dual regularization and Kuhn-Tucker theorem. The article is devoted to formulation and proving so-called regularized Kuhn-Tucker theorem for a parametric problem of convex programming in Hilbert space in case of strongly convex target functional on the basis the dual regularization method. This theorem represents the statement in terms of minimizing sequences about possibility of approximation of the solution of convex programming problem by minimizers of regular (with equal to unit of the Lagrange multiplier corresponding to target functional) Lagrange functions without any assumptions about regularity of the optimization problem. Connection of this statement with differential properties of the value function 5 -function) is established. As a special case the theorem statement contains the statement of classical Kuhn-Tucker theorem. A variant of the regularized Kuhn-Tucker theorem in the case of convex target functional is considered.
Key words: convex programming, Lagrange principle, Kuhn-Tucker theorem, parametric problem, minimizing sequence, duality, regularization, perturbation method.
Сумин Михаил Иосифович, Нижегородский государственный университет им. Н.И. Лобачевского, г. Нижний Новгород, доктор физико-математических наук, профессор, заведующий кафедрой теории функций, e-mail: [email protected]
УДК 517.9
ВЗАИМОСВЯЗЬ ПОНЯТИЙ РЕШЕНИЕ И 6 -РЕШЕНИЕ В ДВУХТОЧЕЧНОЙ ЗАДАЧЕ ДЛЯ ФУНКЦИОНАЛЬНО-ДИФФЕРЕНЦИАЛЬНОГО ВКЛЮЧЕНИЯ (с) Л. И. Ткач
Ключевые слова: 6 -решение, функционально-дифференциальное включение.
В работе на основе понятия ¿-решение исследуется структура множества решений двухточечной задачи для функционально-дифференциального включения.
Рассмотрим задачу
х(Ь) е Р{Ь,х(Ъ)), *е[а,Ь], (1)
х(а) 6 А, х(Ь) € В,
где отображение Р : [а, Ь] х Яп -> сотр[Яп], А,Ве сотр[Яп] — заданные непустые компактные подмножества пространства Яп.
Под решением задачи (1) понимается абсолютно непрерывная функция х : [а, 6] —> Яп, удовлетворяющая при почти всех £ е [а, Ь] дифференциальному включению в задаче (1) и включениям гс(а) € А, х(Ь) Е В.
