CC BY
0
V- 1ша|■■■■ О
Серия «Математика»
2023. Т. 46. С. 66—84
Онлайн-доступ к журналу: http://mathizv.isu.ru
Научная статья
УДК 517.977 МЯО 49Л20
БОТ https://doi.org/10.26516/1997-7670.2023.46.66
Принцип максимума Понтрягина и непрямой метод спуска в задаче оптимального импульсного управления нелокальным уравнением переноса
М. В. Старицынш, Н. И. Погодаев1, Е.В.Гончарова1
1 Институт динамики систем и теории управления им. В. М. Матросова СО РАН, Иркутск, Российская Федерация И [email protected]
Аннотация. Рассматривается вырожденная задача оптимального управления нелокальным транспортным уравнением на пространстве вероятностных мер, в которой зависимость векторного поля от переменной управления в определенном смысле эквивалентна аффинной, а множество управляющих воздействий ограничено лишь интегрально (не ограничено по норме). Показано, что поставленная задача допускает импульсно-траекторное расширение в терминах так называемой разрывной замены времени. Это расширение дает корректную постановку «ослабленной» вариационной задачи в классе управлений, ограниченных как в поточечном, так и в интегральном смысле. Для ослабленной задачи получен принцип максимума Понтрягина в форме, новой для теории управления в среднем поле, с выделенной сопряженной системой линейных законов баланса на пространстве знакопеременных мер. В отличие от канонической формулировки принципа максимума Понтрягина в терминах гамильтонова уравнения на кокасательном расслоении фазового пространства, решение которого всегда сингулярно, полученный результат допускает интерпретацию в терминах плотности соответствующих распределений и позволяет сформулировать непрямой метод последовательных приближений «градиентного» типа. Представлена одна из реализаций такого метода — алгоритм наискорейшего спуска в классе слабых вариаций управления с внутренней процедурой линейного поиска по множителю Лагранжа, отвечающему интегральному ограничению на управление. Показано, что алгоритм сходится с точностью до подпоследовательности к экстремальному процессу.
Ключевые слова: нелокальное уравнение неразрывности, оптимальное управление, импульсное управление, принцип максимума Понтрягина, алгоритм спуска
Благодарности: Исследование выполнено за счет гранта Российского научного фонда № 23-21-00161, https://rscf.ru/project/23-21-00161/.
Ссылка для цитирования: СтарицынМ. В., ПогодаевН. И., ГончароваЕ. В. Принцип максимума Понтрягина и непрямой алгоритм спуска в задаче оптимального импульсного управления нелокальным уравнением переноса // Известия Иркутского государственного университета. Серия Математика. 2023. Т. 46. C. 66-84. https://doi.org/10.26516/1997-7670.2023.46.66
Research article
Pontryagin's Maximum Principle and Indirect Descent Method for Optimal Impulsive Control of Nonlocal Transport Equation
Maksim V. StaritsynlH, Nikolay I. Pogodaev1, Elena V. Goncharova1
1 Matrosov Institute for System Dynamics and Control Theory of SB RAS, Irkutsk, Russian Federation И [email protected]
Abstract. We study a singular problem of optimal control of a nonlocal transport equation in the space of probability measures, in which the structure of the drivng vector field with respect to the control variable is somewhat equivalent to the affine one, while the set of controls is norm-unbounded and constrained in the integral sense only. We show that the problem at hand admits an impulse-trajectory relaxation in terms of discontinuous time reparameterization. This relaxation provides a correct statement of the variational problem in the class of control inputs constrained in both pointwise and integral senses. For the relaxed problem, we derive a new form of the Pontryagin's maximum principle (PMP) with a separate adjoint system of linear balance laws on the space of signed measures. In contrast to the canonical formulation of the PMP in terms of the Hamiltonian equation on the cotangent bundle of the state space, our form allows one to formulate an indirect descent method for optimal impulsive control analogous to classical gradient descent. We expose a version of this method, namely, an algorithm of the steepest descent with an internal line search of the Lagrange multiplier associated with the integral bound on control. The algorithm is proven to monotonically converge to a PMP-extremal up to a subsequence.
Keywords: nonlocal continuity equation, optimal control, impulsive control, Pontrya-gin's maximum principle, numerical algorithms
Acknowledgements: The study was financially supported by the Russian Science Foundation, grant no. 23-21-00161, https://rscf.ru/project/23-21-00161/.
For citation: StaritsynM. V., Pogodaev N. I., Goncharova E. V. Pontryagin's Maximum Principle and Indirect Descent Method for Optimal Impulsive Control of Nonlocal Transport Equation. The Bulletin of Irkutsk State University. Series Mathematics, 2023, vol. 46, pp. 66-84. (in Russian) https://doi.org/10.26516/1997-7670.2023.46.66
1. Введение
Статья продолжает [12] и посвящена методам решения одного класса вырожденных задач оптимального управления нелокальным транспортным уравнением (уравнением неразрывности, уравнением переноса) — формальным гиперболическим уравнением в частных производных первого порядка — на пространстве вероятностей. Такие уравнения описывают эволюцию вероятностного распределения (меры) под действием векторного поля, которое зависит от самого распределения, вообще говоря, на всем пространстве (что и характеризует эпитет «нелокальное»). Данный класс динамических систем оказался удобен для описания движения больших ансамблей взаимосвязанных структурно идентичных объектов как предельная при стремлении числа агентов к бесконечности, «макроскопическая» модель ансамбля. Зародившись в статистической механике [16; 17], сегодня этот подход стал императивом моделирования коллективного поведения в различных областях приложений — от математической биологии до искусственного интеллекта [6; 10; 13; 15; 25; 29; 31].
В то же время даже в невырожденном случае известные вариационные методы исследования подобных задач, такие как принцип максимума Понтрягина (ПМП) [3-5;7;13;26] и метод динамического программирования [2; 11;22], оказываются неприменимы для анализа уже простейших содержательных моделей, а подходы к численному решению, в сущности, ограничиваются двумя: 1) аппроксимация начального распределения дискретной мерой и преобразование распределенной управляемой системы к системе обыкновенных дифференциальных уравнений большой размерности; 2) прямой метод — полная дискретизация нелокального уравнения и сведение вариационной задачи к задаче математического программирования. Оба указанных подхода предполагают решение невыпуклых задач оптимизации и наталкиваются на «проклятие размерности»; как следствие, результат их применения, зачастую оказывается неудовлетворительным.
Библиография по вырожденным (импульсным) задачам управления нелокальными уравнениями переноса, по-видимому, исчерпывается работой [26], основной результат которой — необходимое условие оптимальности в форме ПМП. Как и в классических постановках, этот результат мог бы стать основой непрямого численного метода, свободного от указанных выше недостатков, если бы не одна принципиальная трудность: роль гамильтоновой системы в упомянутом ПМП играет нелокальное транспортное уравнение на кокасательном расслоении фазового пространства. Это уравнение не разделяется естественным образом на привычные прямую и двойственную подсистемы, а его решение всегда сингулярно, и, значит, не приближается стандартными сеточными алгоритмами численного интегрирования.
В настоящей статье мы преодолеем указанную трудность, выделив сопряженную часть гамильтонового уравнения, которой окажется система линейных нелокальных уравнений баланса в пространстве знакопеременных мер. Это позволит сформулировать (первый в известной нам литературе) непрямой численный метод импульсного управления в пространстве вероятностей — аналог процедуры градиентного спуска.
2. Вырожденная задача оптимального управления
Исследуется задача оптимального управления нелокальным уравнением неразрывности, в которой роль фазовых состояний в момент времени t играют вероятностные меры ßt, сосредоточенные на компактных подмножествах евклидова пространства Rra. Множество Vc(Rn) всех таких мер будем рассматривать как (плотное) подмножество (полного сепарабельного) метрического пространства (Vi(Rn),W\) вероятностных мер, обладающих конечным первым моментом mi(ß) = f |х| dß(x), с ^-метрикой Канторовича (Васерштейна) W1 [1]; здесь и далее опускаем область интегрирования, если последняя совпадает с Rra.
Задача имеет стандартную форму Майера:
l(ßT) ^ inf при ограничениях (2.1)
dßt + V^ ■ (V (x,ßt,u(t)) ßt) = 0, ßo = 0; te I= [0, T]; (2.2)
и e L^(I;U).
Отображения V: Rra x Vi(Rn) x U ^ Rra и l: Vi(Rn) ^ R, число T > 0, начальное распределение 0 e Vc(Rn) и множество U С Rm заданы; предположения об их структуре и регулярности будут сделаны ниже. В (2.2) символ Vx обозначает оператор градиента по x e Rra, ах -у — скалярное произведение в Rra; ниже используем сокращение {ß,(p} = J <fdß.
Решение краевой задачи (2.2) понимается в смысле распределений: для любых функций ф e Cl(Rn; R) — непрерывно дифференцируемых отображений Rra ^ R с компактным носителем — выполнены соотношения
d
~jt ^ Ф} = ^ VlP ' V(u(t))}
и lim {ßt, ф} = {0, ф}, первое из которых справедливо почти всюду (п. в.) t^o
на I с точки зрения линейной меры Лебега (далее подобное уточнение имеется в виду всякий раз, когда речь идет об измеримой функции на интервале; меру Лебега на Rra обозначим символом Сп).
Класс управляющих воздействий U образован измеримыми функциями и: I ^ Rm со значениями в U. Управления считаются «программными», т. е. не зависят от позиции х и текущего распределения
это относит (Р) к типу так называемых задач управления ансамблем траекторий (в данном контексте функции вида и = и(Ь, х) называют управлениями средним полем, а и = и[ц\ — позиционными воздействиями).
Нас интересует случай, когда множество {V(х,у,ь)1 V € и} «скоростей» управляемой системы не ограничено при некоторых (х, ц) € Кга х Т\ (Кга). Типичный пример такой ситуации рассмотрен в [26]:
т
V(х,»,ь) = Мх) + £/з(х)ь3 + (К * р)(х), и = , (2.3) з=1
где К * у означает свёртку меры с заданным потенциалом К: Кга ^ Кга. Поскольку V(-,у) = как только = 0 для некоторого ],
задача (Р) может не иметь решения в классе Ы: кривые , отвечающие минимизирующей последовательности управлений (ик), стремятся к разрывной функции, т. е. (/лк) не имеет предела в пространстве С(I, ^(К"")) непрерывных отображений I ^ ^(К""). Однако если ввести дополнительное ограничение на «ресурс» управления ;кт) = И или ||и|ь1(/;кт) < И, где И > 0 фиксировано, предел (в подходящем смысле) существует в пространстве ВУ(I; V(Кга)) функций ограниченной вариации. Включение таких пределов в класс допустимых траекторий называют импульсно-траекторным расширением управляемой системы. Переход к указанному расширению соответствует определенной релаксации задачи (Р). Ослабленная постановка допускает конструктивное представление в терминах так называемой разрывной замены времени [24], а искомый минимум в ней достигается (т.е. она является корректной).
Рассмотрим естественное обобщение модели (2.3): пусть
V(х,^,у) = + £ ¡з(х) д3(у), (2.4)
а допустимыми считаются управления
и €Ы = ^и € Ь^(1; и): ^^ о и)(*)| <Ц = и} . (2.5)
Здесь и далее опустим индекс ] суммирования по множеству {1,... ,1}; отображения /0: Кга х Г1(Кп) ^ Кга, }): Кга ^ Кга и д3: Кт ^ К, ] = 1,... ,1, заданы и удовлетворяют предположениям (А) ниже.
Символ Ще обозначает классическое пространство Лебега Ь^ = (Ь1)* измеримых существенно ограниченных функций, наделенное слабой* топологией а(Ь^, Ь{) двойственности к пространству ¿1 функций, суммируемых на соответствующем отрезке. Сходимость направленности (ип) в этом пространстве эквивалентна «поточечной» сходимости на элементах Р1: и" ^ и в Ь^ & /7 ип(р (И ^ /7 и^ЛЪ для каждого <р € Ь1.
Поскольку С Ь\, то направленность, сходящаяся в Ь^, имеет тот же предел в (более привычной для задач управления) слабой топологии а(Ь1,Ь^) пространства Ь1. Некоторые свойства пространства Ь^ обсуждаются (и используются) в доказательствах теорем 1 и 2 (§3).
Предположения (А):
( Л1) Целевой функционал I непрерывен как ('Р1(Кп), ^ К.
(А2) Найдется константа С > 0 такая, что для всех х € Кп и ц € Тс(Кп) выполнено неравенство |f0(х,ц)| + ^ |^(х)| < С (1 + |х| + т1(ц)) (условие не более чем линейного роста).
Для любого компактного подмножества К С Кп отыщется константа Ък > 0 такая, что для всех х,х' € К и ц, ц' € Тс(К) справедливы неравенства |/о(х,ц) - /о(х',ц)| + ^ |(х) - ^(х')| < Ък |х - х'| и |/0(х,ц) — /о(х,ц')| < Ък №1(ц, ц') (локальные условия Липшица).
( Аз) Множество и = 0 и функции д^, ] = 1,..., I, отвечают следующим требованиям: д^ непрерывны на и, и выполнено условие «коэрцитивности» (0, С (^ |д^|) ( и) = |д^(V): V € и}.
Таким образом, исследуемая (вырожденная) задача оптимального управления (Р) состоит в минимизации функционала (2.1) при условиях (2.2), (2.4), (2.5) в предположениях (А).
3. Преобразование задачи. Релаксация
Сделаем в системе (2.2) замену переменной £ = ), где функция £ = £[и]: 7 = [0, Я = Т + И,] ^ I определена как обратная к
I ^ Н(*) = Н[и](*) = г + ^ Г О и)(0| (к, (3.1)
о
Поскольку 2 строго возрастает и абсолютно непрерывна на I, £ существует и обладает теми же свойствами на ■]. Замена времени дает ( [1, лемма 2.7]) новую параметризацию кривой ц: = где и суть решение уравнения
д31У3 + ■ (V (х, ъ^ф) =0, щ = •&•, 8 €7, (3.2)
с нелокальным векторным полем У"(х, ц, w) = w0 /0(х, ц) + ^ (х) Wj и измеримым по Борелю управлением
w[u] = (wо, W1,..., Wг)[и] = (11+ь_ ., ш) о и О {[и], (3.3)
1 + 19 j|
и — измеримая по Борелю модификация и.1 Заметим, что 'о(з) = 5= ) е (0, !), 'о + ^ |'к| = 1 (' содержится в единичном
полушаре в октаэдрической норме | ■ |1), и
{(Я) = ^ 'о^&в = Т. (3.4)
Введем следующие обозначения:
Ш = соg(U), g(U) = [ф) :ь еи} С К+1, Е(ь) = (1,,
где под со понимается замыкание выпуклой оболочки множества. Рассмотрим класс управляющих воздействий № = (.; Ш) и его сужение
= = ('о, ...,'г) : J 'о(в) йв = т|
(3.5)
Заметим, что ^ компактно в по теореме Банаха - Алаоглу. Его подмножество ИТ С №, очевидно, замкнуто как прообраз точки при
непрерывном отображении ' ^ J 'о йв, ^ К и, значит, тоже компактно. ^
Управляемую систему (3.2), (3.5) будем называть преобразованной.
Замечание 1. Известно [26, теорема 3.1], что в предположениях (А) решение V = V[';$] задачи Коши (3.2) существует и единственно на всем . при любых ' е ^ и $ е Тс(К"). Более того, поскольку поле у линейно по ад, а множество Ш выпукло, оператор (',$) ^ v[w; $] непрерывен как функция Ш) х ^(Г1) ^ С(/; ^(К1)), где С оснащено обычной равномерной нормой У ■ Наконец, поскольку $ е Рс(Кга), все меры vs[w;$], при ее (0, Я] и ' е №, имеют компактный носитель и сосредоточены в замкнутом шаре , радиус которого зависит только от С (константа в предположении (А1)), Т и $ [26, лемма А.2].
Если ' = '[и], и е и, и V = v[w] — соответствующее решение (3.2), то обратная замена переменной в = £-1(£) = 2(£) позволяет вернуться в исходную временную шкалу (в термины кривой у = у [и]): ^ = Параметризацию £: . ^ I можно определить для всех
' е Wт (не только вида (3.3)): £(з) = '0(я) йя, в е .. При этом, как только 'о (в) = ч , ^ / ч 1 =0 на множестве положительной
меры С1, £ = {['о] уже не является строго возрастающей, и ее обратная 2 = £-1 не определена. Рассмотрим псевдообратную к £:
1 Далее переход к борелевской модификации измеримой по Лебегу функции подразумевается всюду, где это необходимо для измеримости композиции.
^(i) = inf {s £ J : £(s) > t}, t £ [0, T), ^(T) = S. Эта функция непрерывна справа на [0, T) и имеет на I ограниченную вариацию (другие её свойства обсуждаются в [24, лемма 2.4]).
Ниже Jit- обозначает предел слева в точке t £ I кривой Д, продолженной на интервал [—е, T], е > 0, постоянным значением До.
Теорема 1. Пусть (uk) С U — некоторая последовательность управлений, а (ßk = ß[uk]) — соответствующая ей последовательность решений задачи Коши (2.2). Определим процессы (uk = v[wk},wk = w[uk]) условиями (3.2), (3.3) при и = uk. Справедливы следующие утверждения:
1) Существует подпоследовательность (¡ikq ,ukq ,wkq) С (ßk,uk,wk), сходящаяся к некоторому пределу (ß, и, w) в топологии произведения пространств BV(I; Pi(Rra)) х С(J; Pi(Rra)) х L^(J; R+1), где BV(I; Pi(Rn)) оснащено топологией поточечной сходимости.
2) Любой частичный предел (v,w) последовательности (uk,wk) удовлетворяет условиям (3.2), (3.5).
3) Пусть Д — непрерывная справа на [0, T) модификация д, такая, что До- = Тогда кривые Д, v связаны равенством
ßt = ^(t) Vt £ I.
Доказательство. 1,2) Существование подпоследовательности (wkq) со свойством wkq ^ w в множестве Wt является следствием компактности последнего и того факта, что слабая* топология a(L^,Li) метризуема [8, теорема 3.28] на единичном шаре пространства L^, сопряженного к сепарабельному [8, теорема 4.13] нормированному пространству L1, а значит компактность Wt эквивалентна секвенциальной компактности. Сходимость ukq = v[wkq] ^ u[w] = и имеет место в силу непрерывности оператора w ^ v[w] (замечание 1).
Существование искомой (¡ikq) (с переходом к дальнейшей подпоследовательности) вытекает из теоремы Хелли для отображений, принимающих значения в полном метрическом пространстве [18, с. 162].
Доказательство утверждения 3) воспроизводит обоснование аналогичного результата [26, теорема 3.7]. □
Рассмотрим задачу
( RP) J[w] = l(vs[w}) ^ min, v[w] — решение (3.2), w £ WT.
Ввиду компактности множества Wt и (уже обсуждавшейся) непрерывности оператора w ^ v[w] композиция w ^ l(fs[w]) есть непрерывная функция (Wt, a(L^,Li)) ^ R и, значит, достигает минимума на Wt по теореме Вейерштрасса. Таким образом, задача ( RP) имеет решение.
Пусть (uk) CW — минимизирующая последовательность управлений
в задаче (Р), и wk = w[uk]; по построению, wk £ WT для всех к.
Из равенств l(ßT[uk]) = l(v^~iywk](T)[wk]) = l(us[wk]) следует оценка:
inf l(ßT [u]) > min l(^s[w]) (в частности, величина в левой части нера-иШ w£WT
венства конечна). Покажем, что в последнем случае имеет место точное равенство, т.е. ( RP) является релаксацией (Р).
Теорема 2. Выполнено равенство
inf(P) = inf l(ßT[u}) = min l(z/s[w]) = min( RP). и&Л w£WT
Доказательство. Необходимо показать, что элементы множества Wt приближаются в L^ функциями w[u], и £U.
1. Определим (постоянные) многозначные отображения G(s ) = g( U) и co G(s ) = co g( U), s £ J. Введем следующее обозначение: 5*1 есть множество всех Li селекторов многозначного отображения F. Положим Wu = 5g; кроме того, заметим, что по определению W = S1G.
Поскольку график многозначного отображения G измерим, слабое замыкание множества SG совпадает с S1G [21, утверждение 6.4.19], т.е. W = clwWu, где clw обозначает замыкание в топологии a(Li, L^).
2. Рассмотрим теперь пересечения множеств W и Wu с замкнутым
множеством Нт = £ Ь\ : у = Т . Нам нужно установить
равенство
е1шПНт) = ^ПНт. (3.6)
Включение е1ад(№и П Нт) С ^П Нт вытекает из свойств замыкания. Докажем обратное включение.
3. Начнем со вспомогательного утверждения. Пусть и> £ И^и удовлетворяет равенству |(.§) (1з — Т| = е для некоторого е. Тогда существует и> £ И^и такое, что / г^о(^) ds = Т и ||-ш — й]\\ь1 < 4.
Положим V = д(и) и заметим, что = (1, у(в)) (1 + ^ I(5)|)-1 для некоторой измеримой функции V: 3 ^ V. Предположим для определенности, что (в) ds = = Т + е. Выберем множество 3е С 3 наибольшей меры Лебега со свойством
Г * = Т- £.
Jje 1 + Е I Vj (s Далее найдем такое v £ V, что
Г ds Ci(J \J£)
eJ = е.
Мл 1 + Е N 1 + Е N
В силу предположения ( это возможно, если С1(3 \ 3е) > е. Однако последнее выполнено заведомо, ведь 2е = ^^ .(8)| < С1(3 \ 3е).
Вычислим верхнюю оценку для С1(■]\ J£). Очевидно, что ■]\.]£ имеет максимальную меру при постоянном V, т. е. 1 + ^ |Vj | = с. Тогда т+я =
Т—е, а значит, 2се = Т + И—С1 (J£) = С1 ( J\ J£). С другой
Т+е и
Л) _
стороны, имеем Положим
=
и вычислим
_ т+я
Т+£ < т+я. Следовательно, 2т+Гяе > С1( J \ J£).
{
v(s),
V,
8 €
S€J \Je
■ (в) =
(М(д))
1 + £ (5)1
\\ш —Ь}\\ь1 = |ш(«) — ■(,в)1 = / — ■(,в)1 й,в
<
(Щв)| + |гу(в)|) йв < 2С1(J \.1£) < 4
Т + И Т
.
Остается заметить, что /.гдо(,9) й,в = Т по построению.
4. Докажем теперь вторую часть равенства (3.6). Предположим, что ■ € ^ П Нт с №, и (шк) (I — аппроксимирующая его последовательность. Положим ек = |fJwкds — Т|. Ясно, что ек ^ 0. Согласно предыдущему шагу существует последовательность (Шк) с П Нт такая, что \\ш к — Шк\\ь1 < 4(Т + И)Т-1 ек. Поскольку оценки
J (■ — Шк) ■ ф
<
<
J (■ — шк) ■ фйв J (■ — шк) ■ фйв
+ \\шк — Шк\\Ь1 + 4(Т + И)Т-1 ек
выполнены для любой ф € заключаем, что Шк ^ ■ в а(Ь1, Ь
5. Покажем, что в равенстве (3.6) можно заменить е1ад на замыкание в топологии а(Ь^, Ь1). Действительно, каждая последовательность
(■к) С сходящаяся в а(Ь^, Ь1), сходится в а(Ь1,Ь^) к тому же пределу. Следовательно, ^ П Нт = е1ад (№и П Нт) э е1ад*(^и П Нт). Докажем обратное включение. Пусть ■ € № П Нт, (шк) С ^и П Нт и ■к ^ ■ в а(Ь1,Ь^). Поскольку ^ П Нт компактно в а(Ь^, Ь1), найдется сходящаяся в а(Ь^,Ь1) подпоследовательность . Ее предел, очевидно, равен и потому ■ € е1ад*(Ии П Нт).
6. Проверим, что каждое ■ € И^и П Нт допускает представление ■ = ■[«], где и € Ы и отображение и ^ ■ задано формулой (3.3).
Пусть ■ € И^и П Нт. Согласно одному из вариантов леммы Филиппова [23, теорема 1], любое ■ € И^и можно представить в виде ■ = § о у, где V: J ^ и — некоторая измеримая функция. Переходя к борелевской модификации последней, положим и = V о 2, где 2: определено
формулой (3.1); напомним также обозначение £ = 2-1. В силу (3.3) достаточно показать, что и удовлетворяет (2.5). В самом деле, включение
ь
оо
ь
оо
и £ Ь^(Г, и) очевидно, кроме того,
Т + И,= / |w|1ds = о и = ou|1dS(í)
УJ ./J .'1
= /(1 + Е 1& ои|) dt = Т + £ £ ^ ои|Й.
7. Ввиду предыдущего шага для любого м £ И^и П Нт найдется и £ и такое, что цт[и] = ^[м]. Теперь утверждение теоремы вытекает из непрерывности м ^ [м] в Ц^ и равенства = е1ад*(^иПНт). □
Задача ( КР) ставится в терминах преобразованной системы в «расширенной» временной шкале 3. После обратного преобразования 8 = ) кривая £ ^ ц = может стать разрывной; ее скачки принято
интерпретировать как результат «шоковых» воздействий дираковского типа — импульсов. Как и в классическом случае [20; 24], импульсные воздействия на распределенную систему (2.2) можно определить в терминах векторной меры Лебега - Стилтьеса и( (И) с функцией распределения Я(£) = /д (4) (з, £ £ I, некоторой мажоранты ее полной вариации и дополнительных измеримых управлений, отражающих способ аппроксимации дискретной меры абсолютно непрерывными. Подобная расшифровка представлена в [26]. Ее результатом является импульсно-траекторное расширение ( Р) — задача импульсного управления в пространстве вероятностей, которая ставится на решениях «нелокального уравнения неразрывности с мерами», и эквивалентна ( КР). На практике для поиска оптимального импульсного режима удобнее решать конвенциональную задачу ( КР), применяя сингулярное преобразование 8 = уже к найденному (приближенно) оптимальному процессу.
4. Принцип максимума в преобразованной задаче 4.1. гамильтонова система. каноническая форма пмп
Напомним формулировку ПМП в задаче ( КР). Нам понадобится понятие внутренней производной (производной вдоль векторного поля) функционала от вероятностной меры [9]. Начнем с обозначений: Р^ц = ц о Р-1 — образ ц под действием измеримого по Борелю векторного поля Р: Кга ^ Кга, id — тождественное отображение Кга ^ Кга и Ц2 (ц) — пространство ^-интегрируемых с квадратом векторных полей Кга ^ Кга со скалярным произведением (д) ^ = / / ■ д (ц. Внутренняя производная функционала I: Рс(Кга) ^ К в точке ц есть векторное поле
d
О^(р) £ Ц2(ц) такое, что равенство — I (^ +е/)дц) = (0^£(ц), /
(Е е=0
выполнено для всех f £ ¿2(ц).2
2 Легко видеть, что внутренняя производная (если она определена в точке) единственна, поскольку разность двух производных ортогональна всему Ь2(у).
Скажем, что функционал I: 'Рс(Кп) ^ К непрерывно дифференцируем, если отображение : Рс(Кп) х Кп ^ Кп определено, непрерывно и, кроме того, для каждого ц € Тс(Кп), лежит в наименьшем
замкнутом подпространстве3 Ь2(/л), содержащем градиентные векторные поля V <р, <р € С^К""; К). Отметим, что большинство возникающих в приложениях функционалов непрерывно дифференцируемы.
Теорема 3. Пусть выполнены условия ( А), кроме того:
— § € Гс(Кп);
— функционал I непрерывно дифференцируем; его производная I локально ограничена и локально липшицева 4;
— векторные поля , ] = !,..., I, непрерывно дифференцируемы (покомпонентно) по х и по ц; производные и /0 являются локально липшицевыми и локально ограниченными.
Предположим, допустимый процесс (и,и)) оптимален в ( КР). Тогда найдется множитель Лагранжа X € К, отвечающий ограничению (3.4), и решение ): 3 ^ Тс(К2п) краевой задачи
д3Тз + V(х,p) ■ р2пИ7Пх Ь^гф)] 78) = 0, к^ = ) Vs € 3, (4.1)
^Тэ = — (И ^йз
такое, что выполнено условие %\ (%,г)(в)) = тах%х(%,ш). Здесь функционал Понтрягина % определен равенством
Н\(т,ш) = JJр ■ У(х,п1т,ш) йт(х,р) + Х^о,
■к1,2: К2п ^ Кп, к1(х,р) = х, к2(х, р) =р, есть проекторы на соответствующие копии Кп (фазовое пространство и двойственное к нему), и
32п обозначает симплектическую матрицу ( _1^ * ) размера 2п. Замечание 2. Производная может быть вычислена явно [3; 7]:
ИПх (|)(х,р)= | Р^х^(х, t) + // , Шх)^, ^
У(х, t)
3 Это подпространство называется касательным конусом к пространству вероятностных мер в точке Его основные свойства и связь с геометрической структурой пространства мер подробно обсуждаются в [1].
4 Скажем, что функция Р: "Рс(Рп) х К" ^ Рт локально ограничена (локально липшицева), если ее сужение на любое множество вида V(О) х О, где О С К" — компакт, является ограниченным (липшицевым).
где $ = (7,ш) и | = Щ7,ш).
По аналогии с [26, § 4.1] можно получить оценки на значение множителя Лагранжа Л £ [А_, Л+], где константы Л± зависят от данных задачи (см. также замечание 4 в § 5).
Этот результат (в несколько иной форме) получен в [26] для нелокального векторного поля (2.3) и линейного функционала £(и) = (у,^) с помощью предельного перехода в конечно-агентной модели и принципа Экланда. Для общего С 1-случая его можно вывести из принципа максимума для задач с ограничениями [5], рассмотрев динамику 8 ^ и3 = и3 ® 5^(3) с векторным полем (1,м0) и переформулировав (КР) как задачу управления на ^(К*^1) с терминальным условием Ф(?3) = 0,
где Ф(г7) = / ^(1>(х, £) - Т (см. также [12]).
Практическое применение теоремы 3 наталкивается на принципиальные трудности: во-первых, уравнение (4.1) — аналог гамильтоновой системы классического ПМП — определено на кокасательном расслоении К** х (К**)* ~ К2** фазового пространства, т. е. его необходимо решать численно на пространстве удвоенной размерности (что представляет проблему уже для п = 2). Во-вторых, мера 73 сосредоточена на графике функции р(х) = —х) — множестве нулевой 2п-мерной меры Лебега С2п — и потому всегда сингулярна (не имеет плотности). Этот факт исключает возможность применения стандартных схем численного интегрирования, таких как метод Лакса - Фридрихса [19].
4.2. Сопряженная система. Другая форма пмп
В предыдущих работах по теории принципа максимума для задач управления нелокальными транспортными уравнениями оставался незамеченным следующий факт: поскольку все объекты теоремы 3 линейны по переменной , они могут быть выражены в терминах динамики соответствующих барицентров кривой 7 (= 7; ниже будем опускать черту для упрощения записи) — векторных мер в ^ д3 на Кп, определенных действием на функции <р £ С^(Кп) Кп) по правилу
( да,Ч>) = Jр<р(х) (7з(х, р) = J Е(7^)^(х) dи8(х),
где Е(ц) = /х(ц(х), а 7х — семейство вероятностных мер, получаемое
в результате дезинтегрирования 7 по г/ = ^^7. В самом деле, легко
видеть, что величина Нл (7,ш) совпадет с
/ У(х, V, ш) ■ dе(х) + Аш0 = Ил(и, д, ш), (4.2)
ОПТИМАЛЬНОЕ ИМПУЛЬСНОЕ УПРАВЛЕНИЕ УРАВНЕНИЕМ ПЕРЕНОСА 79 а слабая форма концевого условия в (4.1) эквивалентна равенству
(9б,р) = JJ рр(х)<1, [(1а, -Ои1(ь>я,)\/б] (х,р) = -(ь>ъ,В„1{ръ)1р)
для всех функций р £ С} (К™; К™), или то же в терминах производной Радона - Никодима:
^ = -АД/в). (4.3)
а Ь>б
Остается получить явное описание динамики ^ д3. Для этого достаточно переписать систему (4.1) в распределениях и рассмотреть класс тест-функций ф(х, р) = р ■ р(х), р £ С} (К™; К™). После несложных
преобразований приходим к равенству 0 = J с1дт ОхрУ(^, /8,гу(«)) —
У 0,дт ВхУ(^, /3,«/(«)) р — JJ ад(у)]: В^У(у, /3, г/(в)) рйь,3. Полагая в
нем р(х) = (0,..., рг(х),... 0), где рг обозначает г-ю компоненту вектор-функции р, получим в точности определение слабого решения системы линейных уравнений транспортных с нелокальным источником
д3дг3 + Ух ■ (/ дг3) =
(У т]
Vз — дхН гР8 д33
1 = 1,...,п. (4.4)
Здесь г3(х) = Т3 (х,/3, г/(«)), г/8 = т] (« ,х, у) суть элементы матрицы ВиУз (у ,&3,г(8)) (х), и J т8 ад8 = J т8 (в ,х, у)йд33 (у).
Рассмотрим задачу Коши (4.4), (4.3) (в обратном времени). Как следует из [27, теорема 1], эта задача имеет в предположениях (А) единственное решение в распределениях. Это решение является абсолютно непрерывной кривой . ^ М^К™) в пространстве М™(К™) п-мерных знакопеременных мер на К™" с ограниченным первым моментом (в подходящей слабой топологии).
Систему (4.4), (4.3) назовем сопряженной к (2.2). Представленные соображения приводят к альтернативной формулировке теоремы 3.
Теорема 4. Пусть выполнены условия теоремы 3. Предположим, допустимый процесс (/, г/) оптимален в (ЯР). Тогда найдется X £ К и решение д = . ^ М^К™) системы (4.4), (4.3) такое, что
И л ( /з, /?з,гф)) = тахИл(/3, 9з,ы). (4.5)
шеш
Новая формулировка ПМП имеет важное преимущество: по построению меры д3 обладают плотностью (х) = Е(7Х) относительно /3; если последние абсолютно непрерывны (т. е. если такова начальная мера $ = /о), то абсолютно непрерывны и все /3, в £ .. Следовательно, к сопряженной системе применимы стандартные сеточные методы численного
интегрирования гиперболических уравнений. Кроме того, система (4.4) определена на исходном пространстве Rra. Обычно ее численное решение существенно менее трудоемко по сравнению с (4.1).
Замечание 3. (Линейный случай) Если задача ( RP) «линейна по состоянию», т. е. У не зависит от г/, и £(и) = (v, ф) с некоторой заданной функцией ф G С 1(Rra; R), решение сопряженной системы принимает вид
Ф = дХ1ф о ф S,sïs, г = 1,...,п, (4.6)
где (т,х) ^ фs,T(х), J х Rra ^ Rra, s G J, обозначает поток векторного поля V(-,w), т.е. решение задачи Коши X = V(X,w), X(s) = х.
Когда Ф и ф имеют гладкие плотности, в представленном факте легко убедиться прямой подстановкой в сопряженную систему.
5. Метод спуска
Определим функционал 8: W х R ^ R,
8лМ = / (max Hx(vs[w], ßs[w],u) — Ил (vs[w], ßs[w],w(s))) ds. Jj V^ew )
Величину 8л[w] можно интерпретировать как меру отклонения пары (w, Л) от условий ПМП (ее называют «невязкой принципа максимума»): очевидно, что 8 > 0, и равенство 8л[<л} = 0 эквивалентно утверждению об экстремальности управления w £ W с множителем Лагранжа Л.
Опишем итерацию алгоритма спуска в задаче ( RР), аналогичного методу слабого варьирования [28]. Внешний параметр е > 0 характеризует минимальную допустимую глубину спуска.
Алгоритм (к-я итерация). Дано: wk £ Wt. Найти: wk+1 £ Wt, такое, что J[wk+1] < J[wk].
1. Интегрирование уравнения (3.2) в прямом времени при w = wk.
2. Интегрирование сопряженной системы (4.4) в обратном времени
k
при w = w k.
3. Построение нового управления wk+1: рассмотрим семейство функций Л ^ wk'л £ arg max H(z/k, gk,ш) и найдем Лk из условия JJw^^s) ds
T (замечание 4 ниже). Положим
w« = wk + a(wk^k — wk), ak £ arg min J[w«], wk+1 = w«k.
«€[0,1]
Критерии остановки: 8[wk+1] < e или J[wk+1] — J[wk] < е.
Замечание 4. Одним из этапов алгоритма является подбор параметра Л, обеспечивающего удовлетворение интегрального ограничения (3.4). Для доказательства существования такого значения Л можно использовать стандартные результаты теории многозначных отображений и топологические теоремы о неподвижной точке. Покажем, как установить этот факт в «эталонном» случае [26], когда W = {w : wo +
Wj| < 1, wo > 0}, и компонента wo многозначного отображения argmax{H(u, ß, ш): ш £ W} имеет явный вид (ср. [24, (6.4), с. 248]): Wo(и, ß) = {0} при ((и, ß) > Л, Wo(и, ß) = {1} при ((и, ß) < Л и W>o(и, ß) = [0,1] иначе. Здесь ((и, ß) = maxj |(ß, fj)| - (ß, fo(-, и)).
Действительно, пусть us = us[w] и ßs = ßs[w], s £ J, для некоторого w £ Wt, и wo — борелевский селектор многозначного отображения s ^ w0(us,ßs). Ввиду непрерывности композиции s ^ (s = ((us,ßs), а также монотонности и непрерывности меры Лебега как функции множества, функция Л ^ Л(Л) = ^1({s £ J: (s > Л}) не возрастает (и значит, имеет на J ограниченную вариацию), непрерывна слева, и ее правый предел в точке Л есть Л(Л+) = ^1({s: (s > Л}). Поскольку Л > 0, и Л = S при Л < Л_ = mins^j(s, то либо Л(Л) = T при некотором Л > Л- (что и требуется показать), либо Л «перескакивает» через значение Л = T, т. е. существует Л такое, что Л(Л') > T и Л(Л'+) < T. В последнем случае требуемый результат устанавливается с помощью подходящей модификации wo на множестве {s : (s = Л} лебеговой меры Л( Л) — Л( Л+) (например, wo = 1 на произвольном подмножестве {s : (s = Л} меры T — Л(Л'), и wo = 0 за его пределами).
На практике для поиска параметра Л могут применяться различные алгоритмы оптимизации типа «черного ящика» [14]; подбор параметра а может быть реализован с помощью стандартной схемы поиска с возвратом (см. [12]).
По построению J[wk+1] = min J[wk] < J[wk], т.е. алгоритм 5 по-
ae[o,i]
рождает монотонно убывающую по функционалу последовательность допустимых управляемых процессов. Поскольку числовая последовательность (^[wk]) ограничена снизу (ведь задача ( RP) имеет решение), она сходится. Таким образом, итеративный процесс сходится по функционалу. Можно показать, что (по крайней мере в линейном случае, см. замечание 2) порождаемые алгоритмом пары (wk, Лк) сходятся (с точностью до подпоследовательности) к понтрягинской экстремали.
Теорема 5. Предположим, что задача ( RP) линейна по состоянию, и выполнены условия теоремы 3 (в соответствующей части, см. замечание 3). Пусть (wk,Лк) С Wt х [Л_,Л+] — определяемая алгоритмом 5 последовательность управлений и соответствующих множителей Лагранжа. Тогда lim £Хк [wk] =0, и найдется подпоследовательность (wk, Л,г) 5 (wkq, Лkq) ^ (w, Л) такая, что Е\[w] = 0.
Доказательство теоремы 5 во многом воспроизводит [28, теорема 2.2], опираясь на формулу приращения целевого функционала [30, формула (2.19)], непрерывность отображения
г: (Жт,^.^,^)) х [Х-,Х+] ^ К
и секвенциальную компактность множества И^г в .
6. Заключение
Вопросы практической реализации алгоритма 5 выходят за пределы настоящей статьи и составляют одно из направлений будущих исследований. Как уже отмечалось, подобная реализация должна содержать (эффективную) процедуру поиска по двум скалярным параметрам, а и Л, что наряду с проблемой численного решения системы нелокальных транспортных уравнений делает ее нетривиальной технической задачей.
References
1. Ambrosio L., Gigli N., Savare G. Gradient Flows: In Metric Spaces and in the Space of Probability Measures. Lectures in Mathematics ETH Zurich. Birkhauser, Boston, 2005.
2. Averboukh Y. Viability theorem for deterministic mean field type control systems. Set-Valued Var. Anal., 2018, vol. 26, no. 4, pp. 993-1008. https://doi.org/10. 1007/s11228-018-0479-2
3. Averboukh Y., Khlopin D. Pontryagin maximum principle for the deterministic mean field type optimal control problem via the lagrangian approach, 2022. https: //doi.org/10.48550/arXiv.2207.01892
4. Bongini M., Fornasier M., Rossi F., Solombrino F. Mean-field Pontryagin maximum principle. J. Optim. Theory Appl., 2017, vol. 175, pp. 1-38. https://doi.org/10. 1007/s10957-017-1149-5
5. Bonnet B. A Pontryagin maximum principle in Wasserstein spaces for constrained optimal control problems. ESAIM Control Optim. Calc. Var., 2019, vol. 25, no. 52. https://doi.org/10.1051/cocv/2019044
6. Bonnet B., Cipriani C., Fornasier M., Huang H. A measure theoretical approach to the mean-field maximum principle for training NeurODEs. Nonlinear Anal., 2023, vol. 227, pp. 113-161. https://doi.org/10.1016Zj.na.2022.113161
7. Bonnet B., Frankowska H. Necessary optimality conditions for optimal control problems in Wasserstein spaces. Appl. Math. Optim., 2021, vol. 84, pp. 1281-1330. https://doi.org/10.1007/s00245-021-09772-w
8. Brezis H. Functional analysis, Sobolev spaces and Partial differential equations. Universitext. Springer New York, 2010.
9. Cardaliaguet P., Delarue F., Lasry J.-M., Lions P.-L. The master equation and the convergence problem in mean field games. Ann. Math. Stud., vol. 201, Princeton, NJ, Princeton University Press, 2019.
10. Carrillo J.A., Fornasier M., Toscani G., Vecil F. Particle, kinetic, and hydrodynamic models of swarming. In Mathematical modeling of collective behavior
in socio-economic and life sciences. Birkhauser, Boston, MA, 2010, pp. 297-336. https://doi.org/10.1007/978-0-8176-4946-3_12
11. Cavagnari G., Marigonda A., Nguyen K. T., Priuli F. S. Generalized control systems in the space of probability measures. Set-Valued Var. Anal., 2018, vol. 26, no. 3, pp. 663-691. https://doi.org/10.1007/s11228-017-0414-y
12. Chertovskih R., Pogodaev N., and Staritsyn M. Optimal control of nonlocal continuity equations: numerical solution, 2023. https://doi.org/10.48550/ arXiv.2212.06608
13. Colombo R.M., Herty M., and Mercier M. Control of the continuity equation with a non local flow. ESAIM Control Optim. Calc. Var., 2011, vol. 17, no. 2, pp. 353-379. https://doi.org/10.1051/cocv/2010007
14. Conn A., Scheinberg K., and Vicente L. Introduction to DerivativeFree Optimization. SIAM, 2009. https://epubs.siam.org/doi/book/10.1137/1. 9780898718768
15. Cristiani E., Frasca P., Piccoli B. Effects of anisotropic interactions on the structure of animal groups. Journal of mathematical biology, 2011, vol. 62, pp. 569-88. https: //doi.org/10.1007/s00285-010-0347-7
16. Cucker F., Smale S. Emergent behavior in flocks. IEEE Trans. Autom. Control, 2007, vol. 52, no. 5, 852-862. https://doi.org/10.1109/TAC.2007.895842.
17. Dobrushin R.L. Vlasov equations. Funct. Anal. Its Appl., 1979, vol. 13, pp.115-123. https://doi.org/10.1007/BF01077243
18. Duchon M., Malicky P. A Helly theorem for functions with values in metric spaces. Tatra Mountains Mathematical Publications, 2009, vol. 44, no. 12, pp. 159-168. https://doi.org/10.2478/tatra.v44i0.48
19. Holden H., Risebro N.H. Front tracking for hyperbolic conservation laws. Berlin, Springer, 2015, vol. 152.
20. Karamzin D.Y., de Oliveira V.A., Pereira F.L., Silva G.N. On the properness of an impulsive control extension of dynamic optimization problems. ESAIM Control Optim. Calc. Var., 2015, vol. 21, no. 3, pp. 857-875. https://doi.org/10.1051/ cocv/2014053
21. Kyritsi-Yiallourou S.T., Papageorgiou N.S. Handbook of Applied Analysis, vol. 19 of Advances in Mechanics and Mathematics. Springer US, Boston, MA, 2009.
22. Marigonda A., Quincampoix M. Mayer control problem with probabilistic uncertainty on initial positions. J. Differ. Equ., 2018, vol. 264; no. 5, pp. 3212-3252. https://doi.org/10.1016/j.jde.2017.11.014
23. McShane E.J., Warfield R.B. On Filippov's Implicit Functions Lemma. Proceedings of the American Mathematical Society, 1967, vol. 18, no. 1, pp. 41-47. https: //doi.org/10.2307/2035221
24. Miller B.M., and Rubinovich E.Y. Impulsive control in continuous and discrete-continuous systems. New York, Kluwer Academic/Plenum Publishers, 2003.
25. Piccoli B., Rossi F. Measure-theoretic models for crowd dynamics. In Modeling and Simulation in Science, Engineering and Technology. Springer, Basel, 2018, pp. 137-165. https://doi.org/10.1007/978-3-030-05129-7_6
26. Pogodaev N., Staritsyn M. Impulsive control of nonlocal transport equations. J. Differ. Equ., 2020, vol. 269, no. 4, pp. 3585-3623, https://doi.org/10.1016/j. jde.2020.03.007
27. Pogodaev, N. I., and Staritsyn, M. V. Nonlocal balance equations with parameters in the space of signed measures. Sbornik: Mathematics, vol. 213, no. 1, pp. 69-94. https://doi.org/10.4213/sm9516
28. Srochko V.A. Iterative methods for solving optimal control problems. Moscow, Fizmatlit Publ., 2000. (in Russian)
29. Weinan E., Han J., and Li Q. A mean-field optimal control formulation of deep learning. Res. Math. Sci., 2019, vol. 6. https://doi.org/10.1007/ s40687-018-0172-y
30. Staritsyn M., Pogodaev N. On a class of problems of optimal impulse control for a continuity equation. Trudy Instituta Matematiki i Mekhaniki UrO RAN, 2019, vol. 25, no. 1, pp. 229-244. (in Russian) https://doi.org/10.21538/ 0134-4889-2019-25-1-229-244
31. Staritsyn M.V., Maltugueva N.S., Pogodaev N.I., Sorokin S.P. Impulsive control of systems with network structure describing spread of political influence. The Bulletin of Irkutsk State University. Series Mathematics, 2018, vol. 25, pp. 126-143. (in Russian) https://doi.org/10.26516/1997- 7670.2018.25.126
Об авторах Старицын Максим Владимирович, канд. физ.-мат. наук, вед. науч. сотр., Институт динамики систем и теории управления им. В. М. Матросова СО РАН, Иркутск, 664033, Российская Федерация, [email protected], https://000-0003-3938-3128
Погодаев Николай Ильич, канд.
физ.-мат. наук, вед. науч. сотр., Институт динамики систем и теории управления им. В. М. Матросова СО РАН, Иркутск, 664033, Российская Федерация, [email protected], https://orcid.org/0000-0002-7062-1764
Гончарова Елена Владимировна, канд. физ.-мат. наук, доц., вед. науч. сотр., Институт динамики систем и теории управления им. В. М. Матросова СО РАН, Иркутск, 664033, Российская Федерация, [email protected], https://orcid.org/0000-0002-2371-655X
About the authors Maksim V. Staritsyn, Cand. Sci. (Phys.-Math.), Leading Researcher, Matrosov Institute for System Dynamics and Control Theory SB RAS, Irkutsk, 664033, Russian Federation, [email protected], https://000-0003-3938-3128
Niokolay N. Pogodaev, Cand. Sci. (Phys.-Math.), Leading Researcher, Matrosov Institute for System Dynamics and Control Theory SB RAS, Irkutsk, 664033, Russian Federation, [email protected], https://orcid.org/0000-0002-7062-1764
Elena V. Goncharova, Cand. Sci. (Phys.-Math.), Leading Researcher, Matrosov Institute for System Dynamics and Control Theory SB RAS, Irkutsk, 664033, Russian Federation, [email protected], https://orcid.org/0000-0002-2371-655X
Поступила в 'редакцию / Received 15.08.2023 Поступила после рецензирования / Revised 26.09.2023 Принята к публикации / Accepted 29.09.2023
