Сингулярные характеристики кусочно-гладкого минимаксного решения уравнения Гамильтона-Якоби-Беллмана Текст научной статьи по специальности «Математика»

Известия Института математики и информатики УдГУ

2015. Вып. 2 (46)

УДК 517.977 © А. С. Родин

СИНГУЛЯРНЫЕ ХАРАКТЕРИСТИКИ КУСОЧНО-ГЛАДКОГО МИНИМАКСНОГО РЕШЕНИЯ УРАВНЕНИЯ ГАМИЛЬТОНА-ЯКОБИ-БЕЛЛМАНА1

В данной работе изучаются свойства минимаксного кусочно-гладкого решения уравнения Гамильтона-Якоби-Веллмана. В статье поднимается вопрос о существовании сингулярной характеристики и свойствах решения, связанных с ней.

Ключевые слова: уравнение Гамильтопа-Якоби-Веллмапа, минимаксное решение, множество сингулярности, кусочно-гладкое решение, касательное пространство, условие Ранкипа-Гюгопио, сингулярная характеристика.

Введение

В данной работе изучаются свойства минимаксного кусочно-гладкого решения уравнения Гамильтона-Якоби-Беллмана. Особый упор делается на существовании сингулярной или сингулярных характеристик в решении уравнения Гамильтона-Якоби-Беллмана. Рассматривается гладкий гамильтониан, зависящий либо от одной переменной в, либо от двух переменных ¿ив.

§ 1. Кусочно-гладкое решение уравнения Гамильтона-Якоби-Беллмана и его сингулярное множество

§1.1. Постановка задачи

Рассмотрим краевую задачу Коши для уравнения Гамильтона-Якоби-Беллмана

0, <р(Т,х)=<т(х), (1.1)

от

где ( £ [0, Т], , £ Л", ОМ*, *) ^ ^■.... -

Обозначим Пт = {(¿, х) : £ € [0,Т] ,х € Кп}.

Задача (1.1) рассматривается при следующих предположениях:

(А1) функция Н(¿, х, в) непрерывно дифференцируема по пвременным х,в, вогнута по переменной в;

(А2) функция а(х) непрерывно дифференцируема;

(АЗ) выполнены условия подлинейного роста: существуют такие а > 0 в > 0, что выполняются условия

||Д*Н(¿,х,в)|| < а(1 + ||х|| + ||в||),

||Д,Н(¿,х,в)|| < в(1 + ||х|| + ||в||)

для любой точки (£, х, в) € Пт х Кп. Здесь сим вол ||-|| обозначает евклидову норму конечномерного вектора.

§ 1.2. Обобщенное решение задачи (1.1)

При сделанных предположениях классическое решение задачи (1.1) <^(-) может существовать лишь локально в некоторой окрестности краевого многообразия

Ст = {(¿,х,г) : £ = Т,х = = а(£); £ € Яп} .

Это решение <^(-) может быть построено с помощью метода характеристик Коши [3].

Выпишем характеристическую систему с краевыми условиями при £ = Т для задачи (1.1):

1 Работа выполнена при поддержке РФФИ (проект № 14-01-00168) и программы Президиума РАН «Математические задачи современной теории управления».

со = Д5Ясо), оо = — ДхЯ(¿,х,оО), о = (о:, Д8ЯЯ(1.2)

хо(т,е) = е, о(т,е) = джа(е), о(т,е) = ^(е) ус € кп (1.з)

Символ (■, ■) обозначает скалярное произведение.

Решения ж(-), ОО(-), о(-) задачи (1.1) называются соответственно фазовыми, импульсными, ценовыми характеристиками уравнения Гамильтона-Якоби-Беллмана (1.1).

Заметим, что при выполнении условий А1-АЗ решение характеристической системы существует, единственно и продолжимо на отрезок [0, Т] для С € Кп.

Согласно методу Коши [3] в области П: (Су С П С Пу), при условии, что в П якобиан С)

——— отличен от нуля, справедливы формулы

п х = е), <р(*,ж) = е), = о(£,е).

В дальнейшем будут рассматриваться неклассические, негладкие решения задачи (1.1). При этом воспользуемся одним из полезных инструментов негладкого анализа — следующим обобщением понятия дифференцируемости функции [4].

Определение 1.1. Супердифференциалом функции р(-) : Пу ^ К в точке (¿,х) называется множество

Ншвир ^ ~ ^^ < 0}.

В точках дифференцируемости функции р(-) супердифференциал состоит из единственного элемента — градиента этой функции.

Напомним одно из эквивалентных определений обобщенного (минимаксного/вязкостного) решения задачи (1.1) [1,2].

Определение 1.2. Обобщенным решением задачи (1.1) в полосе Пу называется локаль-но-липшицева супердифференцируемая функция Пу Э (¿, х) ^ р(£, х) € К такая, что для любой точки (¿о,хо) € Пу существует Со € Кп и решения системы (1.2), (1.3) ж(-,ео) 00(-,Со) о (■, Со) удовлетворяют условиям

Со) = хо, о(£о,Со) = р(£о,хо) и 0(^,ео) = р(*,ж(*,ео)) € [¿о,Т].

Целью данной работы является описание и исследование структуры негладкого обобщенного решения р(-) задачи (1.1).

§ 1.3. Вспомогательные материалы

Определение 1.3. Сингулярным множеством ^ ^^^ ^^^^^^шого решения р(-) задачи (1.1) называется множество точек (¿,х) € Пу, в которых функция р недифференцируема.

Согласно работам [1,2] справедливо следующее утверждение:

Утверждение 1.1. Пусть в задаче (1.1) выполнены условия А1 АЗ. Для того чтобы точка (¿,х) € Q, необходимо и достаточно, чтобы существовали СъСг € Кп, С1 = С2; для, которых выполнены соотношения

ж(£, С1) = С2) = х, С1) = С2) = р(£, х), С1) = С2),

г(9е ж(-,ег), 0(-,е») о(-,е») 2 = 1, 2 — решения характеристической системы (1.2), (1.3).

Если множество сингулярности Q содержит кривую, описываемую дифференцируемой функцией £ ^ х(£), 0 < ¿о < £ ^ Т, то справедливо соотношение

(ЦШ-ЦШ, Ц^) = Н{1, х(1),8(Ш) - н(1,х(1),ЧШ) V* е (¿0,Т] •

Это соотношение обобщает известное условие Ранкина-Гюгонио па случй п-мерной фазовой х

§1.4. Класс кусочно-гладких функций

В данной работе рассматриваются обобщенные решения задачи (1.1) из класса кусочно-гладких функций(см., например, [5, с. 55]).

Определение 1.4. Функция : Пу — К называется кусочно-гл адкой в Пу, если:

(1) область определения этой функции Пу имеет следующую структуру:

Пу = и Мг, Иг[) М? = 0, если г = ], г,] € I, I = {1, } ,

г€/

где Мг — дифференцируемые подмногообразия в Пу;

(2) сужение кусочно-гладкой функции <£>(-, •) на М.,-, где ] € 3, является непрерывно дифференцируемой функцией,

3 := {г € I : Мг — (п + 1) — мерное многообразие},

где М? — замыкание множества М?;

(3) для любых (¿1 ,Х\), (¿2, х2) € Мг, г € I, выполнено 3(¿1,^1) = 3(¿2,х2), где

3(£,ж) := Ь' € 3 : (г,х) € Ж,}.

§ 2. Сингулярная характеристика

Определение 2.1. Сингулярной характеристикой называется характеристика, для которой график фазовой характеристики х(-,£) на некотором интервале времени принадлежит сингулярному множеству Q.

Теорема 2.1. Если в задаче (1.1) выполнены, условия А1-А3; гамильтониан Н(■) зависит, только от, переменной в, то не существует сингулярной харакеристики.

Доказательство. Докажем теорему от противного. Пусть в точке (¿, х) € Q пересекаются графики к + 1 фазовых характеристик ж(-, ¿¡¿), г € 1, А; + 1. Пусть одна из этих характеристик х(-,£к+1) = х(-, £*) является сингулярной. Из того, что точка (¿, х), в которой пересеклись фазовые характеристики, принадлежит сингулярному множеству, согласно (1.1) следует, что выполнены к условий Ранкина-Гюгонио

дН

(8г-8*,—(8*))=Н(8г)-Н(8*), (2.1)

вг = = «(£,£*) = бг+1), где г € 1 ,к. Если гамильтониан Н(-) зависит только от в,

то из уравнений для импульсной характеристики следует что

в = — Д*Н (в) = 0,

поэтому

в(£,£*) = Бха({*), ^г) = Дг^(&).

(п + 1)

=°- (2-2)

Запишем ВЬШуКЛуЮ комбинацию из скалЯрНЫХ произведений (2.2):

к+1 / дн \

^аг({*г-8*,Н(8г)-Н(8*)), ( — (8*),-1)) = 0,

г=1 ^ '

из билинейности скалярного произведения получим

-#(«*)), ( — (8*), -1 | ) = О, г=1 V в /

к+1 к+1 к+1 где а ^ 0 и X] а = 1- Введем следующие обозначения: в* = ^ а^в^, Я* = ^ а^Я^.

г=1 г=1 г=1

Получим следующее равенство:

<(s* - Я* - H(s*)), -l)) = о,

где точка (s*, H*) есть выпукла комбинация точек вида (si, H(si)) при i € 1, k + 1.

fc+1

Из вогнутости гамильтониана H(■) по s следует неравенство H* ^ ^ H(si), с другой сто-

i=1

fc+1

роны, H* = ^ H(si). Отсюда следует, что точка (s*, H*) принадлежит графику H(•), а значит,

i=1

H

Я* = H(s*). В силу того, что вектор (s* — s*, H(s*) — H(s*)) ортогонален вектору (—— (s*), —1),

ds

получаем, что не только точка (s*,H(s*)) принадлежит графику, но и вся касательная гипер-

H

плоскость с нормалью (s*)> — точки которой получены через выпуклую комбинацию

точек следующего вида: (в^,Я(в^)) при г € 1, к + 1. Из гладкости гамильтониана Я(■) по пере-

,дН ,9Н —--

менной в следует, что нормаль {-^—{в ), —1) = \-Q~\Si), —1), г € 1, к + 1.

Из условия, что ё = —ВхН{в) = 0, а значит, вг = ДцС^), г € 1, к + 1. Из утверждения (1.1) получаем для фазовых характеристик следующее условие:

Х = х(г)=&-£ ^-(8г)(1т = ~ ! <1т.

Получили противоречие в виде £ = £*, чего не может быть, у двух различных характеристик должны быть различные начальные значения по фазовой компоненте.

Так как в случае, когда гамильтониан Я зависит только от в, не существует сингулярной

в

и от

Следствие 2.1. Если Я = Я (£, в), выполнены условия А1-АЗ и существует сингулярная, характеристика, то фазовые компоненты, характеристик на сингулярном множестве приходят на него по касательной к вектору фазовой скорости сингулярной характеристики.

Рассмотрим пример, когда Я = Я(£, в), в котором фазовые компоненты характеристик подходят по касательной к сингулярному множеству и при этом существует сингулярная характеристика.

{—в(в - £)2, в ^ 0, |в| < в(в + £)2, в <

Для того чтобы показать, что в этом примере существует сингулярная характеристика, нужно помимо задания гамильтониана Я(£, в) найти еще и граничное условие ст(£). В данном примере £ — обратное время, то есть ¿(0, £) = ст(£).

в=0

метричпое начальное условие ст(£) относительно оси £ = 0, таким образом задаем первое ограничение в(0, 0) = Оха(0) = 0. Будем рассматривать этот пример, в силу симметрии, при х ^ 0 и £ ^ 0.

Кандидат на сингулярное множество x = 0.

(1) Выпишем дифференциальное уравнение для фазовой характеристики:

X = DsH(t, s) = — (s - t)(3s - t) = -3s2 + 4ts - t2,

из следствия (2.1) вытекает, что 0 = DsH(t, s) = -(s - t)(3s - t).

(2) С другой стороны, из условия Ранкина-Гюгонио следует, что 0 = H(t,s*) - H(t, s), тогда на сингулярном множестве выполняется 0 = H(t,s) = -s(s - t)2. При этом из того, что s = -DxH(t, s) = 0, следует s = Dxa({).

Данные условия выполняются при s = Dxa(£) = t, это означает, что фазовая характеристика, вышедшая из начального значения приходит на сингулярное множество в момент t = Dx

Проинтегрируем дифференциальное уравнение для фазовой характеристики:

гs 4s3

0 = x(s) = £ + / — 3s2 + 4тs — т2 dr = £--—. (2.3)

Jo 3

Выпишем дифференциальное уравнение для ценовой характеристики:

z = sDsH(t, x, s) - H(t, x, s) = -2s2(s - t)

на сингулярном множестве z = 0.

Проинтегрируем дифференциальное уравнение для ценовой характеристики:

z = - s2/ 2s - 2r dr = - s4, (2.4)

o

здесь z = const.

i

s=

и подставить это s в уравнение (2.4), получим а(£) = z +

Таким образом, начальная функция выглядит следующим образом: а(£) = z +

В заключение мы видим, что уже в случае, когда гамильтониан H = H(t,s), может существовать сингулярная характеристика.

Список литературы

1. Субботина H.H., Колпакова Е.А., Токманцев Т.Б., Шагалова Л.Г. Метод характеристик для уравнения Гамильтона-Якоби-Беллмана. Екатеринбург: УрО РАН, 2013. 244 с.

2. Колпакова Е.А. Обобщенный метод характеристик в теории уравнений Гамильтона—Якоби и законов сохранения // Тр. НММ УрО РАН. 2010. Т. 16. № 5. С. 95-102.

3. Петровский И.Г. Лекции по теории обыкновенных дифференциальных уравнений. М.: МГУ, 1984. 296 с.

4. Рокафеллар Р. Выпуклый анализ. М.: Мир, 1973. 472 с.

5. Субботин А.И. Обобщенные решения уравнений в частных производных первого порядка. Перспективы динамической оптимизации. М.-Ижевск: Институт компьютерных исследований, 2003. 336 с.

Поступила в редакцию 06.10.2015

Родин Алексей Семёнович, ведущий математик, отдел динамических систем, Институт математики и механики УрО РАН им. H.H. Красовского, 620219, Россия, г. Екатеринбург, ул. С. Ковалевской, 16; аспирант, кафедра прикладной математики, Институт математики и компьютерных наук, Уральский федеральный университет, 620083, Россия, г. Екатеринбург, пр. Ленина, 51. E-mail: [email protected]

my

A. S. Rodin

Singular characteristics of the piecewise-smooth minimax solution of the equation of Hamilton— Jacobi—Bellman

Keywords: Hamilton-Jacobi-Bellman's equation, minimax solution, singular set, piecewise-smooth solution, tangent space, Rankin-Hugoniot's condition, singular characteristic.

MSC: 49J20, 49L25

In this paper we study the properties of the minimax piecewise-smooth solution of the Hamilton-Jacobi-Bellman equation. We raise the question of existence of the singular characteristic and properties of the solution related to it.

REFERENCES

1. Subbotina N.N., Kolpakova E.A., Tokmantsev T.B., Shagalova L.G. Metod kharakteristik dlya urav-neniya Gamil'tona-Yakobi-Bellmana (Method of characteristics for Hamilton-Jacobi-Bellman's equation), Yekaterinburg: Ural Branch of RAS, 2013, 244 p.

2. Kolpakova E.A. A generalized method of characteristics in the theory of Hamilton-Jacobi equations and conservation laws, Tr. Inst. Mat. Mekh. Ural. Otd. Ross. Akad. Nauk, 2010, vol. 16, no. 5, pp. 95-102 (in Russian).

3. Petrovskii I.G. Lektsii po teorii obyknovennykh differentsial'nykh uravnenii (Lectures on the theory of ordinary differential equations), Moscow: Lomonosov Moscow State University, 1984, 296 p.

4. Rockafellar R. Convex analysis, Princeton: Princeton University Press, 1970, 470 p. Translated under the title Vypuklyi analiz, Moscow: Mir, 1973, 472 p.

5. Subbotin A.I. Generalized solutions of first-order PDEs: the dynamical optimization perspective, Berlin: Birkhauser, 1995, XII+314 p. Translated under the title Obobshchennye resheniya uravnenii v chastnykh proizvodnykh pervogo poryadka. Perspektivy dinamicheskoi optimizatsii, Moscow-Izhevsk: Institute of Computer Science, 2003, 336 p.

Received 06.10.2015

Rodin Aleksei Semenovich, Leading Mathematician, Department of Dynamic Systems, Institute of Mathematics and Mechanics, Ural Branch of the Russian Academy of Science, ul. S. Kovalevskoi, 16, Yekaterinburg, 620219, Russia; Post-Graduate Student, Department of Applied Mathematics, Institute of Mathematics and Computer Sciences, Ural Federal University, pr. Lenina, 51, Yekaterinburg, 620083, Russia. E-mail: [email protected]