CC BY
53
2012
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА Управление, вычислительная техника и информатика
№ 3(20)
УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ СИСТЕМАМИ
УДК 519.865.5
В.В. Домбровский, Т.Ю. Объедко
УПРАВЛЕНИЕ С ПРОГНОЗИРОВАНИЕМ ВЗАИМОСВЯЗАННЫМИ ГИБРИДНЫМИ СИСТЕМАМИ С МАРКОВСКИМИ СКАЧКАМИ ПРИ ОГРАНИЧЕНИЯХ
В работе рассматривается задача синтеза оптимальных стратегий управления с прогнозирующей моделью для гибридных систем, состоящих из подсистем, с учетом ограничений на управляющие переменные. Параметры каждой из подсистем изменяются в соответствии с эволюцией марковских цепей, состояния которых взаимосвязаны между собой.
Ключевые слова: управление с прогнозирующей моделью, взаимосвязанные гибридные системы, векторная односвязная цепь Маркова, ограничения.
Широкий класс реальных систем имеет непрерывно-дискретную природу. Динамика таких систем описывается уравнениями, включающими непрерывные переменные, в то время как структура системы (параметры) изменяется в соответствии с эволюцией переменных, принимающих дискретный набор значений из некоторого множества. Динамические системы, имеющие такую непрерывно-дискретную природу, называются гибридными системами [1, 2].
В [3, 4] рассматриваются задачи управления линейными гибридными системами, структура которых зависит от состояния однородной марковской цепи. В этих работах не учитываются ограничения на управляющие переменные, в то время как на практике такие ограничения часто присутствуют.
Эффективным подходом к синтезу стратегий управления при ограничениях является метод управления с прогнозирующей моделью [5]. В [6-8] рассматривается задача управления с прогнозированием для гибридных систем, параметры которых изменяются в соответствии с эволюцией одномерной марковской цепи, с учетом ограничений на управления. Важной областью приложений таких систем является финансовая инженерия, где подобные модели используются для описания инвестиционного портфеля на финансовом рынке с переключающимися режимами [8].
Современные системы управления, как правило, состоят из взаимодействующих подсистем неоднородной непрерывно-дискретной природы. В частности, инвестиционный портфель представляет собой сложную систему и может содержать рисковые финансовые активы разных классов, динамика доходностей которых меняется скачкообразно в соответствии с эволюцией состояний взаимосвязанных марковских цепей, характеризующих, например, поведение различных секторов экономики [9].
В данной работе получены уравнения синтеза оптимальных стратегий управления с прогнозирующей моделью для гибридных систем, состоящих из подсис-
тем, с учетом явных ограничений на управляющие переменные. При этом параметры каждой из подсистем изменяются в соответствии с эволюцией марковских цепей, состояния которых взаимосвязаны между собой.
1. Постановка задачи
Пусть система состоит из совокупности подсистем, состояния которых описываются уравнениями
х( д) (к +1) = Л(д) х( д) (к) + В(д) [а(д) (к +1), к + 1]и(д) (к), д = 1,2,...,?, (1)
где х(д)(к) - пХд) -мерный вектор состояния д-й подсистемой, и(д)(к) - п(ид) -мерный вектор управления д-й подсистемой; Л(д), В(д)[а(д)(к),к] - матрицы соответствующих размерностей; а(д)(к) - скалярная однородная цепь Маркова с конечным множеством состояний {1, 2,...дд}. Таким образом, каждая из подсистем может находиться в vq состояниях, определяемых скалярным случайным процессом с дискретным множеством значений (состояний).
Между подсистемами существует взаимосвязь: состояние цепи а(д)(к) д-й подсистемы (д = 1,2,.,?) в к-й момент времени зависит от состояний цепей а(г)(к—1) (г = 1,2,.,?) в момент времени к—1. Таким образом, динамика системы в целом зависит от дискретного векторного случайного процесса а(к) = [а(1)(к),а(2)(к), ... ,а(?)(к)]г с конечным множеством состояний {д, .д} (д = 1,2,.,?;]д = 1,2,...;уд) и дискретным временем. Случайный процесс а(к) представляет собой векторную односвязную цепь Маркова.
Для векторной цепи вероятности перехода за один шаг определяются в виде
Р1,...Л; Л,..., . = Р {а1(к + 1) = а1 ^1,..., а? (к + 1) = а.Л/а1(к) = а? (к) = ал, },
V Р . . . = 1
¿-I ^ .,г? л— л
^l,..., л
с начальным распределением
Р]1,...,. = р{(0) = jl,...,а?(0) = л},(л = 1vl;...;л = 1^), V р}]_,-.,. =1.
Jl,...,
Предполагается, что состояние векторной марковской цепи в момент времени к доступно наблюдению.
На управляющие воздействия каждой из подсистем накладываются ограничения:
и^(к) < 5(д)(к)и(д)(к) < и(£(к),д = 1,2,...,?, (2)
где ^(к) - матрицы соответствующих размерностей.
Необходимо определить закон управления системой, состоящей из подсистем вида (1), при ограничениях (2) из условия минимума критерия со скользящим горизонтом управления
? т
3 (к + т / к) = М {V V (х( д) (к + О? К1д) (к, 0 х( д) (к + г) - д) (к, г) х( д) (к + г) +
д=1 г=1
+(и(д)(к + г -1/ к))Т Я(д)(к, г - 1)и(д)(к + г -1/ к)/х(д) (к), а(к)}, (3)
где и(д)(к + //к),/ = 0,1,...,(т-1) - последовательность прогнозирующих управлений д-й подсистемой, и(д)(к) = и(д)(к/к), М{а/Ь} - оператор условного математи-
ческого ожидания, Л^д)(к, г) > 0, я2д\к, г) > 0, Я(д\к, г) > 0- весовые матрицы соответствующих размерностей, т - горизонт прогноза, к - текущий момент времени.
2. Синтез стратегий управления с прогнозированием
Для решения сформулированной задачи используем методологию управления с прогнозирующей моделью. Данный подход позволяет получить стратегии управления с обратной связью с учетом ограничений на управляющие воздействия.
Стратегии управления с прогнозированием определяются по следующему правилу. На каждом шаге к минимизируем функционал (3) по последовательности прогнозирующих управлений и(д)(к/к), ... ,и(д)((к+т- 1)/к), д = 1,2,...,?, зависящих от состояния подсистемы в момент времени к, при ограничениях (2). В качестве управления в момент времени к берем и(д)(к) = и(д)(к/к). Тем самым получаем управление д-й подсистемой и(д)(к) как функцию состояний х(д)(к) и а(к), т.е. управление с обратной связью. Чтобы получить управление и(д)(к+1) на следующем шаге, процедура повторяется для следующего момента к + 1 и т.д.
Если цепи Маркова а(д)(к) (д = 1,.,?) независимы между собой (состояния подсистем не зависят от состояний других подсистем), то есть представляют собой однородные скалярные цепи Маркова, то каждая из них допускает следующее представление в пространстве состояний [10]:
0( д )(к +1) = Р(д )0(д) (к) + и( д) (к +1), (4)
где 0(д)(к) = [5(а(д)(к),1),...,5(а(д)(к);у,г)]Т, 5(а(д)(ку) - функция Кронекера
(/' = 1,..^д); Р(д) - матрица переходных вероятностей для д-й цепи; и(д)(к) - мартингал-разность.
Обобщим соотношение (4) для скалярных цепей на случай векторных однородных цепей Маркова.
Введем мультииндексы г = (гьг2,...,г'8), . = (У^,...^). Тогда матрицу вероятностей перехода за один шаг векторной цепи Маркова можно представить в виде
Р = Р), где
Р = Рч,..,г?; 11,..., 1, ;(г1 = 1> vl;...;1 V;1 = 1 ^;...;л = ъ V).
Матрица Р обладает свойством
V Р. =I V/.
1
Введем вектор 0(к) = [5(а(к),1),...,5(а(к);у)]Т, V = V1xv2x...xv, Значение вектора 0(к) соответствует комбинации состояний одномерных цепей Маркова.
Тогда для многомерной цепи можно записать представление в пространстве состояний, аналогичное (4):
0(к +1) = Р0(к) + и(к +1). (5)
Мартингал-разность и(к) имеет следующие условные характеристики [10]:
М {(к +1)/ 0(к )} = 0, (6)
С (к +1) = М{ и(к +1) ит (к +1)/ 0(к)} = Шая{Р0(к)} - РШая{0(к )}РТ. (7)
С учетом (5) уравнения для подсистем (1) можно представить в следующем виде:
х(д) (к +1) = Л( д) х( д) (к) + В(д) [0(к +1), к + 1]и(д) (к), д = 1,2,...?, (8)
где
Б(д)[0(к), к ] = £ 0г (к) В/ д)(к).
(9)
Здесь 0,(к), /' = 1,2, ...д*, - компоненты вектора 0(к), {Б,(д)}, і = 1,...^, - множество значений матрицы Б(д)[а(к),к].
Критерий (3) примет вид
£ т
3((к + т)/ к) = М{^^ (х(д) (к + і))Т я(д) (к, і)х(д) (к + і) - Я2д) (к, і)х(д) (к + і) +
д=1 і =1
+(«(д) ((к + і -1)/ к))Т Я(д) (к, і - 1)м(д) ((к + і -1)/ к)/х(д) (к), 0(к)}. (10)
Теорема. Векторы прогнозирующих управлений
и(д) (к) = (м(д) (к / к))Т , (м(д) ((к +1) / к))Т ,..., (м(д)((к + т -1)/ к))Т
д = 1,2,..., =
минимизирующие критерий (3) при ограничениях вида (2), на каждом шаге к определяются из решения задачи квадратичного программирования с критерием вида
У ((к + т)/ к) = [ 2 хТ (к )0(к) - ^ (к)] и (к) + ит (к) Н (к )и (к) (11)
при ограничениях
итп (к) < 5д) (к)и(д) (к) < и^ (к). (12)
Оптимальное управление для д-й подсистемы равно
м(д )(к) =
/и„(д) 0”„(д)
0И
и(д) (к),
(13)
.(д)
где /и - единичная матрица размерности п (д), 0 - квадратная нулевая мат-
м( д) м
рица размерности п (д),
и (к) =
5(д)(к) = ^(5(д)(к),...,5(д)(к + т -1)),
и<£ (к) = [(«тП (к ))Т (к + т - 1))Т ]т,
итах(к)=[(«тик)/ ,...,(«тх(к+т - вдТ ]Т,
Н(к), О(к), Е(к) - блочные матрицы вида
Н (к) = Шая (Н (1)(к), Н (2)(к),..., Н(£)(к)),
О(к) = [о (1)(к) О (2)(к) - О(£)(к)],
^ (к) = [ ^ (1)(к) ^ (2)(к) - ^(£)(к) ],
(и(1)(к)) ,(и(2)(к))Т,...,(и(£)(к))Т
(14)
(15)
і =1
Н(я)(к) = ' Н ^(к) Н(я)(к) 21 Н(я)(к) 12 Н(я)(к) 22 Н(я)(к)' 1т Н(я)(к) 2т II ч., >! (16)
Н(я)(к) Н(я)(к) Н(я)(к)
О(я)(к) = [о< я)(к) о2я)(к) ... о^ік) ],
^(я )(к) = [ ^1( я)(к) ^(я)(к) ••• ^я)(к)],
(17)
блоки которых равны
Н(я)(к) = Я(я)(к, і -1) +
+
І=1 г=1
V V і
+ІІі(Б(я)(к + і)) Ер-іС(к +1) (-і) Е
І=1 г=1 і =1 [
б(я)(т - і)БГя)(к + і) +
б(я)(т - і)вГя)(к + і); (18)
Н$\к) = ¿¿((к + і)) [ЕГР^0(к)0Т(к)() Е
І=1 г=1
V V і
б( я)(т - /) Б( я)(к + /) +
-і
3(Я^
+ІІІИя)(к + і)) ЕГР/-іС(к + і) (-і) Е
І=1 г=1 і=1 [
х0(я)(т - /)Б(гя)(к + /), / > і;
О^) (к) = ((А(я)) Е б(я) (т - і)І Ер0(к)Б(я) (к + і);
' і=1
т і-і V
Е/я)(к) = £Я2я)(к,І)((я));~ ІЕГР0(к)БГя)(к + і);
І=і г=1
б(я) (і) = ((я) ) б(я) (і -1)Л(я) + Я(я) (к, т - і), (і = 1т);
б(я)(0) = Я} я)(к, т).
(19)
(20)
(21)
(22)
(23)
Доказательство теоремы. Критерий (10) можно представить в следующем виде:
J{к + т / к) = У М {(X(ч) {к + 1))Т Д,(я) {к +1)X(я) (к +1) -
9=1 (24)
-Д29) (к +1) X(я) (к + 1) + (и(я) (к ))Т Д( я) (к )и(я) (к) / х(я) (к), 0(к)}
при X(я) (к +1) = ¥(я) х( я) (к) + Ф(я) [»(к +1), к + 1]и(я) (к), (25)
где
" x(q)(k + і) " " u1 q)(k I k ) " ' 0(k + і) "
X 1q)(k + і) = x1q)(k + 2) , U1 q)(k ) = u1 q)((k + 1)I k ) , S(k + і) = 0(k + 2)
[ x1q)(k + m)] u1 q)((k + m - і) I k) ] 0(k + m)
т1 q) =
B( q)[0(k+1),k+і]
A1 q) B( q)[0(k+1),k+і]
(A1 q))T ,((A(q))2)T ,...,((A(q))m) Ф1 q)[S(k+1), k+1] =
0
(q)xn(q)
n(q)xn( q)
B1 q)[0(k+2), k+2]
(A1q))m-1 B(q )[0(k+1),k+1] (A1q))m-2 B1q)[0(k+2),k+2] ... B1q)[0(k+m),k+m]_
Д1 q) (k ) = diag R(q ) (k, 0), R(q) (k, 1),..., R(q) (k, m -1) ), д(т ) (k +1) = diag R ) (k, 1), A(q ) (k, 2),..., Rj(q) (k, m) ), д2,т) (k +1) = [ R(2q)(k ,1) R2 q)(k ,2) ... R^l)(k, m)].
Приведем (25) к виду
J(k + m I k) = M {XT (k +1)Д1 (k + і)X(k +1) - Д2(k + і)X (k +1) +
+UT (k)Д^)U(k)Ix(k),0(k)};
X (k +1) = Tx(k ) + Ф^ +1), k + 1]U (k ),
(26)
(27)
где
X (k ) = [(X(1) (k ))T, (X(2) (k ))T,..., ( X1 s) (k )) x(k ) = [( x(1) (k ))T, ( x(2) (k ))T,...,( x1*) (k ))
Д (k +1) = diag^(1), Д(2),..., Д1 ^ ),
Д1 (k +1) = diag^®, ДІ2),..., ДІx)),
д 2 (k+1)=[д21), д22),..., д2х) ],
U (k ) = [(U(1) (k ))T ,(U(2) (k ))T ,...,(U1 s ) (k ))T
T ]T T -|T
T =
(т(1) )T ,...,(т1 x) )T
Ф^ ), k ] = diag (ф(1) [S(1) (k ), k ],..., Ф1 ^ [S1 x) ( k ), k ]).
С учетом (27) представим (26) в следующем виде:
J((к + m)/ к) = xT (к)¥T A1 (к + 1) Yx(k) +
+ [2xT (к)¥T A1 (к +1) - A2(k +1)]M {Ф [(k +1), к + 1]/x(k), 0(k)} U(k) + (28)
+UT (k) [M {Фт [(к +1), к +1] A1 (к + 1)Ф[(к +1), к + l]x(k), 0(к)} + A(k)] U]к). Определим матрицы:
H(к) = M ^T [(к +1), к +1] / (к + 1)Ф[(к +1), к + 1]/x(k), 0(к)} + A(к),
G(k) = ¥T A1 (к + 1)M {[(к +1), к + 1/x(k), 0(к)},
F (к) = A2(k + 1)M {Ф [(к +1), к + 1/x(k), 0(к)}.
Матрицы H(k), G(k), F(k) можно представить в блочном виде:
H (к) = diag (h (1)(к), H (2)(к),..., H(s)(k)),
G(k) = [G (1)(к) G (2)(к) - G(s)(k)], F (к) = [ F (1)(k) F (2)(k) ••• F(x)(k)],
где H(q) (k) = [ H.(q) ], i, j = 1,2,..., m,
G(q)(k) = [G1(q)(k) G2 q)(k) ... G(mq )(k)],
F(q )(k) = [ F1(q )(k) F2(q)(k) - Fiq)(k)], q = 1,2,..., s.
Используя представление матриц 5(q)[a(k),k] в виде (9), получим, что блоки матриц H(q)(k), G(q)(k), F(q)(k) удовлетворяют уравнениям (18) - (23).
Таким образом, имеем задачу минимизации критерия (28) при ограничениях (2), которая эквивалентна задаче квадратичного программирования с критерием
Y ((k + m)/ к) = [ 2 xT (к )G(k) - F (к)] U (к) + UT (к) H (к )U (к) при ограничениях (12).
Заключение
Предложен метод синтеза стратегий прогнозирующего управления для гибридных взаимосвязанных систем с марковскими скачками. Данный подход позволяет в явном виде учесть ограничения на управления. Алгоритм синтеза прогнозирующей стратегии включает решение последовательности задач квадратичного программирования.
ЛИТЕРАТУРА
1. Пакшин П.В. Дискретные системы со случайными параметрами и структурой. М: Физ-матлит, 1994.
2. Bemporad A., Di Cairano S. Model-predictive control os discrete hybrid stochastic automata // IEEE Transactions on Automatic Control. 2011. V. 56. No. 6. P. 1307-1321.
3. Costa O.L.V., Paulo W.L. Generalized coupled algebraic riccati equations for discrete-time Markov jump with multiplicative noise systems // European J. Control. 2008. No. 5. P. 391-408.
4. Dragan V., Morozan T. The Linear quadratic optimization problems for a class of linear stochastic systems with multiplicative white noise and Markovian jumping // IEEE Transactions on Automatic Control. 2004. V. 49. No. 5. P. 665-675.
5. Rawlings J. Tutorial: Model predictive control technology // Proc. Amer. Control Conf. San Diego. California. June 1999. P. 662-676.
6. Bernardini D., Bemporad A. Scenario-based model predictive control of stochastic constrained linear systems // Proc. 48th IEEE Conf. Decision and Control. Shanghai. P.R. China. December 2009. P. 6333-6338.
7. Blackmore L., Bektassov A, Ono M., Williams B. C. Robust optimal predictive control of jump Markov linear systems using particles // Hybrid systems: Comput. and Control / A. Bemporad, A. Bicchi, G. Buttazzo, Eds. New York: Springer-Verlag, 2007. V. 4416, Lecture Notes in Computer Science. P. 104-117.
8. Домбровский В.В., Объедко Т.Ю. Управление с прогнозированием системами с марковскими скачками при ограничениях и применение к оптимизации инвестиционного портфеля // Автоматика и телемеханика. 2011. № 5. С. 96-112.
9. Billio M., Pelizzon L. Value-at-Risk:a multivariate switching regime approach // J. Empirical Finance. 2000. No. 7. P. 531-554.
10. Elliott R.J., Aggoun L., Moore J.B. Hidden Markov Models: Estimation and Control. Berlin: Springer-Verlag, 1995.
Домбровский Владимир Валентинович Объедко Татьяна Юрьевна Томский государственный университет
E-mail: [email protected]; [email protected] Поступила в редакцию 27 апреля 2012 г.
Dombrovskii Vladimir V., Obyedko Tatyana Y. (Tomsk State University). Model predictive control of interconnected hybrid systems with Markov jumps under constraints.
Keywords: model predictive control, hybrid systems, interconnected hybrid systems, vector simple connected Markov chain, constraints.
Modern control systems are generally composed of interacting subsystems with both continuous and discrete dynamics. In particular, the investment portfolio is a complex system, which can be consisted of risky financial assets of different classes, where the dynamics of returns varies discontinuously in accordance with the evolution of interrelated states of Markov chains describing, for example, the behavior of the various sectors of economy.
In this paper we consider complex Markov jump linear system composed of interconnected subsystems. The parameters of each subsystem change in accordance with the evolution of the simple connected Markov chains whose states are interrelated. We use model predictive control approach to solve the problem. The open-loop feedback control strategy is derived taking into account explicit constraints on the input variables. Predictive strategies computation includes the decision of the sequence of quadratic programming tasks.
