Градиентные методы в задачах оптимизации характеристик систем управления инфокоммуникационными сетями Текст научной статьи по специальности «Компьютерные и информационные науки»

2006

НА УЧНЫЙ ВЕСТНИК МГТУ ГА сер. Радиофизика и радиотехника

№ 107

УДК 629.375

Г радиентные методы в задачах оптимизации характеристик систем управления инфокоммуникационными сетями

Д.М. НЕНАДОВИЧ

Статья представлена доктором технических наук, профессором Шахтариным Б.И.

В статье представлены результаты реализации градиентных методов при решении задач идентификации параметров модели функционирования инфокоммуникационной сети на основе алгоритма стохастической аппроксимации.

Решение задач управления сложными информационными системами, к числу которых относятся современные мультисервисные, гетерогенные инфокоммуникационные системы (ИКС), сильно осложнено наличием различного уровня априорной неопределенности относительно статистик протекающих в них процессов. Одним из подходов, позволяющих формировать оптимальные управляющие ИТС воздействия, является реализация в системе управления ИТС методов стохастического оптимального управления.

К особенностям теории стохастического оптимального управления сложными информационными системами относятся: использование для описания объектов методов теории переменных состояния; использование среднеквадратических целевых функций, записанных в рекуррентной форме; фундаментальная роль принципа разделения; построение алгоритмов стохастического оценивания состояния объекта на основе фильтров Калмана, а также использование известных детерминированных методов при отыскании управляющих воздействий [1-3].

Фундаментальную роль в синтезе оптимальных управлений для линейной постановки задачи и среднеквадратического критерия оптимальности имеет принцип разделения. В соответствии с ним задача стохастического оптимального управления решается в два этапа: этап стохастического оценивания состояния объекта и этап поиска детерминированных управляющих воздействий, линейно связанных с оценками состояния.

Основными этапами стохастического оптимального управления в соответствии с принципом разделения являются построение алгоритмов стохастического оценивания состояния объекта на основе фильтров Калмана и Стратоновича, а также использование известных детерминированных методов при отыскании управляющих воздействий [1-3].

Основными требованиями, предъявляемыми к качеству полученных оценок 1, являются состоятельность, несмещенность, достаточность и эффективность.

Состоятельность оценки определяется выполнением следующего условия:

которое заключается в наличии предела по вероятности непревышения погрешности оценивания сколь угодно малой величины е при увеличении объема выборки до ¥.

Несмещенность оценки означает выполнение условия равенства нулю усредненного по всем значениям параметра смещения А;:

Оценка является достаточной в статистическом смысле, если никакая дополнительная информация по отношению к уже содержащейся в используемой выборке не улучшает качества оценки (не уменьшает дисперсию ошибки оценивания).

Нижняя граница дисперсии ошибки оценивания определяется неравенством Крамера-Рао [1, 2, 3]:

(1)

(2)

ы<

Э 1п ^( г /1) Э1

где ( (г/1) - условная по значению 1 плотность распределения вероятностей значений выборочных данных, являющаяся функцией правдоподобия параметра.

Наконец, оценка является эффективной, если при увеличении размера выборки дисперсия ошибки оценивания стремится к своему установившемуся значению. Другими словами, эффективной может считаться несмещенная оценка, для которой имеет место граница Крамера-Рао.

При решении задач оценивания состояний (т = 1, М ) ИТС, представленных в виде стохастических разностных уравнений [4], рекуррентные уравнения дискретного алгоритма линейной фильтрации калмановского типа могут быть представлены следующим образом [5]:

0т (к + 1) = хт"-, Рт ( к + 1, к, и )в, (к ) + Ктт (к )х [ ( к )-(к ) ( к + 1, к, ,, ) 6т (к ) ]; (4)

Ктт (к )= Де11 к (р;,т (к +1, к, и )х Р„т (Ав( к +1, к)) (к) Л,т (V, (к ))) , (5)

Ртт (А0(к + 1, к )) = Ртт ( к + 1, к, и ) Р„„ (Ав( к )) + 4Р ( к + 1, к, и К; (6)

Ртт (А6( к )) = (1 - Ктт ( к ) ¡т (к )) Р„, (Ае( к + 1, к )) , (7)

где Ртт (к +1, к, и) - элемент матрицы одношаговых переходных вероятностей (ОПВ), учитывающий вводимые управления и; Ктт (к) - элемент матрицы коэффициентов усиления линейного фильтра; Ртт (А6(к +1, к)) - элемент матрицы априорной дисперсии ошибок оценивания; Ртт (А6( к )) - элемент апостериорной дисперсии ошибок оценивания; ¡т - элемент матрицы наблюдения; - элемент матрицы шума возбуждения процесса 0(к); Лтт (V( (к)) - символ

алгебраического дополнения элементов матрицы шума наблюдения V( (к); ёй - символ определителя матрицы V, (к).

6т (0) = М[6т (0)], Ртт (А6(0) = 1е (0) . (8)

Основной сложностью реализации алгоритма (4-8) является определение значений элементов Ртт(к +1,к,и), V, (к), 1е(к), ¡т(к) с целью выполнения условий (1-3).

Значения 1е (к) определяются параметрами разработанной модели процесса функционирования [4], значения ¡т (к) могут корректироваться разработчиками системы измерений на основе анализа функций чувствительности [6]. К наиболее «катастрофическим» последствиям, выражающимися в существенном замедлении сходимости процесса фильтрации и к значительным смещениям оценочных значений, может привести неточное задание значений элементов матриц ОПВ. Различные подходы к решению задач индентификации значений элементов матриц ОПВ представлены в работах [5,7].

В статье Г. Бревера сборника [7] предлагается подход к решению задач идентификации всех параметров модели процесса функционирования системы на основе построения каскада взаимоувязанных дискретных фильтров Калмана. Реализация данного подхода, в рассматриваемом случае, существенно осложнена высокой степенью мерности рассматриваемой модели процесса функционирования ИТС и, как следствие, необходимостью разработки дополнительных алгоритмов синхронизации.

Задачей требующей, на наш взгляд, самостоятельного решения более простыми методами, является определение значений параметров шума наблюдения V((к), а конкретно элементов ковариационной матрицы оютт2. Задача относится классу задач непараметрического оценивания.

Одним из наиболее простых подходов к решению задач подобного рода является использование методов стохастической аппроксимации, в частности использования метода Робинса - Монро [8].

Пусть наблюдения за априори неизвестным значением невязки наблюдения 1(к) представляют собой временной ряд 2 (к) = (7(0),..., г(к),...г(К))т , каждый элемент которого описывается уравнением наблюдения г(к) = 1(к) + ((к).

Тогда условное среднее параметра М [1(к)/1 (к)] может быть определено в соответствии с рекуррентной процедурой стохастической аппроксимации Робинса - Монро [8]:

1 тт (к) = 1 (к - 1) + У(2 (к) - 1тт (к - 1)) , (9)

где у =—1—, У =---------21--- - весовые коэффициенты фильтра, удовлетворяющие условиям

к +1 к + о(/Р2(к)

ф2

Дворецкого по сходимости данного алгоритма; Р2 (к) =--------2 ( 2---- - апостериорная пошаго-

(к + о( / ст1 (0))

вая дисперсия идентифицируемого параметра 1(к); о(, (0) - априорно задаваемые дисперсии

шума наблюдения и параметра 0 .

Необходимо отметить, что при использовании второго весового коэффициента сходимость и точность оценки при высоких отношениях сигнал /шум становятся выше, однако требует дополнительных по сравнению с первым случаем априорных данных о дисперсиях шума и идентифицируемого параметра.

В рассматриваемом случае, в условиях, когда наблюдения за значением невязки не являются «зашумленными», а дисперсия значений не известна априори, наиболее целесообразной могла бы выглядеть реализация процедуры стохастической аппроксимации с использованием наиболее простого коэффициента. Однако, результаты исследований скорости сходимости алгоритма показали, что в достаточно большом количестве случаев время формирования оценочного значения превышает величину интервала локальной стационарности процесса функционирования ИТС что приводит к потере актуальности реализации алгоритма.

Наиболее эффективным, на наш взгляд, выглядит подход [9], основанный на итеративной процедуре, в соответствии с которой коэффициент У на каждом шаге заменяется оценкой определяемой в соответствии с выражением

У(1) = 1{М [А, ()]}-1; (10)

где , - элемент ковариационной матрицы шума наблюдения (М[,т,1т ] = Я1 Ът1; Ът1 - символ Кронекера); Б - целевая функция определяемая, в рассматриваемом случае, в виде:

ш1п{^(к) = (I - К (к )Н (к)) ^^к)1, к)) (. (11)

,(к )

Поставленная задача может быть решена на основе реализации градиентных методов с использованием матричных форм выражений (5-7).

Суть градиентных методов, в рассматриваемом случае, состоит в поиске оптимального

Т? опт

значения вектора , в соответствии со следующей рекуррентной схемой:

1(1+1) =1(0+а(0А0. (12)

В выражении (12) а(/) - множитель, определяющий длину шага; £(г) - вектор, опреде-

ляющий направление движения от точки ,(/) к точке ,(/ +1), к = 1, I . В градиентном методе в качестве Ь(г) выбирается градиент целевой функции УР(,) в случае максимизации ^ (,) и

антиградиент ¿(') = —ЧЕ (X) в случае минимизации Е (X) • В соответствии с поставленной задачей, рассмотрим обобщенный алгоритм итерационной минимизации целевой функции.

Решение задачи градиентным методом заключается в следующем. Находится вектор

¿(0 = —ЧЕ (X), тогда луч Х(1) = Х(0) + а(0)¿(0) (где а > 0 ) определяет направление, вдоль которого скорость уменьшения Е (X) будет наибольшей. При этом шаг a(0) = a предполагается постоянным, а его выбор производится таким образом, чтобы выполнялось условие

Е (1(0) + a(0) ¿(0)) < Е(|(0)). (13)

Если это условие не выполняется, то производится коррекция длины шага, например

a -

a(0) = —, и опять проверяется выполнение неравенства. Получив точку ^(1), в которой значение функции будет меньше, чем в точке 4(0), начинаем следующую итерацию с начальной точкой |(1) . В идеальном случае процесс завершается в точке, где ЧЕ (X) = 0 .

Для ускорения процесса поиска оптимального вектора Х°пт может быть использован (как

разновидность градиентных методов) метод наискорейшего спуска. Основное отличие этого метода от классического градиентного состоит в способе выбора шага a(k), при этом поиск оптимального вектора осуществляется с помощью следующей итерационной процедуры:

- - ЧЕ (|(0)

+1)=!(о—, , (14)

ЧЕ (5(0)

где

ур (|(о)

- норма градиента целевой функции в точке Х(0, а все ос-

тальные элементы выражения (14) соответствуют введенным ранее.

То есть, в отличие от классического градиентного метода, в методе наискорейшего спуска

(к)

шаг спуска ^ определяется из решения уравнения

ёЕ (X (к) + a(k ) ¿(к))

da(k) = °. (15)

Необходимо отметить, что наиболее высокая эффективность реализации метода обеспечивается при минимизации гладких функций и при условии выбора значений начальных условий

значительно отличающихся от оптимума. Если же очередная точка ^О) окажется в окрестности оптимума, то уменьшение целевой функции будет очень медленным и, как показал анализ результатов проведенного моделирования, дальнейший поиск может быть прекращен. Остановка поиска целесообразна в связи с тем что временные затраты на продолжение процедуры оптимизации становятся соизмеримыми с выигрышем по времени, получаемым при реализации алгоритма (9) с оптимизацией значения коэффициента у. При этом значения элементов ковариационной матрицы наблюдения, полученные при реализации алгоритма (9), отличаются от истинных не более чем на 5%.

Пример иллюстрирующий один из результатов имитационного моделирования алгоритмов (9), (12-14) представлен на рис. 1.

Таким образом, разработанный на основе комплексной реализации градиентных методов, методов дискретной калмановской фильтрации и стохастической аппроксимации алгоритм оптимального оценивания состояний ИТС, позволяет создать основу для формирования оптимальных управляющих сетью воздействий.

2

п=1

А

1

л

-ü 1—^ v\ уу \ ^ / \ / V '*4 nT""—~ ч- К

1 2 3 4 5

/\ » / \ / \ / > *4. X-

•ч-" К

\ 1 N / ч / X 2 3 4 5

Г ч ч \ \ ^ \ N \ ^ \ -V .

I

1 ? 3 А 5 fi 7 8 9 10 Î1 12 13 14 15

Рис.1. Примеры реализации алгоритма стохастической аппроксимации с использованием градиентных методов: ------------с использованием процедуры коррекции g ; — — - без использования процедуры коррекции g

ЛИТЕРАТУРА

1.Сейдж Э., Мелс Дж. Теория оценивания и ее применение в связи и управлении / Пер. с англ. Б.Р. Левина. М.: Связь, 1976.

2.Сейдж Э., Уайт Ч. Оптимальное управление системами / Пер. с англ. Б.Р. Левина. М.: Радио и связь, 1982.

3.Терентьев В. М. , Паращук И. Б. Теоретические основы управления сетями многоканальной радиосвязи. СПб.: ВАС, 1995.

4.Ненадович Д.М. Унифицированная математическая модель процесса функционирования управляемой информационной системы. // Радиоэлектроника, № 3, 1992.

5.Ненадович Д.М., Терентьев В.М., Паращук И.Б. Математическая модель процесса функционирования и оценка состояния пакетной сети спутниковой связи. // Радиотехника, № 6, 1996.

6.Ненадович Д.М., Паращук И.Б. Анализ чувствительности процессов фильтрации состояний управляемой радиотехнической системы. // Радиотехника, № 4, 1997.

7.Фильтрация и стохастическое управление в динамических системах; Под редакцией К.Т. Леондерса. М.: Мир, 1980.

8.Шахтарин Б.И. Случайные процессы в радиотехнике. М.: Радио и связь, 2002.

9.Sakrison D.L. Advanced Communication System, 1966.

D.M. Nenadovich

Gradient methods in the tasks of controlling systems characteristics optimization by info-telecommunications networks

This article gives the results of gradient methods realization during deciding the tasks of identification of parameters of functioning model of info-telecommunication network on the basics of stochastic approximation algorithm.

Сведения об авторе

Ненадович Дмитрий Михайлович, 1961 г.р., окончил Ленинградское высшее военное инженерное училище связи им. Ленсовета (1984), Военную академию связи (1995), Российскую академию государственной службы при Президенте РФ (2004), кандидат технических наук, эксперт Главного управления экспертизы Центрального Банка России, автор более 40 научных трудов, область научных интересов - системы управления инфотелекоммуникаци-онными сетями.