Прогнозирование состояния дискретных стохастических систем в условиях неопределенности на основе байесовской методологии Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 681.518

В.Р. Милов, В.Г. Баранов, А.Ю. Эпштейн, И.В. Шалашов

ПРОГНОЗИРОВАНИЕ СОСТОЯНИЯ ДИСКРЕТНЫХ СТОХАСТИЧЕСКИХ СИСТЕМ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ НА ОСНОВЕ БАЙЕСОВСКОЙ МЕТОДОЛОГИИ

Нижегородский государственный технический университет им. Р.Е. Алексеева

Рассматривается вероятностно-статистический подход к прогнозированию состояния технических систем. Разработан прототип программного обеспечения для прогнозирования состояния систем, описываемых скрытыми марковскими моделями.

Ключевые слова: динамическая байесовская сеть, скрытая марковская модель, фильтрация, прогнозирование, структурно-параметрическое обучение.

Модели дискретных стохастических систем

Для описания функционирования стохастических систем с памятью находят применение модели в пространстве переменных состояния. Один из развивающихся способов моделирования заключается в использовании динамических байесовских сетей (ДБС). Динамическая байесовская сеть может быть представлена как пара B, B2}, где B — байесовская сеть, задающая априорное распределение P(z (l)); B2 — байесовская сеть, состоящая из двух слоев и определяющая вероятности переходов

R

P(z(n) | z(n -1)) = П P(zi (n) I Pa (z (n))). (1)

i=1

Здесь z = [z,..., zß]T — вектор случайных величин, используемых для описания стохастической системы; Pa(zi (n)) — множество родительских переменных для i -й переменной.

Зачастую множество переменных Z может быть представлено как объединение множества непосредственно не наблюдаемых переменных состояния системы X и множества регистрируемых величин Y, характеризующих состояние. При этом для описания системы обычно задается модель состояния, описывающая динамику изменения во времени вероятностей нахождения системы в различных состояниях, и модель наблюдения, описывающая связь наблюдений с состоянием системы. Эти модели определяются условными распределениями вероятностей P(x(n +1) | x(n)) и P(y(n) | x(n)) соответственно, а также распределением вероятностей P(x(l)) состояния в начальный момент времени.

На рис. 1 представлены примеры графических моделей, соответствующих ДБС с единственной переменной состояния и единственной переменной наблюдения: скрытая марковская модель (СММ) и авторегрессионная СММ.

Рис. 1. Примеры графических моделей ДБС:

а - СММ; б - авторегрессионная СММ

© Милов В.Р., Баранов В.Г., Эпштейн А.Ю., Шалашов И.В., 2010.

Скрытая марковская модель соответствует ДБС с единственной дискретной переменной состояния, которая недоступна для наблюдения и определяются следующими распределениями и параметрами:

Распределение вероятностей начального состояния щ = Р(х(1) = а ).

Модель состояния, задаваемая с помощью (г х г) -матрицы переходов А с элементами А = р(х(п +1) = а | х(п) = а ), г, У = 1, г , где г - количество состояний.

Модель наблюдения в случае дискретных наблюдений задается с помощью (г х Н) -матрицы в с элементами В = Р(у(п) = Ъ | х(п) = а ), г = 1, г, у = 1, Н, где Н - количество возможных наблюдаемых значений. В случае действительных наблюдений часто используется гауссовское распределение с условной плотностью вероятности р(у(п) = | х(п) = а )= N(£,; ^, Е.), где ^ — математическое ожидание и Ег - ковариационная матрица для г -го состояния системы.

Процедуры прогнозирования и фильтрации

В многочисленных практически важных задачах интерес представляет прогнозирование состояния стохастической системы. Для этого находятся вероятности

р(х(п + Т + 1)| У1:и)= XР(х(п + т +1)| х(п + т))р(х(п + т)| У1:и), т = 0, тп-1. (2)

х(п+т)

Здесь УГй — последовательность наблюдений у(1), ..., у(п), величина тп определяет горизонт прогнозирования. Основу для прогнозирования представляет процедура фильтрации, в результате которой находятся вероятности

Р(х(п) | Ущ ) = П Р(У(П) | х(п), У] п-1 )Р(х(п) | У] п-1 ) =

= П р(У(п)| х(п))

(3)

X Р(х(п) | х(п - 1))Р(х(п - 1) | У1:п-! )

х(п-1)

где п = 1/ Р(у(п) | У1 : п-1 ) - константа нормализации.

Для случая СММ с дискретными переменными процедуры прогнозирования и фильтрации могут быть представлены в матричном виде

р(х(п+т + 1) | У1и ) = Ат р(х(п+т) | Уы ), Т = 0, Тп-1, (4)

Р(х(п) | Ущ ) = п О(п) Ат Р(х(п -1) | Ущ-,), Р(х(1) | У) = п 0(1)п. (5)

Здесь Р(х | У) = [Р(х = а1 | У), ..., Р(х = аг | У)]т, 0(п) = {о^,у (п)} — диагональная матрица с

элементами 0 г (п) = В. ~, где ~ = а^{у(п) = Ъу }.

Структурно-параметрическое обучение

При наличии неопределенности модель системы определена не полностью. В общем случае возникает необходимость определения как параметров 0, так и структуры я модели [1]. На основе доступной обучающей выборки Б может быть выполнена процедура обучения.

В условиях, когда обучающая выборка содержит значения не только переменных наблюдения у(п), но и состояния х(п), т.е. Б = {X, У}, оценка параметров при фиксированной структуре я может быть найдена по критерию минимума среднего риска, например, как апостериорное среднее, либо по критерию максимального правдоподобия

0ыь = а1Е тах ь(б| 0 я). (6)

Здесь

Ь(Б | 0, я) — логарифм функции правдоподобия, определяемый выражением

¿(б 10,5) = 1п Р(Б 10,5) = 1п Р(х, У10,5) =

N N (7)

= 1п р(х(1) | 0, 5)+£ 1п р(х(п) | х(п -1), 0, 5)+ £ 1п Р(у(п) | х(п), 0, 5). ( )

п=2 п=1

Задача определения структуры модели может быть решена по критерию максимума апостериорной вероятности. В распространенном случае различные структуры модели полагаются априори равновероятными. При этом оптимальная структура модели доставляет максимум логарифму маргинальной функции правдоподобия

¿(Б | 5) = 1п Р(Б | 5) = 1п |Р(Б | 0, 5)р(01 5)ё0. ^

©

В общем случае интегрирование в (8) выполняется приближенно. Достаточно часто для выбора структуры модели находит применение информационный критерий Акаике

¿А1С(Б|5) = ¿(б|0мь, 5)- у. (9)

При использовании байесовского информационного критерия целевая функция структурной оптимизации определяется выражением

¿вс(Б | 5) = ¿(б | 00мь, 5)-\ 1п N, (10)

где N - объем обучающей выборки; у - эффективное количество параметров. Например, при определении порядка д цепи Маркова эффективное количество параметров у, согласно [2], составляет

у = гд (г -1). (11)

В случае, когда значения переменных состояния отсутствуют в обучающей выборке,

т.е. б = у, оценку параметров 0 для заданной структуры 5 модели позволяют найти процедуры, основанные на ЕМ-алгоритме. Этот алгоритм сходится к локальному максимуму функции правдоподобия Р(У|0, 5) и состоит из последовательности итераций, включающих Е и М-шаги. Итерационная процедура оценки параметров, согласно [3], имеет вид

0 = а^шах£р(х | У, 0, 5)ь(х, У | 0, 5), (12)

0 х

где 0 и 0 — оценки параметров на предыдущей и данной итерациях соответственно.

Соответствующую процедуру для обучения СММ представляет известный алгоритм Баума-Уэлша. На Е-шаге с использованием найденных на предшествующей итерации оценок

параметров 0 с помощью процедуры интерполяции на фиксированном интервале, включающей рекуррентные вычисления в прямом и обратном времени, определяются так называемые прямые и обратные переменные [4]

а(п) = Р(х(п)|У1п), р(п) = Р(У| х(п)), п = . (13)

С помощью этих переменных вычисляются ожидаемые статистики

£(п) = р(х(п) = а, х(п +1) = а] | У, 0), (14)

1г (п) = Р(х(п) = аг | У, 0). (15)

Затем на М-шаге с использованием вычисленных величин находятся новые оценки 0 параметров СММ. Шаги ЕМ-алгоритма повторяются до наступления сходимости итерационного процесса.

При наличии скрытых переменных структура и параметры моделей могут быть найдены с помощью структурного ЕМ-алгоритма [5], на каждой итерации которого находятся новые оценки как параметров 0 , так и структуры модели 5€. В рамках байесовской методологии в [6] получен вариационный байесовский ЕМ-алгоритм (УВЕМ), который может рассматриваться как обобщение ЕМ-алгоритма. С помощью УВЕМ может быть найдена

оценка параметров 0 по критерию максимума апостериорной плотности вероятности

р(0 | У, я), а также нижняя граница для логарифма маргинальной функции правдоподобия Р(У | я), что позволяет выполнять селекцию моделей.

После завершения процесса обучения СММ может применяться для решения задач фильтрации и прогнозирования.

Моделирование процедур структурно-параметрического обучения

В качестве примера для моделирования рассмотрим систему с четырьмя состояниями а{, I = 1,4, между которыми возможны только последовательные переходы. Так, переход от а2 к а4, минуя а, невозможен, а также запрещены обратные переходы. Такая модель (рис. 2) является частным случаем процесса гибели и размножения.

Рис. 2. Диаграмма состояний

Состояние моделируемой системы непосредственно не наблюдается. В каждый момент времени наблюдается вектор у(п) = [у (п) у2 (п)]Т, компоненты которого представляют собой реализации гауссовских случайных величин со средними , р2 и дисперсиями , В2г, зависящими от скрытого состояния аI. Кроме того, полагается, что у (п) и у2 (п) условно независимы.

Для реализации процедур прогнозирования состояния дискретных стохастических систем в среде MatLab с использованием пакета расширения BNT разработана программа, которая позволяет проводить структурное и параметрическое обучение, а также выполнять процедуры фильтрации и прогнозирования на основе реальных наблюдений или генерируемых (синтетических) данных.

Для сравнения байесовского информационного критерия (В1С) и информационного критерия Акаике (А1С) с помощью моделирования получена зависимость оценок порядка цепи Маркова, соответствующей модели состояния СММ, от объема обучающей выборки (рис. 3). При моделировании сформированы последовательности длиной N = 200 элементов, сгенерированные моделью второго порядка. В каждый момент дискретного времени п = 1, N с помощью AIC и BIC найдены оценки порядка марковской цепи.

Рис. 3. Оценки порядка цепи Маркова

Результаты моделирования (рис. 3) свидетельствуют, что при малом объеме выборки решения принимаются в пользу моделей, более простых, чем модель, использованная для генерации обрабатываемых последовательностей. При увеличении длины наблюдаемой последовательности оценка порядка по BIC сходится к истинному значению. При использовании AIC наблюдается систематическое завышение порядка модели, что согласуется с выводами, представленными в [7].

При параметрическом обучении выполнено сравнение оценок параметров по критериям максимума правдоподобия (ML) и минимума среднего риска (MAR). В качестве характеристики точности оценок параметров использована ошибка обучения, которая определяется как сумма квадратов разностей между истинными значениями переходных вероятностей (известными при моделировании) и значениями, полученными в результате обучения

e=£ £ к, - Aj )2 ■

(16)

i =1 j=1

На рис. 4 показаны значения ошибок, полученные при параметрическом обучении десяти цепей Маркова по выборкам различного объема.

а) б)

Рис. 4. Ошибки оценок переходных вероятностей по выборкам:

а - объемом N = 10 элементов; б - объемом N = 50 элементов

Результаты моделирования (рис. 4) демонстрируют превосходство байесовского подхода, которое в наибольшей степени проявляется в условиях малых выборок.

Моделирование процедур прогнозирования состояния системы

Для СММ (рис. 2) выполнено моделирование процедур фильтрации и прогнозирования состояния. Для этого сформирована последовательность состояний и последовательности данных наблюдения, примеры которых приведены на рис. 5. Вертикальными штриховыми линиями обозначены моменты смены состояния. Последовательность переходов аьа2 ,аъ,а4 можно рассматривать как представление процесса деградации системы.

Эти последовательности подаются на вход процедур фильтрации и прогнозирования: в каждый момент времени п = 1, N используется часть ¥Гп сгенерированной последовательности наблюдений. С помощью фильтрации вычисляются апостериорные вероятности состояний для шагов с 1 до п , а также выполняется прогнозирование состояния системы на гп шагов. На рис. 6, а представлены результаты прогнозирования на тп = 40 шагов в начальный момент времени, на рис. 6, б и 6, в - результаты фильтрации и прогнозирования после 40 и

80 шагов наблюдения соответственно. Графики (рис. 6) свидетельствуют, что в рассматриваемом примере процедура фильтрации позволяет достаточно точно установить смену состояний системы.

Рис. 5. Реализации данных наблюдения

а)

б)

в)

Рис. 6. Результаты прогнозирования:

а - на основе априорной информации; б - после 40 шагов; в - после 80 шагов

Вывод

На основе байесовской методологии с использованием известных алгоритмов сформированы процедуры структурно-параметрического синтеза, а также процедуры фильтрации и прогнозирования состояния стохастических систем, описываемых при помощи скрытых марковских моделей. Эти процедуры реализованы в среде Ма^аЬ в программном обеспечении прогнозирования состояния технических систем. Результаты работы могут найти применение в составе систем диагностики и управления состоянием сложных технических систем, а также систем технического обслуживания и ремонта.

Библиографический список

1. Милов, В. Р. Структурно-параметрический синтез нейросетевых моделей нестационарных систем / В. Р. Милов, С. А. Шалюгин // IX Всероссийская науч.-техн. конф. «Нейроинформа-тика-2007»: сб. науч. тр. - М.: МИФИ, 2007. Ч. 1. С. 205-213.

2. Katz, R. On some criteria for estimating the order of a Markov chain / Richard W. Katz // Techno-metrics. 1981. V. 23. № 3. - P. 243-249.

3. Рассел, С. Искусственный интеллект: современный подход / С. Рассел, П. Норвиг; пер. с англ. К. А. Птицына. - М.: Издательский дом «Вильямс», 2006. - 1408 с.

4. Rabiner, L. A tutorial on Hidden Markov Models and selected applications in speech recognition / Lawrence R. Rabiner // Proceedings of the IEEE. 1989. V. 77. № 2. - P. 257-285.

5. Friedman, N. The Bayesian Structural EM Algorithm // Fourteenth Conf. on Uncertainty in Artificial Intelligence. 1998. - P. 129-138.

6. Ghahramani, Z. Propagation algorithms for variational Bayesian learning / Z. Ghahramani, M.J. Beal // Neural Information Processing Systems 13, 2001. - P. 507-513.

7. Csiszar, I. The consistency of the BIC Markov order estimator / Imre Csiszar, Paul C. Shields // The Annals of Statistics. 2000. V. 28. № 6. - P. 1601-1619.

Дата поступления в редакцию 30.03.2010

V.R. Milov, V.G. Baranov, A.Yu. Epshteyn, I.V. Shalashov

DISCRETE STOCHASTIC SYSTEM STATE PREDICTION UNDER UNCERTAINTY ON

THE BASIS OF BAYESIAN APPROACH

Probabilistic-statistical approach to technical state prediction is examined. Software prototype for state prediction for the systems described by hidden Markov models is developed.

Keywords: dynamic Bayesian network, hidden Markov model, filtering, prediction, structure-parameter learning.