О решении задачи оценивания скрытых полумарковских моделей фергюсоновского типа Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.217.2+621.391.82 Б01 10.18522/0321-3005-2015-3-19-24

О РЕШЕНИИ ЗАДАЧИ ОЦЕНИВАНИЯ СКРЫТЫХ ПОЛУМАРКОВСКИХ МОДЕЛЕЙ ФЕРГЮСОНОВСКОГО ТИПА

© 2015 г. В.М. Деундяк, М.А. Жданова

Деундяк Владимир Михайлович - кандидат физико-математических наук, доцент, кафедра алгебры и дискретной математики, Институт математики, механики и компьютерных наук Южного федерального университета; старший научный сотрудник, НИИ «Спецвузавтоматика», ул. Мильчакова, 8а, г. Ростов-на-Дону, 344090, e-mail: [email protected]

Жданова Мария Андреевна - магистр, кафедра алгебры и дискретной математики, Институт математики, механики и компьютерных наук Южного федерального университета, ул. Мильчакова, 8а, г. Ростов-на-Дону, 344090, e-mail: mary.zhdanova@gmail. com

Deundyak Vladimir Mikhailovich - Candidate of Physical and Mathematical Science, Associate Professor, Department of Algebra and Discrete Mathematics, Institute of Mathematics, Mechanics and Computer Science of the Southern Federal University; Senior Researcher, SRI «Specvuzavtomatika», Milchakov St., 8a, Rostov-on-Don, 344090, Russia, e-mail: [email protected]

Zhdanova Mariya Andreevna - Master, Department of Algebra and Discrete Mathematics, Institute of Mathematics, Mechanics and Computer Science of the Southern Federal University, Milchakov St., 8a, Rostov-on-Don, 344090, Russia, e-mail: [email protected]

Рассматривается скрытая полумарковская модель источника ошибок фергюсоновского типа. Для нее предлагается решение классической задачи теории скрытых полумарковских моделей - задачи оценивания. Предварительно на основе подхода Ю решается задача оценивания для расширенной скрытой полумарковской модели. Полученные теоретические результаты позволят в дальнейшем осуществлять анализ средств помехоустойчивого кодирования путем имитационного моделирования каналов связи.

Ключевые слова: модель источника ошибок, поток ошибок, цифровой канал связи, скрытая полумарковская модель, задача оценивания.

In the paper, we examine a hidden semi-Markov error source model of the Ferguson's type. For the considered model, we solve one of the classical problems of the hidden semi-Markov models theory (evaluation problem). As an intermediate step we suggest a solution of the same problem for the extension of hidden semi-Markov model based on the approach proposed by Yu. Obtained theoretical results make it possible to analyze noiseless coding methods by simulating digital data transmission channels.

Keywords: error source model, error flow, digital transmission channel, Hidden semi-Markov Model, evaluation problem.

Для обеспечения высококачественной передачи данных по цифровым каналам в настоящее время широко используются методы алгебраического помехоустойчивого кодирования. Для экспериментального исследования этих методов и подбора наиболее подходящего средства защиты для каждого конкретного канала связи можно использовать предложенную в [1, 2] информационную систему оценки применимости схем алгебраического помехоустойчивого кодирования (ИС ОПСАПК). Важной частью такой системы является база моделей источников ошибок, которые позволяют производить генерацию последовательностей ошибок с заданными параметрами и с их помощью проводить имитационные эксперименты. В качестве генераторов потоков ошибок удобно использовать достаточно общие модели. При выборе класса таких моделей важно учитывать возможность решения обратной задачи, т.е. задачи подбора по последовательности ошибок в реальном ка-

нале модели, способной генерировать такую последовательность. Подходящим для этого представляется класс скрытых полумарковских моделей (например, [3-9]). В [6] построена общая скрытая полумарковская модель (ОСПММ) и предложены решения для ряда важных задач теории скрытых марковских и полумарковских моделей. На основе подхода [6] в работе [10] решена задача оценивания скрытых полумарковских рР-моделей [7], что позволяет решать задачу подбора по канальному потоку ошибок такой модели из имеющейся базы, которая может генерировать наиболее близкие потоки ошибок. В [8] для скрытой полумарковской модели фергюсо-новского типа построено полиномиальное представление, позволяющее эффективно проводить генерацию выходных последовательностей. В настоящей работе предлагается решение задачи оценивания скрытой полумарковской модели фергюсоновского типа.

Общая скрытая полумарковская модель Ю

Скрытая полумарковская модель представляет собой расширение скрытой марковской модели путем замены марковского скрытого процесса полумарковским, при котором модель может находиться в каждом состоянии в течение нескольких моментов времени. В [6] сформулировано определение ОСПММ таким образом, что построенная модель включает в себя известные ранее модели этого класса.

Прежде чем привести определение ОСПММ, введем следующие необходимые обозначения. Рассмотрим дискретную цепь Маркова с набором состояний = {1,..,^}. Последовательность состояний будем

обозначать = 5 ,..,, где - последо-

Ч-* т Ч 1т ^

вательность отсчетов времени (). Далее = г означает, что цепь Маркова находится в состоянии г в течение ]; = г представляет

собой = I при выполнении дополнительного

условия, что момент времени ,1 - начало состояния г; ] = I означает = г при условии, что момент 1т - момент окончания состояния г; ] = г представляет собой = г при выполнении условий, что в момент ,1 - начало, а в ,т - окончание состояния г. В случаях, когда индексы слишком длинные, будем вместо О писать От .

1\лт ,1

Согласно [6], ОСПММ называется набор

Х = {5, Б, А, П,У, В} ,

где 5 = {1,.., Щ - алфавит состояний модели; Б = {1,..,атах} - алфавит длительностей состояний;

А = {а(г,а)(г',а')}(г,а)(г',а ')е5хБ - матриЦа вероятностей

переходов для обобщенных состояний из 5 х Б, где

а(г,С)(г',С') = Р[5[,+1.,+С'] = г' I =С+1.,] = г] и

а(г,а')(г,С) = 0 ; П = {пг,а}{г,а)е5хБ - набор начальньк распределений вероятностей обобщенных состояний Я,а = Р[5[г-а+1:,] =г]; У = ^ъ-Ум} - выходной алфавит; в = {Й;,а(°1,..,°а)}(;,а)е5хА(01,..,0а )еГа -набор распределений вероятностей наблюдений

(01,..,0а) еУа.

Заметим, что модель из [6] предполагает невозможность самоперехода между обобщёнными состояниями. Это требование не является существенным для решения задачи оценивания, поэтому, говоря об ОСПММ, будем иметь в виду чуть более общую, чем в [6], модель, допускающую самопереход.

ОСПММ обобщает такие известные модели, как скрытая марковская модель с явно заданной плотно-

стью длительности состояний [4], скрытая марковская модель с непрерывно изменяющейся длительностью из [3] и сегментные скрытые марковские модели из [5].

Скрытая полумарковская модель источника ошибок фергюсоновского типа

Рассмотрим симметричный стационарный идеально синхронизированный цифровой канал передачи данных С, по которому передается информация в виде последовательностей символов д -го алфавита, отождествляемого с полем Галуа Ед . Канал С может

находиться в одном из N различных физических состояний в течение некоторого промежутка времени, после чего переходит в следующее состояние. Предполагается, что для произвольного состояния распределение длительностей пребывания в нем фиксировано. В каждом из состояний могут возникать независимые аддитивные ошибки с собственным фиксированным распределением.

Построим математическую модель источника ошибок в канале С . Набору физических состояний канала поставим в соответствие алфавит 5 = {1,..,Щ математических состояний. Вероятности переходов между состояниями зададим матрицей А = {аг]-=1, а начальное распределение вероятностей состояний -вектором я = . Пусть Б = {1,..,атах} - множе-

ство всех возможных длительностей по всем состояниям, а элемент рг(а) матрицы Ж = {рг(а)}^^ -

вероятность наблюдения длительности а при условии, что канал передачи данных С находится в состоянии г. Выходным алфавитом математической модели является алфавит канала, т.е. поле Галуа Ед , а

вероятности наблюдения различных значений ошибки в различных состояниях канала задаются в виде матрицы В = {Ьу ^^ . Построенный набор

Х = {5, А, я, Ед, В, Б, Ж} (1)

представляет собой одну из классических скрытых полумарковских моделей, известную в литературе как скрытая марковская модель с явно заданной плотностью длительности состояний [6]. Эта модель была впервые предложена Фергюсоном в [11]. Для краткости в дальнейшем будем называть ее скрытой полумарковской моделью фергюсоновского типа.

Модель (1) является ОСПММ из работы [6] с наложенными на нее следующими дополнительными ограничениями:

а) текущее состояние не зависит от длительности предыдущего состояния;

б) текущая длительность определяется только текущим состоянием и не зависит от предыдущего состояния и его длительности;

в) наблюдения символов выходного алфавита внутри длительности полагаются условно независимыми с распределением вероятностей, зависящим только от текущего состояния, но не от его длительности.

Заметим, что ограничения a), б) можно записать в виде

а(г,а)(],а') = ау ■ Р] (А'), (2)

лг,А = Л ■ Рг(А). (3)

Отметим также, что если алфавит возможных длительностей содержит только один элемент и, следовательно, матрица Г представляет собой вектор длины N, все элементы которого равны 1, то скрытая полумарковская модель типа Фергюсона сводится к скрытой марковской модели.

Процесс генерации последовательности ошибок посредством модели типа Фергюсона выглядит следующим образом.

Этап 1. В соответствии либо с вектором л (в момент времени г = 1), либо с матрицей А выбирается текущее состояние.

Этап 2. В выбранном состоянии г с использованием Р1 (А) определяется длина временного промежутка, в течение которого система будет находиться в г -м состоянии.

Этап 3. В каждой точке этого отрезка посредством Ьгк генерируется наблюдение.

Решение задачи оценивания общей скрытой полумарковской модели

Рассмотрим ОСПММ Х = {£ Б, А, П,Г,В} и некоторую последовательность 01:Т над алфавитом V . Под задачей оценивания общей скрытой полумарковской модели будем понимать задачу вычисления вероятности генерации последовательности 01:Т моделью X.

В [6] предлагаются формулы для решения этой задачи при следующих предположениях:

1) первое наблюдаемое состояние началось в момент времени г = 1 или до него;

2) последнее наблюдаемое состояние закончилось строго в момент времени Т .

Отметим, что 1) означает, что нам известна только часть символов, порожденных первым наблюдаемым состоянием. В этом случае модель Ю предлагает заменять вероятность неполного слова Ь^ +1 : () (где г _ А +1 < 1 и г > 1) на маргинальную вероятность Ьа (0 : г) .

Вероятность генерации последовательности 01:Т моделью X при предположениях 1), 2) будем обозначать РТи [01Т ], где индекс Yu означает, что последнее состояние закончилось строго в момент времени Т . Отметим, что Руи [0\т ] фактически представляет со-

бой условную вероятность наблюдать последовательность 01:Т при условии, что последнее наблюдаемое состояние закончилось в момент времени Т . Для решения этой задачи в [6] вводится величина

а((г, А) := Р[5[г_а+1:1 ] = г | 01:г], где (г, А) е £ х Б , и

предлагаются следующие рекуррентные формулы по параметру г :

Рти Он ] =

1, г < о,

Z Z Pfu °i:t_d Wt (i,ä)bud(Ot_d+ht ),t > 0;

UeSdeD

(4)

at (i, d) -

KUdPi(d),t ^ 0,

I Z Z at_d(id')b",',d'(Ol_d_d'+\)a(i'd)M),t > 0;

U ' eSd GD

lt_d ч _ и rr>t_d ^PUßti-d-dl

(5)

b i 'd (OZd+1)=bi W (ß'-d-d'+1)

PYu [°1:i _d ]

РТи [01:1

В [6] отмечено, что такой способ позволяет избежать проблемы антипереполнения, т.е. потери вычислительной точности.

Для прикладных задач представляет интерес решение задачи оценивания без дополнительных предположений, т.е. когда первое наблюдаемое состояние началось в момент времени г = 1 или до него, а последнее закончилось в момент времени Т или после него. Мы будем предполагать, что последовательность 01Т достаточно длинная. Тогда вероятность наблюдения некоторого обобщенного состояния ( ], А) в момент времени Т будем считать равной

л , а вероятность времени пребывания в этом состоянии на момент времени Т будем полагать равным —. Такие последовательности будем называть А

стабилизированными. Сформулируем решение задачи оценивания для случая стабилизированных последовательностей.

Теорема 1. Вероятность генерации стабилизированной последовательности 0^т ОСПММ X может быть вычислена по формуле Р[01:т ] =

= 1 2 Рти [01:т_А1 ~]Ь], А (0ТТ_ а +{), (6

]е8аеБ А ^ =1 1 ] т +1

где РТи [01:Т_а ] определяется по формуле (4).

Доказательство. Рассмотрим общую скрытую марковскую модель X и стабилизированную последовательность наблюдений 0и. Обозначим через т\,...,гт последовательность обобщенных состояний, породивших наблюдаемую последовательность 01:Т . При этом предполагается, что в момент времени г = 1 модель находилась в состоянии г1, а в момент г = Т -в состоянии гт . Тогда гт - последнее наблюдаемое обобщенное состояние.

Рассмотрим событие Еа , а1 е [1, атах], заключающееся в том, что в момент времени Т модель находилась в состоянии гт на протяжении а1 от счетов времени, т. е. в момент времени Т - а1 закончилось состояние гт-1, а в момент времени Т - а1 +1 началось состояние гт .

Пусть Е},а , где (/', а) е 5 х Б , - событие, состоящее в том, что последнее наблюдаемое обобщенное состояние гт равно (/, а). Заметим, что

Wi е [1,dmax],dx > d :Ej,dПEdi =0

и имеет место равенство

d

(7)

■ j -max ■ j

EJ,d = U (EJ,dПEd ). d1 =1

O\T-d{ при условии, что наблюдаемое в момент времени T - di состояние закончилось именно в момент T - dx, т.е. P[OVJ-^ I] = Pyu [Oit-d, ]. События

Q.

T+it и Ed условно независимы относительно

EJ,d,

поэтому

Кроме того,

■ j dmax

OhT = OhT n ( и EJ,d )n ( U Ed ) =

j ,d dj =1

dmax ■ ? dmax ■ ?

= Oi:T n( U U Ej,d nEdx ) = и U EJ,d nEdi nOi:T .

j,ddj =1 j,ddj =1

Далее для произвольных событий A1,..., An будем использовать обозначение:

n

P[ Aj,..., An ] = P[ n A, ].

i=1

Ввиду (7) из последнего соотношения вытекает

d max ■ j

P[Oi:T ] = ZZ E P[Oi:T,EJ,d,Edi ] = j d di =1 d ■ j = ZZZ P[Oi:T,Ej,d,Edx ] =

Р[От-а, +1.т I EJ,а, Еа1 ] = Р[От - а, +1.Т IЕ1, а ].

Р[ОТ-с +1.т I Е], а ] представляет собой вероятность наблюдать частичную последовательность От-с +1.т в обобщенном состоянии (/', С), т.е.

Ь'са (От-а1 +1.т). Таким образом,

Р[О1.т | Е' а, Еа1 ] = Р[О1.т - а1 I Еа1 ]Р[От - а. +1.т I Е/,а ].

Из условия стабилизированности последовательности ОЬт вытекает, что Р[Е/,а, Еа ] = я/

d •

j d dx =i

= SS S P[Oi:T I Ej d, Edx ]P[EJ,d, Edx ]. (8)

j d di =1

Рассмотрим отдельно P[Oi:T | Ej,d,Ed1 ] = P[Oi:T-d1 , Ot-d1 +1:T I Ejd, Edx ].

События Oitи Ot-dl +it являются условно независимыми относительно EJ,dПEd . Поэтому

P[Oi:T | EJ,d,Edi ] = P[Oi:T-di I EJ,dEdi ], P[Ot-di +i:T I Ej'd,Edi].

События Oitи Ej условно независимы относительно Ed , поэтому

P[Oi:T-di I EJ'd, E^] = P[Oi:T - dl IEdl]. Воспользовавшись определением Ed , нетрудно увидеть, что P[Oi:t-^ I Ed^ ] фактически представляет собой вероятность наблюдать последовательность

Таким образом, подставляя полученные выражения для Р[О1:т I ЕJ,С, Еах ] и Р[Е/,С, Еа ] в формулу (8), получим искомую формулу (6).

Решение задачи оценивания скрытой полумарковской модели фергюсоновского типа

Сформулируем необходимые далее утверждения. Зафиксируем модель фергюсоновского типа Х = {5, А, я, Ед, В, Б, Е} и рассмотрим бесконечную

последовательность элементов алфавита Ед , которую будем обозначать О . Пусть О^т - конечная подпоследовательность последовательности О . Будем считать, что нам известны элементы О1.т , но о символах, находящихся за пределами отрезка [1, т], мы ничего не знаем. Пусть +1.,+а - частичная подпоследовательность длины а последовательности О . Справедлива следующая лемма.

Лемма 1. Вероятность наблюдать подпоследовательность О,+1:,+а в состоянии г длительностью

С , т.е. Ьиа(О,+1.,+а), может быть вычислена следующим образом:

Ьг,а (О,+1.,+а) =пС=1Ьг(О,+е), (9)

где Ь*(О,+е) = Ьг (О,+е), если , + ее[1,т], и *

Ь* О+е) = 1, если , + ег [1, т].

Доказательство. Введем в рассмотрение величину

Ъ'ю ) = Ь (О,+е ), если , + ее [1, т ], г ( ,+в) [ 1, если , + ег[1,т] и покажем, что справедливо (9).

По определению

Ьг,А (01+1:1+А ) = Р[01+1:1+А | +1:1+А ] = г] . В силу того, что для скрытой полумарковской модели фергюсоновского типа предполагается условная независимость наблюдений символов выходного алфавита при фиксированном состоянии и длительности, справедливо равенство

А

Р[0г+1:1+А 1 ^+1:1+А] = г] = П Р[0г+е 1 +1:1+А] = г],

е=1

где 0г+е - е -е наблюдение на отрезке [г +1, г + А]. В зависимости от значения г подпоследовательность 0г+1г+а может располагаться четырьмя различными

способами относительно начала и конца последовательности 01:Т .

Так, при г > 0 и г + А < Т нам известны все элементы подпоследовательности 0г +1:г+А и, следовательно,

А

Р[0г+а I S[1+А] = г] = ПЬ (0,+е). (10)

е=1

При г > 0 и г + А > Т известны только первые к = Т _ г символов последовательности 0г+а , так как конец подпоследовательности 0г+1:г +А лежит за пределами интервала [1,Т] . В этом случае вероятность Р[0г+1:1+А I +и+А] = г] будем заменять маргинальной вероятностью, т.е. вероятностью наблюдать префикс 0г+к в состоянии г длительностью А :

Р[01+1:1+А 1 +1:1+А] =г] = Р[0г+1:1+к | ^+1:1+А] =г] = к к = ПР[0г+е | S[1+1:г+А]] = г] = ПЬ(0,+е) . (11)

е=1 е=1

Случай, когда 1 < 0 и 1 + А < Т, аналогичен предыдущему. Теперь известны только последние А _ т символов подпоследовательности 0{+17+а , где

т = 1 _ 1. Тогда вероятность Р[0,+1:1+а | S[1+1:1+а] = г]

сводится к вероятности наблюдать суффикс 0г+т:1+а

в состоянии г длительностью А . Таким образом,

А

Р[0,+11+А\S[1+1.1+А] = г] = ПЬг (01+е). (12)

е=т

При 1 < 0, 1 + А > Т известны только символы 01+1:1+а , начиная с т -го и заканчивая к -м. Следовательно,

к

Р[0г+а | S[1+1:1+А] = г] = ПЬ (0,+е) . (13)

е=т

Если 1 < 0, 1 + А< 0, как и в случае, когда 1 > Т , нам неизвестен ни один символ подпоследовательности 01+1:1+а . Последовательность 0 бесконечная, и,

значит, можно утверждать, что какая-то частичная

последовательность символов из Fq обязательно реализовалась. Тогда P[Ot+1:t+а | S"[t+1:t+а] = i] = 1.

Используя введенное обозначение b* (Ot+е ), каждое из выражений (10)-(13) можем переписать в виде

bud (Ot+i:t+а ) = nd=ib*(Ot+е ).

Лемма 2. Вероятность наблюдать последовательность O1:t при предположении, что первое состояние началось в момент времени t' = 1 или до него, а последнее закончилось в момент времени t , может быть вычислена по следующей рекуррентной формуле:

Pfu [Oit ] =

1, t < 0,

S S Pju [Ol:,-AH(i,d)bhd (Ot_d+ht), t > 0,

lieSdeD

(14)

где

ät (i, d ) =

nipi (d), t < 0,

= 12 2 «1 _А (г', А>г<, А' (01_А_А,+1М' гРг (А), 1 > 0; [г' еSА ' еБ

(15)

Ьг',А '(° _А_А'+1) - Ьг'А(0г_А_А' +1) р гп-Г

РТи [01:1 _А]

и Ьг а (0,_а) определяется в соответствии с формулой (9).

Доказательство проводится с помощью формул (2)-(5). Именно подставляя (2), (3) в формулы (4), (5), получим формулы (14), (15).

Теорема 2. Вероятность генерации стабилизированной последовательности 0уТ скрытой полумарковской моделью фергюсоновского типа X может быть определена по формуле

л .-р.-(А) А т

— А РТи [°1:Т_ А, ]Ь], А (0Т_ А, +1X

P[Oi:T ] = S S

jeSAED A A =1

где Рти [0и] вычисляется по формулам (14), (15),

а Ь- а (01 +А ) - в соответствии с формулой (9).

Доказательство теоремы непосредственно вытекает из теоремы 1, соотношения (3) и лемм 1, 2. Именно подставив (3) в (6) и вычисляя Рти[01:Т _А ] в

соответствии с леммой 1, а Ь-а(0Т+А) - с леммой 2, получим формулы для решения задачи оценивания для модели Фергюсона.

Заключение

В работе рассмотрена скрытая полумарковская модель источника ошибок фергюсоновского типа и для этой модели решена задача оценивания. Получен-

ные теоретические результаты дают возможность совершенствовать системы оценки применимости помехоустойчивого кодирования в каналах связи; именно они позволяют по регистрируемой в канале последовательности ошибок решать задачу подбора наиболее подходящего генератора фергюсоновского типа.

Литература

1. Деундяк В.М., Маевский А.Э., Могилевская Н.С. Методы

помехоустойчивой защиты данных. Ростов н/Д., 2014. 309 с.

2. Могилевская Н.С., Чугунный К.А. Информационная система «Канал»: свидетельство о государственной регистрации программ для ЭВМ № 2008614602. 24.09.2008.

3. Levinson S.E. Continuously variable duration hidden Mar-

kov models for automatic speech recognition // Computer Speech and Language. 1986. № 1 (1). P. 29-45.

4. Rabiner L.R. A tutorial on Hidden Markov Models and se-

lected applications in speech recognition // Proceedings of the IEEE 1989. Vol. 77 (2). P. 257 -286.

5. Ostendorf M., Digalakis V.V., Kimball O.A. From HMM's

to segment models: A unified view of stochastic modeling for speech recognition // IEEE Transactions on Speech and Audio Processing. 1996. Vol. 4 (5). P. 360-378.

6. Shun-Zheng Yu. Hidden semi-Markov models // Artificial

Intelligence. 2010. Vol. 174, № 2. P. 215-243.

7. Деундяк В.М., Жданова М.А. О применении скрытых

марковских моделей в моделировании источников ошибок // Обозрение прикладной и промышленной математики. 2011. Вып. 3. С. 488.

8. Деундяк В.М., Жданова М.А. Полиномиальное представ-

ление скрытой полумарковской модели фергюсоновского типа // Вестн. Воронеж. гос. ун-та. Системный анализ и информационные технологии. 2013. № 2. С. 71-78.

9. Tingting Liu, Lemeire J., Lixin Yang. Proper initialization of

Hidden Markov models for industrial applications // IEEE China Summit & International Conference on Signal and Information Processing (ChinaSIP), 9-13 July 2014. P. 490-494.

10. Деундяк В.М., Жданова М.А. Решение задачи оценива-

ния скрытых полумарковских QP-моделей // Вестник ДГТУ. 2014. Т. 14, № 4. С. 22-39.

Поступила в редакцию

11. Ferguson J. D. Variable Duration Models for Speech // Proc. Symp. on the Application of Hidden Markov Models to Text and Speech. Princeton, NJ, 1980. P.143-179.

References

1. Deundyak V.M., Maevskii A.E., Mogilevskaya N.S. Metody pomekhoustoichivoi zashchity dannykh [Methods for interference-free data protection]. Rostov-on-Don, 2014, 309 p.

2. Mogilevskaya N.S., Chugunnyi K.A. Informatsionnaya

sistema «Kanal» [Information system «Channel»]. Certificate, no 2008614602. 24.09.2008.

3. Levinson S.E. Continuously variable duration hidden Mar-

kov models for automatic speech recognition. Computer Speech and Language, 1986, no 1, pp. 29-45.

4. Rabiner L.R. A tutorial on hidden Markov models and se-

lected applications in speech recognition. Proceedings of the IEEE, 1989, vol. 77 (2), pp. 257-286.

5. Ostendorf M., Digalakis V.V., Kimball O.A. From HMM's

to segment models: a unified view of stochastic modeling for speech recognition. IEEE Transactions on Speech and Audio Processing, 1996, vol. 4 (5), pp. 360-378.

6. Shun-Zheng Yu. Hidden semi-Markov models. Artificial

Intelligence, 2010, vol. 174, no 2, pp. 215-243.

7. Deundyak V.M., Zhdanova M.A. O primenenii skrytykh

markovskikh modelei v modelirovanii istochnikov oshibok [On the application of hidden Markov models in the modeling error sources]. Obozrenie prikladnoi i promyshlennoi matematiki, 2011, vol. 3, p. 488.

8. Deundyak V.M., Zhdanova M.A. Polinomial"noe pred-

stavlenie skrytoi polumarkovskoi modeli fergyusonovskogo tipa [Polynomial representations of hidden semi-Markov models Ferguson type]. Vestnik Voronezhskogo gosudar-stvennogo universiteta. Sistemnyi analiz i informatsionnye tekhnologii, 2013, no 2, pp. 71-78.

9. Tingting Liu, Lemeire J., Lixin Yang. Proper initialization of

hidden Markov models for industrial applications. IEEE China Summit and International Conference on Signal and Information Processing (ChinaSIP), 9-13 July 2014, p. 490-494.

10. Deundyak V.M., Zhdanova M.A. Reshenie zadachi

otsenivaniya skrytykh polumarkovskikh QP-modelei [Solution to the problem of estimation of hidden semi-Markov QP-models]. VestnikDGTU, 2014, vol. 14, no 4, pp. 22-39.

11. Ferguson J. D. Variable duration models for speech. Sympo-

sium on the Application of Hidden Markov Models to Text and Speech. Princeton, 1980, pp. 143-179.

3 июля 2015 г.