Научная статья на тему 'Использование скрытой марковской модели при синтезе стохастического алгоритма решения задачи'

Использование скрытой марковской модели при синтезе стохастического алгоритма решения задачи Текст научной статьи по специальности «Математика»

CC BY
354
63
i Надоели баннеры? Вы всегда можете отключить рекламу.
Область наук
Ключевые слова
СТОХАСТИЧЕСКИЙ АЛГОРИТМ / БАЙЕСОВСКАЯ ПОСТАНОВКА РЕШЕНИЯ ЗАДАЧ / СКРЫТАЯ МАРКОВСКАЯ МОДЕЛЬ / HIDDEN MARKOV MODEL / АЛГОРИТМ "ВПЕРЕД-НАЗАД" / АЛГОРИТМ ВИТЕРБИ / VITERBI ALGORITHM / АЛГОРИТМ БАУМА-ВЕЛША / BAUM-WELCH ALGORITHM / "BACK AND FORTH" ALGORITHM

Аннотация научной статьи по математике, автор научной работы — Михайлов А. А., Базуева С. А.

Исследована возможность использования при синтезе корректных алгоритмов решения задачи вероятностной скрытой марковской модели. Применение данной модели позволяет формировать алгоритм с возможностью управления его гибкостью в соответствии с содержательной ситуацией для обеспечения структурной и функциональной устойчивости программы, реализующей данный алгоритм.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Михайлов А. А., Базуева С. А.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Use hidden Markov models at synthesis of stochastic algorithm of the solution to the problem

This paper, based on the content of the axioms for the randomized algorithm, considers the collection of using correct algorithms at synthesis for solving the problem of probabilistic hidden Markov model. Application of this model allows forming algorithm with its flexibility according to a substantial situation for ensuring structural and functional stability of the program realizing this algorithm. We found that randomization of the algorithm, increasing its flexibility and efficiency, does not improve its risk compared with the corresponding deterministic algorithm. The synthesis of the algorithm based on hidden Markov model implies that the available observed data is used to determine hidden parameters of the most likely sequence of states, determining the synthesized algorithm. At the first strategy step, the "back and forth" algorithm is used to evaluate how well the model matches with the input data of the synthesized algorithm. At the second stage, the given hidden Markov model with the space of hidden states, initial probabilities of presence in state i and probabilities of transition from state i to state j, and basing on the observed states and using the Viterbi algorithm, the Viterbi path is found. At the third strategy stage, the hidden Markov models are corrected by optimizing the parameters of the model using the Baum-Welch algorithm.

Текст научной работы на тему «Использование скрытой марковской модели при синтезе стохастического алгоритма решения задачи»

Использование скрытой марковской модели при синтезе стохастического

алгоритма решения задачи

А. А. Михайлов, С. А. Базуева

Южно-Российский государственный политехнический университет, Новочеркасск

Аннотация: Исследована возможность использования при синтезе корректных алгоритмов решения задачи вероятностной скрытой марковской модели. Применение данной модели позволяет формировать алгоритм с возможностью управления его гибкостью в соответствии с содержательной ситуацией для обеспечения структурной и функциональной устойчивости программы, реализующей данный алгоритм. Ключевые слова: Стохастический алгоритм, байесовская постановка решения задач, скрытая марковская модель, алгоритм "вперед-назад", алгоритм Витерби, алгоритм Баума-Велша.

1. Постановка проблемы

В основе любой целенаправленной деятельности лежат процедуры принятия решений задачи в виде последовательности действий (алгоритмов), преобразующие исходные данные для достижения цели (искомого результата решения задачи) при минимальных затратах. Задача может быть решена различными алгоритмами, имеющими свои преимущества и недостатки при ее решении, причем синтез решений включает построение качественной модели задачи, с последующей записью ее в математической форме, построение целевой функции переменных и исследование влияния переменных на целевую функцию.

При принятии решений в условиях определенности используется критериальный подход, при котором оценивают каждую альтернативу с помощью критериев. Однако в настоящее время возросло значение решения задач, примерами которых могут быть разработка автономных сценариев (алгоритмов) для управления информационными ресурсами вычислительных систем [1] или для управления очередями заданий в кластере локальной сети с использованием Марковских процессов [2]. Характерное для данных примеров многофакторное влияние на переменные целевой функции алгоритма

условий среды и управляющих воздействий ограничивает использование детерминированного подхода из-за редко встречающейся ситуации полной определенности последствий выбора, поскольку на практике чаще используются несколько различных критериев и крайне редко одна альтернатива является лучшей по каждому из них.

Для преодоления данного ограничения в настоящее время широкое распространение получили разновидности стохастических алгоритмов (вероятностные и эвристические), предоставляющие возможность управления их гибкостью и эффективностью, что определяет использование при формировании алгоритма вероятностной модели. При этом вероятностный алгоритм задает стратегию решения задачи несколькими путями или способами, приводящими к вероятному достижению результата, а для эвристических алгоритмов достижение конечного результата однозначно не предопределено, так же как не обозначена вся последовательность действий, не выявлены все действия исполнителя.

Целью статьи является исследование возможности использования при синтезе корректных алгоритмов решения задачи вероятностной модели алгоритма, которая определяет возможность управления гибкостью алгоритма для обеспечения структурной и функциональной устойчивости программы, реализующей данный алгоритм, при, например, хакерской атаке на неё.

2. Общий анализ процесса принятия решения

В соответствии с [3-7] определим задачу синтеза корректного алгоритма как процесс преобразования начальной (исходной) информации /in={X(S)|Sea} на некотором множестве a={S}, элементы которого в виде объектов X(S) описываются для их наблюдения через Iin, так что /in={Iin}. В зависимости от приложения, Iin может быть числом или нечисловым

математическим объектом (символ в абстрактном алфавите, вектор, последовательность символов, функция одной переменной (процесс) или функция двух переменных (изображение), а также функция с более сложной областью определения).

При решении задачи используется ее модель М, которая определяет

множество алгоритмов решения Ау^{а\а: Jin —^^Jout], т.е. на множестве алгоритмов АМ алгоритм аеАМ реализует отображения из пространства начальных информаций Jin в пространство финальных информаций Jout. В результате «черный ящик» превращается в «белый», который характеризуется структурной информацией задачи Is, корректно по полноте и правильности отображающая суть проблемы Jin. Структурная информация задачи Is выделяет на подмножестве M допустимых отображений модель M[Is], определяющая корректное решение задачи Jout={Is]. Алгоритм а, реализующий допустимое отображение, которое определяется структурной информацией Is, является корректным решением для задачи.

На множестве стохастических алгоритмов заданы не только правила в классе строгих решений (дедуктивный подход), определены также абдуктивный подход (обратная дедукция), при котором определяются наиболее вероятные исходные утверждения из некоторых заключений путем обратных преобразований, и индуктивный для выявления наиболее вероятных закономерностей, вытекающих из сопоставления исходных данных и известных результатов. При этом выбор решений может реализоваться в различных вариантах:

• Множество алгоритмов может быть дискретным или непрерывным.

• Режим выбора может быть разовым или итеративным.

• Оценка альтернатив производиться по критериям разного типа.

• Последствия каждой альтернативы выбора могут быть известны (условия определенности), неизвестны точно, но вероятность последствий

J

можно оценить (условия статистической неопределенности), неизвестны, и вероятность последствий оценить нельзя (условия неопределенности).

3. Общий анализ байесовского подхода к решению задач

3.1. Выбор критерия оценки качества решения задачи

Широко используемый в настоящее время при решении задач разновидность параметрического подхода байесовский, основанный на знании плотности распределения всех входных переменных задачи, по которой корректный для данной задачи алгоритм можно выписать в явном аналитическом виде, воспользовавшись формализованной структурной информацией алгоритма Is.

Байесовские задачи и основные свойства байесовских алгоритмов задаются математическими свойствами множеств входных начальных информаций Jin, состояний X и решений DouteIout, которые определяют эффективность алгоритмов. Алгоритм определяется на конечном множестве наблюдаемых параметров yeY и на конечном множестве скрытых состояний алгоритма xeX, а также должен быть согласован с входными данными DineJin. На множестве YxXвсех возможных пар наблюдений yeYи состояний xeXзадается распределение совместной вероятности PYX(y, x): YxX^-R.

Для введения критерия оценки качества решения задачи определим для множества xeX и возможных решений douteDout функцию потерь W(x, dout): XxDout^R. Для алгоритма a: Y^Dout, который каждому наблюдению yeY присваивает решение a(y)eDout, определим риск R(a) как математическое ожидание функции потерь алгоритма a. При этом байесовская задача статистических решений состоит в том, чтобы для заданных множеств Y, X, Dout, заданных алгоритмом a: Y^Dout, который минимизирует байесовский риск

R(a)= ZZ Prx (У, x )W (x, a (y)).

ysY xeX

*

Результатом функционирования байесовского алгоритма a является решение байесовской задачи с минимумом риском R(a). Причем множества состояний X и решений Dout имеет разнообразную форму. В зависимости от ограничений на математическую форму элементов множеств наблюдений Y, состояний X и решений Dout постановка байесовской задачи конкретизируется.

3.2. Обобщенная байесовская постановка решения задач

Байесовская постановка решения задач с моделью М определяет расширение множества алгоритмов AM так, чтобы оно включало не только алгоритмы вида a: Y^Dout, но и все возможные распределения вероятностей Ps(dout\y), т. е. в стохастических алгоритмах для каждого значения y случайно выбирается подходящее решение dout в соответствии с вероятностями Ps(dout\y). Среди данных стохастических алгоритмов ищется наилучший, в котором при фиксированном значении x принимается одно и то же детерминированное решение dout=a(y), которое входит в противоречие со случайным характером состояния, в котором находится алгоритм.

Для байесовской постановке решения задачи определим на конечных множествах Y, X, Dout с распределением вероятностей PYX: YxX^R и функцией потерь W: XxDout^R стохастический алгоритм as: DoutxY^R, риск которого

Rs= Z Z Pyx (у, X) ZPs (dout\y)W(X,doUt). (1)

yeYxeX dout eDout

Теорема [3]: Для любого стохастического алгоритма существует детерминированный алгоритм a: Y^Dout, риск которого

Rdet= ZZ Pyx (У, k)W(X, a(y))

yeY xeX

J

не больше, чем Rs, т. е. байесовская задача может быть сведена к поиску детерминированного алгоритма a: Y^DoUt.

Доказательство: Перепишем равенство (1) в иной форме, Rs= I Z Ps (djy) I PYx ( y, x)W(x, doUt).

yeY dout eDout xeX

Равенство X Ps(dout\y) =1 выполняется для любого уе Y, а неравенство

^вш eDout

Ps^ои\у) -0 выполняется для любых douteDout и yeY, поэтому справедливо

неравенство

Rs>T dmin IPYX(y,x)W(x,dout).

yeY douteDout xeX

Обозначим a(y) любое значение dout, для которого

IPYX (У, x)W(x, a(У)) = ,min IPYX (У, x)W(x, dout) .

xeX dout eDout xeX

Данный алгоритм a: Y^Dout является детерминированным, который не хуже, чем стохастический as

R >iipyx(У,x)W(x,a(y)),

yeYxeX

т. е. для детерминированного алгоритма a риск Rdet<Rs.

4. Модель алгоритма решения байесовской задачи

Концептуальная модель детерминированного алгоритма представляется последовательностью машинных команд (операторов) v , определенная на

множестве машинных команд 1=1,птк, где птчисло машинных

команд, содержащихся в выборке класса алгоритмов, под которыми понимается система команд используемого класса процессоров. Для модели стохастического алгоритма переменные определяются следующими содержательными аксиомами:

• наблюдаемые (скрытые) события представляются в виде последовательности, упорядоченной по времени (свойство Маркова,

обеспечивающее сходимость стратегии), так t-я скрытая переменная st при известной ^-1)-ой переменной st-1 независима от всех предыдущих (t-1) переменных, то есть функция перехода

P(st St-1, St-1,..., Si, Oi)=P(st |st_i), а t-е известное наблюдение ot зависит только от t-го состояния

P(Ot Ot, Ot-1,..., Oi)=P(Ot Of), то есть не зависит от времени.

• две последовательности S=s1 s2... sT и O=o1o2...oT должны быть выровнены, т.е. каждое наблюдаемое событие ot должно соответствовать одному скрытому событию st, т.е. значение наблюдаемой переменной y(t) зависит только от значения скрытой переменной x(t) (обе в момент времени t).

• вычисление наиболее вероятной скрытой последовательности до момента t зависит только от наблюдаемого события в момент t, и наиболее вероятной последовательности до момента t-1.

Данные аксиомы определяют использование в качестве модели алгоритма скрытой марковской модели (Hidden Markov Model) HMM [8], пример диаграммы переходов которой приведена на Рис. 1,

0=(X, Y, P, Ps, П).

В данной модели

1) На множестве скрытых состояний модели X={xi}, i=1, n, n-число состояний модели определяется скрытое состояние модели steS в момент t.

2) На множестве наблюдаемых значений Y={y}, i=1, m, m—число различных символов наблюдения моделью может порождаться последовательность наблюдаемых значений, представленная в виде O=o1o2...oT, где Of— символ дискретного алфавита F={vi}, состоящий из

идентификаторов машинных команд V, Т - число символов в наблюдаемой последовательности.

3) Распределение вероятностей переходов между состояниями (матрица переходных вероятностей) Р=||Ру||, где Р у=Р^+1=х]^1:=х{], 1<у, ¡<п -вероятность перехода модели из состояния st=xi в момент времени : в состояние st+1=Xj в следующий момент времени t+1.

4) Распределение вероятностей появления символов наблюдения в состоянии j, Р*=|р/к)||, где Р^к^Р^ |st=x7■], 1<'<п, 1<к<т.

5) Начальное распределение вероятностей состояний П={п}, пг=Р['1=хг], где / = 1, п .

Рис. 2. - Диаграмма переходов в НММ

В краткой форме НММ имеет вид ©=(Р, Р', П) и представляет собой дважды стохастический процесс, состоящий из пары случайных переменных {o1,..., ot, '1,..., st}, где ot— известные дискретные наблюдения, описывающие появление символов наблюдения (машинных команд), а '^«скрытые» дискретные величины, определяющие изменения состояния модели, но при этом не известно, сколько состояний и какие между ними связи (неизвестные параметры модели).

5. Стратегия синтеза алгоритма решения задачи

Принятая модель алгоритма определяет итеративную стратегию синтеза алгоритмов, которая сводится к преобразованию исходной модели ©=(Р, Р5, П), приводящему к цели в виде оптимальной модели корректного

алгоритма 0 = (Р, Р , П), путем итерационного пересчета параметров модели

0 = (Р, Р , П) до схождения.

Постановка задачи. Известна наблюдаемая величина у(0 в виде последовательности Ут=у0, у1,.., У74 длины Т, порождаемая последовательностью 0=0102...0т. Вероятность наблюдать у(0 равна Р(Ут)= XР(Хт\Хт)Р(Хт), где сумма задаётся по всем возможным скрытым

X

переменным х(?) в виде последовательности скрытых узлов Хт=х0, х1,..., х7-1. По имеющимся данным у(0 необходимо определить скрытые параметры наиболее вероятной последовательности состояний марковской цепи

Решение сформулированной задачи может быть достигнуто за три этапа, каждый из которых реализуется известным алгоритмом.

Первый этап. За т шагов в модели 0=(Р, Р5, П) порождается последовательность наблюдений 01,т=о1,...,от, причем в момент ? для состояния 5. Х{=1 вероятность Р(Оы-1Х=5) того, что во время переходов образовалась последовательность наблюдений 01г-1, а Р(Ог,т|Хг=5) -вероятность того, что после этого состояния наблюдается последовательность наблюдений 01т.

Ищется вероятность Р(Хг=5|0)=Р(Хг=5|01,г-1п0гт) того, что в момент ? цепь будет в состоянии 5.

1. Для произвольного состояния 5 в произвольный шаг ? вероятность Р(01гХг=5г) того, что на пути к нему была произведена последовательность 01г для следующих ? можно вычислить рекуррентно:

Р(ОиХ=*д= I Р(Ои\Х, = £ п х,_! = ])

jеS

I Р(О^\ Х- = у)Р( Х ( = ^ = ]) Р(О, = а\Х, = £).

1,/-

jеS

Вероятность попасть в состояние £ на /-ом шаге, учитывая, что после перехода произойдет событие а{ будет равна вероятности быть в состоянии у на /-ом шаге, умноженной на вероятность перейти из состояния у в £, произведя событие ог для всех уе^.

2. Вероятность того, что после произвольного состояния £ будет произведена последовательность О1+1_т определяются рекуррентно:

Р(Ог,НХ=£)= I Р(О(+1т|Х(+1 = у) Р( Х(+1 = ;|Х = £) Р(о,+1| X/ = £).

jеS

3. Чтобы найти вероятность того, что будет произведена цепочка событий, Р(О), нужно просуммировать произведение обеих вероятностей для всех состояний при произвольном шаге :

Р(О)= IР (О1, Г|Х=£)Р(ОГ,ГХ=£),

£е5

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

а поскольку будущее марковской цепи не зависит от прошлого и вероятность наблюдения события О не зависит от прошлых наблюдений последовательности О1г-1, то вероятность того, что в момент / цепь будет в состоянии £:

. ч , ч Р(х. = £О1,1)Р(х=. = £\О,Т) Р(Х1=£\О)=Р(Х1=£\О1,-1ПО,г)=^^-1 иР(О) -^.

Данная задача решается с помощью алгоритма "вперед-назад" [9-11], который позволяет найти в скрытой марковской модели вероятность попадания в состояние £ на /-ом шаге при последовательности наблюдений О и (скрытой) последовательности состояний Х.

Второй этап: По заданной НММ 0 с пространством состояний ^={£1, £2,. ., £к}, начальными вероятностями п. нахождения в состоянии ' и вероятностями Ру перехода из состояния ' в состояние у, по наблюдаемым

y1v.., yT и множества исходных информаций Jin ищется "оптимальная" наиболее правдоподобная последовательность состояний скрытых узлов S=Si ...St (путь Витерби), наиболее точно описывающую данную модель. Тогда наиболее вероятная последовательность состояний х1,..., xT задается рекуррентными соотношениями:

где Угк - вероятность наиболее правдоподобной последовательности состояний, ответственной за появление первых ? наблюдаемых символов, завершающейся в состоянии к. Путь Витерби ищется по состояниям х, удовлетворяющих уравнению (2), т.е.

Для решения данной задачи используют алгоритм Витерби (Andrew Viterbi, 1967 год), позволяющего на основе последовательности наблюдений получить наиболее правдоподобную последовательность скрытых состояний (путь Витерби) скрытой марковской модели [12-15].

Третий этап: По заданной выходной последовательности наблюдений O определяются неизвестные параметры HMM 0, максимизирующие вероятность наблюдений O

Причем число моментов времени г, в которых осуществляются наблюдения, устанавливается заранее и состоит из следующих шагов:

1) определение всех последовательностей состояний модели £={5г1,..., 5г>}, ¿=1,., г проблеморазрешающей системы в заданные моменты времени;

2) оценка вероятностей Р(£) появления для каждой последовательности £■, ¿=1,., г, выявленной на предыдущем шаге, путём вычисления произведений

Vu=P(y1 IkK, Vtk=P(yt Ik) max(Px kVt_x x),

xeS

(2)

xt-1

xT=argm ax( VTx )

xeS

Jarg(Vtд), если t > 1, Ik, если t = 1.

0*=max( P(O| 0)).

:

вероятностей переходов между состояниями модели в течение интервалов, ограниченных установленными контрольными моментами времени, а именно:

P(S)= П PtM+i, t=i

где Р^д^-вероятность перехода из состояния sit, в котором система пребывала в момент времени t, в состояние si,t+1, занятого в момент t+1;

3) вероятность появления наблюдаемой последовательности Х=(х1,_, xr} для последовательностей состояний Si, i=1,..., r

Plx=P(S) ]JPx,

j=i

где P^y-вероятность получения наблюдаемой характеристики Xj при состоянии

sij;

4) выбор наиболее вероятной последовательности состояний {Si}i=i ...r, соответствующей наибольшей вероятности

{P } х, max= max Pix i =1 ,...,r.

i

Данный этап стратегии реализуется алгоритмом Баума-Велша (Baum -Welch algorithm) [10, 16].

Выводы

1. Содержательные аксиомы модели рандомизированного алгоритма допускают возможность использования в качестве модели алгоритма скрытой марковской модели (Hidden Markov Model) HMM, которая применима не только к исходным типовым алгоритмам, но и к корректирующим алгоритмам, а также и для синтезируемых композиций.

2. При вероятностной модели алгоритма появляется возможность управлять связями между переменными алгоритма, задавая гибкость алгоритма для обеспечения требуемой структурной и функциональной устойчивости программы, реализующей данный алгоритм.

3. Рандомизация алгоритма, повышая его гибкость и эффективность, не улучшает его риск по сравнению с соответствующим детерминированным алгоритмом.

4. Задача синтеза алгоритма на базе HMM заключается в том, чтобы по имеющимся наблюдаемым данным определяют скрытые параметры наиболее вероятной последовательности состояний.

5. На первом этапе стратегии при заданных параметрах модели 0=(P, Ps, П) и последовательности скрытых S и соответствующих наблюдаемых состояний О, определяется вероятность появления данных последовательностей. Так на первом шаге для модели 0 и множества исходных данных Din определяется ni=P(Din |0) и оценивается насколько хорошо модель 0 согласована к исходными данными. Данная задача в такой постановке решается с помощью алгоритма "вперед-назад", который позволяет найти в HMM вероятность попадания в состояние si на t-ом шаге при последовательности наблюдений O и (скрытой) последовательности состояний S.

6. На втором этапе по заданной скрытой марковской модели 0 с пространством скрытых состояний S={s1, s2,..., sK}, начальными вероятностями ni нахождения в состоянии i и вероятностями PiJ- перехода из состояния i в состояние j, по наблюдаемым состояниям o1,..., oT ищется путь Витерби SV=s1...sT, наиболее точно описывающую данную модель, для чего естественно воспользоваться алгоритмом Витерби (Viterbi algorithm).

7. На третьем этапе стратегии осуществляется корректировка скрытых марковских моделей путем оптимизации параметров модели 0=(P, Ps, П) так, чтобы максимизировать P(O |0) при наблюдаемых данных O. Данный этап стратегии наиболее полно реализуется алгоритмом Баума-Велша (Baum -Welch algorithm).

Литература

1. Филатов В.А., Козырь О.Ф. Модель поведения автономного сценария в задачах управления распределенными информационными ресурсами //Инженерный вестник Дона, 2013, №3 URL: ivdon.ru/magazine/archive/ n3y2013/1771/.

2. Аль-Хулайди А. А. Разработка нового стахостического метода управления очередями заданий с использованием Марковских процессов для параллельных вычислений на кластере//Инженерный вестник Дона, 2011, №1 URL: ivdon.ru/magazine/archive/n1y2011/332/.

3. Mikhaylov A. A., Bazuyeva S. A. Probabilistic Approach to the Synthesis of Algorithm for Solving Problems//Modern Applied Science/Canadian Center of Science and Education. 2015. V. 9, №5. pp. 125-132

4. Рудаков К. В. Универсальные и локальные ограничения в проблеме коррекции эвристических алгоритмов // Кибернетика. 1987. №2. С. 30-35.

5. Рудаков К. В. Полнота и универсальные ограничения в проблеме коррекции эвристических алгоритмов классификации//Кибернетика. 1987. № 3. С. 106-109.

6. Рудаков К. В. Симметрические и функциональные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987. № 4. С. 73-77.

7. Рудаков К. В. О применении универсальных ограничений при исследовании алгоритмов классификации // Кибернетика. 1988. № 1. С. 1-5.

8. Рабинер Л. Р. Скрытые марковские модели и их применение в избранных приложениях при распознавании речи: Обзор//ТИЭР М: Наука, 1989. Выпуск 2. Том 77. С. 86-102.

9. Binder J., Murphy K. and Russell S. Space-Efficient Inference in Dynamic Probabilistic Networks//Int'l, Joint Conf. on Artificial Intelligence. 1997. V. 1, №5, pp. 1292-1296.

10. Lawrence R., Rabiner A. Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition//Proceedings of the IEEE. 1989. V. 77. № 2, February. pp. 257-286.

11. Lawrence R. Rabiner, Juang B. H. An introduction to hidden Markov models//IEEE ASSP Magazine. 1986. January. pp. 4-15.

12. Forney G. D., JR. The Viterbi Algorithm//Proceedings of the IEEE. 1973. V. 61, № 3, March. pp. 268 - 277.

13. Витерби А. Д., Омура Дж. К. Принципы цифровой связи и кодирования/Пер. с англ. под ред. К. Ш. Зигангирова. М.: Радио и связь. 1982. 536 с.

14. Золотарёв В. В., Овечкин Г. В. Помехоустойчивое кодирование. Методы и алгоритмы: Справочник /Под. ред. чл.-кор. РАН Ю. Б. Зубарева. М.: Горячая линия. Телеком. 2004. 126 с.

15. Морелос-Сарагоса Р. Искусство помехоустойчивого кодирования. Методы, алгоритмы, применение/пер. с англ. В. Б. Афанасьева. М.: Техносфера. 2006. 320 с.

16. Baum L. E. An inequality and associated maximization technique in statistical estimation for probabilistic functions of a Markov process//Inequalities. 1972. № 3. pp. 1-8.

References

1. Filatov V.A., Kozyr' O.F. Inzenernyj vestnik Dona (Rus), 2013, №3 URL:ivdon.ru/magazine/archive/ n3y2013/1771/.

2. Al'-Hulajdi A.A. Inzenernyj vestnik Dona (Rus), 2011, №1 URL:ivdon.ru/magazine/archive/n1y2011/332/.

3. Mikhaylov A. A., Bazuyeva S. A. Probabilistic Approach to the Synthesis of Algorithm for Solving Problems.Modern Applied Science/Canadian Center of Science and Education. 2015. V. 9, №5. pp. 125-132

4. Rudakov K. V. Kibernetika. 1987. №2. pp. 30-35.

5. Rudakov K. V. Kibernetika. 1987. № 3. pp. 106-109.

6. Rudakov K. V. Kibernetika. 1987. № 4. pp. 73-77.

7. Rudakov K. V. Kibernetika. 1988. № 1. pp. 1-5.

8. Rabiner L. R. TIER. M: Nauka, 1989. Vypusk 2. Tom 77. pp. 86-102.

9. Binder J., Murphy K. and Russell S. Space-Efficient Inference in Dynamic Probabilistic Networks.Int'l, Joint Conf. on Artificial Intelligence. 1997. V. 1, №5, pp. 1292-1296.

10. Lawrence R., Rabiner A. Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition.Proceedings of the IEEE. 1989. V. 77. № 2, February. pp. 257-286.

11. Lawrence R. Rabiner, Juang B. H. An introduction to hidden Markov models//IEEE ASSP Magazine. 1986. January. pp. 4-15.

12. Forney G. D., JR. The Viterbi Algorithm//Proceedings of the IEEE. 1973. V. 61, № 3, March. pp. 268 - 277.

13. Viterbi A. D., Omura Dzh. K. Printsipy tsifrovoy svyazi i kodirova-niya/Per. s angl. pod red. K. Sh. Zigangirova. [Principles of digital communication and coding]. M.: Radio i svyaz'. 1982. 536 p.

14. Zolotarev V. V., Ovechkin G. V. Pomekhoustoychivoe kodirovanie. Me-tody i algoritmy: Spravochnik. Pod. red. chl.-kor. RAN Yu. B. Zubareva. [Noiseless coding. Methods and algorithms. Handbook]. M.: Goryachaya liniya-Telekom. 2004. 126 p.

15. Morelos-Saragosa R. Iskusstvo pomekhoustoychivogo kodirovaniya. Metody, algoritmy, primenenie. per. s angl. V. B. Afanas'eva. [The Art of Error Correcting Coding. Methods, algorithms, application]. M.: Tekhnosfera. 2006. 320 p.

16. Baum L. E. An inequality and associated maximization technique in statistical estimation for probabilistic functions of a Markov process.Inequalities. 1972. № 3. pp. 1-8.

i Надоели баннеры? Вы всегда можете отключить рекламу.