Моделирование источников ошибок в телекоммуникационных каналах на основе скрытой марковской модели Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.8

МОДЕЛИРОВАНИЕ ИСТОЧНИКОВ ОШИБОК В ТЕЛЕКОММУНИКАЦИОННЫХ КАНАЛАХ НА ОСНОВЕ СКРЫТОЙ МАРКОВСКОЙ МОДЕЛИ

© 2008 г. В.Р. Чакрян

Предложены модели источников ошибок в телекоммуникационных каналах с применением скрытых марковских моделей. Выполнена идентификация моделей и предложены формулы для расчета характеристик каналов с ошибками.

Models of errors sources in telecommunication channels based on hidden markov model has been suggested. A models identification and calculation formula for channel with errors has been developed.

Ключевые слова: телекоммуникационный канал, ошибки, скрытая марковская модель.

Достоверность передаваемых сообщений по каналам связи является одной из основных характеристик любой системы контроля и управления. Однако в телекоммуникационных каналах всегда присутствуют помехи, которые необходимо учитывать для адекватности моделирования каналов связи

Анализ существующих моделей источников ошибок

Моделированию источника ошибок посвящено большое количество исследований, поэтому мы не претендуем на исчерпывающий обзор, приведем лишь те, которые существенны для нашего исследования.

Модель Гильберта [1] является исторически первой частной моделью канала с памятью. В соответствии с моделью канал может находиться в двух состояниях: хорошем и плохом. В хорошем состоянии ошибка не возникает, в плохом состоянии ошибка возникает с определенной вероятностью. Последовательность состояний канала - марковская цепь. Частным случаем модели Гильберта является модель В.М. Охорзина [2], в которой вероятность ошибки в плохом состоянии равна единице. Естественно, что модель Гильберта можно обобщить, увеличивая число состояний канала и допуская ошибки в хороших состояниях канала.

Модель Элиота-Гильберта [3] рассматривает, так же как и предыдущая, модель канала с двумя состояниями, но допускает появление ошибки в хорошем состоянии канала. В модели Смита-Боуэна-Джонса [4] рассматриваются три состояния. Одно состояние -плохое, остальные - хорошие. Переход и из хорошего состояния в хорошее невозможен. В плохом состоянии вероятность ошибки равна 0,5. В хороших состояниях также возможны ошибки, но с меньшими вероятностями - не обязательно равными. Наиболее общая

модель, предусматривающая три состояния канала -модель Кохена-Берковица [5]. Она определяется тремя вероятностями ошибок (для каждого из состояний) и матрицей переходных вероятностей между состояниями канала. Модель Петровича [6] оперирует с четырьмя состояниями канала: два хороших и два плохих. В хороших состояниях ошибки не происходят, а в плохих происходят с заданной вероятностью.

Можно было бы привести ряд других моделей, однако все они, в том числе и перечисленные, являются частными случаями модели, которую можно назвать скрытой марковской цепью.

Следующая группа моделей описывается в терминах процессов восстановления.

В модели Элиота [3] используется случайная последовательность длин дискретных интервалов между ошибками. В этой последовательности длины интервалов независимы и одинаково распределены в соответствии с эмпирически вычисляемым распределением. В аналогичной модели Бергера-Мандельброта [7] длины интервалов распределены по закону Парето. Для моделирования непосредственно пакетов ошибок может быть использована модель Беннета-Фройлиха [8], в которой каждая позиция может стать началом пакета ошибок с постоянной вероятностью. Длина пакета распределена по определенному закону распределения. В пределах пакета ошибки одинаково распределены и независимы. Вне пакетов ошибки невозможны. Основным недостатком модели является возможность перекрытия пакетов. Модель Турина-Попова [9] строится на основе двух распределений для длины пакета и для длины интервала между соседними пакетами. Внутри пакета состояние канала объявляется плохим, вне пакета состояние объявляется хорошим в тех смыслах, что и в модели Гильберта.

Отметим, что модель Турина-Попова может быть описана скрытой марковской цепью с пятью состояниями канала: два хороших и три плохих.

Таким образом, перечисленные в этом кратком обзоре модели имеют в своей основе скрытую марковскую цепь, поэтому исследование именно этой модели представляется целесообразным.

Предлагаемая модель может быть использована как при статистическом анализе свойств реального канала связи, так и при разработке помехоустойчивого кодирования, чтобы повысить достоверность передаваемой информации.

Скрытая марковская модель

Рассмотрим аддитивную помеху Е = {Е,} (случайный дискретный процесс), Е, е {0,1} - бинарные случайные величины и добавим случайную последовательность состояний канала - D = {Б,} , значения Б, е WD - алфавит состояний канала.

Закон распределения вероятностей помехи Е: Р (Е) = 2 Р ( ЕБ ) Р(Б). Наличие условного распреде-

I, М 1 л и Р (Е,

Из условия

' E

казуальности

следует, что

ние P | E>/d ) = P {E

Di

которое означает, что Е,

зависит только от Б,.

Таким образом, закон распределения вероятностей будет иметь вид:

P (E ) = !П P

D i

E:

D

У (D) .

(1)

i-\

то (1) преобразуется к виду:

Р (Е ) = £ Р (Б о Р (Е1

D,

D\,

х£ P1 E2

D, W D 2

D,

где п = \Е\. Пока предполагается, что Е, Б - последовательности конечного числа элементов. Соотношение (2) порождает рекуррентную процедуру вычисления Р (Е) при помощи последовательности функций ф :

♦. (Е", м=р (% ]Р (%.,);

^ п

Ф , (Е-, Б, ) =

SP ( % f ( d/d, > k +.(Ek Dk) ,(3)

k = n -1,...,1;

Б)

полностью определяется состоянием канала Б . Условие независимости при фиксированном состоянии канала непосредственно приводит к тому, что условный закон распределения Р (ЕБ ) = П Р (Е

Р(Уб) = Р(XС)) , где БЧ^Б,^Б,). На

наш взгляд, достаточным для отражения зависимости помехи от состояния канала является соотноше-

Р (Е ) = £ Р (Б о ) ф 1 ( Е \ Б о ) .

Бо

В (3) Е- = {Е,}п=,. В частности, Е = Е V

Оценка состояний канала

В ряде случаев возникает задача оценки ненаблюдаемой последовательности Б - состояния канала по наблюдаемой последовательности помех Е. В качестве «хорошей оценки» часто рассматривается оценка, которая доставляет максимум апостериорной вероятности. То есть,

Б * = а^пахР (%) Р (Б) =

= а^пах (1п Р (ЕБ) + 1п Р (Б)). (4)

В рассматриваемом случае (4) трансформируется в

= ^ах(¿(ЪР1+1пР11+1пР(Д,)1 .

(5)

*

Для вычисления Б можно применить метод динамического программирования Беллмана. Определим последовательность:

Если последовательность Б является марковской последовательностью Р (Б) = Р(Бо)ПР (

у k (Dk-\ )=^ 15 (ln P i % )+ln P (

k = n,...,\,

(6)

а'а_)=^(х(1пР(Уа,)+*<%_,])} <7>

Из (6) следует, что

а * = а^пах (у! (а о) + 1п Р (Б о)). (8)

S P1 e/d

D v / n

D,

/D

n—\

(2)

Элементы последовательности у связаны рекуррентным уравнением:

и

X

0

Для вычисления Dt+1 по формуле (12) следует эльзовать (11). При вычи дует использовать формулы:

к = n -1, n - 2,...,1.

^ (Dn-i )=mf ((inPf%)+lnP(%-i D) (9)

Dk (Dk-1 ) =

= argmax к+i (Dk)+{ln P ( % )+ln P ( % -

Находим

af+1 = argmax P

использовать (11). При вычислении аг+1 и Ь+1 сле

аг + = argmax P

D

t+ii

а I и

bt+1 = argniaxPf,b,

(14)

k = п -1,п - 2,...,1,

^ )=^тт (И% >1пР ))|. (10)

Из (8),(9) и (10) следует, что D* = Dk (D*-1), где

D* = argmax(у 1 (D0) + 1пР(D0)), k = 1,2,...,п . (11)

D0

Рекуррентные уравнения (11) позволяют вычислить максимально правдоподобную оценку состояний канала.

Идентификация модели

Следующей часто встречающейся задачей является задача идентификации модели, т. е. оценка

параметров распределений Р^^У^ ' аг ) и Ь

по наблюдаемой последовательности Е, где а, Ь -векторы параметров. Ниже приводится общий алгоритм, позволяющий найти локальный максимум функции правдоподобия.

Инициализация. Выбираем начальные значения для оцениваемых параметров: а0,Ь0.

Итерация. Находим максимально правдоподобную оценку

Dt+1 = а^тах Р (%, а') Р (р, Ь). (12)

Таким образом, предложенный метод позволяет найти хорошие оценки параметров распределений и тем самым выполнить идентификацию канала, если известны хорошие начальные приближения.

Основные характеристики канала

Важным показателем для канала является среднее

п п

число ошибок Х = М2 Ег = 2 Р (Ег = 1) в сообщении

г=1 г=1

длиной п . Пусть WD = \ё 1,йк,...,йк}. Вероятность

^ = ] Р (Dг = ) . Будем

к ! E, = 1,

Р (Ег = 1)=2 Р

] =1

предполагать, что условные вероятности

Р Е = 1

т. , | и Р \ Di , | не зависят

Dг = ) К /Dг-1 = )

от г при любых ], / и 5. Обозначим через V = (Р (Di = Л ] )) - вектор размерности k, через

Q = (Яи){ ^ - квадратную матрицу порядка k, где

тогда Vг = Обо-

= P' D =

Di - =

значим через U = 1 PI Ei 1

D = ^

- вектор

размерности k, тогда Р(Ei = 1) = (и,Vi), и

^ = |U,2 VJ = |U,Ö! V I.

(15)

(+1, а )••

Ьм = а^тах Р (Dt+1, Ь). (13)

Конец. Если отличие между а', Ь' и а'+1, Ь'+1 не превосходит заданной точности вычислений, то Конец, иначе - переход к Итерация.

Предложенный алгоритм является общей схемой для вычисления оценок параметров. В рассматриваемом случае происходит конкретизация.

Другим важным показателем является дисперсия

п

числа ошибок D2 Ег в сообщении длины п. После

г=1

несложных преобразований нетрудно показать, что

п п-1 п

D¿Ег =Х(1 -Х) + 2М2 2 ЕгЕ] . Математическое

г=1 г=1 ]=г+1

ожидание

п-1 п п-1 п

М2 2 ЕгЕ] = 2 2 Р(Ег = 1,Е] = 1).

г=1 ] =г+1 г=1 ]=г+1

Рассмотрим вероятность

и

, ч k | E =\

p(e, ^ =\)=ip| j =/D. = ^

=d. IE P

E =b

'D = dr

Ка = % = 4 Уа = *).

Используем предыдущие обозначения. В резуль-

тате

P (Ei = \, Ej = !) = (tf, ßj-!diag (U)ßVо ) .

Обозначим через Ri = Е . Отсюда внутрен-

1 =,+1

няя сумма

2 Р(Е, = 1,Е1 = 1) = (и,R1Q-'diag(и)QгV()) . 1=,+1

Таким образом, математическое ожидание

МЕ Е ЕЕ =(и,WVо) , где W = 5RгQ-diag(U)Q' .

,=1 ] =,+1 ,=1

Отсюда дисперсия

DE E, = X(\-X) + 2 (U ,WV0).

(\6)

Далее мы предполагаем, что случайное событие: А1 = «пакет стартует в начальный момент времени»

произошло. Случайное событие А1 ={Е1 = 1}л{Е2 = 1}. Нетрудно показать, что условная вероятность РА1 (§! = 5 + 2) вычисляется по формуле (19) при

I = 1.

Для вычисления средней длины пакета ошибок воспользуемся производящей функцией:

ф, (z) = Mz*1 = (ß1+2Vо, Y(z)7) .

(20)

В (2о) г) = г 2 ¿(zdiag (и) Q т )i . Областью

,=о

сходимости степенного матричного ряда является

I I 1

симметричный интервал: г <-

X max - макси-

Вычислим вероятность безошибочной передачи сообщения - Р(Е1 = о,Е2 = о,...,Еп = о). Вероятность

может быть найдена в результате использования формулы (3). Обозначим через

X- =(Ф - (Е- = о, Б-- = dr)) га1. Вектор Хп = Q ТГ,

где Y = ( Р (Ei = уБ = d . Для остальных векторов X- справедлива рекуррентная формула:

Х-- = Q тdiag ^)Х- , (17)

и вероятность безошибочной передачи сообщения:

РЕ = о,Е2 = о,...,Еп = о) = (^,X!) . (17.1)

Рекуррентные формулы (17) и (17.1) могут быть преобразованы в нерекуррентные формулы:

X! тdiag (Y)) "-1 Хп , (18)

и вероятность безошибочной передачи сообщения:

РЕ = о,Е2 = о,...,Еп = о) = (^,X!) . (18.1)

Следующим важным показателем канала является средняя длина пакета ошибок. Используем предыду-

мальное собственное число матрицы Qdiag (и)2 Q т. При X пах < 1 средняя длина пакета ошибок может быть вычислена по формуле:

цI = М5г =Ф1 (1) = (б1+1Vо,). Матричная

функция Т (г) = г2 (I - zdiag(U ^ т) . Ее производная

Т' (г) = 2г (I - zdiag(и^ т ) -1 + +г 2diag (и) Q т (I - zdiag(и)Q т ) -2 = г (21 - zdiag (и)Q т ) (I - zdiag (и)Q т )-2 .

= z

Отсюда

Мцг = (Q'+Х,(2I - diag (и)Qт)(I - diag (и)Qт)-2 Y).

(21)

В завершении раздела вычислим среднее расстояние между последовательными ошибками. Необходимая формула получается из (21) заменой и - Y :

МЦг = (Ql+1Vо,(2!-diag(Y)Qт)(I-diag(Y)Qт)-2 и).

(22)

Формулы (21) и (22) дают точные значения для характеристик канала.

Модель Гильберта как пример скрытой марковской модели

Рассмотрим одну из наиболее популярных моде-

условная вероятность:

щие обозначения и технику вычислений. В результате лей канала - модель Гильберта [1] предназначенную

для моделирования пакетов ошибок, которая является

частным случаем рассматриваемой общей схемы моделирования канала.

В модели Гильберта Е, е{о,1}, Di е{о,1}, что

PAl {%, = 5 + 2) = | ß1+2 Vo, (diag (U ) ßT ) S7 j :

5 = 0,L... .

(19) соответствует «хорошему» и «плохому» состоянию канала,

х

PfE = Уп 1 = 0, PfE = к 1 = 1 -в;

'0 ) М. /1 ) max

P i 0/ ) =

E=0/ ï , , JD

vi £ lln P l '/D J +ln P l/Di-,

= Р 0, Р (Х)= 1 - р1. k = 2,..., ^ ={Dгk ,..., Dгк+l } . (26)

Модель полностью определяется тремя парамет- При этом Di -1 = 1. Каждая из подзадач (26) су-

рами: е, р 0 и р, . Модель Гильберта является ста-

щественно проще задачи (5), и также как и задача (5) ционарной моделью. условные распределения может быть решена методом динамического про-отределяюгся равенствами: граммирования.

( Е /) (Е /) Рассмотрим задачу оценивания параметров для

Р1 '0 I = -Ег + 1 РI /\ I =(1 - 2е) Ег +модели Гильберта. Модель Гильберта является стационарной, и ее параметрами, как уже отмечалось выше, являются е, р 0 и р1.

Задача оценки параметров модели при фиксированной последовательности D выглядит следующим образом:

р1%)=(1-2Р0)Di + Р0, P^D/1^)=i2Pi-1)A + Pl. (23)

Из (2) и (23) следует, что

n n n f E-/ n f D

P (Е) = аП E, + 2а i п E j + max 2 lnP Г^ , в) и max IP[ , Po, Pi I .(27)

i=1 i=1 j=1,jв i=1 V/ i J Po,Pi i=1 V/ ^i-1 J

n n n Рассмотрим первую из задач (27). Определим

+2 2 а i,j П Ek +а 1,2,...,n. (24) множества индексов

i=1 j=1,j*i k=1,k*i,k* j

Формула (24) вряд ли пригодна для вычисления

P ( E ), поэтому обратимся к формулам (3), которые Пусть Mj = |/j |,M10 = |/10 | . В этих обо3начениях для модели Гильберта приобретают вид:

11 = {i|Di = 1},11,0 = {i e 11 \Ег = 0},11,1 = {i e 11 |Ег = 1} .

ф n (e",o) = (-E„ +1)p0 +((1 -2s)En +E)(1 -p0), mf P(% '

Ф n (E" ,1) = (-En +1) Pi +((1 - 2s) En +s)(1 - Pi), ^ max (m 10ln s + (m 1 - M10) ln (1 -s)). (28)

Ф*т(e",o)=(-En +1)p0фk-1(Ek j,o)+ Рассмотрим вторую из задач (27). Введем в рас-

смотрение следующие множества индексов:

+((1-2s)E" +s)(1-PO М^Ч у O,O = {1( Di-i = 0) л (Di = 0)};

ф t i En ,1) = i-En +1) Р1Ф k-1 i Ek-1,0)+ J 0,1 ={i |i D,.-1 = 0) л i Di = 1)} ;

+ Ü1 - 2в) En +e)i1 - P1 )Ф k-1 iEk-1,1), (25) J1,0 = {. |i D.-1 = 1) л i D. = 0)} ;

Р(Е) = Р(0)Ф 1 (Е 1,0) + (1 -Р(0))Ф: (Е'Д). Ju = {|(Dг-1 = 1)л^. = 1)}.

Рассмотрим одетку последовательности D по на- Пусть N 0 0 = IJ 0 01, N 01 = IJ 0 11 , N10 = IJ101, блюдаемой последовательности Е для модели Гильберта. Особенности модели Гильберта позволяют N 1,1 = у 1,1, в этом случае получаем: построить более простую процедуру вычисления

оценки последовательности D , чем описанный ранее тах (N0 01п р 0 + N0,11п (1 - р 0))

общий алгоритм. Отметим, что элементы последова- р 0

* *

тельности D1 =1 если Ег = ^ и D1 равны нулю или и тах(N101пр1 + N 1,11п(1 -р1)). (29)

единице, если Ei = 0 . Благодаря этому обстоятельст- р1

ву задача (5) разбивается на независимые подзадачи: Непосредственным вычислением легко убедиться,

что решение задач (28) и (29) будет иметь вид:

тах (К* ^ РН • е = р 0 = ^ •<*»

Формулы (3о) завершают адаптацию общей схемы для модели Гильберта.

Выводы

Предложенные модели источников ошибок в каналах связи и способы оценки характеристик канала достаточно универсальны и могут быть использованы как для анализа существующих, так и для проектирования новых систем телекоммуникаций.

Литература

1. Гильберт Э.Н. Пропускная способность канала с пакетами ошибок. Кибернетический сб., Вып. 9. М., 1964.

2. Охорзин В.М. Выбор эффективных групповых корректирующих кодов для некоторых систем передачи двоичной информации // Вторая всесоюз. конф. по теории кодирования и ее приложениям. Секция 3, Ч. II. М., 1965.

3. Эллиот Е.О. Модель коммутируемой телефонной линии для передачи данных // Статистика ошибок при передаче цифровой информации. М., 1966.

4. Смит А., Боуэн К., Джойс П. Оценка качества телефонных линий с точки зрения передачи цифровой информации // Статистика ошибок при передаче цифровой информации. М., 1966.

5. Berkovits S., Cohen E.L. A Markov Chain for Troposphère Scatter Links/ International Journal of Electronics. 1969. Vol. 26, № 5.

6. Петрович В.И. Вероятностная модель ошибок при передаче данных // Тез. докл. кон.. Ч. I. Минск, октябрь 1966.

7. Бергер Д.М. Мандельброт В. Модель группирования ошибок при передаче данных по телефонным линиям // Статистика ошибок при передаче цифровой информации. М., 1966.

8. ATIS Telecom Glossary 2000, T1.523 2001 / American National Standards Institute. [Электронный ресурс]. http://www.atis.org.

9. Попов О.Я., Турин В.Я. О характере ошибок при передаче двоичных символов по стандартным телефонным каналам // II Всесоюз. конф. по теории кодирования и ее приложениям. Секция 3, Ч. II. М., 1965.

4 июня 2008 г.

Чакрян Владислав Робертович - заместитель декана Российского государственного социального университета, филиал в г. Сочи. Тел. 8622-97-45-74. E-mail: [email protected].