Оптимальная непрерывно-дискретная передача сигнала по каналам с памятью при наличии бесшумной обратной связи Текст научной статьи по специальности «Математика»

Управление, вычислительная техника и информатика

УДК 519.2

ОПТИМАЛЬНАЯ НЕПРЕРЫВНО-ДИСКРЕТНАЯ ПЕРЕДАЧА СИГНАЛА ПО КАНАЛАМ С ПАМЯТЬЮ ПРИ НАЛИЧИИ БЕСШУМНОЙ ОБРАТНОЙ СВЯЗИ

С.В. Рожкова

Томский политехнический университет E-mail: [email protected]

Рассматривается задача оптимальной передачи стохастических процессов по непрерывно-дискретным каналам с памятью при наличии бесшумной обратной связи в наблюдениях. Доказываются экстремальные свойства оптимальных кодирований в смысле максимизации количества информации.

Ключевые слова:

Сигнал, стохастические системы, канал передачи, кодирование, декодирование.

Key words:

Signal, stochastic system, transmission channel, coding, decoding.

1. Постановка задачи

Сигнал x,, сообщение на выходе канала передачи z.t и сообщение на выходе дискретного канала передачи n(tm) задаются на реализациях процессов, определяемых стохастическими дифференциальными уравнениями

dxt = F(t)xtdt + Ф1 (t)dwt,

P0(t) = N{x; Mo,Уo}, (1)

dzt = h(t, xt, xT, z)dt + Ф 2(t )dvt,

П (tm ) = g (tm x, , XT , z) + ф3 (tm % (tm ),

(2)

т. е. наблюдаемые процессы ^ и п(0 обладают фиксированной памятью единичной кратности (N=1, т1=т) с наличием мгновенной бесшумной обратной связи по процессу I.

Используемые обозначения: Р{-} - вероятность события; М{-} - математическое ожидание; ЭДа;Ь} -плотность нормального распределения с параметрами а и Ь; Ф12(1)=0(1), Ф22(1)=Д1), Ф32(1)=Г(1).

Задача: в классе кодирующих функционалов К={Ы;0}={А{-},^{-}}, удовлетворяющих энергетическим ограничениям

M{h2(t, xt, xT, z)} < h(t) < h,

M{g2 (tm , xtm , xT , z)} < g(tm ) < g,

найти функционалы й°(-) и #°(-), обеспечивающие относительно задачи фильтрации минимальную ошибку декодирования А°(1)=МА(1), где

А(1)=М{[х-х(1,^п)]2} является ошибкой оценки фильтрации х(1,1,п) процесса х, которая соответствует принятому сообщению ^П™} при заданных й{-}, #{-}. Так как при заданных Н{-} и #{-} оптимальной в среднеквадратическом смысле оценкой фильтрации является апостериорное среднее /л(1)=М{х^,ц0т}, то А(1)>М{т(1)}, где у(1)^М{[х-л(1)]2№,щ!"}. Таким образом, А°( 1)=ММ{у( I)}.

2. Основные результаты

Замечание 1. Считается, что до момента т передача шла оптимальным способом.

Теорема 1. На классе К= {ВД} линейных функционалов

ГА(-): х', Хт, 2) =

И,

G, =

[= h(t, z) + H 0(t, z) xt + H j(t, z) xT

\g ('): g (tm , xtm , ^ z) =

I = g(tm , z) + G0(tm , z)xtm + G1(tm , z)xt

(4)

1) оптимальные кодирующие функционалы A0(-), ^“(•) имеют представления

h0(t, z0) = - H 00(t, z >0(t), H00(t, z0) = [h(t )/ A 0(t )]1/2,

Я°0, 20) = О,

В °(С , 2 0) =-(7 00(?т , 2 >О0т - 0), От , 20) = [£От )/А0(?,„ - 0)]^2,

(6)

^От, 20) = 0;

2) оптимальное сообщение {^ПЮ} определяется соотношениями

о2(° = [/(?)/а°(?)]1/2[х, - л°0)]й? + Ф20№, (7)

^От ) = [ £ (¿т V А^ - 0)]/2 X

х[ х?т -л0о„ - 0)]й?+фз0„ ж*т); (8)

3) оптимальное декодирование л°0) и минимальная ошибка декодирования А°(1) на интервалах 1т<1<1т+1 определяются уравнениями

й/(?) = ^(?)л°0)й? + Л"(?Р(?)А0(?)]1/2й2(0, (9)

йА0(?)/й? = [2^(?) - Л-1(?)Л0)]А0(?) + б(?) (10) с начальными условиями

/От ) = /0» - 0) + [ £ От )А0(?т - 0)]^ X

Х[К(0 + £(?„ )]-1П°(?т ), (11)

А0(?т) = К(ГЯ)[К0т) + ¿0, )]-1А0(?т -0), (12)

где б(0 = Ф12(0, Д^ФДО, ^(1т) = Фз2(1т),

Л°(1т-°)=11тл(1), А°(1т-0)=11шА(1) при 1<1Л. Доказательство:

При заданных {Л(-);#(-)} eK; на интервалах 1т<1<1т+1 (см. [1]) л°0) и /(I) определяются уравнениями

й л (?) = ^ (?) л(? )й? +

+Л-1(?)[Н0(?, 2М?) + z)Yol(т, ?)] х

х[й2( - (/(?, 2) + Н0(?, 2)л(?) + #10, 2) л(т, ?)) й?], (13)

йу(? У й? = 2^ (?)у(?) -- Л-1 (?) [ Н0(?, 2М0 + Н1 (А 2) Yol(т, ?)] 2 + бОХ (14)

с начальными условиями

^От , 2М?т - 0) +

_ + ^От , 2 )Yol(T, ?т - 0) _

ПОт ) - В От , 2) -

-^)0т, 2)Л(?„ - 0) -

_-^От , 2)Л(T, ?т - 0) _

/0« ) = У0т - 0) +

^>0« , 2)У<Х - 0) + П2

_ + 71(?т , ?т - 0) _

л0„) = л0„ - 0) +

х*-1(?,)

(15)

*Л?, ),

(16)

где

л(т, ?) = м{хт |20 ,n0"},

У01(т,О = м{[ х?- л(?)] [ хт- л(т, ?)] |20, пТК

Yll(т,О = м{[хт -л(т,?)]2120,n0"},

^ (?т , 2) = V (?, ) + С2(?т , 2 Ж?, - 0) +

+ 712(?т , 2 )Г11(Т:. ?т - 0) + ^1 От , 2)Yol(т, ?т - 0) +

+2^ , 2)^ , 2)/01(Т, - 0). (17)

Пусть до момента 1т передача шла оптимальным способом. Тогда из (16), (17)

/От ) = V (?т )А0(?т - 0)(* 0(?т , 2))-1 +

_А° (?т - 0)А01(Т, - 0) -"

+ С>0т, 2 0)

-(А01 (Т, - 0))2

Х(Ж 0(?, , 2))-1,

(18)

где

* 0(?, , 2) = V (?, ) + С2(?„ , 2 )А 0 (?, - 0) +

+ С12(?т , 2)А01(Т, - 0) +

+ 71 (?, , 2)А01(Т, - 0) +

+2^ , 2)С1(?, , 2)А01(Т, - 0).

Для 1<1т по неравенству Коши-Буняковского [2] относительно M{-|z0I,n0m-1} получаем у(1)уи(т,1)--Тг°1(т,1)>°. Так как

702 От, 2) 7(?„ - 0) + 712 От, 2) 711 (т, - 0) +

+270(?т, 2)^0т, 2 - 0) =

70(?т , 2)(х?т -Л(?„ - 0)) + П2 ^_ + 71(?т, 2)(Хт-Л(Т, - 0)) ^

то W(Im,z)>0. Таким образом из (18)

У(?т ) > V (?, )А 0(?т - 0)(* 0(?т , 2)) ".

По неравенству Иенсена [2]

М{(* 0 (?, , 2))-1} > [ М{* °(?т , 2)}]-1.

Тогда для A(Im)=M{Y(tm)} из (17), (19) следует А(?т) > V(?т)А0(?т - 0)х

= М-

? т-1

20 ,П0

>0,

V (?т) + м

^(?т , 2)А0(?т - 0) +

+ О120т , 2)А01(Т, ?т - 0) +

2^0 (?т , 2)^1(?т , 2) А^Т, Г, - 0)

. (2°)

Так как M{-}=M{M{-|z0tm,n0m-1}} [2], то использование (4) в (3) дает

М{£ 2(-)} =

В От , 2 ) + ^>0т, 2) Л(?т - 0) +П 2 _ + 71 От, 2)Л(Т, ?т - 0) _

= м<

м

72(?т , 2)К?т - 0) +

< В От ). (21)

+ ^От , 2 )^11 СТ:> ?т - 0) +

+270(?т, 2)71(?т, 2 )Yol(Т, ?т - 0) ^

Из (20), (21), (12)

А(?т ) > V(?т )А0 (?т - 0)^(?,„ ) + ^ )]-1 = А 0({, ). (22) Использование (6) в (18) дает

70(?т ) = V (?т ) А0 (Г,,, - 0)^ (?т ) + £ & )]-1.

Совпадение /(1т) с нижней границей (22) для А(1т) доказывает оптимальность кодирования (6), а (8), (11), (12) следуют в результате подстановки (6) в (2), (15), (16) при

( _т-1ч (( 0\?т /___0\т-1-к

{20т П } = {(2 )0т ,(П )0 }.

Прибавление и вычитание в правой части (14) Вт1(1) Я12(t,z) 711(т,1) дает для 1т<1<1т-1, с учетом того, что в момент 1т используется оптимальный функционал £°(-), эквивалентное (14) интегральное уравнение

К?) = А0 (?т ) х

2| Г(ст)йст-

\Н o2(ст, г)у(а)

-/>'ст)

хехр

хйст + | Л !(ст)Н12(ст, 2) х/-1(ст)йст

-Гест) х

2 Г Г(и)йи

Л ст

н2)У(м)

+Н1 (СТ 2)Уц(т,ст) +

+2Н 0(ст 2) Н! (ст г)у01(т,ст) у(ст)у11(т,ст) --Г0!(т,ст)

х ехр

-Г л-1(и)

•< и

хйи + Г Л-1(и)Н,2(и, 2)

Л ст

+Н12 (и М) +

2Н 0(и 2) 2) ^ 01 (т и)

X(м)Хи(т,и) -- Х0?1(т, и) х/-1(м)йм

йст,

(23)

справедливость которого устанавливается дифференцированием по I. Так как M{-}=M{M{-|z0tm,n0m}} [2], то использование (4) в (3) дает

м{/2(-)} = м<

/(?, 2) + Н 0(?, 2)л(?) + +Н 1(?, 2)л(т, ?)

+м

Н02(Л 2М0 + Н12(Л 2)Yll(т, ?) + +2Н0(Л 2)Н1(?, 2)Yol(т, 0

Л?т ) = А0(?т ).

Пусть А°(1) - правая часть (26). Тогда дифференцирование А°(1) по приводит к уравнению (10) с начальным условием А°(!т). Очевидно, что решения (10), (26) совпадают, т. е. /(^А0^). Совпадение /(I) с нижней границей (25) для А(!) доказывает оптимальность кодирования (5), а (7), (9), (10) следуют в результате подстановки (5) в (2), (13), (14). Справедливость данного результата для произвольного интервала времени следует по ин-

дукции с учетом Замечания 1.

Замечание 2. Согласно (5), (6), в классе ^ при ограничениях (3) в задаче фильтрации вся энергия {/г(0; КО} сообщения {Л°(-);^°(-)} сосредоточена относительно сигнала х1 в текущий момент времени, т. к. ЯД^)^, 0^(4,^)=°. Таким образом, Теорема 1 дает решение и на начальном интервале времени [0, т], когда память отсутствует, и Замечание 1 теряет свою актуальность. Задача непрерывной передачи процесса х1 вида (1) при отсутствии памяти решена в [2. Теорема 16.6].

Теорема 2. Кодирующие функционалы, оптимальные в классе ^ линейных функционалов (4), являются оптимальными в общем классе K нелинейных функционалов.

Доказательство:

Идея доказательства заключается в следующем. Пусть А°(!) - ошибка декодирования, достигаемая на {Л(-);#(-)} еК Так как K;cK, то А°(!)<А°(!), где А°(!) определена в Теореме 1. Аналогично Теореме 16.5 в [2] доказательство проводится от противного путем доказательства неравенства А°(!)>А°(!). Тогда противоречие исключается только при условие А°(!)=А°(!).

Так как при условиях (1) ^х^^х^!), Д 0} [2], то при произвольном кодировании {h(-);g(-)}еK Согласно [3] для tm<t<tm+1

I?[х,;20,п0т] = I, [-] +

1

< /(?). (24) где

По неравенству Коши-Буняковского относительно M{-|z0t,n0m} получаем т(!)711(т,!)-т!01(т,!)>0. Тогда использование неравенства Иенсена M{ф(¿;)}>ф(M{¿;}) для выпуклой функции ф(£)=ехр{£} в (23) приводит с учетом (24) для A(t)=M{Y(t)} к неравенству

А(?) > А0 (?т )ехр{ Г [2Г(ст) - Л-1(ст)] йст} +

■*т

+ |* б(ст)ехр{2 £[2Г(и) - Л-1(и)]йи}йст, (25)

Использование (5) в (14) приводит для к уравнению

йу0(?)/й? =

= [2 Г (?) - Л-1(0/(0(у0(0/А°(0)]у0(0 + е(0, (26)

Л 1(ст)м{[/(т,2|хст) -/(т,2)]2}йст -| 0(ст)[м{./[хст]}-£-1(ст)]йст

3[ х?] = м{[51п[ р,(х?)] / 5х] 2120, }.

Л

, (27)

Есть условное информационное количество Фишера [4]. Так как

/(т, 2) = м{/(т, 2 |х?) |20,п0

то

м{[/(т, 2 х?) - /(т, 2)]2} = м{м{[-]2 20,П0т}} =

= м

Г-----1--2 -----2

^|/(т, 2 |х?) + /(?, 2) -

|-2Л(т, 2 |х?) -/(?, 2)

= м{/(т, 2 |х?) - /(?, 2) } < м{/(т, 2 |х?) }. По неравенству Иенсена с учетом (3)

м{/(т, 2 |х?) } = м{[м{/(-) |х?, 20, П0т}]2} <

< м{м{/2 (-) | х?, 20, П0т}} = м{/2 (-)} < /(?).

Таким образом,

м{[/(т,2|х?) -/(т,2)]2} </(?),

и с использованием неравенства Фишера M{/[x!]}>A-1(t) [4] из (27) следует

I, [ х; « ] <

(

|* R l(a)h(a)da -

-Jf Q(a)[A-1(a) - D-1(a)]da

(28)

Пусть передача проходила в соответствии с кодированием {Л°(-);^°(-)} вида (5), (6). Так как в этом случае д(х)=^х;л°(!),А°(!)}, то из (27) с учетом [3], (5), (6)

( Г Е>-1 1,СТ\^ст - ^

1?0[-]=10 [-]+2

I* R 1(a)h(a)da --Jf Q(a)[(A°(a))-1 -D-1(a)]da

I* [•] < I* [•] - - Jf Q(a)[A-1(a) - (A°(a))-1]da. (30)

Из [3] с использованием неравенства Иенсена и учетом того, что ехр{-у}<(1-у)-1, 1п{у}<у-1 следует

А1?т [-] < (1/2) 1п[1 + £(?т )/П?т)]. (34)

Использование (34) в (33) приводит при А(!т)=А°(!т) к требуемому противоречию А°(!т)>А°(!т). Справедливость доказанного результата для произвольного интервала т<!т<!<!т+1 следует по индукции с учетом Замечания 2.

Теорема 3. Пусть /!0[х!;^)0!,(п0)°'"] есть количество информации, достигаемое на кодирующих функционалах (5), (6). Тогда имеет место свойство

i*°[ x;(z °)°,(^0):]=sup i [ x*; z°,^mm], где sup берется по всем {A(-);g(-)}eK={H;G} и I*°[ x*;(z ХЮ:] =

= (1/2) X ln[1 + (g( t, )/ V (t,))] +

(35)

. (29) +(1/2)

"R-1(a)h(a) -v-Q(a)[(A “(a))-1 - D-1(a)]

da

(36)

Так как [А-1-^-1]=[А-1-(А°)-1]+[(А°)-1-^-1(ст)], то при передаче на интервале !с [0,!0] в соответствии с кодированием (5), (6), из (28), (29) следует

1 2

Так как, согласно [1, 2] (неравенство Ихары), А(?) > Д0ехр{-21?[-]}, (31)

то из (29), (31)

А(?) > Щ(? )ехр{-21?0[-]} х

хехр{| б(ст)[А-1(ст) -(А0(ст))-1]йст}. (32)

Так как то А0(!)<А0(!), т. е. А°-1(!)>(А°(!т))-1.

Из [3] прир(!,х)=^х,а(!),Д!)}, р((х)=^х,л0(!),А0(|)} следует 1°[-]=(1/2) 1п[Д!)/А(!)]. Таким образом, (32) при А(!)=А0(!) приводит к требуемому противоречию А°(!)>А°(!). Завершается доказательство теоремы выводом противоречивого неравенства А°(!т)>А°(!т) в предположении, что на интервале 1е[0,1т) передача происходила в соответствии с кодированием {Л°(-);^°(-)} вида (5), (6). Из (31) с учетом [3] А(1т)>Д1т) ехр{-2/°т-°[-]}ехр{-2А/0,[-]}. Так как р1°(х)=Щх;л!,(!т-0),А(>(!т-0)} [2] при

Ж-Ш-)}={А°(-М-)}, то 7?т-°[-]=(1/2)1п[^(!т)/А°(!т-0)] и, таким образом, А(!т)>А°(!т-0)ехр{-2А1т[-]}. Умножение слева и справа последнего неравенства на ^(!т)[^(!т)+~(!т)]-1дает с учетом (12)

А(?т ) >А0(?т - 0)V-1(?т ) х х[V(?т) + £(?т )]ехр{-2А1? [-]}. (33)

+(1/2)

, (37)

Доказательство:

Из (27) с учетом [3] для т<!;<!т<! следует

I? [ х; 20 ,п0т ] =

= (1/2) ^ м{1п[С(п(?/), 2|х(()/с(п(?), 2)]} +

т <?• <?

-1(ст)м{[/(т,2|хст) -/(т,2)]2}йст -

-£е (ст)[м{ 3 [ хст ]} - Щ-1(ст)] йст

где У[хст] - упомянутое выше условное информационное количество Фишера. Использование (28), (30), (34) в (37) дает, что /,[х,;г°!,П0т]<10[-], где /Д-] определяется правой частью формулы (36). Использование [3], (5), (6), (12), (16) в (37) дает, что верхняя граница 7Д-] для I [-] достигается на кодирующих функционалах й°(-) и £°(-) вида (5), (6). Следовательно (35) доказано для т< т< . Справедливость результата и для начального интервала времени [0,т] следует с учетом Замечания 2.

Заключение

Полученные результаты могут быть использованы для анализа пропускной способности каналов в задаче оптимальной передачи сигналов, и в частности непрерывно-дискретных сигналов, реализациями которых являются случайные процессы.

Работа выполнена при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013, проект № 14.B37.21.0861.

СПИСОК ЛИТЕРАТУРЫ

1. Демин Н.С., Рожкова С.В., Рожкова О.В. Обобщенная скользящая экстраполяция стохастических процессов по совокупности непрерывных и дискретных наблюдений с памятью // Известия РАН. Теория и системы управления. - 2000. - № 4. - С. 39-51.

2. Липцер Р.Ш., Ширяев А. Н. Статистика случайных процессов.

- М.: Наука, 1974. - 696 с.

3. Dyomin N.S., Rozhkova S.V., Safronova I.E. About structure of Shannon information amount for joint filtering and extrapolation

problem by continuous-discrete memory observations // Informati-ca. - 2004. - V15. - № 2. - P. 171-202.

4. Липцер Р.Ш. Оптимальное кодирование и декодирование при передаче гауссовского марковского сигнала по каналу с бесшумной обратной связью // Проблемы передачи информации.

- 1974. - № 4. - С. 3-15.

Поступила 03.10.2012 г.

УДК 519.2

ОПТИМАЛЬНАЯ НЕПРЕРЫВНО-ДИСКРЕТНАЯ ПЕРЕДАЧА СИГНАЛА ПО КАНАЛАМ С ЗАПАЗДЫВАНИЕМ

С.В. Рожкова

Томский политехнический университет E-mail: [email protected]

Рассматривается задача оптимальной передачи стохастических процессов по непрерывно-дискретным каналам с запаздыванием. Доказываются экстремальные свойства оптимальных кодирований в смысле максимизации количества информации.

Ключевые слова:

Сигнал, стохастические системы, канал передачи, кодирование, декодирование.

Key words:

Signal, stochastic system, transmission channel, coding, decoding.

1. Постановка задачи

Сигнал х,, сообщение на выходе канала передачи ^ и сообщение на выходе дискретного канала передачи п(,т) задаются на реализациях процессов, определяемых стохастическими дифференциальными уравнениями

йх( = Г (? )х(й? + Ф1 (? )йЦ,

р>(х) = ^{х; Лo,Yo}, (1)

й2? = /(?, хт, 2)й? + Ф2(? )йу?, (2)

П(?т ) = В(?т , хт , 2) + Ф3 (?т Ж?т X

0<!°<т<1т<1, т. е. в отличие от [1] в данной работе рассматривается случай непрерывно-дискретной передачи с запаздыванием, когда в непрерывном и дискретном каналах передаются прошлые значения хт процесса х1 при наличии мгновенной бесшумной обратной связи по процессу zt■

Используемые обозначения: Р{-} - вероятность

события; M{-} - математическое ожидание; ЭДа;Ь} - плотность нормального распределения с параметрами а и Ь; Ф2(1)=е(1), Ф22(!)=Я(!), Ф32(1т)=Г(1т).

Задача: в классе кодирующих функционалов K1={H1;G1}={h{-},g{-}}, удовлетворяющих энергетическим ограничениям

м{/2(?, хт, 2)} < /(?),

м{В2 (?т , ^ 2)} < В(?т X (3)

найти функционалы А0{-| и обеспечивающие относительно задачи фильтрации минимальную ошибку декодирования A0(t)=infA(t), где

A(t)=M{[x-x(t,z,n)]2} является ошибкой оценки фильтрации x(t,z,n) процесса xt, которая соответствует принятому сообщению {z0t; n0m} при заданных h{-}, #{•}. Так как при заданных Н{-} и #{•} оптимальной в среднеквадратическом смысле оценкой фильтрации является апостериорное среднее ^(t)=M{xJzo',n0m} [2], то A(t)>M{y(t)}, где т(/)>М{[х,-^(/)]2^',П0т}. Таким образом, A0(t)=infM{y(t)}.

2. Основные результаты

Замечание 1. Очевидно, что до момента т, где 0<t0<T<tm<t, мы имеем h(^)=h(t,xt,z), g(0=h(tm,xm,z), т. е. передаются текущие значения процесса x,, справедливо Замечание 2 из [1]. Считаем, что при T<t передача шла оптимальным способом согласно этому Замечанию.

Теорема 1. На классе K;1={H;1;G;1} линейных функционалов

И) = {й(-) : h(t, Хт, z) = z) + HjCt, z)Хт}, (4)

G) = {gQ : g(tm , Хт , z) = g(tm , z) + G1(tm , z)Хт } :

1) оптимальные кодирующие функционалы

h°(t,xT,z°), g0(tm,xT,z0) имеют представления

h°(t, z °) = -H°(t, z >0(т, t),

H°(t, z °) = [h (t )/A0i(T, t)]1/2, (5)