Замечания к теореме Шеннона для дискретного канала с помехами Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Радиофизика

Вестник Нижегородс кого университета им. Н.И. Лобачевс кого, 2010, № 2 (1), с. 89-94

УДК 621.391.019.4

ЗАМЕЧАНИЯ К ТЕОРЕМЕ ШЕННОНА ДЛЯ ДИСКРЕТНОГО КАНАЛА С ПОМЕХАМИ

© 2010 г. М.В. Литвин

Нижегородский госуниверситет им. Н.И. Лобачевского [email protected]

Поступила в редакцию 14.07.2009

Рассматриваются вопросы, связанные с доказательством теоремы Шеннона. Показано, что условия безошибочной передачи сообщений при конечной ненадёжности канала ограничивают снизу энтропию источника сообщений и сверху ненадежность канала. Анализ вероятности ошибки при передаче сообщений и количества информации в последовательности сообщений на выходе канала показал, что для достоверной оценки их необходимо усреднение этих величин по рассматриваемой последовательности.

Ключевые слова: источник сообщений, энтропия источника, пропускная способность канала, ненадёжность, оптимальный код, вероятность ошибки, вероятность правильного приёма.

Введение

Согласно теореме Шеннона, если производительность источника сообщений H(s*)/Ts не превышает пропускную способность канала связи C , «то существует тосоя системо со-дировония, что сообщения источнисо могут быть передоны по сонолу с произвольно молой чостотой ошибос (или со ссоль угодно молой ненодёжностью)...» [1, с. 40]. Пропускная способность канала связи в единицах информации на одно сообщение определена [1, с. 41, 64] как

CTs = max

p( s)

ííp(s, x)log p(s’X\ dsdx p(s)p(x) max [h (s )- H (s|x)].

p(s)

(1)

Здесь 5, х - события, соответственно, на входе и выходе канала, р(*) - соответствующие плотности вероятностей, Н (5 ) - энтропия источника сообщений 5 , Н(я|х) - ненадёжность, Т5 - время, через которое происходит смена сообщений. При определении С максимум определяется по источникам с различными вероятностями сообщений 5 . Таким образом, только сообщения 5*, для которых выполняется условие теоремы Н (5*) < СТ5, могут быть переданы по каналу связи практически без ошибок. Аналогичная формулировка теоремы приводится в работах [2, с. 47; 3, с. 68].

Особенность доказательств теоремы из [1-3] в том, что в них не рассматриваются условия, в которых справедлива теорема. Не упоминается о классах используемых сигналов, их интенсивности относительно помех и способе обработки сигналов в канале связи, т.е. игнорируются вопросы, существенные в статистической теории связи [4, 5]. Вероятно, по этой причине формулировки теоремы Шеннона в [1-3] и [6] различаются.

В связи с этим возможности, определяемые теоремой, в части передачи сколь угодно малой информации источника при фиксированных помехах (только условие Н (5*) < СТ5) и уменьшения вероятности ошибки только за счёт увеличения количества одновременно передаваемых сообщений, полученные без учёта результатов [4, 5], представляются неубедительными. Поэтому задача настоящей работы заключается в анализе методики получения этих результатов. Представляется, что решение её должно увеличить наши знания по рассматриваемой проблеме дискретного канала связи с помехами, т.е. канала с конечным числом передаваемых сообщений. Следует заметить, что смысл понятий, используемых в данной работе, такой же, как и в рассматриваемой теореме и приведенной литературе.

Условие безошибочной передачи

В соответствии с теоремой Шеннона по каналу связи с пропускной способностью С можно передать информацию источника сообщений 5* без потерь, если выполняется неравенство

H(s.)< CTs. (2)

При этом имеется в виду канал связи с отличной от нуля ненадежностью H (s|x), в котором передается лишь часть информации другого источника сообщений s (1). Причина потерь информации этого источника - в неопределенности результата на выходе канала из-за действия помех. В работе [1, с. 42] при доказательстве теоремы вводятся группы высоковероятных сообщений, величины которых для входа канала равны

Qs = 2kH (s), Qso = 2kH (s|x). (3)

Здесь Qs - количество сообщений в группе передаваемых, а Qso - в группе неразличимых сообщений, к определяет число сообщений в группе. Чем она больше, тем ближе к единице вероятность того, что сообщения в группах становятся статистически устойчивыми. Именно это свойство последовательностей (3) используется при определении пропускной способности канала и энтропии [1, с. 12, 24], поскольку определяется logQ/k при к . На рис.1 изображены группы высоковероятных сообщений (3) для входа канала (линия s), линия х соответствует выходу его. Действие помех приводит к тому, что сообщение х на выходе канала может быть образовано любым из Qso сообщений на входе и определить каким именно - невозможно. Поэтому реальное число передаваемых сообщений ограничено и равно

q = Qs = 2k [h (s )-H (slx)] = 2 kCTs (4)

+-'SBЪTX /л * V /

Qso

Как видим, эта оценка совпадает с общим выражением количества информации на выходе канала (1). Из (4) следует, что при конечной ненадежности канала часть информации источника s теряется и на выходе канала остается информация CTs. Таким образом, здесь наблюдается пороговый эффект, поскольку информация, сравнимая с ненадежностью, практически не передается по каналу связи.

В теореме Шеннона это обстоятельство не учитывается, и по этому каналу и в этих же условиях, т.е. при ненадежности H(s|x)^ 0 , можно передавать всю информацию без ошибок и без каких-либо ограничений на минимальную величину ее. Поскольку это противоречит соотношениям (1), (4), следует уточнить теорему, для чего неравенство (2) в ней следует записать следующим образом

H(s|x)< H(s.)< CTs = H(s)- H(s|x). (5)

Это неравенство не только точнее определяет количество информации, которое может быть передано по каналу связи, но и ограничивает сверху ненадежность канала, т.е.

H (s|x )< 1H (s). (6)

Таким образом, если принять идею о неразличимости Qso сообщений (3), что следует из

(1), (4), то требования как к источнику передаваемой информации, так и к каналу связи должны быть усилены (5), (6). Простое условие (2) или CTs > 0, т.е. H(s|x)< H (s), недостаточно

для безошибочной передачи информации по каналу связи. Из неравенства (6) следует, что ненадежность канала должна быть существенно меньше (качество канала выше), а количество информации источника ограничено снизу.

Вероятность ошибки

Доказательство теоремы Шеннона основано на оценке вероятности ошибок в группе из k последовательных сообщений. При этом для передачи сообщений s. с энтропией H(s.)< CTs

(2) в качестве сигналов используются аналогичные последовательности сообщений s с энтропией H (s ). С использованием группы высоковероятных сообщений (3) в теореме получена оценка вероятности ошибок в канале связи [1, с. 42, 43]

■ 2

k [H (s,)-CT, ]

(7)

Из этой оценки следует, что при выполнении условия (2) и увеличении длины последовательности k ^ го вероятность ошибки может быть сколь угодно малой.

Рассмотрим подробнее второе условие. Заметим, что вероятность ошибок следует из ве-

роятности правильного приема [1, с. 42], которая определена как «вероятность того, что ни она точка "веера" не будет сообщением (кроме действительного сообщения)», т.е.

/ \ / \ЛокнЙ*)

P — 1 _ 2kH(s.)-kH(s) 2 ^

Pnp.s, — 1 2 ~

, і _ 2к[н(s*)-H(s)+H(s|*)] — і _ 2к[н(s*hCTs] —

(8)

— 1_ Ро

Если обратиться к передаче сообщений 5, то из (3) с очевидностью следует аналогичное выражение

P—

np.s

Qs _ Qs, Qs

—1 2

к [н (s|x )—H (s)] —

(9)

— і_2 _ kCTs — 1_ pm

Следовательно, при передаче сообщений 5 увеличение к ^ да , так же как и в случае сообщений 5* (8), позволяет получить сколь угодно

малую вероятность ошибок (9). Получается, что с таким же качеством можно передавать не только информацию Н(5*), но и информацию Н(5)> > Н (5*). Заметим, что это оказывается возможным вопреки условию теоремы Шеннона (2), поскольку Н (5 )> СТ5 , и, следовательно, без ошибок можно передавать информацию, большую пропускной способности. Интересно, что в отличие от условий теоремы для этого нет необходимости в оптимальном коде.

Вероятность ошибки и длина сообщений

Согласно теореме Шеннона, сколь угодно малая вероятность ошибок может быть реализована за счет передачи длинных последовательностей сообщений к ^ да (8), (9). При этом важный результат заключается в том, что такая ошибка может быть получена в канале с отличной от нуля ненадёжностью, т.е. при условии СТ5 = Н (5 )- Н (^х )< Н (5 ). Таким образом,

хотя ненадёжность и ограничивает количество передаваемой без ошибок информации (1), (5), но передача информации со сколь угодно малой вероятностью ошибок возможна. Для этого при условии (2) необходимо к ^ да и применить оптимальный код.

Однако из общего соотношения для передаваемой по каналу связи информации следует, что передача без ошибок, т.е. всей информации, возможна только при нулевой ненадёжности (1). Поэтому вряд ли можно рассчитывать на уменьшение вероятностей ошибок только за

счёт увеличения k , если при этом не проводится обработка, учитывающая передачу k сообщений. Здесь следует напомнить, например, про согласованную фильтрацию сигналов [5, с. 108122] или последовательный анализ [7, с. 226233].

Причина уменьшения вероятности ошибок при к ^ да в (7)-(9) связана с логарифмической мерой информации (l « log Q) [1, с. 20], которая при независимых сообщениях оказывается пропорциональной числу сообщений [1, с. 24]. Именно эта особенность определяет выражения для высоковероятных групп сообщений в виде экспоненциальных функций (3). С учетом

свойств функций (2 -кН) ясно, что при любой величине Н найдется такое к, при котором будет выполняться неравенство кН >> 1. Именно это происходит с вероятностями ошибок в (7), (8). Действительно, при любой отрицательной разности Н (s.) - CTs, даже при Н (s.) « CTs, вероятность ошибки при увеличении к стремится к нулю.

Использование экспоненциальных функций для оценки высоковероятных групп сообщений приводит к парадоксальным результатам. В [3, с. 58] показано, что, по аналогии с (3), высоковероятная группа правильно принятых сообщений QSUp содержит 2kCTs сообщений. Поэтому

вероятность правильного приема можно определить равенством

р _ Qsnp _ 2к[CTs-Н(s)] _ 2-кН(slx) (10)

пр. S jT'V " ' '

Qs

При к ^ да эта вероятность, как и вероятность ошибки в (9), становится сколь угодно малой, т.е. в канале связи имеем нулевые вероятности для правильного и ошибочного приема.

Совершенно иной результат получается при оценке качества передачи логарифмом вероятности ошибки, отнесенным к одному сообщению. Фактически эта величина характеризует некоторую среднюю величину рассматриваемой последовательности сообщений. Заметим, что именно такой подход используется при определении количества информации [1, с. 20]. Аналогичные (усредненные) величины применяются для оценки качества приёма сигналов, например средний квадрат ошибки воспроизведения [5, с. 14-21; 8, с. 115] или расстояния в сигнальных пространствах [1, с. 75-76]. При таком подходе из (7), (8) получается

log2 Рош1 —

log2 Р

2 ош.я* к

— H (s*)_ CTs

или Р0Ш1 = 2~[CTs-H (s*)]. (11)

Эта оценка не зависит от числа сообщений k . Аналогичное соотношение получается и для вероятности (9).

В случае использования оценки (11) становится понятным поведение вероятности (10), которая стремится к единице только при H (s|x0. Если H (s|xH (s), то вероят-

D V r)—H (s )

ность РПр1 ^ 2 v ’, что свидетельствует о бесполезности канала связи. Действительно, например, при H (s )= 1бит имеем Рпр1 = 1/2.

Такое качество приёма реализуется при угадывании сообщений на выходе канала, поскольку информация по нему не передаётся.

В правильности усредненных оценок вероятности (11) убеждает известный факт, заключающийся в том, что одно лишь увеличение количества независимых сообщений в передаваемой группе приводит к увеличению информации на выходе канала, связанному только с длиной группы [1, с. 19-21]. Это хорошо видно на примере передачи двух равновероятных сообщений iS! и S2 в условиях действия гауссовой помехи [7, с. 235-237]. Пусть условные вероятности правильных решений P S S1 ) =

2 S2 ) = Pss , а вероятности ошибочных -

P(S2 S ) = p(s1 S2 ) = Pls. При этом Pss + PJs = 1. Просто показать, что при передаче группы из k одиночных сообщений информация на выходе канала (1) равна

Hвых.1(s) = k(1 + Pss log Pss + Pss log Pss ) =

= k [h (s )- H (s|x )]. ( )

Из этого выражения следует, что информация на выходе канала пропорциональна информации, передаваемой при посылке одного сообщения. При этом информация на входе канала (k) и ненадёжность ( k (- Pss log Pss -- Pss log Pss ) ) пропорциональны k. Поэтому

увеличение k не изменяет соотношения между утраченной при передаче информацией и информацией на входе канала. Следовательно, качество передачи (вероятность ошибок), которое можно оценить как отношение этих количеств информации, не зависит от числа сообщений в группе, что и следует из оценки (11).

Возможность улучшения качества передачи информации за счёт увеличения числа одновременно передаваемых сообщений связана с оптимальными кодированием [1, с. 66] и приемом их. При этом k последовательных сообщений

объединяются и передаются как одно сообщение с использованием сигнала, длительность которого увеличена в к раз по сравнению со случаем передачи одиночного сообщения. Поэтому при оптимальном приёме сигнала в к раз увеличивается отношение сигнал/шум, что изменяет вероятности принятия гипотез и количество информации на выходе канала связи при увеличении к.

Количество информации на выходе канала в случае передачи М равновероятных сообщений и использования оптимального приёма равно [6, с. 143]

+ Pssк logPssk + _ і)рїк logPssk . (13)

Здесь вероятности Pssk и Pssk одинаковы с используемыми в (12). В [6, с. 144] доказано, что при отношении сигнал/шум р s > 2ln M увеличение к приводит к сколь угодно близкой к единице вероятности правильных решений Pssk, а значит, и к безошибочной передаче информации (13).

На рис. 2, 3 приведены величины (12), (13), отнесенные к одному сообщению HEbIX (s )/ к, и энтропия источника сообщений H(s). Зависимости на рисунках получены при M — 2 и отношениях сигнал/шум 0.69, 1.39 = 2ln M и 2.39 как функции порогового напряжения в приемнике. Оно определяет вероятности принятия решений Pss и PJs, содержащиеся в (12), (13). В случае (12) количество передаваемых сообщений к изменяется от 1 до 5, для (13) оно равно нечетным числам из интервала [1, 39]. Видим, что в случае (12) (рис. 2) информация на выходе канала (группа из пяти кривых, обозначены 0 4) изменяется только при увеличении отношения сигнал/шум (рs — 0.69 ^ 1.39 ^ 2.39 определен переменной i). При оптимальной передаче группы из к сообщений (13) (рис. 3) существует пороговый уровень сигнала (рs* — 2lnM ). Только при превышении его

увеличение к полезно, и информация на выходе канала может быть сколь угодно близкой к энтропии источника сообщений. При иных ps (переменная i для кривых) эта информация остаётся постоянной или уменьшается с увеличением к .

-3

Рис. 2

1.2

Нвых.2(ьк^х)

H(s)

0 О

Рис. 3

Приведенные примеры показывают, что только при уменьшении ненадёжности (Н(s|x) =

= Н(s)— Неых(Sк из (l2), (I3)) можно улучшать качество передачи информации и лишь при нулевой ненадёжности реализуется безошибочная передача информации (1), (10), (13). Поэтому нет оснований полагать, что только увеличение длины сообщений (11) позволит уменьшить вероятность ошибок (7), (9), (12).

В теореме Шеннона есть упоминание об оптимальном коде, который необходим для передачи сообщений без ошибок. Однако рассуждения об избыточности, свойственной этому коду, не подтверждены количественными оценками, а лишь поясняются примером об избыточности текстов [1, с. 43-44], что вряд ли можно считать достаточным для подтверждения доказательства теоремы.

Заключение

Рассмотренные выше замечания к теореме Шеннона связаны с общим характером её доказательства [1-3]. Прежде всего, здесь следует указать на отсутствие порогового эффекта при передаче сообщений. С одной стороны, в теореме используется группа неразличимых сообщений (3) и «веер» их (рис. 1), с другой - они не мешают передавать без ошибок сколь угодно малую информацию. Устранить это противоречие можно уточнением неравенства теоремы (2), которое следует заменить на неравенство (5), учитывающее группу неразличимых сообщений.

Вывод о том, что вероятность ошибок стремится к нулю при к ^ да (7), (8), определен экспонентами в (3), (7). Действительно, при условии (2) и к ^ да величина (7) может стать сколь угодно близкой к нулю. Однако это зна-

чит лишь, что при к ^ да количество сообще-

__ ъкН (я,)

нии в высоковероятной группе 2 4 *' стано-

вится много меньше сообщений в высоковероятной группе 2кСТ*. Используя свойства экспоненты, можно показать, что при к ^ да вероятность правильного приёма (10) может стать сколь угодно близкой к нулю одновременно с вероятностью ошибок в (9).

Причина таких результатов в том, что вероятности (7)—(10) определяются с использованием групп высоковероятных сообщений, тогда как вероятности ошибок или правильных решений следовало бы определять используя усреднение (11) или сравнение соответствующих частей информации (12), (13). Использование такой оценки приводит к очевидным результатам, согласующимся с общим соотношением для канала связи (1). Только при нулевой ненадёжности возможна безошибочная передача информации.

Выражение (13) соответствует формулировке теоремы из [6, с. 147]. Согласно ей, безошибочная передача М сообщений с использованием ортогональных сигналов, оптимальным кода и обработки возможна за счёт увеличения к, если отношение сигнал/шум при к = 1 больше 21п М. В соответствии с ней безошибочная передача сообщений возможна при Н (я) > ст,, т.е. при невыполнении условий теоремы Шеннона (2). Такой случай соответствует верхней группе кривых на рис. 3, для которых н (* )= 1 ст, * 0.4 (левая кривая при к = 1 ).

Учитывая сделанные в работе замечания о доказательстве условий реализации /*ош ^ 0 (7), (8) и общее соотношение для информации на входе и выходе канала связи (1), можно полагать, что доказательство теоремы с учётом условий передачи сообщений [4, 5] приводит к

более понятным и простым результатам, связанным только с отношением сигнал/шум. Таким образом, замечания позволяют объяснить различия в условиях реализации безошибочной передачи сообщений в рассматриваемых формулировках теоремы.

Выражаю благодарность заведующему кафедрой радиотехники ННГУ им. Н.И. Лобачевского профессору, д.т.н. И.Я. Орлову и участникам семинара кафедры за обсуждение работы и полезные советы.

Список литературы

1. Шеннон К. Статистическая теория передачи электрических сигналов // Сб. пер. под ред. Н.А. Же-лезнова. М. : Иностр. литература, 1953. С. 7-87.

2. Файнстейн А. Основы теории информации / Пер. с англ. Н.И. Коваленко под ред. И.И. Гойхмана. М.: Иностр. литература, 1960. 237 с.

3. Хинчин А.Я. Об основных теоремах теории информации // Успехи математических наук. 1956. Т. XI. Вып. 1(67). С. 17-75.

4. Миддлтон Д. Введение в статистическую теорию связи. Т. 2 / Пер. с англ. Б.А. Смиренина; Под ред. Б.Р. Левина. М.: Сов. радио, 1962. 831 с.

5. Вайнштейн Л.А., Зубаков В.Д. Выделение сигналов на фоне случайных помех М.: Сов. радио, 1960. 447 с.

6. Литвин М.В. Иная формулировка теоремы Шеннона для дискретного канала с помехами // Труды НГТУ. Радиоэлектронные и телекоммуникационные системы и устройства. Н. Новгород, 2007. Т. 64. Вып. 11. С. 141-148.

7. Питерсон В., Бердсал Т., Фокс В. // Сб. пер. «Теория информации и ее приложения» / Под ред. А.А. Харкевича. М.: Физ-мат. литература, 1959. С. 210-274.

8. Иди В.Т., Драйард Д., Джеймс Ф.Е. и др. Статистические методы в экспериментальной физике / Пер. с англ. В.С. Курбатова; Под ред. А.А. Тяпкина. М.: Атомиздат, 1976. 335 с.

SOME REMARKS ON SHANNONS NOISY DISCRETE CHANNEL CODING THEOREM

M. V. Litvin

Some questions related to the proof of Shannon’s theorem are considered. It has been shown that the conditions of error-free message transmission at channel terminal unreliability bound the source entropy from below and the channel unreliability from above. The analysis of error probability in information transmission and information content in message sequence at the channel output has shown that the reliable estimate of these parameters requires their averaging over the sequence under consideration.

Keywords: message source, source entropy, channel capacity, unreliability, optimum code, error probability, correct reception probability.