Энтропия центральных моментов распределения Текст научной статьи по специальности «Физика»

РАДИОТЕХНИКА И СВЯЗЬ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 2 (130) 2014

%

РАДИОТЕХНИКА И СВЯЗЬ

УДК 621.39:519.2 н. Д. ВЕШКУРЦЕВ

Омский государственный технический университет

ЭНТРОПИЯ ЦЕНТРАЛЬНЫХ МОМЕНТОВ РАСПРЕДЕЛЕНИЯ_________________________________

Решена задача по определению энтропии центральных моментов распределения стационарных случайных процессов. Ответы задачи подтверждают положения теории информации и корреляционного анализа. Применение результатов решения задачи показано на примере с экспериментальными данными, полученными ранее.

Ключевые слова: энтропия, центральные моменты, вероятность, закон распределения, плотность вероятности, ортогональные полиномы, шкала значений.

Среди вероятностных характеристик стационарных случайных процессов имеются центральные моменты распределения, описывающие энергетические свойства процесса, причем центральный момент первого порядка тождественно равен нулю. Следовательно, нами рассматриваются центральные моменты Мк, где к = 2, 3, 4. При к>5 центральные моменты в литературе встречаются очень редко, они не используются в разработке рекомендаций для прикладной науки. Может быть, это частично связано с тем, что в фундаментальной науке известно утверждение «Моменты более низкого порядка несут больше сведений о случайном процессе, чем моменты высокого порядка» [1, с. 69]. В связи с этим представляет интерес количественно выразить объем сведений о случайном процессе, который несет центральный момент к-го порядка. Другими словами, необходимо определить количество информации о случай-

ном процессе, которое содержится в численном значении центрального момента.

Решение такой задачи позволило бы, например, разрабатывать шкалу по значениям оценок вероятностных характеристик, по которой можно было бы определять свойства случайного процесса или вещества, формирующего случайный сигнал. При исследовании вещества радиостатистическим методом значения оценок центральных моментов распределения получаются разные, для примера они приведены в табл. 1 [2], где Мк — оценка момента.

Значения оценок моментов — это случайные величины с некоторой вероятностью их появления. Эти значения получены в результате статистической обработки данных, представленных мгновенными значениями случайного сигнала. Если случайный сигнал — напряжение, то размерность оценок моментов будет такой, как это указано в табл. 1.

Центральные моменты распределения

№ п/п Вещество М2, B2 М3, B3 М4, B4

1 Вино Каберне 1,09 -0,06 б,26

2 Вино Каберне с примесью 10 % воды 2,63 0,2б 1б,1б

3 Кукурузное масло 3,24 0,04 20,0б

4 Кукурузное масло с примесью 10 % льняного масла 2,29 0,1б 12,7б

При обработке данных их количество взято настолько большим, насколько позволил эксперимент (в нашем примере использовано 4096 мгновенных значений в каждом эксперименте). Всего выполнено пять независимых измерений при изучении каждого момента распределения. В итоге, статистическая погрешность обработки данных не превышает 10 %.

Помимо разных значений оценок моментов в табл. 1 показано, что нечётные центральные моменты имеют как положительные значения, так и отрицательные. Четные центральные моменты распределения всегда имеют только положительные значения. Объясняется это физическим смыслом центральных моментов распределения. При разработке шкалы планируется использовать значения оценок центральных моментов распределения, однако их размерность разная. Следовательно, необходимо привести значения оценок центральных моментов распределения к одинаковой размерности.

Решение задачи о приведении размерности центральных моментов распределения к единой единице измерения можно получить при помощи энтропии. Известно, что энтропия является некоторой мерой априорной неопределенности, например, случайного процесса. Она имеет размерность единицы информации бит. При определении или измерении значения оценки любого центрального момента затрачивается ровно столько бит информации, сколько будет достаточно, чтобы представить значение оценки момента числом и тем самым понизить неопределенность о свойствах случайного процесса. Как будет показано ниже, энтропия значения оценки центрального момента М2=1,09 из табл. 1 равна 0,36 бит. Таким образом, неопределенность о свойствах случайного процесса понизилась на 0,36 бита, поскольку нам стала известна его дисперсия.

В теории информации энтропию дискретной случайной величины рассчитывают по формуле [3]

H(X) = -P(X) log P(X),

(1)

Wl(x) = Е Ck jx)Qk (x),

k=-¥

(2)

где Ш1(х) — плотность вероятности случайной величины Х; ср(х) — некоторая воспроизводящая функция;

Сп = JWl(xQ(x)dx -

(З)

коэффициенты ряда распределения; Оп(х) — совокупность ортогональных полиномов. От рационального выбора полиномов зависит число членов ряда (2) и быстрая его сходимость. Кроме того, в нашей задаче случайные оценки М2, М4 имеют только положительные значения, а случайная оценка М3 — положительные и отрицательные значения. Следовательно, закон распределения оценок моментов М2, М4 должен располагаться только в положительной области значений числовой оси, а закон распределения оценки момента М3 — в обеих областях значений числовой оси.

Анализ литературы и известных решений [4] показал, что в нашей задаче целесообразнее всего использовать ортогональные полиномы Лагерра, для которых воспроизводящая функция равна

j(x) =

Г(а + 1)

(4)

где Г(а+ 1) — гамма-функция, а также х >0, а>0.

Функция (4) есть гамма-распределение, с использованием которого идет построение ряда (2). Дальнейшее исследование ряда (2) с полиномами Лагерра для дисперсии случайного процесса выполнено в работе [4]. При этом получен следующий результат:

Wl( x) =

п2 п-1

x 2

ш: Є 2 ,

(5)

где Х — случайная величина, которой в нашей задаче служит оценка любого центрального момента распределения, т. е. М2, М3, М4; P(X) — вероятность появления значения случайной величины; log — логарифм с основанием два. Для вычисления вероятности P(X) необходим статистический закон отдельно каждого центрального момента распределения.

Закон распределения центрального момента будем искать с помощью ряда [1]

где ^(х) — одномерная плотность вероятности значений оценки дисперсии, п — число степеней свободы закона распределения (5). Применение выражения (5) ограничено, поскольку оно получено при равенстве нулю корреляции между измеренными значениями оценок моментов распределения. Если п =1, то закон распределения (5) совпадает с законом Пирсона или с2 (хи-квадрат) по другой терминологии. При п>2 закон распределения (5) отличается от закона Пирсона, коэффициенты асимметрии

и эксцесса при этом равны У1 = 2^/2/ п , у2 =12/п.

Анализ выражения (5) показал, что при п=1 плотность вероятности положительная как при х>0, так и при х < 0. Следовательно, закон Пирсона с одной степенью свободы можно применить для описания распределения центрального момента третьего порядка. Когда п=2, то плотность вероятности (5) положительная только при х>0, а при других х она равна нулю. Поэтому этот вариант можно использовать для описания закона распределения центральных

— оо

x a^x

п

2

п

Г

2

ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 2 (130) 2014 РАДИОТЕХНИКА И СВЯЗЬ

РАДИОТЕХНИКА И СВЯЗЬ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 2 (130) 2014

Рис. 1. Энтропия центрального момента распределения 3-го порядка

Рис. 2. Энтропия центральных моментов распределения 2-го и 4-го порядков

моментов распределения второго и четвертого порядков. При п = 3 плотность вероятности (5) получается и положительной, и отрицательной. Такой вид закона распределения не имеет физического смысла и не может использоваться при решении любой прикладной задачи.

Переход от плотности вероятности (5) к функции распределения вероятности выполним известными приемами, в результате чего получим функцию распределения вероятности в следующем виде:

Р\(х) =

(6)

где Г^ 2, .2 х ^ — неполная гамма-функция. При п=1

функция (6) совпадает с функцией распределения вероятности, известной для закона Пирсона. Функ-

п

Г

2

Таблица 2

Энтропия центральных моментов распределения

Центральные моменты Порядковый номер в табл. 1

1 2 3 4

М 2 , бит 0,36 0,17 0,13 0,23

М з , бит 0,33 0,36 0,35 0,36

М4 , бит 0,05 0,0005 0,0005 0,002

ция (6) требуется для вычисления вероятности, включенной в формулу (1). В итоге искомая вероятность равна

Р(Х < X) = ^(Х < X):

г I п, Пх 22

(7)

где х — значение оценки центрального момента распределения. Расчеты выполнены с помощью формул (1, 7), результаты которых представлены на рис. 1 для п=1 и на рис. 2 для п = 2.

Анализ графиков на рис. 1, 2 показывает, что энтропия центральных моментов распределения разная, но незначительно различается в зависимости от порядка момента. В области положительных значений оценок центральных моментов энтропия немного превосходит 0,35 бита. Однако в области отрицательных значений оценки центрального момента 3-го порядка энтропия стремится к бесконечности. На наш взгляд, этому имеется объяснение, связанное с физическим смыслом центрального момента 3-го порядка. Момент М3 характеризует асимметрию закона распределения, т. е. смещение математического ожидания энергии сигнала относительно нуля. Смещение энергии сигнала в отрицательную область значений настолько маловероятно, что потребуется бесконечно много информации для выявления такого эффекта, поскольку энергия сигнала всегда положительная физическая величина. Также отметим, что энтропия нормального закона распределения случайного процесса с математическим ожиданием т1 = 0 и М2= 1 равна 2 битам. По всем данным энтропия моментов распределения не может превышать энтропию статистического закона. Таким образом, значения энтропии на рис. 1, 2 соответствуют известным положениям теории информации.

С помощью рис. 1, 2 определим энтропию оценок моментов распределения, указанных в табл. 1. Результаты вычислений сведены в табл. 2.

В отличие от табл. 1, размерность центральных моментов в табл. 2 одинаковая, она равна биту. Теперь моменты распределения можно умножать, складывать, вычитать и т. д.; из них можно строить

шкалу значений, причем центральный момент 4-го порядка имеет совсем малый вес, т. к. его значения колеблются в районе 0,002 — 0,05 бита. Получается, что центральный момент 4-го порядка меньше других несет сведений о случайном процессе. Таким образом, можно утверждать, что нам удалось экспериментальными данными подтвердить приведенное в начале статьи высказывание из книги [1, с. 69] о моментах высоких порядков.

Заключение. Получена энтропия центральных моментов распределения стационарных случайных процессов, которая на много меньше энтропии статистического закона. Кроме того, центральные моменты высшего порядка имеют энтропию меньше, чем моменты низшего порядка, а следовательно, они несут о случайном процессе меньше сведений нежели моменты низшего порядка.

С помощью энтропии размерность центральных моментов распределения приведена к единой единице измерения, которой является бит. Таким образом, стали возможны арифметические действия с центральными моментами разных порядков при разработке шкалы значений с размерностью бит, бит/см2 или иной другой.

Библиографический список

1. Тихонов, В. И. Статистическая радиотехника / В. И. Тихонов. — М. : Сов. радио, 1966. — 678 с.

2. Вешкурцев, Ю. М. Радиостатистический метод исследования веществ. Ч. 2. / Ю. М. Вешкурцев, Н. Д. Вешкурцев, Е. А. Фа-дина // Омский научный вестник. Сер. Приборы, машины и технологии. - 2013. - № 1 (117). - С. 238-242.

3. Стратанович, Р. Л. Теория информации / Р. Л. Страта-нович. - М. : Сов. радио, 1975. - 424 с.

4. Виленкин, С. Я. Статистическая обработка результатов исследования случайных функций / С. Я. Виленкин. - М. : Энергия, 1979. - 320 с.

ВЕШКУРЦЕВ Никита Дмитриевич, аспирант кафедры «Автоматизированные системы обработки информации и управления».

Адрес для переписки: [email protected]

Статья поступила в редакцию 02.04.2014 г.

© Н. Д. Вешкурцев

п

Г

2

Книжная полка

Куэй, Р. Электроника на основе нитрида галлия / Р. Куэй ; под ред. А. Г. Васильева ; пер. с англ. Ю. А. Концевого, Е. А. Митрофанова. - М. : Техносфера, 2011. - 587 с.

В издании представлен широкий круг вопросов, связанных с выбором подложек для гетероэпитаксии, с методами изготовления гетероэпитаксиальных структур, с технологией транзисторов на этих структурах. Рассмотрены материалы, приборы, много типов транзисторов, способных работать в различных диапазонах сверхвысоких частот. Рассматриваются схемы, создаваемые на этих транзисторах. Особое внимание уделяется вопросам надежности СВЧ-транзисторов на основе нитрида галлия.

ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 2 (130) 2014 РАДИОТЕХНИКА И СВЯЗЬ