CC BY
135
Снижение размерности признакового пространства в задачах идентификации излучающих объектов
по данным радиомониторинга с использованием искусственных нейронных сетей
В УСЛОВИЯХ НЕСТАЦИОНАРНОСТИ КАНАЛА СВЯЗИ ЧАСТО ВОЗНИКАЕТ СИТУАЦИЯ НЕОПРЕДЕЛЕННОСТИ ОТНОСИТЕЛЬНО НАБОРА ПРИЗНАКОВ СИГНАЛОВ, ИНФОРМАТИВНЫХ ДЛЯ ИДЕНТИФИКАЦИИ ИЗЛУЧАЮЩИХ ОБЪЕКТОВ. ЭТА СИТУАЦИЯ ОСОБЕННО ЯРКО ПРОЯВЛЯЕТСЯ ПРИ ПРИЕМЕ СИГНАЛОВ В УСЛОВИЯХ ЗНАЧИТЕЛЬНОЙ МНОГОЛУЧЕВОСТИ, НАЛИЧИЯ ДОПЛЕРОВСКОГО СДВИГА ЧАСТОТЫ И ТД В СВЯЗИ С ЭТИМ ВОЗНИКАЕТ ЗАДАЧА ОПРЕДЕЛЕНИЯ НАБОРА НАИБОЛЕЕ ИНФОРМАТИВНЫХ (С ТОЧКИ ЗРЕНИЯ КЛАСТЕРНОЙ КЛАССИФИКАЦИИ) ПРИЗНАКОВ АНАЛИЗИРУЕМЫХ СИГНАЛОВ.
Аджемов С.С., Терешонок М.В., Чиров Д.С.,
МТУСИ
Определение набора (так называемого словаря) признаков для построения системы кластерной классификации и распознавания радиосигналов, работающей в условиях нестационарности канала связи, является сложной и самостоятельной задачей. При ее решении необходимо учитывать следующие ограничения:
реализации и методов сравнительной оценки признаков. Анализ существующих работ по данной тематике показывает, что наиболее распространенными являются следующие методы оптимизации признакового пространства:
— метод последовательного добавления или удаления признаков (или их комбинация);
— метод полного перебора;
а) в словарь необходимо включать признаки, относительно которых может быть получена априорная информация, необходимая для описания классов на языке этих признаков;
— случайный поиск (с адаптацией или без);
— метод ветвей и границ;
— генетические методы;
б) некоторые из признаков нецелесообразно включать в словарь ввиду их малой информативности;
— методы кластерного анализа (иерархические и на базе карт Кохонена).
в) некоторые признаки, как правило, наиболее информативные, не могут быть определены ввиду отсутствия соответствующих измерительных устройств, а ресурсы, отведенные на создание системы распознавания ограничены.
Каждый из вышеперечисленных методов обладает своими преимуществами и недостатками. Но один недостаток у них общий, при выборе оптимального (с точки зрения заданного критерия) набора признаков, часть исходных признаков полностью игнорируется. Данный недостаток, возможно, компенсировать с использованием методов синтеза набора признаков.
Под информативностью, в данном случае, понимаются разделительные свойства признаков.
В настоящее время существует большое количество методов выбора набора признаков при ограничениях на стоимость их
Синтез признаков, также как и их отбор, решает задачу сокращения размерности признакового пространства без существен-
ных потерь в качестве решения задачи классификации и идентификации. При синтезе, для построения набора из т признаков, участвуют все п исходных признаков (т < п). Преимущества методов синтеза перед методами отбора заключаются в следующем:
— отсутствует комбинаторный перебор вариантов;
— вся исходная информация учитывается в полном объеме.
В настоящий момент существует несколько методов хорошо себя зарекомендовавших в задачах сокращения размерности признакового поля за счет синтеза новых, более информативных признаков. Основным из них является метод анализа главных компонент (МГК).
Как известно, задачей метода главных компонент является поиск минимального числа новых признаков, по которым исходные признаки можно было бы восстановить линейным преобразованием с незначительными погрешностями. Метод главных компонент (МГК) относится к методам обучения без учителя, потому что линейное преобразование строится по матрице "объекты-признаки", без учета целевого набора признаков [1, 2].
Пусть имеется набор из п признаков сигнала х,, обеспечивающий полное описание данного сигнала, то есть х, = {/Щ), /2(х,),..., ПХ,)}, где , = 1.../, а I — количество сигналов. То есть, мы имеем матрицу F вида:
Р =
ІХП
А(хі) ••• /п(*і)
МХі) ••• /п (Х1)
7 =
ІХШ
г1(х) ••• ^(х1)
г1(х1) ••• ^оо
(4)
(1)
(2)
Г) кхк
(5)
Обозначим Х=М) —ковариационную матрицу вектора столбца признаков F. Исходя из того, что данная матрица симметрична и неотрицательно определенная, она имеет к вещественных неотрицательных собственных значений X, причем, как правило:
(6)
Матрицу собственных значений в большинстве математической литературы обозначают как:
Л =
(7)
Целевой задачей является преобразование матрицы F|xn в матрицу
а собственные вектора-столбцы матрицы X, соответствующие собственным значениям
состав-
1., как у. = (VI-, V2(•,..., Vjу которые ляют матрицу собственных векторов V = (у^ V*..., ук).
Пусть
(8)
с помощью некоторого линейного преобразования и = (и-) , такого что:
1 тхп
__ т
Л {х) = Х 2*{^ ’ (3)
где I = 1,...,п, т < п. Восстановленное значение ^ { х) не обязано с точностью совпадать с /(х), но их отличие должны иметь минимальный характер для выбранного значения т. То есть необходимо найти матрицу Т, такую что:
X = УТР, при этом, так как
м2 = М(УТР) = утмР = О,
где О = (0, 0,..., 0)т, то 7 — центрированный вектор, поэтому его матрица ковариации равна:
М
(ггт ) м (утР'Рт у ) утм ) =
і"! 0 • 0
УТ ХУ = 0 1 • • 0
0 0 • • 1
(9)
поэтому компоненты г некоррелированные. Исходя из этого, искомый вектор Т можно найти как:
Для упрощения изложения материала условимся рассматривать по векторный вариант алгоритма и будем понимать под:
Т7 — центрированный вектор-столбец Р = Т -МТ признаков F = (^, /2,..., /,), линейная модель которого записывается как Т = Аг;
Т — вектор-столбец некоррелированных главных компонент ^, где | = 1,...,к;
А — матрица нагрузок признаков / на компоненты г. (, = 1,...,к, I = 1,...,к) вида:
(10)
Матрица нагрузки определяется следующим образом. Так как матрица V — ортогональна, то в соответствии с (8) получаем:
У 7 = УУТР = УУ-1 Р = Р,
отсюда:
(її)
(12)
Таким образом, матрицу А можно определить как:
А = У Л ^.
(13)
В индексном виде алгоритм вычисления главных компонент записывается следующим образом:
ха^‘
г = —------------------------ і=1
Л
(14)
В качестве набора новых (синтезированных) признаков используются к' первых главных компонент (к' < к), с использованием которых можно построить наилучшее, с точки зрения метода наименьших квадратов, воспроизводство /Щ), /2(х;),... /к(х) из всех возможных воспроизводств, которые можно построить из к' линейных комбинаций к случайных величин. Точность воспроизводства вычисляется по следующей формуле:
а =
і=к '+1 к
х 1
(15)
В [1] рекомендуется для практических задач выбирать к' исходя из следующего эмпирического выражения:
— -10... 25%.
к
(16)
Один из недостатков МГК состоит в том, что это чисто линейный метод, и из-за этого он может не учитывать некоторые важные характеристики структуры данных. Поэтому зачастую используют вариант "нелинейного признакового пространства МГК", основан-
ный на использовании так называемой ав-тоассоциативной сети. Это такая нейронная сеть, которую обучают выдавать в качестве выходов свои собственные входные данные, но при этом в ее промежуточном слое содержится меньше нейронов, чем во входном и выходном слоях. Поэтому, чтобы восстановить свои входные данные, сеть должна научиться представлять их в более низкой размерности. Сеть "упаковывает" наблюдения в формат промежуточного слоя и только потом выдает их на выходе. После обучения автоассоциативной сети ее внешний интерфейс может быть сохранен и использован для понижения размерности. Как правило, в качестве автоассоциативной сети берется многослойный персептрон с тремя промежуточными слоями [3]. При этом средний слой отвечает за представление данных в малой размерности, а два других скрытых слоя служат соответственно для нелинейного преобразования входных данных в средний слой и выходов среднего слоя в выходной слой. Ав-тоассоциативная сеть с единственным промежуточным слоем может выполнять только линейное понижение размерности, и фактически осуществляет МГК в стандартном варианте. Рассмотрим использование нейронных сетей в задачах оптимизации признакового пространства более подробно.
Итак, пусть теперь на том же наборе с(-мерных данных {х°} обучается т линейных нейронов:
у, =Х
(17)
j=i
Мы хотим, чтобы амплитуды выходных нейронов были набором независимых индикаторов, максимально полно отражающих информацию о многомерном входе сети.
Если мы просто поместим несколько нейронов в выходной слой и будем обучать каждый из них независимо от других, мы добьемся лишь многократного дублирования одного и того же выхода. Очевидно, что для
получения нескольких содержательных признаков на выходе исходное правило обучения должно быть каким-то образом модифицировано — за счет включения взаимодействия между нейронами.
Правило обучения отдельного нейрона выглядит следующим образом: последний пытается воспроизвести значения своих входов по амплитуде своего выхода. Обобщая это наблюдение, необходимо сформулировать правило, по которому значения входов восстанавливаются по всей выходной информации.
Самым распространенным правилом обучения при сжатии данных является правило обучения Хебба. Согласно правилу Хебба, изменение весов нейрона при предъявлении ему примера пропорционально его входам и выходу:
Awj =пУ Xj,
или в векторном виде:
Awj =nyjxj.
(18)
(19)
Если сформулировать обучение как задачу оптимизации, мы увидим, что обучающийся по Хеббу нейрон стремится увеличить амплитуду своего выхода:
дЕ
Aw = -п—, dw
Е (w> Xa)=-2 {(w X )’) =
:У .
(20)
(21)
где усреднение проводится по обучающей выборке {х°}. Как известно, обучение с учителем, напротив, базируется на идее уменьшения среднего квадрата отклонения от эталона. В отсутствие эталона минимизировать нечего: минимизация амплитуды выхода привела бы лишь к уменьшению чувствительности выходов к значениям входов. Максимизация амплитуды, напротив, делает нейрон как можно более чувствительным к различиям входной информации, т.е. превращает его в полезный индикатор.
Указанное различие в целях обучения носит принципиальный характер, так как минимум ошибки Е(^') в данном случае отсутствует. Поэтому обучение по Хеббу в том виде, в каком оно описано выше, на практике не применимо, так как приводит к неограниченному возрастанию амплитуды весов. От этого недостатка, можно избавиться, добавив член, препятствующий возрастанию весов:
данное выражение называется правилом обучения Ойа для одного нейрона. Как видно, данное правило максимизирует чувствительность выхода нейрона при ограниченной амплитуде весов. Нейрон как бы старается воспроизвести значения своих входов по заданному выходу. Тем самым, такое обучение стремится максимально повысить чувствительность единственного выхода-индикатора к многомерной входной информации, являя собой пример оптимального сжатия информации. Следуя этой линии рассуждений, получаем правило Ойа для однослойной сети:
Awj =ПУТ (xjj - x) =
=пу<
w
(23)
Такое обучение эквивалентно сети с узким горлом из скрытых линейных нейронов, обученной воспроизводить на выходе значения своих входов.
Awj =пуТ (Xj - yTwt),
(22)
Рис. 2. Линейная автоассоциативная сеть с узким горлом — аналог правила обучения Ойа
Скрытый слой такой сети, так же как и слой Ойа, осуществляет оптимальное кодирование входных данных, и содержит максимально возможное при данных ограничениях количество информации.
Задачей автоассоциативных сетей, как уже говорилось, является воспроизведение на выходе сети значений своих входов. Вторая половина сети — декодер — при этом опирается лишь на кодированную информацию в узком горле сети (рис. 3). Качество воспроизведения данных по их кодированному представлению измеряется условной энтропией Н(х|у). Чем она меньше, тем меньше неопределенность, то есть лучше воспроизведение. Нетрудно показать, что минимизация неопределенности эквивалентна максимизации энтропии кодирования:
min H(X | y) = min{H(x | y) - H(y)} = (24) = max H (y).
Действительно, механическая процедура кодирования не вносит дополнительной нео-
пределенности, так что совместная энтропия входов и их кодового представления равна энтропии самих входов Н(х у) = Н(х) + Н(у|х) = = Н(х) и, следовательно, не зависит от параметров сети.
•У Training with TRAINLM
jojxj
CL)
CL
Для оценки возможности использования МГК для оптимизации признакового пространства в задачах радиомониторинга рассмотрим радиосигналы, имеющие следующие признаки:
— длительность преамбулы;
— тип преамбулы;
— длительность сквелч-окончания;
— тип сквелч-окончания;
— тип сигнала.
Данные сигналы группируются в 10 классов (по номеру источника). Всего сигналов в выборке 64.
На рис. 4 представлены результаты обучения автоассоциативной нейронной сети данными признаками. Использовался математический инструментарий Matlab. Архитектура сети следующая: количество нейронов в слоях — 510-3-10-5, функция активации нейронов — сигмоида. Сеть обучалась методом Левенбер-га-Маркара, критерий обучения — средняя квадратическая ошибка (СКО). Как видно из представленного графика за 500 циклов обучения СКО между эталонными и полученными на выходе сети данными составляет 6,8 • 10-8.
Таким образом, мы обеспечиваем сжатие данных с 5 признаков до 3. Разделительные свойства синтезированных признаков были исследованы с помощью самоорганизующихся карт Кохонена [3]. На рис. 5 представлены результаты кластеризации сигналов по 3 синтезированным признакам. Кластеризация зарегистрированных радиосигналов с использованием
Stop Training
500 Epochs
Рис. 4. Результаты обучения автоассоциативной нейронной сети
Литература
самоорганизующихся карт Кохонена проводилась с помощью СПО интеллектуального анализа данных [5].
Как видно из полученных результатов, в полученных кластерах смешения различных классов сигналов не наблюдается.
Анализ возможностей искусственных нейронных сетей показал, что автоассоциативные нейронных сети, как нелинейная реализация метода анализа главных компонент, позволяют минимизировать признаковое пространство без значительного ухудшения его разделительных свойств. За счет сокращения признакового пространства на этапе предварительной обработки данных радиомониторинга возможно сокращение вычислительных мощностей на этапах идентификации источников излучения. Данное обстоятельство делает целесообразным использовать автоассоциативные ИНС в составе программно-аппаратных комплексов радиомониторинга в виде программных модулей предварительной обработки.
1. Калинина В.Н., Соловьев В.И. Введение в многомерный статистический анализ: Учебное посо-бие/ГУУ — М., 2003. — 66 с.
2. Айвазян СА., Бухштабер В.М., Енюков И.С., Мешалкин ЛД Прикладная статистика: Классификация и снижение размерности. — М.: Финансы и статистика, 1989.
3. С. Хайкин. Нейронные сети: полный курс. — М.: Издательский дом "Вильямс", 2006.
4. Лебедев АН., Терешонок М.В., Чиров ДС Методика оценки информативности параметров радиосигналов для решения задачи классификации излучающих объектов/Труды МТУСИ. — М.: ИД Медиа Паблишер, 2008. — Т. 1. — С. 314-317.
5. Аджемов С.С., Виноградов А.Н., Лебедев А.Н., Терешонок М.В., Чиров ДС. Интеллектуальный анализ данных Свидетельство об официальной регистрации программы для ЭВМ №2007612101, 23.05.2007 г.
1 Кластері II Кластер 3 11 Кластер 5 І Кластер S 11 Кластер 8 I Кластер 9 III Кластер 12 II Кластер 14 II Кластер 16 II Кластер 18 II Кластер 20
Дисперсия 00022 0 0022 0 0040 0.0049 0.0037 00011 00020 0 0038 0.0014 0.0041 0.0015
3 9 1 4 2 2 8 10 0 7 6
3 Э 1 4 2 8 10 0 7 6
3 1 4 2 8 0 7 6
3 1 4 2 0 Є
3 1 4 2 0 6
3 1 2 0 6
3 1 2 0
3 2 0
3 2 0
3 0
3 0 0
Рис. 5. Результаты кластеризации радиосигналов по синтезированным с использованием ИНС признакам
