Применение вейвлет-преобразования и нейронных сетей для локализации и идентификации сигналов в условиях шумов Текст научной статьи по специальности «Математика»

ИВАНОВ1 Александр Борисович, кандидат технических наук КОТЛЯР2 Сергей Сергеевич ЛЕВЧЕНКО3 Александр Сергеевич ТAШОЯН4 Арсений Феликсович

ПРИМЕНЕНИЕ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ И НЕЙРОННЫХ СЕТЕЙ ДЛЯ ЛОКАЛИЗАЦИИ И ИДЕНТИФИКАЦИИ СИГНАЛОВ В УСЛОВИЯХ ШУМОВ

Рассмотрено использование вейвлет-преобразования для поиска областей, в которых может находиться то или иное предполагаемое событие, и нейронной сети для идентификации этих событий в условиях шумов и искажений при анализе рефлектограмм.

Ключевые слова: вейвлет-преобразование, нейронная сеть, рефлектометрия.

Discussed is the task of reflectogram analysis with application of wavelet transform for the purpose of detection of events of specific form and neural nets for identification of these events within noises and distortions.

Keywords: wavelet transform, neural net, reflectometry.

При исследовании физических сред и протекающих в них процессов одной из актуальных задач является повышение эффективности анализа результатов рефлекто-метрических измерений в целях распознавания на. реф-лектограммах участков характерной формы (событий). Принимая во внимание, что вид последних определяется параметрами среды распространения сигнала, средств измерений и непременно присутствующих при измерениях шумов, для оценки состояния среды необходимо использовать методы выявления недопустимых отклонений событий, обеспечивающие их устойчивое распознавание — определение формы, локализацию и установление численных значений параметров событий. Применение строгих методов анализа в этих условиях сталкивается с проблемой обеспечения высокой степени достоверности и необходимостью решения задач многопараметрической оптимизации, требующих временных затрат, в

большинстве случаев недопустимых для целей контроля физических сред.

Одним из путей преодоления этих проблем является использование вейвлет-преобразования и нейросетевой идентификации, обеспечивающих совместно устойчивое выявление, локализацию и распознавание событий характерной формы в условиях искажений и шумов.

Как известно, вопросу анализа и идентификации сигналов в условиях шумов посвящено большое количество работ, что, с одной стороны, связано с разнообразием задач распознавания, а с другой стороны, свидетельствует о необходимости учета в каждом конкретном случае особенностей полезного сигнала и сопутствующего ему шума. Примером может служить и задача локализации и распознавания (в терминах [1]) событий рефлектометрических измерений параметров физической среды, решение которой существенно осложняется из-за широкого диапазона изменения формы собы-

' — ЗАО «Сайрус Системс Дизайн», генеральный директор; 2 — аспирант МФТИ;

3 — ЗАО «Сайрус Системс Дизайн», руководитель проектов;4 — ЗАО «Сайрус Системс Дизайн», руководитель проектов

тия и близкого к единице большого отношения сигнал/шум. При этом будем считать, что в рассматриваемом случае шум может иметь как статистическую природу, так и систематический характер, а ошибка выявления события должна быть не хуже 1%, с тем чтобы можно было осуществлять оценку состояния среды по результатам таких измерений.

Одним из перспективных путей решения данной задачи является сочетание вейвлет-преобразования и нейронной сети, служащих для первичной локализации областей предположительно содержащих события и идентификации событий соответственно.

Вeйвлeт-преобразованиe

Здесь и далее примем, что прямое вейвлет-преобразование задается формулой

і7 ( а , Ь) - а 1/2 | (іі / ())у/ (() - Ъ) ) а )

(1)

где

Обратное преобразование задается формулой

Д0 = (Су,а2Г1Цс1а сІЬР(а,Ь) ¥((і-Ь)/а)

(2)

Здесь

(3)

(4)

(5)

нал, далее эта терминология будет сохранена с оговоркой, что от непрерывных переменных (а,Ь) при желании всегда можно перейти к индексам (т,п) дискретного преобразования.

Построение вейвлет-образа

Используя понятие характерной пространственной протяженности L события, а также учитывая, что L одного порядка для любого события, характеризуемого измеряемой числом точек протяженностью Ls, из физических соображений и экспериментальных данных, можно записать

Ъ,5Ь<\Л <\,5Ь

(6)

Здесь L — типичное расстояние от того места, где рефлекто-грамма начинает проявлять нелинейные свойства, до точки возврата к линейному поведению; Ls — для отражательного события — это ширина отражательного всплеска на уровне

0,5, а для события с поглощением — расстояние между точками начала и конца зоны поглощения.

Далее, применяя уравнение (1), осуществляется переход от рефлектограммы К(х) к ее вейвлет-образу РК(а,Ь), используя в качестве базового вейвлета вейвлет Хаара:

/г(х) =

Предполагается, что функция ^¥(^) удовлетворяет всем свойствам вейвлета. Условимся также, что исследуемый сигнал состоит из двух аддитивных компонент, а именно — полезного сигнала А(Ц и шумовой составляющей N(1), т.е.

1, хс(-1;0)

-1, х с (0;1) 0, хс(-°о;-1)и(1;+°°)

При этом, не вдаваясь в детали, имеет ли шум статистическую природу или же отклонения от нормального поведения сигнала имеют систематический характер, в соответствии с приведенными уравнениями (1-3), преобразование сигнала к вейвлет-образу может быть представлено как сумма двух образов:

где РА и Ры представляют собой образы полезного сигнала и шума соответственно.

Таким образом, согласно (1), рассматривая амплитуду рефлектограммы в зависимости от координаты К(х) как входной сигнал, переход к вейвлет-образу рефлектограммы РК(а,Ъ) на участке (а,Ь) можно представить в виде

Это не ограничивает общности, так как анализ с помощью произвольной нечетной вейвлет-функции строится по схеме, аналогичной рассматриваемой.

Области определения вейвлет образа

При переходе от рефлектограммы К(х) к вейвлет-образу Р(а,Ь), все коэффициенты Р(а,Ь) для которых а > 1,5Ь, в терминах дискретного преобразования по индексам координат, исключаются из рассмотрения, т.е. далее рассматриваются только первые коэффициенты а > 1,5Ь. Это вызвано тем, что более высокие коэффициенты сильнее пространственно «размазывают» описываемую ими область рефлектограммы К(х), что затрудняет выявление близкорасположенных событий. В то же время, из условия (6) следует, что коэффициенты а < 0,5Ь несут существенно меньшую информацию о событиях рефлектограм-мы, чем все прочие ненулевые коэффициенты и, так как эти коэффициенты соответствуют высокочастотной компоненте сигнала, можно утверждать, что в основном они несут информацию о его шумовой составляющей. Очевидно, что восстановление сигнала в соответствии с уравнением (2) только по первым а < 0,5L коэффициентам представляет собой суперпозицию функции распределения шума Ы(х) и остаточного полезного сигнала S*(x).

где индексы А и N обозначают полезный рефлектометричес-кий сигнал и его шумовую составляющую соответственно. Здесь следует сделать небольшое замечание: выше, для уравнений была принята терминология, соответствующая непрерывным преобразованиям, однако ввиду того, что рефлектограмма представляет собой дискретный сиг-

#00 = ЛГ(Х)+ £*(*)

(7)

В этом уравнении, вообще говоря, нельзя пренебречь вторым слагаемым, однако, как было отмечено выше, в силу условия (6) всегда будет соблюдаться и условие

5* (л)« ад-5* (л)

(8)

где S(x) представляет полный полезный сигнал.

Таким образом, распределение Н(х) всегда будет представлять собой корректную оценку амплитуды шума: в области низких шумов, т.е. при N(X) < S*(x), неточность определения шума не повлияет на точность выявления событий в силу условия (8), а при N(X) > S*(x) в уравнении (7) вторым слагаемым можно пренебречь. В силу приведенных аргументов далее будем считать, что Н(х) представляет собой оценку распределения шума, не оговаривая его природы.

Теперь перейдем от Р(а,Ь) к представлению Т(а,Ь) для всех

0,5L <а < 1,5L в соответствии с уравнением

Т(а,Ь) = Р{а,Ъ)-а

1/2

(9)

Здесь коэффициенты Т(а,Ь) представляют собой значения обобщенной производной от Щх), вычисленной на масштабе а, по которым, можно сделать вывод о наличии события в некоторой точке Ь посредством следующей процедуры:

♦ для каждого коэффициента Т(а,Ь) проверяется условие \Т(а,Ь)\ > Н(Ь)/а1/2. Здесь коэффициент а1/2 отражает статистическую ценность коэффициента Т(а,Ь). Если это условие не выполняется, то Т(а,Ь) присваивается нулевое значение;

♦ модифицированные таким образом коэффициенты сканируются вдоль координаты Ь и, если Т(а,Ь) # 0 при У а = (0,5Ь;1,5Ь], точка Ь рефлектограммы помечается как возможно относящаяся к некоторому событию;

♦ если, начиная с некоторой точки Ь1 и заканчивая точкой Ь2, все точки рефлектограммы были помечены указанным образом, и (Ь2 - Ь1) > 0,5Ь, то в соответствии с (6) в области рефлектограммы [Ь2, Ь1] лежит предполагаемое событие;

♦ для случая, когда требуется выявить события, которые не только превышают уровень шума, но и превышают некоторый заданный уровень Л, в первом пункте к условию \Т(а,Ь)\ > Н(Ь)/а1/2 необходимо добавить условие \Т(а,Ь)\ > Л с логикой «и».

После того, как области предположительно содержащие события определены (локализованы), суждение о наличии и типе события выносится на основании результата работы нейронной сети.

Построение окна события

Для того чтобы передать выявленное на этапе вейвлет-преобразования предполагаемое событие в процедуру, реализующую нейронную сеть, производится первичное преобразование значений амплитуды рефлектограммы в пределах области предполагаемого события. Такое преобразование можно назвать построением окна предполагаемого события, и оно заключается в следующем.

1. Каждое выявленное на этапе вейвлет-преобразования предполагаемое событие, характеризуемое эффективной шириной = 31, представляется в виде S(c — 0,51, с + 1,51) = S(a,Ь), где I — характерный размер события S(a,Ь); а. и Ь — пространственные координаты

начала и конца области события; с — центр этой области, определенный как с = (а + Ь)/2.

2. Амплитуды рефлектограммы, соответствующие пред-

полагаемому событию, смещаются на величину Ашеап = /1„ в соответствии с формулой А^А1 — Ашеаш где

А1 - амплитуда рефлектограммы в г-ой точке. Фактически Ашеап - это среднее значение амплитуды рефлектограммы в области предполагаемого события.

3. Каждое значение амплитуды рефлектограммы, соответствующее предполагаемому событию, делится на величину Ашах, определяемую как максимальное по модулю значение из всех амплитуд той же области, т.е. Ашах = шах(А), г = {а,Ь}.

После того, как указанные действия произведены, область {а,Ь} и соответствующие им приведенные амплитуды А1 будем называть окном события и вектором приведенных амплитуд события соответственно.

Смысл операций, производимых над относящимися к данному окну амплитудами рефлектограммы по сути заключается в подготовке входного вектора данных, адаптированного к анализу с помощью нейронной сети. Данный вектор обладает следующими свойствами:

♦ его размерность равна размеру окна предполагаемого события, т.е. Ьш;

♦ значения элементов этого вектора находятся в пределах А = {-1,1};

♦ преобразования, произведенные над амплитудами рефлектограммы для получения вектора {А}, являются однозначными и обратимыми, в связи с чем вектор {Аг} обладает всей полнотой информации о событиях исходной рефлектограммы.

Выбор архитектуры нейронной сети

Очевидно, что для определения типа события, сеть должна уметь генерировать один из сигналов:

♦ отражательное событие;

♦ неотражательное событие с усилением;

♦ неотражательное событие с поглощением;

♦ линейный участок.

Принимая во внимание, что на выходе каждого нейрона генерируется либо 0, либо 1, для получения информации о типе события в выходном слое сети достаточно двух нейронов, обеспечивающих ортогональные состояния {0, 0}, {0, 1}, {1, 0} и {1, 1}, которым в соответствие и задаются перечисленные типы событий. Поскольку распознаванию подлежат статические образы (в соответствие вектору входного сигнала нужно поставить один из четырех векторов), для его успешного решения вполне достаточно многослойной однонаправленной сети, в качестве модели нейрона которой может быть выбран сигмоидальный нейрон униполярного типа, позволяющий достаточно просто реализовать алгоритм обратного распространения ошибки. При этом, как следует из предыдущего раздела, где показано, что размерность входного вектора равна Ьш = 31, количество синапсов у нейронов входного слоя не может превышать Ьш, т.е.

1 < N < К.

Перед тем, как перейти к выбору количества нейронов входного слоя и связей между слоями нейронов, определим понятие сигнатуры сигнала, символически определяе-

мой для каждого типа события следующим набором векторов:

♦ (0, 0, 0) — для линейного участка;

♦ ( + 1, 0, -1) — для участка с поглощением сигнала;

♦ (-1, 0, +1) — для участка с усилением сигнала;

♦ (-1, +1, -1) — для отражательного события.

Смысл такого представления вкратце можно пояснить так: первое число отражает поведение сигнала перед событием, второе — амплитуду сигнала самого события, а третье — после события. Не стоит смущаться, что сигнал получился знакопеременным — не будем забывать, что входной вектор (вектор амплитуд события) приведен именно к такому виду. Заметим также, что исходя из этого представления

— сигнатуры — следует, что размерность входного вектора не может быть менее трех. Иными словами, поскольку размерность входного вектора равна Lw, очевидно, что L > 1 и Lw > 3, следовательно, число нейронов входного слоя не может быть менее трех. Это можно пояснить так: один нейрон требуется, чтобы из входного вектора сгенерировать первый сигнал сигнатуры, второй — для второго сигнала сигнатуры и третий — для третьего.

Итак, мы получили необходимые минимальные требования к сети, а именно: сеть должна иметь три входных нейрона с Lw синапсами у каждого и два выходных — с тремя синапсами. Очевидно, что в минимальной версии не требуются скрытые слои, т.к. для понижения размерности выходного вектора первого слоя (с трех до двух) нет никакой необходимости в скрытых слоях. Действительно, совершенно очевидно, что выходной вектор первого слоя (фактически, сигнатура) уже содержит все необходимые данные, по которым можно судить о типе события, и еще один слой нужен лишь для удобства — для ортогонализа-ции, т.е. приведения выходного сигнала сети к виду {0, 0}, {0, 1}, {1, 0} либо {1, 1}.

Условимся обозначать архитектуру сети записью вида E®a®b®c..., где E означает размерность входного вектора (от английского enter), а буквами a,b,c... обозначено количество нейронов в последовательно расположенных слоях. Исходя из вышеизложенного, минимально необходимая сеть в данном представлении будет иметь вид Lw®3®2, а число синапсов нейронов всегда будет равно числу нейронов предыдущего слоя (либо размерности входного сигнала, если речь идет о первом слое нейронов). Обоснование последнему тривиальное: с одной стороны, это максимальное число синапсов, которое вообще может потребоваться, а с другой, — если у нейрона окажутся лишние синапсы, то в процессе обучения их веса попросту станут равными нулю либо очень малыми, что равносильно отсутствию синаптической связи. Отсюда следует также, что каждый нейрон последующего слоя сина-птически связан с каждым нейроном предыдущего слоя. Используя рассмотренные базовые положения, можно определить оптимальную архитектуру сети, обеспечивающей эффективную идентификацию событий.

Оптимизация архитектуры нейронной сети

Так как задача сети сводится к построению сигнатуры сигнала, приведение которой к удобному окончательному виду, т.е. к вектору размерности 2, — это, можно сказать, вопрос эстетики. Поэтому уже здесь можно заметить, что сеть бу-

дет иметь вид 1„®...®3®2, где многоточие должно быть заменено обозначениями первых (первого) слоев.

Минимальный размер окна события и соответственно входного вектора равен размерности сигнатуры, т.е. 3. В этом случае характерный размер события I = 1. Однако, если I > 1, на каждый элемент сигнатуры приходится более одного входного вектора. Математически это означает, что для определения сигнатуры каждого события используется

1 результатов измерений — фрагментов рефлектограмм исследуемой области. Это, естественно, приводит к повышению статистической ценности измерений либо, что то же, к уменьшению ошибки измерений в и/2 раз. Вместе с тем, если использовать всего три нейрона (по одному на каждый знак сигнатуры), точность не повысится в и/2 раз по той причине, что определение весов связано в том числе и с ошибкой, так как каждый нейрон будет вносить свою, уже систематическую ошибку.

Принимая во внимание, что каждый нейрон первого слоя взвешивает сигнал размерностью 31, то он фактически «работает» на получение только одного из трех знаков сигнатуры, поэтому можно сказать, что по-настоящему активны только I из его синапсов и, следовательно, только их ошибки необходимо учитывать. С другой стороны, точность вычисления весов напрямую связана с качеством обучения сети. Принимая во внимание, что сеть будет обучаться на большом числе рефлектометрических событий, а также предполагая, что алгоритмически и математически обучение организовано корректно, мы автоматически приходим к выводу, что ошибка определения весов того же порядка, что и ошибка определения амплитуды рефлектограммы, используемой для обучения сети в конкретно взятой точке, т.е. Еге{~ Еше1дМ. Это означает, что один нейрон обеспечивает понижение ошибки определения сигнатуры в (Ь/2)1/2 раз, а п нейронов

— в (пЬ/2)‘/2 раз. С учетом того, что максимальная точность определения сигнатуры может быть увеличена не более чем в (Ь/2)‘/2 раз, получим, что на каждый знак сигнатуры требуется

2 нейрона, а на весь входной слой — 6 нейронов. Кроме этого, если учесть, что на практике характерный размер события не бывает менее 10 точек, полученный результат означает, что уже первый слой снижает размерность входного сигнала с

= 30 до 6, т.е. в пять раз. По этой причине становится очевидным, что нет никакой необходимости во введении промежуточного слоя между входным слоем и слоем, формирующим собственно сигнатуру (т.е. предпоследним слоем), т.к. на него будет возложена задача редуцирования размерности с 6 до 3, т.е. всего в два раза. Таким образом, оптимальной архитектурой сети является сеть вида Ьш®6®3®2.

Обучение нейронной сети

Так как обучение нейронной сети осуществляется методом обратного распространения ошибок, для которого наиболее важным является вопрос формирования обучающей выборки, далее с этой целью используются шаблоны, представляющие собой функции, в терминах [1] - особенности, описывающие характерные участки рефлектограммы.

1. Особенность «затухание», связанная с потерями в оптическом волокне — событием затухания Цх) = к*х + а, где к — затухание сигнала; а — амплитуда первой точки линейного участка.

2. Особенность «поглощение/усиление», связанная с поглощением/усилением энергии световой волны — неотражательным событием

Цх) = а*-8т(п(х — с)/ш) + к*х + а,

где а - коэффициент потерь/усиления энергии световой волны, принимающий соответственно отрицательные и положительные значения; с — «центр» события; ш - эффективная ширина события, а параметры к и а имеют тот же смысл, что и для функции, описывающей линейный участок.

3. Особенность «отражение», связанная с отражением световой волны — отражательным событием и имеющая вид

а{, х<с-м>12

<*! + <*2{і — езф[—(л — с)/'И'!]}, с-'мИйхйс + ч/И а1+а2-о3{і+А:ехр[-(х-с)/^2]-(1-А:)ехр[-(д:-с)/и’з]}, х>с+м>12

где с и ш — соответственно координата середины участка нарастания и его эффективная ширина; а1, а2, а3 — амплитуды начала, подъема и конца спада; ш1 — скорость нарастания от значения а1 до значения (а1 + а2); ш2 и — коэф-

фициенты, отражающие скорость спада; к — форм-фактор особенности.

Для построения выборки обучающих особенностей параметры для каждой из этих функций выбирались случайным образом в диапазоне, определяемом исходя из параметров

измерений оптическим рефлектометром с динамическим диапазоном, равным 40 дБ. Полученный в результате этого вектор значений параметров рассчитывался, а затем запоминался. Вкратце, диапазоны значений амплитуд, затуханий и отражений выбраны в соответствии с тем, что наблюдается в реальных экспериментах, т.е. затухание =0,2 дБ/км, отражательные всплески =(0,2; 10,0) дБ, и амплитуды их начальных значений — от 1 дБ до 40 дБ. Значения потерь а особенностей «поглощение», как и значения специфических параметров особенностей «отражение» (ш;, ш2, ш3 и к) подбирались таким образом, чтобы удовлетворить самым широким требованиям, накладываемым на форму описываемых ими событий. Центры особенностей для упрощения процедуры построения окна отражательного события выбирались равными 0, а эффективная ширина — 30. Последнее соответствует наиболее распространенному случаю, так как на практике, как правило, эффективная ширина колеблется в пределах от 10 до 40 точек.

После того, как векторы обучающих особенностей вычислены и запомнены, к каждому из них добавлен свой вектор шумов, определяемый выражением п = N^RND(), где П — г-й элемент вектора шума, N — максимальное значение шума, а RND() — функция, генерирующая случайные значения в диапазоне (-1,0; 1,0). Значение N при этом задается в зависимости от дистанции, на которой должна выполняться идентификация сформированной особенности и шума, которые совместно представляют собой событие.

Подготовка обучающей выборки заканчивается приведением всех векторов выборки к виду, описанному в раз-

Рис. 1. Пример окна события «поглощение»

Рис. 2. Зависимость коэффициента распознавания от эпохи обучения

деле построения окна события, наглядное представление которого в случае события «поглощение», приведено на рис. 1.

Для обучения сети, было сформировано по 2000 событий каждого типа («затухание», «поглощение», «усиление» и «отражение»), на которых время обучения сети с числом эпох, равным 30, составило 2 с. Как видно из рис. 2, сеть в данном случае еще не вышла на уровень константного коэффициента обучения, т.е. при увеличении числа эпох и/ или размера обучающей выборки, коэффициент распознавания еще не достиг своего максимума.

Для проверки, не явился ли процесс обучения сети простым запоминанием предложенных для обучения событий,

по окончании процесса обучения была сформирована новая выборка из 10 000 событий различного типа, из которых сеть правильно идентифицировала 9113, т.е. около 91%, что достаточно близко к значению коэффициента качества обучения, достигшему после 30 эпох 92,5%. По всей вероятности, оставшиеся 7,5% нераспознанных на этапе обучения событий, приходятся как на события, для которых амплитуда шума значительно превышает амплитуду соответствующей особенности, так и на события, форма которых существенно отличается от типовой формы особенности. В связи с этим, если принять эффективность распознавания событий на обучающей выборке за 100%, ошибка распознавания при тридцати эпохах обучения не будет превышать 1%.

Литература

1. Иванов А.Б., Стратоников А.А., Ширяев В.В. М Использование вейвлет-анализа для распознавания и локализации особенностей функциональных зависимостей. /Метрология, и измерительная, техника в связи, 2006. - № 2. - С. 6.

2. Goswami J.C., Chan A.K. Fundamentals of Wavelets. Theory, Algorithms and Applications. Wiley & Sons, Inc., 1999.