Метод формирования обучающего множества для нейронной сети на основе вейвлет-фильтраци Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519

МЕТОД ФОРМИРОВАНИЯ ОБУЧАЮЩЕГО МНОЖЕСТВА ДЛЯ НЕЙРОННОЙ СЕТИ НА ОСНОВЕ ВЕЙВЛЕТ-ФИЛЬТРАЦИИ

© 2010 г. Ю.А. Полозов

Камчатский государственный технический университет, Kamchatka State Technical University,

ул. Ключевская, 35, г. Петропавловск-Камчатский, Kljuchevsky St., 35, Petropavlovsk-Kamchatskiy,

Камчатский край, 683003, Kamchatka Edge, 683003,

kamchatgtu@ kamchatgtu.ru kamchatgtu@ kamchatgtu.ru

Решается задача обработки сигналов со сложной структурой. Предложен способ, базирующийся на совместном применении конструкции вейвлет-преобразования и нейронных сетей, позволяющий повысить разрешающую способность анализа данных при использовании нейросетевых технологий, улучшить качество работы сети и сократить время ее обучения.

Ключевые слова: обработка сигналов, нейронная сеть.

The present paper is devoted to the solution the problem of processing technique of complicated structure signals. The proposed method, based on the combined application of wavelet-transform construction and neural network, allow us to increase the resolution of data analysis applying neuronet technologies, to improve the work of the net and to shorten the time of its education.

Keywords: signal processing, neural network.

В работе предложен метод обучения нейронной се- ведении сложных нелинейных зависимостей [1-3], но

ти (НС) при обработке сигналов со сложной структу- результат их работы во многом определяется свойст-

рой. НС хорошо зарекомендовали себя при воспроиз- вами обучающего множества [1-3]. При выборе вход-

ных векторов необходимо решать проблемы неинформативных и избыточных данных. Если моделируемые сигналы являются сложными, зашумленными, имеют нелинейную структуру, то решение данной задачи значительно усложняется. Необходимо производить предобработку входных данных для формирования обучающего множества с целью оптимизации процесса обучения и получения наилучших результатов функционирования сети. Это играет важную роль в задачах обработки сложных природных сигналов, которые часто имеют место в таких областях, как геофизика, физика, геоэкология и др. Сложная структура регистрируемых сигналов, а также наличие мешающих факторов различной природы затрудняют процесс выделения информативных составляющих для обучения сети. Инструментом, который позволяет реализовать такую процедуру для сложных сигналов, является вейвлет-преобразование [4-6]. Путем построения нелинейных адаптивных аппроксимирующих вейвлет-схем данная математическая конструкция позволяет провести детальное исследование структуры сложного сигнала [5, 6]. В работе предложен метод формирования обучающей выборки для НС на основе конструкции вейвлет-пакетов, позволяющий путем анализа внутренней структуры данных удалить шумовую составляющую, выделить информативные составляющие сигнала для построения сети.

Постановка задачи

Даны значения одномерного дискретного временного ряда Р на интервале [1, N], где N - длина ряда. Требуется вычислить в момент времени t = I упрежденные значения Р на временном интервале [/ +1,1 + а], где а - длина интервала упреждения.

В процессе обучения НС строит отображение Р: X ^ У , где X, У - множества состояний, предшествующих моменту прогнозирования и прогнозируемых. Входной сигнал нейронной сети - вектор значений функции Р на интервале [/ - Т, I ], где Т - длина интервала наблюдения, выходной сигнал в момент времени I - вектор аппроксимированных нейронной сетью значений функции Р на интервале [/ +1,1 + а].

Множество весовых коэффициентов входных связей нейрона обозначается Ш и представляет собой вектор-

столбец [1, 3] Ш = \л>0,] .

Процедура обучения сети сводится к минимизации среднеквадратической ошибки аппроксимации по параметру Ш . Ошибка решения определяется как

разность между желаемым У и действительным У выходными сигналами в дискретный момент времени I. Вектор ошибки - это вектор, г -й элемент которого

в1 (I) = Уг (I) - Уг (I), где I - текущий момент времени; г - текущая позиция на интервале упреждения.

Выбор структуры НС

Показатели качества построенного отображения Б зависят от структуры НС. В работе использовалась

НС переменной структуры [1], которая проектировалась следующим образом:

1. Строится сеть, состоящая из одного нейрона в первом слое и а нейронов во втором (выходном) слое. Производится обучение сети.

2. В первый слой добавляется один нейрон, сеть вновь обучается, и вычисляется ее ошибка на тестовых данных. Аналогично нейроны продолжают добавляться в первый слой до тех пор, пока они улучшают общее качество аппроксимации ряда сетью.

3. Если очередной нейрон не дает улучшения характеристик сети, то он удаляется, а в сеть добавляется промежуточный слой, состоящий из 1 нейрона. Производится обучение сети, и если добавленный слой повысил уровень аппроксимации, в него начинают добавляться нейроны по принципу п. 2.

4. Подобным образом создается столько слоев, сколько необходимо для достижения требуемого качества работы сети.

Построение обучающего множества

При обработке временных рядов в процессе формирования обучающей выборки необходимо учитывать следующие важные особенности:

1. Каждое наблюдение зависит от предыдущих значений временного ряда. Формально данные одного наблюдения могут использоваться сразу в двух наборах, каждый из которых может быть обучающим или контрольным. При обработке временных рядов нарушать эту взаимосвязь нельзя, поскольку две или более взаимосвязанных переменных могут вместе нести существенную информацию, которая не содержится ни в каком их подмножестве.

2. При обработке сигналов с шумом необходимо учитывать, что шум может исказить результат обучения сети. Например, выбросы, т.е. значения, лежащие далеко от области средних значений функции Р, могут внести существенную погрешность в полученный результат. Так как каждый входной сигнал включает в себя как полезную информацию, так и шумовую, выделение информативной составляющей из общей совокупности данных может быть выполнено только на основе исследования внутренней структуры данных.

Удаление шумовой составляющей

Исходный сигнал может быть представлен в виде 2(п) = X(п) + Р(п), где X(п) - полезный сигнал; Р(п) - шум.

Процедуру подавления шумовой составляющей Р(п) можно выполнить на основе построения нелинейных аппроксимирующих вейвлет-схем [4]:

Xm («)= Z (X, Y., i) Y., k (n),

(л k )eIM

(n)= 2j/2 Y. - k)

(1)

где Y/■,k (п)= 2 Y^2•/n - кj - вейвлет; 1М - множество индексов размерности М , определяемое структурой сигнала X.

Если Т - ортогональный базис, то вейвлет-коэффициенты 2 в пространстве вейвлет-образов могут быть представлены в виде

к (2) = + ЕТу,к , где

хТук =(Х,Ту,к),ЕТ,к = (ЕТу,к) .

В этом случае процедура (1) может быть реализована на основе пороговой функции [4]

Хм (П) =2 РТ ((2,Ту,к)Ь ,к(п) >

Pt (x) =

j,k x,änee 0,апёе 2

> T < T

(2) (3)

где порог Т = о1 ; о1 - дисперсия шума.

В свою очередь дисперсию шума о1 можно оценить по медиане вейвлет-коэффициентов наименьше-

2

го масштаба у [4]. о

¿Med (( Z, Ч^))(

0<k <

N .

На основе процедуры (2), (3) исходная совокупность данных 2(п) преобразуется в новую совокупность - X(п), состоящую из меньшего числа переменных, что в свою очередь обеспечит уменьшение размерности пространства признаков данных. Следовательно, данная процедура позволит уменьшить размерность обучающего множества и сократить время обучения. Поскольку в результате ее выполнения также произошло упрощение структуры данных, это повлечет за собой упрощение структуры сети.

Выделение информативных составляющих сигнала

Полученный после подавления шума массив данных {Х(п)^=\ делится на Ь блоков длины Т:

хж=1=Ы}т:=1,{х(п)}т:+1,...,{х(п)}пг=^_т),

п е {Т,...Д - т}.

Новый 5 -й блок будет иметь вид {X(// Л^5 1.

Возможен другой способ формирования блоков, например, с учетом определенных особенностей и свойств аппроксимируемых данных (сезонность, наличие пропусков и др.).

На основе отображения сигнала в пространство вейвлет-образов для каждого блока £ имеем представление сигнала X в виде линейной комбинации разномасштабных составляющих:

X5 = X5 + xs +...+xs

(4)

где X5 е ШР' и единственным образом определяются последовательностями вейвлет-коэффициентов

— s

Cj =

k k 1

'j Cj, kk=s,T+s-1 ' Uj'k

странства вейвлет-пакета.

=(xs' j);

WP

про-

Каждая выделенная компонента XSj определяет

подпространство пространства V признаков

сигнала X. Таким образом, для каждого блока 5 получаем разнесение в пространстве признаков составляющих сигнала X.

Составляющие, из которых далее будет сформирована обучающая выборка для нейронной сети, должны содержать устойчивые, характерные для сигнала признаки. Эти составляющие могут быть идентифицированы следующим образом:

1. Строим НС переменной структуры для различных составляющих Xj сигнала X.

Цикл 1. Выполняем вейвлет-восстановление составляющей X5 для каждого блока данных 5 и на

основе комбинаций восстановленных данных из различных блоков формируем обучающее множество. Строим сеть 1 переменной структуры, выполняем ее обучение и тестирование.

Цикл 2. Выполняем вейвлет-восстановление составляющих X5 , X2 для каждого блока данных 5 и на основе комбинаций восстановленных данных из различных блоков формируем обучающее множество. Строим сеть 2 переменной структуры, выполняем ее обучение и тестирование.

И т.д.

Цикл р. Выполняем вейвлет-восстановление составляющих XI,XI.^Р для каждого блока данных

5 и на основе комбинаций восстановленных данных из различных блоков формируем обучающее множество. Строим сеть р переменной структуры, выполняем ее обучение и тестирование.

2. На основе анализа результатов работы полученных НС 1 — р определяем «наилучшую» (имеющую наименьшую ошибку)

1 N-1 / ч2

ЕЫ„тт = тт(Т7 2 ег (п) ) , где /=1, ...,р.

I N п=0

Выделенные таким способом компоненты сигнала аппроксимируются НС. Другие составляющие сигнала содержат определенную долю информации о природном явлении, генерирующем сигнал, и в процессе исследования также могут быть использованы [6-8]. Таким образом, предложенный алгоритм позволяет сформировать обучающее множество и определить структуру сети с учетом внутренней структуры исходных данных, что в свою очередь оптимизирует процедуру работы сети. С другой стороны, данный метод обеспечивает возможность сохранения информации о природном процессе.

Результаты экспериментов

Описанный в статье метод обучения НС взят за основу при построении системы выявления аномалий в данных регистрации ^2 п-ва Камчатка. При обработке параметров критической частоты ^2 выявляются аномалии в структуре сигнала, которые могут интерпретироваться как искомые предвестники сильных сейсмических событий на Камчатке [6]. Однако сигнал ^2 является нестационарным, обладает сезонными, суточными колебаниями, на него воздействуют различные солнечные аномалии, и все это приводит к трудностям при построении обучающего множества НС.

В процессе экспериментов были обработаны сигналы критической частоты за период с 1971 по 1992 г.

2

В качестве базисных вейвлет-функций использовались ортогональные вейвлеты Добеши 3 -го порядка, поскольку они хорошо согласуются по форме с сигналом и имеют компактный носитель.

Предобработка данных с целью выделения информативных составляющих сигнала подавления шума для формирования обучающего множества сети выполнялась описанным выше способом. Обучающая выборка состояла из данных за зимние месяцы (январь, февраль) за 5 сейсмически спокойных лет. Сигнал был разложен на составляющие с помощью вейвлет-пакета до 3 -го уровня. В результате получено 8 отдельных компонент XI, X2 на каждый временной ряд. В соответствии с описанным выше алгоритмом получено 8 нейронных сетей Rl, R2 .R8 . 1-я сеть обучалась на основе компоненты XI, 2-я - XI,X2 и т.д., 8-я - XI,X2,...,X8. Обучающая матрица имела размерность 168 х 3222.

Для выполнения тестирования каждой НС временные ряды подвергались такой же обработке, как при ее обучении. В таблице приведены результаты расчета ошибок для 8 Ri, г = 1, 8 НС. В качестве наилучшей определена сеть, имеющая наименьшую ошибку.

НС R1 R2 R3 R4 R5 R6 R7 R8

Ошибка сети 0,44 1,47 2,52 2,7 3,22 3,6 3,73 4,06

Таким образом, на основе НС строится следующее отображение:

( ( ( \\\

V 1

F (t) = р где р( z) =

Z®iPi i

1

Z сц Yik (t)

l=3,keZ

1 + exp(-z))

Pi (z) = ki * z + bi

а 1 - весовые коэффициенты 1-го слоя НС; соу - 2-го;

к - базисный вейвлет; с^ к - коэффициенты сглаженной составляющей вейвлет-пакета.

Анализ результатов обработки показывает, что при добавлении компонент сигнала ошибка сети возрастает. Наименьшую имеет сеть Rl, обученная на основе составляющей Xl (таблица). Последующая обработка данных была выполнена на основе сети Rl. На вход сети (рис. 1) подавались временные ряды за периоды времени, в которые происходили землетрясения (рассматривались события с энергетическим классом £>12,5).

Рис. 1. Вейвлет-восстановление сигнала с последующим усложнением его структуры путем добавления детализирующих компонент

В этом случае в отдельные моменты времени происходило значительное увеличение ошибки сети. Сопоставление полученных результатов с данными сейсмического каталога показало, что в большинстве случаев увеличение ошибки сети наблюдается накануне сильных сейсмических событий. Ниже в качестве примера показаны результаты работы сети при подаче на вход сигнала за «спокойный» 1985 г. (рис. 2) и сейсмически активный 1973 г. (рис. 3). Вертикальными стрелками указан момент возникновения сейсмического события.

Рис. 2. Ошибки нейронной сети при моделировании сигнала критической частоты за 1977 и 1992 г.

Рис. 3. Сравнение результатов обработки нейронной сетью восстановленного сигнала с детализациями и без на примере 1977 г., дисперсия данной ошибки

Выводы

В результате применения предложенного в работе метода для аппроксимации сигнала критической частоты ^2 спроектированы 8 НС. На основе

анализа ошибок сетей определена наилучшая сеть переменной структуры. Анализ работы наилучшей сети позволил выявить в данных ^2 локальные аномальные особенности, возникающие накануне землетрясений на Камчатке.

Литература

1. Нейроматематика / общ. ред. А.И. Галушкин. Кн. 6. М., 2002. 748 с.

2. БеркинблитМ.Б. Нейронные сети. М., 1993. 96 с.

3. Омату С., Халид М., Юсоф Р. Нейроуправление и его

приложения. М., 2000. 272 с.

4. Малла С. Вейвлеты в обработке сигналов: пер. с англ.

М., 2005. 672 с.

5. Добеми И. Десять лекций по вейвлетам: пер. с англ.

Ижевск, 2001. 464 с.

6. Богданов В.В., Геппенер В.В., Мандрикова О.В. Модели-

рование временных рядов геофизических параметров на основе вейвлет-преобразования. СПб., 2006. 124 с.

7. Мандрикова О.В., Богданов В.В., Полозов Ю.А. Анализ

изменений, происходящих в ионосферных параметрах накануне сильных землетрясений на Камчатке, на основе вейвлет-преобразования сигналов критической частоты // Междунар. конф. по мягким вычислениям и измерениям: сб. докл. СПб., 27-29 июня 2007 г. СПб., 2007. С. 213-216.

8. Мандрикова О.В., Полозов Ю.А. Автоматизированный

способ обработки сигналов со сложной структурой // Информационные технологии. 2008. № 12. С. 15-19.

Поступила в редакцию

24 июня 2009 г.