Двойной вэйвлет-нейрон и алгоритм его обучения Текст научной статьи по специальности «Компьютерные и информационные науки»

НЕЙРОШФОРМАТИКА ТА ШТЕЛЕКТУАЛЬШ СИСТЕМИ

НЕЙРОИНФОРМАТИКА И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

NEUROINFORMATICS AND INTELLIGENT SYSTEMS

УДК 519.7:007.52

Е. В. Бодянский, Е. А. Винокурова, Н. С. Ламонова

ДВОЙНОЙ ВЭЙВЛЕТ-НЕЙРОН И АЛГОРИТМ ЕГО ОБУЧЕНИЯ

В статье предложена архитектура двойного вэйвлет-нейрона, который является модификацией стандартного вэйвлет-нейрона, и алгоритм обучения его параметров. Предложенная архитектура позволяет улучшить аппроксимирующие свойства вэйвлет-нейрона. Проведено имитационное моделирование предложенного двойного вэйвлет-нейрона и алгоритма его обучения с использованием нестационарного хаотического временного ряда.

ВВЕДЕНИЕ

Последнее время в задачах анализа и обработки нестационарных сигналов произвольной природы в условиях неопределенности все шире применяются методы вычислительного интеллекта, а именно гибридные нейронные сети. Одной из важных задач, связанных с обработкой сигнала, является прогнозирование и эмуляция состояния динамических нестационарных систем в будущие моменты времени.

Для решения такого рода задач используется большое количество архитектур нейронных сетей, в том числе и гибридных структур, однако эти системы либо громоздки по своей архитектуре (например, многослойный персептрон), либо плохо приспособлены для обучения в реальном времени. В большинстве случаев ак-

© Бодянский Е. В., Винокурова Е. А., Ламонова Н. С., 2006

тивационными функциями таких сетей являются ги-пер-базисные функции, сплайны, полиномы и радиаль-но-базисные функции.

На сегодня широкое распространение получила также теория вэйвлет-анализа [1-3], которая позволяет с высокой точностью выявлять локальные особенности нестационарных сигналов. На стыке этих двух подходов и возникли так называемые гибридные вэйвлет-нейрон-ные сети [4-18] благодаря своим высоким аппроксимирующим свойствам и чувствительностью к изменениям характеристик анализируемых процессов.

Весьма привлекательной с точки зрения технической реализации, обеспечиваемой точности и простоты обучения является так называемый вэйвлет-нейрон, предложенный и описанный в [19-21]. При этом вэйв-лет-функции реализованы либо на уровне синаптичес-ких весов, либо на выходе нейрона, а для обучения используется градиентный алгоритм обучения с постоянным шагом. Для улучшения аппроксимирующих свойств и ускорения процесса обучения в настоящей работе введена конструкция, названная нами двойным вэйвлет-нейроном, и алгоритм обучения, обладающий как сглаживающими, так и следящими свойствами.

1 ВЭЙВЛЕТ-АКТИВАЦИОННАЯ ФУНКЦИЯ

В качестве активационных функций двойного вэйв-лет-нейрона можно использовать различные виды аналитических вэйвлетов. Одними из наиболее интересных по своим свойствам являются два семейства: PO-LYWOG-вэйвлеты и RASP-вэйвлеты.

Семейство вэйвлетов RASP - вэйвлеты на основе рациональных функций (RAtional functions with Second-order Poles - RASP), связанные с теоремой о вычетах комплексных переменных [4].

На рис. 1 представлены два типичных представителя материнских вэйвлетов RASP, которые описываются выражениями

1

1 в cos (X; (k)) 1

ф;г(*г(k)) = H 2 ' - - , в1 = 2,7435, (1) J X2( k ) + 1

2

1 1 I -Xi (k)

Vji(xi(k)) = H xi(k)exP[ —J

ц1 = exp| — j,

2 2 3 f-X2( k

Vji(xi(k)) = H (xi(k) - 3xi(k))exPl —2— j 2

31

1 = 3,

4 2 I -X; (k)

ф4i(Xi( k)) = (1 - x2 (k ))| -2-

(3)

H = 0, 7246,

3 3 4 2 f-X2( k

Ф;^( Xi( k )) = H (Xi ( k ) - 6xi ( k ) + 3) eXP l -2-j

(4)

(5)

(6)

Ф^' i( Xi ( k )) =

в sin (nXi ( k ))

x?(k) -1

p2 = 0, 6111. (2)

Эти вэйвлеты являются вещественными нечетными функциями с нулевым средним.

Еще одно достаточно широкое семейство вэйвлетов можно получить из полиномиальных оконных гауссовых функций (POLYnomials Windowed with Gaussians type of function - POLYWOG) [4]. Интересно заметить, что производные от этих функций также являются вэйв-летами POLYWOG и могут использоваться в качестве материнских вэйвлетов.

На рис. 2 представлено несколько типичных вэйвле-тов из семейства POLYWOG, описываемых выражениями вида

Некоторые вэйвлеты семейства РОЕУШОО могут быть получены с помощью простых генераторов. Так, в частности, вэйвлеты этого семейства могут быть сгенерированы с учетом свойств эрмитовости производной полинома и функции Гаусса.

2 СТРУКТУРА ДВОЙНОГО ВЭИВЛЕТ-НЕЙРОНА

Введем в рассмотрение структуру двойного вэйвлет-нейрона, приведенную на рис. 3. Как видно, двойной вэйвлет-нейрон достаточно близок по конструкции к п-входовому вэйвлет нейрону [19-21], однако содержит нелинейные вэйвлет-функции на уровне синаптических весов, так и на выходе структуры.

При подаче на вход двойного вэйвлет-нейрона, приведенного на рис. 4, векторного сигнала x(k) =

= (Xj(k), X2(k),..., xn(k))T (здесь k = 0, 1, 2,... - номер наблюдения в обучающей выборке или текущее дискретное время) на его выходе появляется скалярный сигнал вида

(

У(k) = fo

(

S fi(Xi(k))

V i = 1

h

S^ o

l = 0

= fo( u( k)) =

n h1

S S jXi(k))wji(k)

Vi = 1 j = 0 h-2

S Vi0(u(k))wl0(k), l=0

wj 0 =

(7)

определяемый как настраиваемыми синаптическими ве-

Рисунок 3 - Обобщенная структура двойного вэйвлет-нейрона

вэйвлет-функций ф^^х^к)), ф1 о(и(к)), при этом полагаете фоо(^) = ФогН = 1.

Двойной вэйвлет-нейрон состоит из двух слоев: скрытого слоя, в котором п вэйвлет-синапсов по ^ вэйвлет-функций в каждом, и выходного слоя, состоящего из одного вэйвлет-синапса с ^2 вэйвлет-функ-

сами Wji(k), W10, так и значениями используемых циями.

Рисунок 4 - Архитектура двойного вэйвлет-нейрона с нелинейными вэйвлет-синапсами

В каждом вэйвлет-синапсе реализованы вэйвлеты, ка обучения, По( к) - шаг обучения, подлежащий опре-отличающиеся между собой параметрами растяжения делению.

и смещения. Для увеличения скорости сходимости процесса обу-

чения следует перейти от градиентных процедур к алгоритмам второго порядка, наибольшее распространение 3 СИНТЕЗ АЛГОРИТМА ОБУЧЕНИЯ тт / ™

ДВОЙНОГО ВЭЙВЛЕТ НЕЙРОНА среди которых получил алгоритм Левенберга-Марк-

вардта.

Для обучения выходного слоя двойного вэйвлет- После несложных преобразований [6] можно по-

нейрона будем использовать критерий вида лучить алгоритм обучения вида

E(k) = 2(d(k) - y(k))2 = 1e2(k), (8)

где й(к) - внешний обучающий сигнал.

Алгоритм обучения выходного слоя двойного вэйв-лет-нейрона на основе градиентного подхода имеет вид

w0( k + 1) = Wo( k)-

e(k)Фо(u(k)) Yi (k)

(11)

YWo( k + 1) = ayf0( k) + ||фо( и (k + 1 ))||2,

где а - параметр забывания устаревшей информации

>о(£ + 1) = ®;о(£) + Чо(кМЩо(.и(.к)), (9) (0 <а< 1).

Обучение скрытого слоя проводится аналогичным образом на основе обратного распространения ошибки с использованием того же критерия, записанного в форме

или в векторной форме

да0( А + 1) = т0 (А) + п0 (к )е (£ )ф0( и( к)), (10)

где ж0( к) = (ж10( к), ж20( к),..., тк 0( к)) - вектор сиТ

наптических весов, Ф0(к) = (Фю(к), Ф20(к), •••> Фа 0(к)) -

E(k) = 2(d(k) - /о(и(k)))2 =

( ^^2

d(k) - /о X 2 Фл(k))Wji(k) Ii = 1 j = 0

вектор вэйвлет-активационных функций, e(k) - ошиб-88 ISSN 1607-3274 «Радюелектрошка. 1нформатика. Управл1ння» № 2, 2006

Алгоритм обучения скрытого слоя двойного вэйвлет-нейрона на основе градиентной оптимизации имеет вид

Wji(k + 1 ) = Wji(k) + n(k)e(k)fQ'(u(k))Фji(xi(k)), (13)

или в векторной форме

(к + 1) = к) + П( к) е( к )/о' (и( к ))фг( хг( к)), (14)

т

где т{(к) = (Шц(к), (к), ..., (к)) - вектор сит

наптических весов, ф;(к) = (фи(к),ф2;(к), ...,фА ¿(к)) -

вектор вэйвлет-активационных функций, е(к) - ошибка обучения, п(к) - шаг обучения, подлежащий определению.

По аналогии с (11) можно ввести процедуру

wi( k + 1 ) = wi( k ) +

e ( k f ( u ( k ))ф i( xi( k))

Wi ,

Yi (k) (15)

Y?( k + 1 ) = «Y? ( k ) + H*i( k + 1 ))||2,

где a - параметр забывания устаревшей информации (0 < a < 1).

4 ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ

Эффективность работы предложенного двойного вэйвлет-нейрона и алгоритма его обучения (11), (15) исследовалась в процессе решения задачи прогнозирования и эмуляции хаотического поведения нелинейной динамической системы вида [19]

+ 1

5 г

5xn

1 + г2

■0, 5xn - 0, 5xn -1 + 0, 5xn - 2 (16)

с начальными значениями x0 = 0,2, г = 0,3, = 1,0.

Структура предиктора с элементами задержек на основе двойного вэйвлет-нейрона приведена на рис. 5.

Обучающая выборка содержала 10000 значений, а проверочная - 500 значений. Двойной вэйвлет-ней-рон имел 5 синапсов в скрытом слое, соответствующих 5 входам x(k - 4), x(k - 3), x(k - 2), x(k - 1), x(k), (n = 5) по 20 вэйвлетов в каждом синапсе (hi = 20, i = 1...5). Выходной слой состоял из 5 вэйвлетов в синапсе WSq. Начальные значения синаптических весов генерировались случайным образом от -0,1 до +0,1.

В качестве оценки качества прогноза использовалось несколько критериев:

- среднеквадратичная ошибка (RMSE)

N

RMSE = N Z (x(k) - x(k)) ;

Рисунок 5 - Структура предиктора на основе двойного вэйвлет-нейрона

- ТгеИегдио1е [22, 23], представляющая собой процентное отношение правильно спрогнозированных направлений по отношению к фактическому направлению сигнала

Trefferquote = 1N

N -2 Z lsign(x(k) - x(k - 1 )) - sign(x(k) - x(k - 1 ))|

k = 1

N

x 100 %;

- Wegstrecke [22, 23], представляющий собой оценку качества прогнозирующей модели (при этом значение +1 соответствует оптимальной прогнозирующей модели, а значение -1 - неверному прогнозу) и описываемый выражением

N

Wegstreke =

Z signal(k)(x(k) - x(k - 1 ))

k=1

N

Z |x(k ) - x (k - 1 )|

k = 1

где signal(k) - сигнум-функция вида

signal( k) =

k=1

1, если x(k) - x(k - 1 ) > 0, -1, если x(k) - x(k - 1) < 0, 0 в других случаях,

x

007543 Р?МЗЕеЬк=0.0076464

1.028 1.029 1.03 1.031 1.032 1.033

х 104

Рисунок 6 - Прогнозирование поведения хаотической динамической системы с помощью двойного вэйвлет-нейрона

х(к) - фактическое значение прогнозируемого процес- н

са, х(к) - прогноз, N - длина обучающей выборки. Р

На рис. 6 представлены результаты прогнозирования данных из тестового множества после 10 эпох обу- м чения с параметром а = 0, 99. с' Результаты прогнозирования на основе двойного л вэйвлет-нейрона сравнивались с результатами прогно- ч зирования на основе стандартного вэйвлет-нейрона р с градиентным алгоритмом обучения, радиально-базис- т

Таблица 1 - Результаты прогнозирования временного ряда

ной нейронной сетью и многослойным персептроном. Результаты приведены в таблице 1.

Таким образом, как видно из результатов эксперимента, при практически одинаковом количестве настраиваемых параметров предложенный двойной вэйв-лет-нейрон с алгоритмом обучения (11), (15) обеспечивает более высокое качество прогноза и высокую скорость обучения по сравнению с традиционными архитектурами.

Нейронная сеть / Алгоритм обучения Количество настраиваем. параметров Критерии

ИМ8Б Wegstrecke Trefferquote

Двойной вэйвлет-нейрон / Предложенный алгоритм обучения параметров вэйвлет синапсов (11) (15) 105 0,0078 1 99,8 %

Вэйвлет-нейрон / Градиентный алгоритм обучения параметров вэйвлет-синапсов с постоянным шагом 100 0,0101 0,98 98,8 %

Радиально базисная нейронная сеть / РМНК 100 0,5774 0,4883 55,2 %

Многослойный персептрон / Градиентный алгоритм обучения 115 0,6132 0,5882 75,5 %

90

1607-3274 «Радюелектрошка. 1нформатика. Управлшня» № 2, 2006

ВЫВОДЫ

Предложена структура двойного вэйвлет-нейрона и алгоритм его обучения, позволяющий настраивать все параметры сети. Алгоритм прост в численной реализации, обладает высокой скоростью сходимости и дополнительными следящими и сглаживающими свойствами.

ПЕРЕЧЕНЬ ССЫЛОК

1. Chui C. K. An Introduction to Wavelets. - New York: Academic, 1992. - 264 p.

2. Daubechies I. Ten Lectures on Wavelets. Philadelphia, PA: SIAM, 1992. - 228 p.

3. Meyer Y. Wavelets: Algorithms and Applications. Philadelphia, PA: SIAM, 1993. - 133 p.

4. Lekutai G., van Landingham H. F. Self-tuning control of nonlinear systems using neural network adaptive frame wavelets // Proc. IEEE Int. Conf. on Systems, Man and Cybernetics. - Piscataway, N. J. - 1997. - 2. - P. 1017-1022.

5. Bodyanskiy Ye., Lamonova N., Pliss I., Vynokurova O. An adaptive learning algorithm for a wavelet neural network // Expert Systems. - 2005. - 22. - №. 5 - P. 235-240.

6. Bodyanskiy Ye., Kolodyazhniy V., Pliss I., Vynokurova O. Learning wavelet neuron based on the RASP-function // Radio Electronics. Computer Science. Control. - 2004. -№ 1. - P. 118-122.

7. Бодянский E. В., Винокурова E. А., Ламонова H. С. Адаптивная гибридная вэйвлет-нейронная сеть для решения задачи прогнозирования и эмуляции // C6. науч. трудов 12-й международной конференции по автоматическому управлению «Автоматика 2005», Т. 3. -Харьков: Изд-во НТУ «ХПИ». - 2005. - С. 40-41.

8. Бодянский E. В., Винокурова E. А. Треугольный вэйв-лет и формальный нейрон на его основе // Сб. наук. праць 3-1 М1жнародноТ науково-практичноТ конференцп «Математичне та программне забезпечення ¡нтелекту-альних систем» (MPZIS-2005) - Днтропетровськ: ДНУ. -2005. - С. 14-15.

9. Billings S. A., Wei H.-L. A new class of wavelet networks for nonlinear system identification // IEEE Trans. on Neural networks. - 2005. - 16. - № 4. - P. 862-874.

10. Szu H. H., Telfer B., Kadambe S. Neural network adaptive wavelets for signal representation and classification // Opt. Eng. - 1992. - 31. - P. 1907-1916.

11. Zhang Q. H., Benveniste A. Wavelet networks // IEEE Trans. on Neural Networks. - 1992. - V. 3. - № 6. - P. 889-898.

12. Dickhaus H., Heinrich H. Classifying biosignals with wavelet networks // IEEE Eng. Med. Biol. Mag. - 1996. -15. - № . 5. - P. 103-111.

13. CaoL.Y., HongY.G, Fang H. P, He G. W. Predicting chaotic time series with wavelet networks // Phys. D. -1995. - 85. - P. 225-238.

14. Oussar Y., Dreyfus G. Initialization by selection for wavelet network training // Neurocomputing. - 2000. - 34. -P. 131-143.

15. Zhang J., Walter G.G., MiaoY., Lee W. N. W. Wavelet neural networks for function learning // IEEE Trans. on Signal Process. - 1995. - 43. - № 6. - P. 1485-1497.

16. Zhang Q. H. Using wavelet network in nonparametric estimation // IEEE Trans. on Neural Networks. - 1997. - 8. -№ 2. - P. 227-236.

17. Casdagli M. Nonlinear prediction of chaotic time series // Phys. D. - 1989. - 35. - P. 335-356.

18. Soltani S. On the use of wavelet decomposition for time series prediction // Neurocomputing. - 2002. - 48. -P. 267-277.

19. Yamakawa T., Uchino E., Samatu T. Wavelet neural networks employing over-complete number of compactly supported non-orthogonal wavelets and their applications // IEEE Int. Conf. on Neural Networks, Orlando, USA. -1994. - P. 1391-1396.

20. Yamakawa T., Uchino E., Samatu T. The wavelet network using convex wavelets and its application to modeling dynamical sytems // The Trans. on the IEICE. - 1996. -J79-A. - № 12. - P. 2046-2053.

21. Yamakawa T. A novel nonlinear synapse neuron model guaranteeing a global minimum - Wavelet neuron // Proc. 28 th IEEE Int. Symp. On Multiple-Valued Logic. -Fukuoka, Japan: IEEE Comp. Soc., 1998. - P. 335-336.

22. Baumann M. Nutzung neuronaler Netze zur Prognose von Aktienkursen. - Report Nr. 2/96, TU Ilmenau, 1996. -113 s.

23. Fueser K. Neuronale Netze in der Finanzwirtshaft. - Wiesbaden: Gabler, 1995. - 437 s.

Надшшла 22.02.06

В статт1 запропоновано арх1тектуру подвшного вейв-лет-нейрону, що е модиф1кащею стандартного вейвлет-нейрону та алгоритм навчання його параметр1в. Ця ар-х1тектура дозволяе полтшити апроксимуюч1 власти-вост1 вейвлет-нейрону. Проведено 1м1тацшне моделюван-ня запропонованого подвшного вейвлет-нейрону та алгоритму його навчання з використанням нестацюнарног хаотичноi часовоЧ посл1довност1.

In this paper a new double wavelet neuron architecture obtained by modification of standard wavelet neuron, and its learning algorithm for its parameters is proposed. Offered architecture allows to improve the approximation properties of wavelet-neuron. Double wavelet neuron and its learning algorithm are examined for predicting non-stationary chaotic time series.

УДК 004.932.001.57

A. О. Дранкова, E. В. Ткаченко

ИССЛЕДОВАНИЕ СЕТИ ХОПФИЛДА ДЛЯ РАСПОЗНАВАНИЯ ЦИФРО-ПОДОБНЫХ ОБРАЗОВ

Исследованы функциональные возможности дискретной сети Хопфилда для распознавания цифро-подобных образов при наличии шумов различной природы и интенсивности. Результаты компьютерного моделирования позволяют рекомендовать данные сети для распознавания

© Дранкова А. О., Ткаченко Е. В., 2ооб

стационарных образов при достаточно большом процентном содержании помех.

В настоящее время все более распространенным подходом к распознаванию цифро-подобных образов