Нейросетевой предсказатель с вейвлет-ядром Текст научной статьи по специальности «Компьютерные и информационные науки»

ISSN 0321-3005 ИЗВЕСТИЯ ВУЗОВ. СЕВЕРО-КАВКАЗСКИЙ РЕГИОН.

ЕСТЕСТВЕННЫЕ НАУКИ. 2014. № 3

УДК 519.21

НЕЙРОСЕТЕВОЙ ПРЕДСКАЗАТЕЛЬ С ВЕЙВЛЕТ-ЯДРОМ* © 2014 г. Г.И. Белявский, И.В. Мисюра

Белявский Григорий Исаакович - доктор технических наук, профессор, заведующий кафедрой высшей математики и исследования операций, факультет математики, механики и компьютерных наук, Южный федеральный университет, ул. Мильчакова, 8а, г. Ростов-на-Дону, 344090, e-mail: beliavsky@hotmail. com.

Мисюра Илья Владимирович - аспирант, кафедра высшей математики и исследования операций, факультет математики, механики и компьютерных наук, Южный федеральный университет, ул. Мильчакова, 8а, г. Ростов-на-Дону, 344090.

Beliavsky Grigory Isaakovich - Doctor of Technical Science, Professor, Head of Department of the Higher Mathematics and Operation Research, Faculty of the Mathematics, Mechanics and Computer Sciences, Southern Federal University, Milchakov St., 8a, Rostov-on-Don, 344090, Russia, e-mail: beliavsky@hotmail. com.

Misyura Ilya Vladimirovich - Post-Graduate Student, Department of the Higher Mathematics and Operation Research, Faculty of the Mathematics, Mechanics and Computer Sciences, Southern Federal University, Milchakov St., 8a, Rostov-on-Don, 344090, Russia.

Прогноз для временного ряда относится к актуальным задачам обработки информации, которым уделяется особое внимание при разработке математического обеспечения информационных систем. Существует обширная литература по данной тематике, связанная с дизайном линейных фильтров различной природы. В значительно меньшей степени представлена литература по дизайну нелинейных фильтров, позволяющих избежать эффекта сглаживания. Еще меньше работ, связанных с реализацией нелинейных фильтров в виде нейронной сети. Рассматривается задача дизайна нейросетево-го предсказателя для сигналов под управлением модели с переменной волатильностью.

Ключевые слова: нейронная сеть, обучение нейронной сети, вейвлет-пакет, локальная волатильность, квантиль.

The algorithms to prognosis of time series are important part of the information systems software. There are many references on design of different linear filters, and smaller degree the literature on design of the nonlinear filters is presented. At the same time nonlinear filters allow to avoid effect of smoothing. It is even less then the works connected with realization of nonlinear filters in the form of neural networks are rare in reference. The design neural networks prognosis with wavelet kernel for signals under model with stochastic volatility is considered in article.

Keywords: neural networks, learning of neural networks, wavelet kernel, local volatility, quantile.

Прогноз является частным случаем фильтрации случайных процессов. Хорошая модель процесса х - стохастический дифференциал = а(,, + р(/, ю^Щ, , е [0,Г ] Х0 = 0 с прогрессивно измеримыми коэффициентами относительно естественной фильтрации, порождаемой стандартным винеровским процессом, удовлетворяющими стандартным условиям существования стохастического дифференциала. При прогнозе широко используются фильтры Винера и Калмана. Фильтр Винера получается в предположении, что коэффициенты уравнения - константы, Калмана - детерминированные функции времени [1]. Широко распространенная модель - уравнение диффузии = а(,, Х( + р(/, X, с коэффициентами,

удовлетворяющими стандартным условиям существования и единственности сильного решения. В связи с диффузионными процессами обобщение фильтра Калмана сделано в работе [2]. Также изучаются модели, в которых коэффициенты - функционалы от времени и траектории случайного процесса {Хх, 5 <т< ,} - Ж, = а(,,{Хх, 5 <т< +

+ ß(/,{Xx,5 <т<t])dWt. Далее будет рассматриваться

дискретныи аналог этого уравнения.

Описание модели

В статье рассматривается модель сигнала

p ( q ~ ^

Xn = ao + ЕalXn_l +Ф ^ ■ ^

i=1 I

bo + Е biX2_i

i=i

е„

(1)

В (1) функция ф, равная нулю вне конечного интервала [0,А], принадлежит пространству Ь2[0,А]; 8 - последовательность независимых стандартных нормальных случайных величин. Модель (1) относится к условно-гауссовским с условными законами распределения

Law(Xn / Fn_1 )= N

(

(

ao + Е aiXn_i > Ф bo + Е biX,

i=1

i=1

ЛЛ

где Fi =а(81,...,8,), что позволяет найти плотность совместного распределения

2

*Статья поддержана грантом РФФИ, проект № 14-01-00579.

p(*1,X2,...Xn) = (2л) n/2 п ф b0 + Sbtxl_

k=1

i=1

x exp

Г

s2 ^

_ 1 s

2 k=1

xk _ «0 _ Sbixk_i i=1

ф

bo + s blxi_l

i =1

при фиксированных x1_/,...x0, где l = max{p,q}. В частном случае, когда ф(x) = Vx на интервале [0, A], уравнение (1) является AR(p)/ ARCH (q) -уравнением [3]. Допустим, что с высокой степенью точности

N _1

ф( x )«S fkHkA (x) , где HA (x)

k=0

интервале [0, A], например, базис Хаара [4], построенный на основе материнских функций:

HA (x) = 1, x 6 [0, A], HA(x) = 2]. (2)

Одношаговый прогноз заключается в вычислении условного математического ожидания

Хп = Е(хп / = а0 + £ а1Хп_1 .

г =1

В этой оценке отсутствует вторая составляющая модели - случайная волатильность. В этом состоит основной недостаток точного прогноза. Гораздо эффективнее прогноз доверительного интервала с фиксированной доверительной вероятностью - 1 _ а -

X+ = «0 + S aiXn _i + kф

i=1

p

X_ = «0 + S aiXn_i _ ^ i =1

>

b0 + S biXn2_i

i =1

q

b0 + S bXti i =1

<

(3)

В (2) х+, Х_ - верхняя и нижняя прогнозные оценки соответственно; параметр к - решение уравнения ф(х) = 1_а/2, где ф(х) - функция распределения стандартного нормального закона.

Описание нейросетевого предсказателя

В литературе по дизайну и использованию искусственных нейронных сетей встречаются работы, связанные с нейросетевым представлением нелинейных стохастических моделей временных рядов [5-9]. Сложность подобного рода моделей преодолевается за счет специально подобранной архитектуры нейронной сети и задания весовых коэффициентов. Важным обстоятельством является то, что веса входят в нейросетевую модель линейно. Структура искусственной нейронной сети для уравнений (3) представлена на рис. 1.

Серьезным преимуществом предлагаемого нейро-сетевого решения является то обстоятельство, что в нейронную сеть в качестве ядра включен вейвлет-пакет, что позволяет не фиксировать функцию ф и

делает нейронную сеть достаточно универсальной. Подбор весов осуществляется в результате решения задачи обучения нейронной сети (2), состоящей в вычислении параметров и |у} по обучающей

выборке следующей структуры:

{1, ■

V = {1, X,

■ 2_ p

,..., Xn_1;1, X2_q,..., X2_1; Xa/2, Xa/2

- вейвлет-базис на

Рис. 1. Структура искусственной нейронной сети. Функция активации A(x) = x

Здесь X_/2, X+/2 - выходные значения нейросети -

выборочные нижний и верхний а/2 квантили. Как отмечается в литературе, см., например, [10], выборочные квантили обладают широким спектром хороших свойств.

Вычислительный эксперимент

Вычислительный эксперимент проводился на модельном временном ряду для AR (1) / ARCH (1) при

различных значениях параметров по сгенерированной выборке объемом 100 значений. Для выборочных квантилей использовалось окно (w) размером 7 и 11. Применялся гибридный метод обучения [11]. Результаты приведены на рис. 2.

Выводы

Искусственная нейронная сеть с вейвлет-ядром является достаточно универсальным средством описания временных рядов под управлением условно-гауссовских моделей. Наибольший эффект достигается в случае, когда функция ф, определяющая существенную нелинейность модели, разлагается в быстро-сходящийся ряд по вейвлет-базису. Это обстоятельство является единственным сдерживающим фактором применения предлагаемого нейросетевого решения.

x

а

Рис. 2. Результаты эксперимента: а - параметры модели: w=7, а=0,2, N=8; б - w=11, а=0,2, N=8

Литература

1. Липцер Р.Ш., Ширяев А.Н. Статистика случайных про-

цессов. М., 1974. 696 с.

2. Липцер Р.Ш., Ширяев А.Н. Нелинейная фильтрация

диффузионных марковских процессов. Исследования по математической статистике // Тр. МИАН СССР. 1968. Т. 104. С. 135-180.

3. Ширяев А.Н. Основы стохастической финансовой мате-

матики. Факты. Модели. М., 1998. 489 с.

4. Добеши И. Десять лекций по вейвлету. Ижевск, 2001. 460 с.

5. Dente J., Mendes R. Characteristic functions and process

identification by neural networks // Neural Networks. 1997. Vol. 10. P. 1465-1471.

6. Beer M., Spauos P. Neural network based Monte Carlo sim-

ulation of random processesm // ICOSSAR / G. Augusti, G. Shueller, M. Ciampoli ed. Roterdam, 2005. P. 2179-2186.

Поступила в редакцию

7. Balasubramaniam P., Vembarasan P., Rakkiyappan R. De-

lay-dependent robust exponential state estimation of Markovian jumping fuzzy Hopfield neural networks with mixed random time-varying delays // Commun. Nonlinear Sci. Numer Simulat. 2011. Vol. 16. P. 2109-2129.

8. Leen T., Friel R., Nielsen D. Approximating distributions in

stochastic learning // Neural Networks. 2012. Vol. 32. P. 219-228.

9. Han H., Wang L., Qiao J., Efficient self-organizing multi-

layer neural network for nonlinear system modeling // Neural Networks. 2013. Vol. 43. P. 22-32.

10. Вероятность и математическая статистика : энциклопе-

дия / под ред. Ю.В. Прохорова. М., 2003. 912 с.

11. Белявский Г.И., Лила В.Б., Пучков Е.В. Алгоритм и про-

граммная реализация гибридного метода обучения искусственных нейронных сетей // Программные продукты и системы. 2012. № 4. С. 96-101.

19 марта 2014 г.