CC BY
92
УДК 004.896, 004.942 Дата подачи статьи: 12.12.17
DOI: 10.15827/0236-235Х.031. 1.060-063 2018. Т. 31. № 1. С. 060-063
ИССЛЕДОВАНИЕ ВЛИЯНИЯ АЛГОРИТМОВ ИНИЦИАЛИЗАЦИИ ВЕСОВЫХ КЭФФИЦИЕНТОВ СЕТИ ВОЛЬТЕРРИ НА РЕШЕНИЕ ЗАДАЧИ ПРОГНОЗИРОВАНИЯ
И.В. Лезина 1, к.т.н., доцент, [email protected] К.В. Сараево. 1, магистрант
1 Самарский национальный исследовательский университет им.. академика С.П. Королева, Московское шоссе, 34, г. Самара, 443086, Россия
В статье описана разработанная авторами автоматизированная система прогнозирования нефтяных котировок нейронной сетью Вольтерри.
Реализованы три алгоритма инициализации весовых коэффициентов: алгоритм имитации отжига, эволюционный алгоритм и случайная инициализация. Система предоставляет пользователю такие возможности, как загрузка выборок, установка параметров обучения, выбор алгоритма инициализации весовых коэффициентов с установлением для них параметров и просмотр результатов прогнозирования. Кроме того, существует возможность сохранять параметры нейронной сети в XML-файл, что впоследствии позволяет выполнять прогнозирование с применением уже обученной сети. При тестировании пользователь может загрузить ранее созданную сеть или работать с текущей сетью, загрузить файл с выборкой, а затем просмотреть результаты тестирования. Все результаты сохраняются в файлах формата .xlsx.
Разработанную систему можно применять для прогнозирования показателей цен на нефть. В качестве показателя качества работы спроектированной системы было выбрано среднеквадратическое отклонение. Для проведения вычислительных экспериментов использованы показатели цен на нефть марки B rent и WTI за определенный период. По результатам проведенных исследований сделан вывод о том, что использование алгоритмов оптимизации при начальной инициализации весовых коэффициентов дает более точный результат прогнозирования, чем случайная инициализация.
Ключевые слова: автоматизированная система, нейронная сеть, сеть Вольтерри, прогнозирование, нефтяные котировки, оптимизационные алгоритмы, алгоритм имитации отжига, эволюционный алгоритм, случайная инициализация.
Впервые упоминание о прогнозировании будущего направления движения цены на основе истории ее предыдущих движений появилось в начале 90-х годов XIX века [1].
В инвестиционном деле прогнозирование играет важную роль, потому что невозможно выработать и принять правильное решение об инвестициях, не располагая данными о будущих ситуациях на рынке. Одна из важных задач прогнозирования - это предсказание цен в рыночной экономике и выделение тех факторов, которые влияют на них, так как от этого зависят объем продаж, уровень и масса прибыли.
В последние десятилетия все большее применение в этой области находят нейронные сети в силу своей универсальности. На основе информации о значениях переменных {X1, X2, ..., X,,} в предшествующие прогнозированию моменты времени {11, ..., 4} сеть вырабатывает решение о наиболее вероятном значении последовательности X в текущий момент времени 4+ь 4+2 и т.д.
Возможность обучения - одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Она реализуется с помощью специально разработанных методов. Необходимым условием для обучения является первоначальная инициализация синоптических весов нейронов [2]. В данной работе рассматривается исследование алгоритмов имитации отжига, эволюционных алго-
ритмов и случайной инициализации, используемых при первоначальной инициализации весовых коэффициентов для решения задачи прогнозирования при помощи нейронной сети Вольтерри [3].
Сеть Вольтерри - многослойная однонаправленная динамическая сеть для нелинейной обработки последовательности сигналов, задержанных относительно друг друга. Выходной сигнал сети Вольтерри можно представить следующей формулой [4]:
£ ( £ { £ ^
Уп = Ij
■I >
j=0
^ j —к )
Каждое слагаемое в квадратных скобках представляет собой линейный фильтр первого порядка, в котором соответствующие веса - это импульсная реакция другого линейного фильтра следующего уровня.
Обучение нейронной сети Вольтерри лучше всего производить с использованием технологии сопряженных графов. Возбуждением для графа служит разностный сигнал (у„ - ¿„), где й„ - ожидаемое значение в выходном узле, а у„ - фактическое в момент времени „. Из выражения, определяющего компоненты градиента, на основе исходного и сопряженного с ним графа можно вывести конкретные компоненты вектора градиента: дБ
-х, . ( у - <},),
1=0
■x, . y. ,
dE
dw..
hl2
dE
-x, .y.. . ,
dw... t-l3 41213
dE
-X, . у.. . . дм.. . . -'К Ч'2-'К-1
¥2 ■'К-1'К
В приведенных формулах сигналы, обозначенные символом л, соответствуют сопряженному, а остальные - исходному графу системы. После определения конкретных компонентов градиента обучение сети с применением оптимизационного метода наискорейшего спуска может быть сведено к решению дифференциальных уравнений:
dw.
dE
-= -ц-
dt dw,
dw.
dt
dw..
_¥2
d t
dw,.
= -ц
dE dw,
= -ц
hh dE dw...
dE
' Ь-'-'к-1 'к
где д - коэффициент обучения [4].
Методы обучения нейронных сетей сводятся к нахождению локального минимума целевой функции, лежащего в окрестности точки начала обучения. Если значение глобального минимума известно, есть возможность оценить положение локального минимума относительно искомого решения. Однако при решении реальных задач даже приблизительная оценка глобального минимума остается неизвестной. По этой причине возникает необходимость применения методов глобальной оптимизации [5].
Алгоритм имитации отжига - это общий метод решения задачи глобальной оптимизации. Он отражает поведение расплавленного материала при отвердевании с применением процедуры отжига (управляемого охлаждения) при температуре, последовательно понижаемой до нуля [6]. В настоящее время метод считается одним из немногих алгоритмов, позволяющих практически находить глобальный минимум функции нескольких переменных [4]. Алгоритм состоит из следующих шагов.
1. Запускается процесс из начальной ю точки при заданной температуре T = ^ах.
2. Пока T > ^пт, повторяются следующие действия:
- выбирается новое состояние wn из окрестности w;
- рассчитывается изменение целевой функции А = E(wn) - E(w);
- принимается решение о переходе к новому состоянию wn = wn;
3. Понижается температура.
Генетические алгоритмы совместно с эволюционной стратегией и эволюционным программированием представляют три главных направления развития так называемого эволюционного моделирования. Несмотря на то, что каждый из этих методов возник независимо от других, они характеризуются рядом важных общих свойств. Эволюционные алгоритмы имитируют процессы наследования свойств живыми организмами. Исходная популяция решений выбирается случайным образом. При использовании этого метода популяция состоит из закодированных соответствующим образом программ, подвергающихся воздействию генетических операторов скрещивания и мутации, для нахождения оптимального решения, которым считается программа, наилучшим образом решающая поставленную задачу [7]. Процедура повторяется, пока не будет найдено искомое решение либо не будет исчерпан лимит машинного времени. Программы оцениваются относительно определенной специальным образом функции приспособленности. Из семейства эволюционных алгоритмов в системе был реализован генетический алгоритм.
Случайная инициализация приписывает случайные начальные значения весовым коэффициентам. Она должна обеспечить такую стартовую точку активации нейронов, которая лежала бы достаточно далеко от зоны насыщения. Это достигается ограничением диапазона разыгрываемых значений. Практически все оценки нижней и верхней границ диапазона лежат в пределах (0, 1) [4].
Для решения задачи была разработана автоматизированная система прогнозирования нефтяных котировок. Основные классы системы представлены на диаграмме сущностных классов (см. рисунок), разработанной по методологии иМЬ [8]. В системе пользователю предоставляются такие возможности, как загрузка выборок, установка параметров обучения, выбор алгоритма инициализации весовых коэффициентов с установлением параметров для них и просмотр результатов прогнозирования. Кроме того, существует возможность сохранения параметров нейронной сети в ХМЬ-файл, что впоследствии дает возможность вести прогнозирование с применением уже обученной сети. При тестировании пользователь может загрузить ранее созданную сеть или работать с текущей, загрузить файл с выборкой, а затем просмотреть результаты тестирования. Все результаты сохраняются в файлах формата .хкх. Разработанную программу можно применять для прогнозирования показателей цен на нефть.
На качество обучения и прогнозирования влияет разброс значений выборок. Это делает алгоритм чувствительным к сильным скачкам и спадам цен на биржевые товары. В качестве показателя качества работы спроектированной системы
1 "2"3
-err : double
TrainingTestingNetwork
-ed : double -d : double -If : double
+returnSignal() : ArrayLis +reciveSignal() : double +condition() : boolean
+getRandom() : double +normalize() : double +funActivation() : double +average() : double +sd() : double +error() : double
N etwo rkF unction
-sd : double -err : double
+training() : ArrayList +testi ng ()_
DataExchange
-dataOut : ArrayList -dataIn : ArrayList -date : ArrayList
+wri teTo Excel() + readFromExcel() : ArrayList
Controller
-network : ArrayList -data : ArrayList
+training() +testing() +getData() +setData()
InitWeightRandom
ModelNeuron
-weight : double
+setWeight() +getWteight() : double
ModelNetwork
-countLayer : int -network : ArrayList
+createNetwork() : ArrayLis -initWeight() : ArrayList
Г
I
_N^
«Интерфейс» InitWeight
+initWeight() : ArrayList
-С
InitWeightGenetic
InitWeightAnellign
Диаграмма сущностных классов A diagram of essential classes
было выбрано среднеквадратическое отклонение (СКО) - наиболее распространенный показатель рассеивания значений случайной величины относительно ее математического ожидания. СКО
представлено выражением и =
1
n -1'
■УХ x-:
где xi - i-й элемент выборки; n - объем выборки; x - среднее арифметическое выборки, _ 1 n 1
x =~{Х1 + ••• + xn ) •
n 1 n
Для проведения вычислительных экспериментов были использованы показатели цен на нефть марок Brent и WTI за период с 31.12.2005 по 31.12.2016 [9]. В систему загружаются данные с обучающей выборкой. Параметры модели подбираются таким образом, чтобы уменьшить погрешность прогнозирования [10]. Результаты работы программы представлены ниже в таблице и на рисунках (см. http://www.swsys.ru/uploaded/image/ 2018_1/2018-1-dop/19.jpg).
Результаты исследования Research results
Алгоритмы инициализации весовых коэффициентов СКО
Нефть Brent Нефть WTI
Имитация отжига 0.03375 0.02883
Эволюционный 0.03388 0.02877
Случайная инициализация 0.03511 0.02936
На основании полученных результатов можно сделать вывод, что случайная инициализация ве-
совых коэффициентов при коэффициенте обучения, равном 0.01, количестве нейронов L = 3, количестве слоев K = 3, дает СКО выше, чем алгоритм имитации отжига и генетический алгоритм. Качество прогнозирования также можно проследить и по графикам, где показана разница между реальными и спрогнозированными рядами. Очевидно, что при случайной инициализации качество прогнозирования на двух различных марках нефти в обоих случаях дает хуже результат, чем при применении оптимизационных алгоритмов.
Таким образом, использование алгоритмов оптимизации при начальной инициализации весовых коэффициентов дает более точный результат прогнозирования, чем случайная инициализация.
Литература
1. Технический анализ валютного рынка. URL: https:// tradexperts.m/Tehnicheskij-Analiz-Foreks/Vvedenie-v-tehniches kij-analiz (дата обращения: 11.12.2017).
2. Лезина И.В., Сараева К.В. Исследование влияния алгоритмов инициализации весовых коэффициентов на решение задачи прогнозирования при помощи нейронной сети Вольтерри // Перспективные информационные технологии (ПИТ-2017): тр. Междунар. науч.-технич. конф. Самара: Изд-во СамНЦ РАН, 2017. С. 160-161.
3. Сараева К.В. Прогнозирование цен на нефть нейронной сетью Вольтерри // Сб. трудов. Самара: Изд-во СГАУ, 2015. 104 с.
4. Осовский С. Нейронные сети для обработки информации; [пер. с польск. И.Д. Рудинского]. М.: Финансы и статистика, 2002. 344 с.
5. Солдатова О.П. Курс лекций по дисциплине «Интеллектуальные системы». Самара: Изд-во СГАУ, 2014. 108 с.
6. Нейрокомпьютерные системы. URL: http://www.intuit. ru/studies/courses/61/61/lecture/20448 (дата обращения: 11.12.2017).
7. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы; [пер. с польск. И.Д. Рудинского]. М.: Горячая линия-Телеком, 2006. 452 с.
2
8. Буч Г., Рамбо Д., Джекобсон А. Язык UML. Руководство пользователя. СПб: Питер, 2003. 252 с.
9. Интернет-трейдинг «ФИНАМ». URL: https:// www.finam.ru/ (дата обращения: 11.12.2017).
10. Лихачева Д.В. Автоматизированная система прогнозирования изменения курса валют на основе сети Вольтерри // XII Королевские чтения: тезисы докл. Междунар. молодеж. науч. конф. Самара: Изд-во СГАУ, 2013. С. 209.
Software & Systems Received 12.12.17
DOI: 10.15827/0236-235X.031. 1.060-063 2018, vol. 31, no. 1, pp. 060-063
STUDY OF THE INFLUENCE OF INITIALIZATION ALGORITHMS OF VOLTERRY NETWORK WEIGHT COEFFICIENTS ON FORECAST PROBLEM SOLVING
I.V. Lyozina 1, Ph.D. (Engineering), Associate Professor, [email protected] K. V. Saraeva 1, Graduate Student
1 Samara National Research University, Moskovskoe Highway 34, Samara, 443086, Russian Federation
Abstract. The article describes an automated system designed by the authors for forecasting oil market quotes by Volterry neural network.
The system runs three algorithms for weight coefficients initialization: the annihilation simulation algorithm, the evolutionary algorithm and random initialization. A user is able to upload samples, set learning parameters, select a learning algorithm for weight coefficients initialization, define their parameters and look through forecasting results. Moreover, a user can save parameters of a neural network to a XML file to provide an ability to perform forecasting by using preset parameters of a trained network. While testing a user can open a network saved earlier or work with a current one, load a sample file and then look at the results. All results are kept in .xlsx files.
The developed software can be used for forecasting a market oil price. Standard deviation is an evaluation criterion of the designed application. To make a testing experiment the authors selected Brent and WTA oil prices during the period from December 31, 2005 till December 31, 2016. The article shows the results of researching a dependency of forecasting quality according to the selected algorithms. The results show that a random initialization (learning coefficient 0.01, a number of neurons L=3, a number of layers K=3) produces a bigger error than the annihilation simulation algorithm or the evolutionary algorithm. As a result, using optimization algorithms for initialization of weight coefficients provides more accurate forecasting result than a random initialization.
Keywords: automated system, neural network, Voletrry network, forecasting, oil market quotes, optimization algorithms, annihilation simulation algorithm, evolutionary algorithm, random initialization.
References
1. Tekhnichesky analiz valyutnogo rynka [Technical analysis of the foreign exchange market]. Available at: https://tradexperts.ru/Tehnicheskij-Analiz-Foreks/Vvedenie-v-tehnicheskij-analiz (accessed December 11, 2017).
2. Lezina I.V., Saraeva K.V. Study of the influence of weight coefficients initialization algorithms on solving a forecast problem using Volterry neural network. Perspektivnye informatsionnye tekhnologii (PIT-2017): tr. Mezhdunar. nauch.-tekhnich. konf. [Perspective Information Technologies (PIT-2017): Proc. Int. Science and Tech. Conf.]. Samara, SSC RAS Publ., 2017, pp. 160-161 (in Russ.).
3. Saraeva K.V. Prognozirovanie tsen na neft neyronnoy setyu Volterri [Proc. Forecasting Oil Prices by Volterry Neural Network]. Samara, SSAU Publ., 2015, 104 p.
4. Ossowsky S. Neural networks for information processing. Warsaw, Poland, Warsaw Univ. of Technology Publ., 2000 (Russ. ed.: Moscow, Finances and Statsitics, 2002, 344 p.).
5. Soldatova O.P. Kurs lektsypo distsipline "Intellektualnye sistemy" ["Intellectual systems" Lecture Course]. Samara, SSAU Publ., 2014, 108 p.
6. Neyrokompyuternye sistemy [Neurocomputer Systems]. Available at: http://www.intuit.ru/studies/courses/61/61/ lecture/20448 (accessed December 11, 2017).
7. Rutkovskaya D., Pilinsky M., Rutkovsky L. Neural Networks, Genetic Algorithms and Fuzzy Systems (Russ. ed.: Moscow, Goryachaya Liniya-Telekom Publ., 2006, 452 p.).
8. Booch G., Rumbaugh J., Jacobson I. The Unified Modeling Language User Guide. Addison-Wesley Professional Publ., 1997 (Russ. ed.: 2003, St. Petersburg, Piter Publ., 252 p.).
9. Internet-treiding "FINAM" [FINAM Internet-Trading]. Available at: https://www.finam.ru/ (accessed December 11, 2017).
10. Likhacheva D.V. Automated system of forecasting the exchange rates by Volterry network. XIIKorolevskie chteniya: tezisy dokl. Mezhdunar. molodezh. nauch. konf. [Proc. 12th Korolyov Readings: Int. Youth Scientific Conf.]. 2013, Samara, SSAU Publ., p. 209 (in Russ.).
