CC BY
163
гибридные модулярные нейронные сети1
УДК 339.13
Алексей Николаевич Аверкин,
к. ф.-м. н., ведущий научный сотрудник отдела интеллектуальных систем Вычислительного центра им. А.А. Дородницына ФИЦ «Информатика и управление» РАН Тел.: (499) 135 40 98 Эл. почта: [email protected]
В работе рассматриваются гибридные нейросетевые подходы к прогнозированию временных рядов, в том числе методы, основанные на нечетких моделях, такие как ANFIS модели, а также предлагается гибридный нейросетевой подход, основанный на модулярных нейронных сетях.
Ключевые слова: прогнозирование, временные ряды, ANFIS, модулярные нейронные сети.
Alexey N. Averkin,
PhD, associated professor of the Academic Department of Informatics Plekhanov Russian University of Economics (PRUE), chief researcher of intelligent department systems of Dorodnicyn Computing Center of FRC «Informatics and control of RAS» Tel.: (499) 135 40 98 E-mail: [email protected]
HYBRID MoDuLAR NEURAL networks
In this paper considered hybrid neural networks for time series forecasting and methods based on fuzzy models, such as ANFIS models and we also suggest a hybrid neural network model based on modular neural networks.
Keywords: forecasting, time series, ANFIS, modular neural networks.
1. Введение
В последние годы прогнозирование временных рядов является одной из самых популярных областей исследований. Основываясь на исторических данных, ученые строят прогнозы на будущее. Примером использования исторических данных может служить прогнозирование фондовых рынков, энергопотребления, экономических показателей и т. д. Прогнозирование является неотъемлемой частью жизни современного общества, без него невозможно планировать будущие расходы или экономические планы развития.
Изменчивость производственно-экономических отношений, неустойчивость, концептуальная непоследовательность и неполнота законодательной базы, регулирующей эти отношения, приводят к тому, что временные ряды, представляющие многие производственные, экономические и социально-экономические процессы, имеют короткую актуальную часть. Многие новые процессы производственной и социальной сферы представляются физически короткими временными рядами, поскольку ранее не являлись предметом статистического учёта.
Но в современной ситуации, когда знания накапливаются огромными темпами, а экономическая ситуация меняется практически ежедневно, становится затруднительным осуществлять качественные прогнозы в подобных ситуациях. Для решения таких задач требуется разработка новых, гибридных моделей прогнозирования на основе методов искусственного интеллекта и нечеткой логики.
2. Обзор гибридных методов прогнозирования, основанных на ANFIS моделях
Типовые процедуры обучения нейронных сетей могут быть применены для настройки ANFIS-сети, так как в ней используются только дифференцируемые функции. Обычно применяется комбинация градиентного спуска в виде алгоритма обратного распространения ошибки и метода наименьших квадратов. Алгоритм обратного распространения ошибки настраивает параметры антецедентов правил, т. е. функций принадлежности. Методом наименьших квадратов оцениваются коэффициенты заключений правил, так как они линейно связаны с выходом сети. Каждая итерация процедуры настройки выполняется в два этапа. На первом этапе на входы подается обучающая выборка, и по невязке между желаемым и действительным поведением сети итерационным методом наименьших квадратов находятся оптимальные параметры узлов четвертого слоя. На втором этапе остаточная невязка передается с выхода сети на входы, и методом обратного распространения ошибки модифицируются параметры узлов первого слоя. При этом найденные на первом этапе коэффициенты заключений правил не изменяются. Итерационная процедура настройки продолжается пока невязка превышает заранее установленное значение. Для настройки функций принадлежностей кроме метода обратного распространения ошибки могут использоваться и другие алгоритмы оптимизации, например метод Левенберга - Марквардта.
На сегодняшний момент существует большое количество различных подходов к нейро-нечеткому прогнозированию временных рядов, в частности для обучения подобных сетей применяются генетические алгоритмы, методы роевой оптимизации, а также различные гибридные методы. Китайские ученые [1] представили собственную модель прогнозирования финансовых потоков в банковской сфере с использованием модифицированного алгоритма роевой оптимизации, который называется APAPSO (Adaptive Population Activity PSO). Ввиду того, что использование традиционных методов не дает стабильных результатов прогнозирования, ученые предложили гибридный алгоритм обучения на основе APAPSO алгоритма в сочетании с
1 Работа выполнена при финансовой поддержке РФФИ (16-37-50023 и 14-07-00603).
методом наименьших квадратов. В сравнительных экспериментах, разработанный алгоритм сравнивался со стандартным методом обратного распространения ошибки в сочетании с методом наименьших квадратов (LMS), а также с традиционным методом роевой оптимизации-LMS.
Для того чтобы избежать проблему, когда алгоритм попадает в локальный минимум и повысить его сходимость, метрическая функция популяции определяется на основании сходимости алгоритма PSO. Использование APAPSO алгоритма в соответствии с соотношением между разнообразием популяции и скоростью движения частиц. В данном алгоритме улучшен PSO алгоритм, веса настраиваются адаптивно на основе изменения функции разнообразия популяции, с тем чтобы улучшить разнообразие роя частиц и способность выходить алгоритму из локальных оптимальных решений.
Результаты продемонстрировали рост скорости оптимизации, по сравнению с традиционными алгоритмами, а также рост точности прогнозирования.
Ученые из США и Ирана [2] представили совместную работу по исследованию в области прогнозирования валютной пары доллар/иена. В своей работе исследователи сравнивают производительность А№!Б модели с разработанными ранее моделями традиционных нейронных сетей. Средние RMSE (табл. 1) и результаты лучше для А№!Б подхода, чем для Сугено-Ясукава, ИНС или нескольких подходов регрессии. Как видно в табл. 1, средняя квадратичная ошибка (ЯМБЕ) меньше всего у модели, основанной на АОТК.
Исследователи пришли к выводу, что хоть и разница между традиционной ИНС и А№!Б системой невелика, но А№!Б система представляет собой гораздо более понятную для
человека систему и более удобна в использовании.
Индийские ученые [3] предложили гибридную модель прогнозирования, основанную на интеграции и иммунного алгоритма для прогнозирования индийского фондового рынка. Для создания эффективной модели прогнозирования, ученые решили использовать искусственный иммунный алгоритм для настройки параметров функции принадлежности системы нечеткого вывода. В качестве входных данных для тестирования системы использовались данные дневных закрытий торгов на Национальной фондовой бирже Индии (№Е), а также известные технические индикаторы. На выходе получали прогноз будущего значения индекса №Е.
Алгоритм клонального отбора. Искусственный иммунный алгоритм является новым методом интеллектуальных вычислений, основанный на биологической иммунной системе человека. В данном исследовании ученые использовали иммунный алгоритм, называемый клональным отбором. Данный алгоритм работает как генетический алгоритм. Он симулирует натуральный биологические клетки. Антитела закреплены на В кленке, которая распознает антигены, поступающие из внешней среды. Также данный алгоритм клонирует больше антител с наиболее приспособленными антителами для уничтожения антигена. Как результат, иммунная система продуцирует больше антител, чем антигенов. Базовые элементы в данном алгоритме - это антитела и антигены. В антигены представляют
входные данные с рынка акций, а антитела представляют собой нечеткие правила. Алгоритм применяется для обучения нечетких правил с наилучшей приспособленностью к данным рынка акций.
Результаты экспериментов сравнивались с другими моделями на основе мягких вычислений и фактическими данными с торгов. В итоге результаты эксперимента показали, что предложенная модель прогнозирования дала значительно более точные результаты прогнозирования в сравнении с традиционными моделями.
Несмотря на большое количество разнообразных подходов к обучению сетей, модификацией архитектуры и гибридизации нескольких методов, везде в основе лежат А№!Б модели. Каждое исследование продемонстрировало превосходство нейро-не-четкого подхода над традиционными нейронными сетями и другими статистическими методами.
3. Модулярные нейронные сети в задачах прогнозирования
Самоорганизующиеся карты Ко-хонена (БОМ) представляют собой алгоритм обучения без учителя для создания сохраняющих топологию отображений многомерных векторных данных в маломерные пространства карты и являются мощным инструментом, используемым во многих областях, таких как извлечение данных, анализ, классификация и визуализация. БОМ применяются в различных областях, таких как веб-поиск, биоинформатика, финансы и их значимость продолжает расти. Однако, несмотря на растущую значимость, обычные БОМ и большинство их расширений могут работать только с векторизованными данными. Если необходимо работать с невекторными данными, то нужно векторизовать данные заранее или изменить саму БОМ так чтобы она была применима к этому типу данных. Таким образом, обобщающие семейства БОМ это неизбежная задача описания БОМ независимо от типа данных.
Идея модульной [4] БОМ проста: каждый векторный модуль обычной БОМ заменяется на обучаемый функциональный модуль, такой как нейронная сеть. Таким образом, архитектура тпБОМ представляет собой соединение функциональных модулей на размещенных на решетке (см. рисунок). Функциональные
Таблица 1
Средняя квадратичная ошибка различных моделей прогнозирования
Модель прогнозирования Правила Итерации ЯМБЕ
Множественная регрессия - 10 7,9221
Нейронная сеть - 10 2,8082
Сугено-Якусава 6 10 4,8290
АЖК 7 10 2,6301
Экономика, Статистика и Информатика
9
№4, 2016
Модулярная нейронная сеть с модулями из многослойных персептронов
модули могут быть спроектированы так, чтобы удовлетворять конкретной задаче, в то время как основа алгоритма SOM остается нетронутой. Эта обобщенная стратегия обеспечивает как высокую степень гибкости устройства и высокую надежность SOM, поскольку т^ОМ позволяет выбрать функциональные модули из огромного числа нейросетевых архитектур, которые предложены на данный момент и в тоже время последовательный метод расширения обеспечивает состоятельность теории, т.е. статистические свойства результатов. Кроме того, эта стратегия предоставляет функциональные возможности обработки данных для всех узловых единиц SOM. Таким образом, т^ОМ может быть использована для объединения обработчиков данных после обучения. Это еще одно преимущество т^ОМ.
В чистом виде самоорганизующиеся карты не подходят для прогнозирования, но благодаря проведенным модификациям можно получить сеть, способную давать качественный прогноз. Далее приведены некоторые типы модификаций для прогнозирования.
VQTAM - это модификация самоорганизующихся карт Кохонена, которая может быть применена для идентификации динамических систем. Вектор входных признаков и(7) данной сети разделен на две части: хт(), х°и'(Т). Первая часть входных признаков х1п({) содержит информацию о входах динамического объекта и его предыдущих выходах. Вторая часть вектора входных признаков х°и'(Т) содержит информацию о предполагаемом выходе данного динамического объекта, соответс-
твующем входам x'"(t). Вектор весов разделен аналогичным способом
[5]. Таким образом x(t) =
x
out
Wi (t) =
с in f.\ ^ wi (t)
(t)
где wi(t) - вектор
V ¿г ())
весов 1-го нейрона, wi'n(t) часть вектора весов, содержащая информацию о входах процесса, а wi°ut(t) - часть вектора весов, содержащая информацию о выходах процесса. Первая часть вектора входных признаков содержит информацию о входах процесса и его предыдущих выходах х1П(7) = (у(7 - 1), ..., - "), и(0, и(> - 1), ..., и(- "и)), где пу < Т, пи < Т.
Вторая часть вектора входных признаков х°ш(7) = у(7) содержит информацию о предполагаемом выходе данного процесса, соответствующем входам х1п(7).
Каждый пример выборки состоит из пары векторов (у(7), и(7)) и выборка должна содержать не менее тах(пи, пу) примеров. Вектора у(7) представляют собой вектора входов процесса в момент времени 7 а и(7) -вектора выходов этого процесса в тот же момент времени.
После подачи на вход сети очередного входного вектора х(7), составленного из нескольких примеров обучающей выборки, нейрон-победитель определяется только по вектору х1п(7)
i (t) = argminjl x
in{ xin (t )■
< (t)
где 1*(() - номер нейрона-победителя на шаге 7.
Для изменения весов может быть применено модифицированное правило изменения весов для обычной SOM:
Дw/n(t) = о(г)к(1, 1, 0[х1п(0 - х/п(0],
Дw1°ut(t) = а(г)Н(1, 1, 7)[х°и7(7) - w1°uf(t)],
где 0 < а(Т) < 1 - скорость обучения сети, а к - функция соседства нейрона 1 и 1*. В качестве функции соседства к(1*, 1, ¿) может быть выбрана, например, Гауссова функция
h(i , i, t) = exp
|| П (t) - r*(t )|| 2a2 (t)
где r(t) и r'*(t) - положения на карте нейронов ' и ' соответственно, a(t) > 0 - определяет радиус функции соседства на шаге t. После выбора нейрона-победителя t* выход этого нейрона окрашивается вектором
out /
w (t).
В режиме работы на вход VQTAM подается только вектор x'n(t), для которого определяется нейрон-победитель и его выход окрашивается wT (t). Вектор w°ut (t) может быт интерпретирован, как предсказанный выход y (t) процесса объекта в момент времени t.
Нейронная модульная сеть [7], где в качестве модулей применены сети типа VQTAM (сеть SOMxVQTAM), обучается с помощью комбинации алгоритмов обучения модульной сети, а также по алгоритму обучения сетей типа VQTAM. На этапе обучения после подачи очередного обучающего примера на вход сети вычисляются выходы всех сетей типа VQTAM, использованных в качестве модулей, далее определяется модуль-победитель как модуль, выход которого минимально удален от ожидаемого выхода сети на представленном обучающем примере. После этого происходит подстройка весов сети типа VQTAM, находящейся в модуле-победителе, подстройка весов происходит по алгоритму подстройки весов сетей типа VQTAM. Далее набор весов данной сети рассматривается, как один весовой вектор модуля-победителя модульной карты, и происходит подстройка весов модульной карты по стандартным алгоритмам подстройки весов, применяемых при обучении нейронных карт Кохонена.
В случае с модульной сетью, где в качестве модулей применены сети типа RSOM (сеть SOMxRSOM), так
2
_
Таблица 2
№ Название алгоритма SMAPE
1 Wildi 19,9
2 Andrawis 20,4
3 Vogel 20,5
4 D'yakonov 20,6
5 Noncheva 21,1
6 Rauch 21,7
7 Luna 21,8
8 Lagoo 21,9
9 Wichard 22,1
10 Gao 22,3
— SOMxVQTAM 23,4
11 Puma-Villanueva 23,7
- - VQTAM 23,9
12 Autobox (Reilly) 24,1
13 Lewicke 24,5
14 Brentnall 24,8
15 Dang 25,3
16 Pasero 25,3
17 Adeodato 25,3
- - RSOM 25,7
18 undisclosed 26,8
19 undisclosed 27,3
- - SOMxRSOM 27,9
же полученной в ходе данной работы, обучение происходит аналогичным образом.
Для экспериментов и сравнительного анализа алгоритмов сети типов VQTAM, RSOM, SOMxVQTAM и SOMxRSOM были запущены на выборках, использовавшихся в 2008 году для определения победителей на соревновании нейросетевых алгоритмов прогнозирования. Результаты этого соревнования были использованы в данном исследова-
нии, так как присутствует детальное описание методики определения места в таблице результатов, так же в соревновании приняло участие большое число различных алгоритмов прогнозирования, присутствует описание работы большинства из этих алгоритмов, а также выборки данных, на которых производилось тестирование этих алгоритмов, что позволяет провести сравнительный анализ описываемых в данной статье нейросетевых алгоритмов с другими передовыми методиками. Для определения места в таблице результатов организаторами данного соревнования было предложено провести прогноз на 56 шагов для каждой из 111 выборок. Для каждого из полученных прогнозов считалась симметричная средняя абсолютная процентная ошибка. Затем место в табл. 2 определялось по средней по всем 111 выборкам ошибке.
5. Заключение
Проведенное исследование показывает, что в современной обстановке на передний план выходят гибридные методы прогнозирования временных рядов, в частности с применением методов нечеткой логики, таких как АОТШ, подходы где используются гибридные алгоритмы обучения существенно превосходят аналоги, в которых используются традиционные методы обучения. Также, исследования в области модулярных нейронных сетей показали,
что данные методы имеют большой потенциал для применения их в прогнозировании, поэтому имеет смысл продолжить исследования в данном направлении.
Литература/ References
1. Wang, J.-S.; Ning, C.-X. ANFIS Based Time Series Prediction Method of Bank Cash Flow Optimized by Adaptive Population Activity PSO Algorithm. Information 2015, 6, 300-313.
2. Alizadeh M. et al. Forecasting Exchange Rates: A Neuro-Fuzzy Approach // IFSA/EUSFLAT Conf. -2009. - С. 1745-1750.
3. Gunasekaran, M. and Ramas-wami, K.S., A Fusion Model Integrating ANFIS and Artificial Immune Algorithm for Forecasting Indian Stock Market (June 22, 2011). Journal of Applied Sciences, 11(16): pp. 3028-3033.
4. Tokunaga et al., 2009] Tokunaga K., Furukawa T. Modular network SOM - Neural Networks. №22, 2009. Pp 82-90.
5. Koskela T. Neural network methods in analyzing and modelling time varying processes - Espoo, 2003. Pp. 1-72.
6. Lotfi A., Garibaldi J. In Applications and Science in Soft Computing, Advances in Soft Computing Series Springer, 2003. Pp. 3-8.
7. A. Averkin, V. Albu, Veaceslav, S. Ulyanov and others. Dynamic object identification with SOM-based neural networks. In: Computer Science Journal of Moldova, 2014, nr. 22 1/64, pp. 110-126.
Экономика, Статистика и Информатика Щ №4, 2016
