CC BY
25
УДК 004.8
А.Т. Нгуен, А.М. Кориков
Нейронные сети с полиномиальными кусочно-непрерывными функциями активации для поиска закономерностей в данных
Исследовано применение моделей нейронных сетей, использующих полиномиальные кусочно-непрерывные функции активации (ПКНФА) нейронов, для решения задач обнаружения закономерностей в наборах данных. Разработана структура многослойной однонаправленной нейронной сети для четырех видов ПКНФА с использованием метода скользящего окна для прогнозирования временных рядов и определения амплитуды детерминированного полезного сигнала на фоне белого шума. В процессе обучения нейронной сети используется алгоритм Левенберга-Марквардта обратного распространения. По результатам тестирования проведено сравнение четырех нейронных сетей с различными видами ПКНФА с известными сетями. На основе сравнительного анализа разработаны рекомендации по использованию нейронных сетей с ПКНФА для обнаружения закономерностей в наборах данных.
Ключевые слова: нечеткие функции активации, нечеткие нейронные сети, обучение нейронных сетей, прогнозирование, определение параметров сигнала, поиск закономерностей в данных. doi: 10.21293/1818-0442-2019-22-1-71-76
Проблема поиска закономерностей, скрытых в экспериментальных данных, является актуальной для многих разделов науки и техники. Во многих прикладных задачах наборы экспериментальных данных представляют собой последовательности наблюдений (данных), упорядоченные по времени. Такие последовательности обычно называют временными рядами [1]. При анализе временных рядов в основном используются методы математической статистики [1, 2], а в последние годы все шире применяются нейронные сети (см., например, [3]).
В наших работах [4-6] исследуются модели нейронных сетей (НС), использующих импульсные нечеткие функции активации (ФА) нейронов НС. В [4-6] используется четыре вида полиномиальных кусочно-непрерывных функций активации (ПКНФА). Цитируемые работы доступны практически всем читателям нашего журнала, поэтому далее ограни-
чимся только представлением внешнего вида этих ПКНФА на рис. 1.
Особенности построения ПКНФА, представленных на рис. 1, их настройка и применение изложены в [4-6]. Модель нейронной сети, использующую полиномиальную кусочно-непрерывную функцию активации, представленную на рис. 1, а, обозначим для краткости через НС-а. Соответственно через НС-б, НС-е, НС-г обозначим НС, использующие ПКНФА, представленные на рис. 1, б-г.
Исследуем эффективность решения задачи поиска закономерностей, скрытых во временных рядах, на основе новых моделей нейронных сетей НС-а, НС-б, НС-е, НС-г. Для сравнительного анализа эффективности НС используем модель НС с известной (сигмоидной) ФА. Данную пятую модель НС обозначим как НС-сигм.
Модели нейронной сети на основе скользящего окна для прогнозирования временных рядов
Метод скользящего окна широко применяется для прогнозирования временных рядов [7, 8]. Размер
окна и сегмента увеличивается до достижения наименьшей погрешности [7]. После выбора первого сегмента следующий сегмент выбирается [8] с конца первого сегмента. Процесс повторяется до тех пор, пока все данные временных рядов не будут сегмен-
тированы. Начальный размер скользящего окна вы- правленной сети (МОНС) состоит из входного слоя, бирается опытным путем, а затем определяется по одного скрытого слоя, выходного слоя и представле-набору данных. Структура многослойной однона- на на рис. 2.
Входные окна
I
Рис. 2. МОНС для реализации метода скользящего окна
Математическая модель МОНС может быть представлена в следующем виде:
Х 2 ( р Л
= ^о + X/ } Щ,}хг-г , (1) }=\ \ 1=1 )
где Р и 2 - количество входных и скрытых нейронов соответственно, ^^, ] = 0,1,..., 2 - элементы весовых
векторов w от скрытого слоя до выхода, ,■ = 1,2,...,Р&] = 1,2,...,2 - элементы весовых
векторов w от входа к скрытым нейронам. Для согласованности сети и сокращения времени вычисления входные данные нормализуются до начала обработки:
X,
X - X„
норм
А' — А'
-1 т п Ч' *1 п
В наборе данных 70% данных используется для обучения НС и 30% - для тестирования. Для обучения выбран алгоритм Левенберга-Марквардта обратного распространения (ЛМОР) [9]. Обновление весовых векторов w выполняется по формуле [10]:
Wk+1 = -(т J + ц1)-1 Jт е, (2)
где W - обобщенный весовой вектор, содержащий элементы всех весовых векторов w; I - единичная матрица; ц - параметр шага обучения, значение
которого уменьшается после каждого успешного шага; J - матрица Якобиана, содержащая первые
производные сетевых ошибок относительно весов; е - вектор сетевых ошибок во всех образцах обучения. Для оценки матрицы Якобиана используется стандартный алгоритм обратного распространения для аппроксимации матрицы Гессиана [11]. В алгоритме (2) при вычислении матрицы Якобиана используется среднеквадратичная ошибка (СКО) 5 для сетевого обучения:
1(2 - 2 )2
5 =
г=1
(3)
где обозначает 1-е значение из выборки данных;
- оценка, полученная сетью для значения ; п - количество выборок данных для сетевого обучения.
На основе МОНС, представленной на рис. 2, созданы пять моделей НС: четыре модели НС (НС-а, НС-б, НС-е, НС-г) с ПКНФА и модель НС с сигмо-идной ФА - НС-сигм.
Модели данных
Исследуется последовательность случайных величин (случайный процесс) на некотором интервале времени Т. Значение процесса в каждый момент времени г является случайной величиной. Такие процессы называются временными рядами. Модель временного ряда можно представить последовательностью наблюдений:
п
= Уг , (4)
где У( - регулярная (систематическая) составляющая исследуемого временного ряда, - аддитивная случайная помеха. В свою очередь в модели (4) регулярную составляющую можно представить различными моделями сигналов: вероятностный (стохастический) полезный сигнал (тренд курса обмена валют на финансовых рынках и др.), детерминированный полезный сигнал (сигналы в радиотехнике, радионавигации, связи и т.п.). Условно назовем модель (4) со стохастическим полезным сигналом -
первая модель данных, а модель (4) с детерминированным полезным сигналом - вторая модель данных.
Временные ряды, соответствующие первой модели данных, представлены на рис. 3. На этом рисунке представлено три набора данных (три временных ряда): набор данных 1 - ежемесячный австралийский импорт из Японии от июля 1965 г. до октября 1993 г. [12], набор данных 2 - обменный курс австралийского доллара (доллар Австралии за 1 доллар США) от июля 1969 г. до августа 1995 г. [13] и набор данных 3 - экспорт квартальных австралийских национальных счетов от сентября 1959 г. до июня 1995 г. [14].
хЮ5
Набор данных I - Ежемесячный австралийский импорт и:1 Японии
Октябрь 1969 Январь 1974 Апрель 1978 Июль 1982 Октябрь 1986 Январь 199Юктябрь 1993 Набор данных 2 - Обменный курс австралийского доллара за 1 доллар США
Июль 1969 Октябрь 1973 Январь 1978 Апрель 1982 Июль 1986 Октябрь 1990 Январь 1995 Набор данны\ 3 - Экспорт квартальных австралийских национальных счетов
1960
1966
1972 1978 1984
Рис. 3. Наборы данных (первая модель)
1990
1992
В качестве второй модели данных используем аддитивную смесь полезного сигнала у и белого шума е. Детерминированный полезный сигнал представим в виде синусоиды:
у = х х бш(2/), (5)
где х - амплитуда полезного сигнала; / - частота полезного сигнала. Белый шум е имеет нормальный закон распределения N(0,ст ), т.е. имеет нулевое
2
математическое ожидание и дисперсию ст .
Моделирование нейронных сетей
Для каждого набора данных проведено по 5 экспериментов, в которых последовательно исполь-
зуется пять моделей НС: модель НС с сигмоидной ФА - НС-сигм и четыре модели НС (НС-а, НС-б, НС-е, НС-г) с новыми ПКНФА. В этих экспериментах используются одинаковые структуры для каждого набора данных, т.е. для каждого набора данных структуры НС имеют одинаковое количество нейронов (10 нейронов) в скрытом слое, размеры скользящего окна также не отличаются.
В табл. 1 приведены СКО, вычисленные по формуле (3), для определения лучшей модели НС для прогнозирования временных рядов с первой моделью данных.
Таблица 1
СКО для результатов экспериментов с первой моделью данных
Данные Тип НС
НС-сигм НС-а НС-б НС-в НС-г
Набор данных 1 23х10-4 25х10-4 25х10-4 23х10-4 24х10-4
Набор данных 2 18х10-4 17х10-4 16х10-4 16х10-4 21х10-4
Набор данных 3 2,74х10-4 7,01 х10-4 2,33 х10-4 2,89х10-4 4,38х10-4
Из результатов тестирования НС следует, что разрабатываемые нами модели нечетких нейронов и нечетких НС второго типа [4-6] вполне успешно решают задачи прогнозирования временных рядов со стохастическим полезным сигналом (первая модель данных). СКО для прогнозируемых данных в НС с ПКНФА вида а, б, в, г (см. рис. 1) незначительно отличаются от СКО для прогнозируемых данных в обычной НС (НС-сигм). Эксперименты показывают, что модель НС с ФА вида б (НС-б) наиболее эффективна. Модели нейронной сети с ФА вида в (НС-в) также показывают хорошие результаты, но они незначительно отличаются от обычной НС. В наборах данных на рис. 3 нечеткие НС прогнозируют тренды, которые можно интерпретировать как вероятностные (стохастические) полезные сигналы на фоне случайных помех. Разрабатываемые нечеткие НС второго типа (особенно НС-б (с ФА вида б) эффективно решают подобные задачи.
В экспериментах со второй моделью данных (5) выбираем амплитуды из интервала (1; 1,5); дискретное время / - это 500 эквидистантных значений от 0 до 0,5 с; задаем / = 60 Гц. Затем добавляем гаус-совский белый шум (отношение сигнал /шум = 0,05). Отношение сигнал/шум - безразмерная величина, равная отношению мощности полезного сигнала к мощности шума [15. С. 51]. Чем больше это отношение, тем меньше шум влияет на характеристики сигнала. Таким образом, на вход НС поступает временной ряд, представляющий собой упорядоченную последовательность значений, характер которой меняется во времени /. Задачей НС является прогноз значения х - амплитуды полезного сигнала на входе НС. Подобные задачи возникают во многих приложениях НС. На рис. 4 показан чистый оригинальный сигнал - синусоида (5) с амплитудой 1,5 и этот же сигнал после добавления к нему гауссовского белого шума с отношением сигнал/шум = 0,05.
0,02 0,03 0,04 0,05 0,06 0,07 0,08
Рис. 4. Сигнал для экспериментов со второй моделью данных
0,09 0,1
Время, с
Для тестирования НС со второй моделью данных выбираем 5 значений амплитуды в интервале от 1,1 до 1,5 и для каждого значения амплитуды создаем 20 зашумленных сигналов. Так же, как и с первой моделью данных, проводится 5 экспериментов,
в которых используется обычная НС с сигмоидной ФА для определения значения амплитуды. В табл. 2 приведены СКО, вычисленные по формуле (3), по выбору лучшей модели НС для определения амплитуды полезного сигнала на фоне белого шума.
Таблица 2
СКО для результатов экспериментов со второй моделью данных
Тип НС Амплитуда сигнала
1,1 1,2 1,3 1,4 1,5
НС-а 230х10-4 43х10-4 230х10-4 53х10-4 157х10-4
НС-б 129х10-4 28х10-4 41х10-4 82х10-4 339х10-4
НС-в 88Х10-4 16х10-4 4,96х10-4 1,93х10-4 4,23х10-4
НС-г 164х10-4 25х10-4 2,10х10-4 100х10-4 217х10-4
НС-сигм 278 х10-4 74х10-4 34х10-4 63х10-4 315х10-4
Из результатов тестирования НС следует, что разрабатываемые нами модели нечетких нейронов и нечетких НС второго типа вполне успешно решают задачу определения амплитуды детерминированного полезного сигнала на фоне белого шума. СКО в НС
с ФА вида а, б, в, г (см. рис. 1) в большинстве экспериментов показывают более высокую точность определения параметра детерминированного полезного сигнала. Эксперименты показывают, что модель НС с ФА вида в (НС-в) наиболее эффективна. Моде-
ли нейронной сети с ФА вида а, б, г также показывают хорошие результаты, но они незначительно отличаются от НС-сигм.
Заключение
1. Разработана структура НС с использованием метода скользящего окна для прогноза временных рядов с ФА вида а, б, в, г (см. рис. 1). Процесс обучения реализуется с помощью алгоритма Левенбер-га-Марквардта обратного распространения. Для обучения и тестирования НС используются реальные наборы данных и модели в виде аддитивной смеси детерминированного полезного сигнала и белого шума.
2. Среднеквадратичная ошибка (СКО) используется для определения лучшей модели НС. В экспериментах с прогнозированием реальных временных рядов (см. рис. 3), СКО НС с ФА вида а, б, в, г незначительно отличаются от СКО обычной НС. Эксперименты показывают, что модель НС с ФА вида б, в (см. рис. 1) наиболее эффективны. Тем не менее тестирование разработанных НС на смеси синусоидальных сигналов и гауссовского белого шума с отношением сигнал/шум = 0,05 и их сравнительный анализ с известной НС (ФА-сигмоид) показали более лучшие результаты по эффективности и точности определения параметра детерминированного полезного сигнала, особенно НС-в (НС с ФА вида в).
Литература
1. Андерсон Т.В. Статистический анализ временных рядов. - М.: Мир, 1976. - 757с.
2. Обнаружение закономерностей в массивах экспериментальных данных / Н.Г. Загоруйко, И.А. Борисова, О.А. Кутненко, Д.А. Леванов // Вычислительные технологии. - 2013. - Т.18, спец. вып. - С. 12-20.
3. Ефремова Е.А. Алгоритм выбора даты размещения субфедерального облигационного займа на основе аппарата нейронных сетей / Е.А. Ефремова // Доклады ТУСУР. -2009. - № 1(19), ч. 1. - С. 144-149.
4. Nguyen A.T. Neural network model with fuzzy activation functions for time series predictions / A.T. Nguyen, A.M. Korikov // Доклады ТУСУР. - 2016. - Т. 19, № 4. -С. 50-52.
5. Кориков А.М. Нейро-нечеткая классификация объектов и их состояний / А.М. Кориков, А.Т. Нгуен // Научный вестник НГТУ. - 2018. - № 3 (72). - С. 73-86.
6. Nguyen A.T. Models of neural networks with fuzzy activation functions / A.T. Nguyen, A.M. Korikov // IOP Conference Series: Materials Science and Engineering. - 2017. -Vol. 177. - URL: http://iopscience.iop.org/article/10.1088/ 1757-899X/177/1/012031 (дата обращения: 01.03.2018).
7. Mozaffari L. Vehicle speed prediction via a sliding-window time series analysis and an evolutionary least learning machine: A case study on San Francisco urban roads / L. Mozaffari, A. Moxaffari, N.L. Azad // Engineering Science and Technology, An International Journal. - 2015. - Vol. 18. -P. 150-162.
8. Vafaeipour M. Application of sliding window technique for prediction of wind velocity time series / M. Vafaei-pour, O. Rahbari, M.A. Rosen, F. Fazelpour, P. Ansarirad // International Journal of Energy and Environmental Engineering (Springer). - 2014. - Vol. 5. - P. 105-111.
75
9. Levenberg-Marquardt backpropagation training of multilayer neural networks for state estimation of a safety critical cyber-physical system / L.V. Chen, Yan Xing, Junzhi Zhang et al. // IEEE Transactions On Industrial Informatics. -2018. - Vol. 14, No. 8. - P. 3436-3446.
10. Nguyen A.T. Application of Artificial Neural Networks to Predict Dynamic Responses of Wing Structures due to Atmospheric Turbulence / A.T. Nguyen, J.H. Han, A.T. Nguyen // International Journal of Aeronautical and Space Sciences. - 2017. - Vol. 18 (3). - P. 474-484.
11. Hagan M.T. Training feed forward networks with the Marquardt algorithm / M.T. Hagan, M.B. Menhaj // IEEE Trans. Neural Netw. - 1994. - Vol. 5. - P. 989-993.
12. Monthly Australian imports from Japan: thousands of dollars. Jul 65 - Oct 93. - URL: https://datamarket.com/data/ set/22qx/monthly-australian-imports-from-japan-thousands-of-dollars-jul-65-oct-93#!ds=22qx&display=line (дата обращения 01.03.2018).
13. Exchange rate of Australian dollar: $A for 1 US dollar. Monthly average: Jul 1969 - Aug 1995. - URL: https://datamarket.com/data/set/22wv/exchange-rate-of-austra-lian-dollar-a-for- 1-us-dollar-monthly-average-jul-1969-aug-1995#!ds=22wv&display=line (дата обращения: 01.03.2018).
14. Quarterly Australian national accounts exports: millions of dollars at 1989/90 prices. Sep. 59 - Jun. 95. - URL: https://datamarket.com/data/set/22my/quarterly-australian-national-accounts-exports-millions-of-dollars-at-198990-prices-sep-59-jun-95#!ds=22my&display=line (дата обращения: 01.03.2018).
15. Хоровиц П. Искусство схемотехники: в 3 т. - Т. 2. Пер. с англ. / П. Хоровиц, У Хилл. - 4-е изд., перераб. и доп. - М.: Мир, 1993. - 371 c.
Нгуен Ань Ту
Аспирант отд. автоматизации и робототехники
Национального исследовательского
Томского политехнического университета (НИ ТПУ)
Ленина пр-т, 30, г. Томск, Россия, 634050
Тел.: +7-952-157-48-78
Эл. почта: [email protected]
Кориков Анатолий Михайлович
Д-р техн. наук, профессор, зав. каф. АСУ ТУСУРа,
вед. науч. сотр. Томского ф-ла
Института вычислительных технологий СО РАН
Ленина пр-т, 40, г. Томск, Россия, 634050
Тел.: +7 (382-2) 41-42-79
Эл. почта: [email protected]
Nguyen A.T., Korikov A.M.
Neural networks with polynomial piecewise-continuous activation functions for the problems of finding data patterns
This paper investigates the application of neural network models using polynomial piecewise-continuous activation function (PPCAF) to solve the problems of finding patterns in data sets. The authors apply multi-layered feed forward neural networks (NNs) with four types of PPCAF and use the sliding window method to predict a time series and determine the amplitude of a given signal on the white noise background. The training process of the multi-layered feed forward NN is conducted with the Levenberg-Marquardt back-propagation
algorithm. From the testing results, a comparison is made between a known multi-layered feed forward NN and four multi-layered feed forward NNs using various types of PPCAF. Based on the result of the comparison analysis, recommendation is made for the use of multi-layered feed forward NNs with PPCAF for the problems of finding patterns in data sets.
Keywords: fuzzy activation functions, fuzzy neural networks, neural network training, prediction, determining signal parameters, finding data patterns. doi: 10.21293/1818-0442-2019-22-1-71-76
References
1. Anderson T.W. The statistical analysis of time series. Publ: Mir, 1976. - 757p.
2. Zagoruiko N.G., Borisova I.A., Kutnenko O.A., Le-vanov D.A. Obnarujenie zakonomernostei v massivakh eksperimentalnikh dannikh [Detection of patterns in experimental data arrays]. Computatinal Technologies, 2013, vol. 18, Special ed., pp. 12-20 (in Russ.).
3. Efremova E.A. Algoritm vibora dati razmeshenya sub-federalnogo obligtsionnogo zaima na osnove apparata neiron-nikh setei [The algorithm choice date of bonded loan placing by using neural networks mathematical apparatus]. Proceedings of TUSUR University, 2009, vol. 19, no. 1, pp. 144-149 (in Russ.).
4. Melnik I.A., Erofeev L.Ya. Physical and geochemical model of low resistivity reservoir and its practical application. Geology, geophysics and development of oil and gas fields,
2014, no. 3, pp. 46-50 (in Russ.).
5. Korikov A.M., Nguyen A.T. Neiro-nechetkaya klassi-fikatsya obiektov i ikh sostoyanii [A neuro-fuzzy classification of objects and their states]. Science Bulletin of the Novosibirsk State Technical University, 2018, vol. 72, no. 3, pp. 73-86 (in Russ.).
6. Nguyen A.T., Korikov A.M. . Models of neural networks with fuzzy activation functions. IOP Conference Series: Materials Science and Engineering, 2017, vol. 177. Available at: http://iopscience.iop.org/article/10.1088/1757-899X/177/ 1/012031 (accessed: March 01, 2018).
7. Mozaffari L. Vehicle speed prediction via a sliding-window time series analysis and an evolutionary least learning machine: A case study on San Francisco urban roads. Engineering Science and Technology, An International Journal,
2015, vol. 18, pp. 150-162.
8. Vafaeipour M., Rahbari O., Rosoen M.A., Fazelpour F., Ansarirad P. Application of sliding window technique for prediction of wind velocity time series. International Journal of Energy and Environmental Engeering (Springer), 2014, vol. 5, pp. 105-111.
9. Chen L.V., Yan Xing, Junzhi Zhang et al. LevenbergMarquardt backpropagation training of multilayer neural networks for state estimation of a safety critical cyber-physical system. IEEE Transactions On Industrial Informatics, 2018, vol. 14, no. 8, pp. 3436-3446.
10. Nguyen A.T, Han J.H., Nguyen A.T. Application of Artificial Neural Networks to Predict Dynamic Responses of Wing Structures due to Atmospheric Turbulence. International Journal of Aeronautical and Space Sciences, 2017, vol. 18, no. 3, pp. 474-484.
11. Hagan M.T., Menhaj M.B. Training feed forward networks with the Marquardt algorithm. IEEE Trans. Neural Netw., 1994, vol. 5, pp. 989-993.
12. Monthly Australian imports from Japan: thousands of dollars. Jul 65 - Oct 93. Available at: https://datamarket.com/ data/set/22qx/monthly-australian-imports-from-japan-thousands-of-dollars-jul-65-oct-93#!ds=22qx&display=line (accessed: 01 March 2018).
13. Exchange rate of Australian dollar: $A for 1 US dollar. Monthly average: Jul 1969 - Aug 1995. Available at: https://datamarket.com/data/set/22wv/exchangerate-of-austra-lian-dollar-a-for-1-us-dollar-monthly-average-jul-1969-aug-1995#!ds=22wv&display=line (accessed: 01 March 2018).
14. Quarterly Australian national accounts exports: millions of dollars at 1989/90 prices. Sep 59 - Jun 95. Available at: https : //datamarket.com/data/set/22my/quarterly -australian-national-accounts-exports-millions-of-dollars-at-198990-prices-sep-59-jun-95#!ds=22my&display=line (accessed: March 01, 2018).
15. Horowitz P., Hill W. The Art of Electronics. M.: Mir, 1993, vol. 3, 371 p.
Anh T. Nguyen
PhD student, Department of Automation and Robotics,
Tomsk Polytechnic University
30, Lenin pr., Tomsk, Russia, 634050
Phone: +7-952-157-48-78
Email: [email protected]
Anatoly M. Korikov
Doctor of Engineering, Professor,
Head of the Department of Automated Control Systems
Tomsk State University of Control Systems
and Radioelectronics (TUSUR)
40, Lenin pr., Tomsk, Russia, 634050;
Leading researcher at Tomsk Branch of the Institute
of Computing Technologies SB RAS
Phone: +7 (382-2) 41-42-79
Email: [email protected]
