CC BY
67
DOI: 10.47026/1810-1909-2022-1-14-22
УДК 621.316.91 ББК 31.247
В В. АНДРЕЕВ, Л.А. СЛАВУТСКИЙ, Е В. СЛАВУТСКАЯ
ОБРАБОТКА СИГНАЛОВ НЕЙРОСЕТЬЮ ПРЯМОГО РАСПРОСТРАНЕНИЯ: АППРОКСИМАЦИЯ И ПРИНЯТИЕ РЕШЕНИЙ
Ключевые слова: искусственные нейронные сети, прямое распространение, обработка сигналов в электротехнике, аппроксимация, классификация, принятие решений.
Искусственные нейронные сети прямого распространения (многослойный персеп-трон) позволяют решать широкий круг регрессионных задач (аппроксимации) и задач классификации (разбиение данных на подмножества). Соответствующие алгоритмы применяются в электротехнике и энергетике. Особенностью такой искусственной нейронной сети является то, что обучающая выборка может подаваться на вход в произвольной последовательности. Поэтому сами записи сигналов при ее обучении должны формироваться с учетом их временных зависимостей. В работе предлагается использование искусственной нейронной сети в скользящем временном окне. На простых примерах переходных процессов и релейной защиты проанализированы возможности аппроксимации временной формы сигналов и проблемы распознавания при помощи искусственной нейронной сети параметров сигналов вблизи нулевых и пороговых значений. Показано, что ошибки в работе искусственной нейронной сети могут быть компенсированы. Выбор длительности скользящего окна должен обязательно учитывать необходимость дополнительной обработки данных с выхода нейронной сети в виде их статистического анализа, аппроксимации или сглаживания полученных зависимостей.
Аппарат искусственных нейронных сетей (ИНС) получает всё большее распространение [1, 2, 7], в том числе в электротехнике и электроэнергетике [19, 20, 24] для анализа сигналов [11, 18, 29], режимов работы энергосистемы [13, 22, 25], определения места повреждения [9, 12, 16, 28]. Чаще всего используются нейронные сети прямого распространения (многослойный персептрон) [5, 6, 26]. Они позволяют решать широкий круг задач классификации и регрессии [17, 21, 23], методы их обучения совершенствуются [8, 27]. Однако такие ИНС имеют ряд принципиальных ограничений [3, 4]. В отличие от рекуррентных нейронных сетей с обратными связями [15] они не запоминают последовательность, в которой на них подаются обучающие данные. То есть для анализа сигналов [11] и динамических процессов [10] для ИНС прямого распространения необходимо создавать специальную обучающую выборку, в которую заложена информация об изменениях временных параметров. В случае, когда диапазон варьирования входных параметров ИНС достаточно ограничен, сеть обучается лучше [2]. Например, при анализе сигналов промышленной частоты ее изменения ограничиваются достаточно узким диапазоном около 50 Гц, и уровень нелинейных искажений определяется спадающими по амплитуде гармониками основной частоты [29].
ИНС может использоваться в скользящем временном окне при подаче на входные нейроны последовательных отсчетов сигнала. Такой подход анализируется в настоящей работе. Показаны возможности обработки сигналов
и статистического анализа результатов функционирования нейросети. Оценка точности и статистических параметров диапазона варьирования сигнала на выходе ИНС является, по существу, задачей принятия решений. Соответствующие возможности проанализированы в настоящей работе на простейших примерах.
Пример обработки сигналов. Проанализируем возможности использования ИНС на примере функции отклика апериодического звена:
S(t) = K (1 - exp(-^l, (1)
v T У
где K - коэффициент усиления; T - постоянная времени; ф - момент начала оцифровки сигнала.
Структура соответствующего многослойного персептрона приведена на рис. 1.
S(t)
Рис. 1. Структура многослойного персептрона
На вход нейронной сети подаются отсчёты дискретизированного сигнала, на выходе формируются значения искомых параметров. При обучении ИНС значения K и T задаются в виде случайных чисел в выбранном достаточно широком диапазоне варьирования, ф - случайный момент времени, формируемый в пределах временного интервала оцифровки (скользящего окна). Примеры диаграмм рассеяния K и T при обучении ИНС показаны на рис. 2.
Как видно из рис. 2, при обучающей выборке 3000 записей сигнала ошибки оказываются значительными: средняя ошибка - до 2%, а максимальные ошибки превышают 10%. Кроме того, при вычислении постоянной времени T определение её максимальных значений происходит с регулярной погрешностью (насыщение в правой диаграмме рис. 2). Это связано с тем, что ИНС не может распознать малые значения показателя экспоненты в формуле (1).
В результате невысокой вычислительной точности ИНС её использование в режиме «если то» (if then) приводит к значительным «скачкам» значений K и T со смещением скользящего окна оцифровки сигнала. Варьирование этих параметров на выходе ИНС достигает десятков процентов.
б
Рис. 2. Диаграммы рассеяния для коэффициента усиления (а) и постоянной времени (б)
Однако в пределах временного интервала, соответствующего длительности скользящего окна, точность использования нейросетевого алгоритма может быть повышена за счёт дополнительной обработки сигнала: усреднения, медианного сглаживания и т.д. Кроме того, в пределах интервала оцифровки сигнала могут использоваться алгоритмы, связанные с оценкой приращения сигнала на каждом шаге смещения скользящего окна:
М (?) = АК + АТ +—А?, (2)
дК дТ д?
где АК, АТ - приращения искомых параметров по результатам использования ИНС; А?1 - шаг дискретизации (смещение скользящего окна). Условие
дЧ дЧ
АЗ (К, Т) =——АК +—АТ = 0 (3)
дК дТ
даёт возможность с учетом временного изменения получить связь между приращением сигнала и приращениями искомых параметров, возникающими
в результате ошибок ИНС. Внесение соответствующих поправок в значения К, Т может осуществляться в рамках последовательного рекуррентного алгоритма. Обнаружено, что такой подход даёт значительное увеличение точности аппроксимации даже без учёта взаимной связи К и Т.
На рис. 3 приведён самый простейший вариант использования (3) при разбиении зависимости на три непересекающихся временных участка.
о.е
Как видно из рис. 3, внесение поправок в значения К, Т на трех интервалах (без их плавного временного смещения) приводит к приемлемой точности аппроксимации Б(?). Погрешность определения К и Т по результатам использования ИНС в режиме «если то» до дополнительной обработки достигала 40%.
Обсуждение. Обозначенные выше проблемы распознавания при помощи ИНС значений функции вблизи нулевых и пороговых значений (малая величина экспоненты в (1) при насыщении 5(У)) проявляется не только в задачах аппроксимации, но и в задачах классификации и принятия решений. Поясним это на примере нейромоделирования режимов срабатывания релейной защиты. Соответствующий графический пример приведён на рис. 4.
Здесь показан случай, когда на выходе многослойного персептрона в качестве целевой используется ступенчатая функция, соответствующая пересечению сигналом порогового значения. Как показано в [14], ошибки в работе нейроалгоритма возникают вблизи порога срабатывания защиты. Это позволяет оценить величину уставки А, за пределами которой ИНС в режиме «если то» проводит вычисления со стопроцентным распознаванием. Величина А зависит от размеров обучающей выборки и количества циклов (эпох) обучения [14]. При этом для входных значений ИНС в пределах интервала А процент нераспознанных вычислительных путей существенно зависит от статистического распределения тестирующей выборки и требует дополнительных статистических
оценок. Характерно, что ИНС решает задачи аппроксимации со стопроцентной точностью при значительном превышении тестовыми данными порога срабатывания защиты: ошибки не возникают даже в том случае, когда тестовые данные выходят за диапазон варьирования значений обучающей выборки.
Рис. 4. Иллюстрация распознавания пороговых значений сигнала при помощи ИНС
Фот, г(1(1
7
О
-1 ..... .......
q п 2и <рш, rad
Рис. 5. Диаграмма рассеяния при распознавании фазы сигнала промышленной частоты
Особенности возникновения ошибок нейроалгоритмов вблизи пороговых значений наглядно продемонстрированы в [29] на примере распознавания
фазы сигнала промышленной частоты при нелинейных искажениях. На рис. 5 показана соответствующая диаграмма рассеяния. При высоком качестве обучения ИНС в целом ошибки в определении фазы сигнала возникают при пересечении сигналом нуля (значения фазы 0, п, 2п).
Заключение. Таким образом, искусственная нейронная сеть прямого распространения (многослойный персептрон) может использоваться при обработке сигналов в электротехнике и электроэнергетике в режиме скользящего окна. Подход может достаточно эффективно применяться для аппроксимации формы сигналов и моделирования режимов работы релейной и кибернетической защит. При этом временная протяжённость скользящего окна определяется в каждом конкретном случае частотой оцифровки сигналов, быстродействием используемых вычислительных средств. Выбор длительности скользящего окна должен обязательно учитывать необходимость дополнительной обработки данных с выхода нейронной сети в виде их статистического анализа, аппроксимации или сглаживания полученных зависимостей.
Литература
1. Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинформатика. Новосибирск: Наука, 1998. 296 с.
2. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001. 382 с.
3. МинскийМ., Пейперт С. Персептроны. М.: Мир, 1971. 261 с.
4. ПетровА.П. О возможностях перцептрона // Известия АН СССР. Техническая кибернетика. 1964. № 6. C. 25-57.
5. Славутская Е.В., Славутский Л.А. О выборе структуры искусственных нейросетей и алгоритмов анализа психодиагностических данных // Казанский педагогический журнал. 2020. № 5(142). С. 202-211.
6. Славутская Е.В., Абруков В. С, Славутский Л.А. Простые нейросетевые алгоритмы для оценки латентных связей психологических характеристик младших подростков // Экспериментальная психология. 2019. Т. 12, № 2. С. 131-144.
7. Хайкин С. Нейронные сети: полный курс. 2-е изд. М.: Вильямс, 2006. 1104 с.
8. Basodi S., Zhang H., Pan Y. Gradient amplification: An efficient way to train deep neural networks. Big Data Mining and Analytics, 2020, vol. 3(3), pp. 196-207.
9. Bhattacharya B., Sinha А. Intelligent Fault Analysis in Electrical Power Grids. In: IEEE 29th International Conference on Tools with Artificial Intelligence (ICTAI). Boston, 2017, pp. 985-990. DOI: 10.1109/ICTAI.2017.00151.
10. Burton B., Harley R.G. Reducing the computational demands of continually online-trained artificial neural networks for system identification and control of fast processes. IEEE Transactions on Industry Applications, 1998, vol. 34(3), pp. 589-596.
11. Bychkov A., Slavutskii L., Slavutskaya E. Neural Network for Pulsed Ultrasonic Vibration Control of Electrical Equipment. In: 2020 International Ural Conference on Electrical Power Engineering (UralCon), 2020, pp. 24-28. DOI: 10.1109/UralCon49858.2020.9216248.
12. Coury D. V., OleskoviczM., AggarwalR.K. An ANN routine for fault detection, classification and location in transmission lines. Electrical Power Components and Systems, 2002, no. 30, pp. 1137-1149.
13. Dharmendra K., Moushmi K., Zadgaonkar A.S. Analysis of generated harmonics due to transformer load on power system using artificial neural network. International journal of electrical engineering, 2013, vol. 4(1), pp. 81-90.
14. Ivanov S., NikandrovM., Lariukhin A. Neuro Algorithm Accuracy Evaluation for the Anomalies Detecting in Overcurrent Protection Operation. In: 2021 International Ural Conference on Electrical Power Engineering (UralCon), 2021, pp. 116-120. DOI: 10.1109/UralCon52005.2021.9559614.
15. Grossberg S. A Path Toward Explainable AI and Autonomous Adaptive Intelligence: Deep Learning, Adaptive Resonance, and Models of Perception, Emotion, and Action. Front. Neurorobot, 2020, vol. 14. DOI: https://doi.org/10.3389/fnbot.2020.00036.
16. He Z., Lin S., Deng Y., LiX., Qian Q. A rough membership neural network approach for fault classification in transmission lines. International Journal of Electrical Power and Energy Systems, 2014, vol. 61, pp. 429-439.
17. Jain A., Thoke A.S., Patel R.N. Fault classification of double circuit transmission line using artificial neural network. International Journal of Electrical Systems Science and Engineering, 2008, vol. 1, pp. 230-235.
18. Jamil M., Kalam A., Ansari A.Q., Rizwan M. Generalized neural network and wavelet transform based approach for fault location estimation of a transmission line. Applied Soft Computing, 2014, vol. 19, pp. 322-332.
19. Keerthipala W.W.L., Low Tah Chong, Tham Chong Leong. Artificial neural network model for analysis of power system harmonics. IEEE International Conference on Neural Networks, 1995, vol. 2, pp. 905-910.
20. Kulikov A.L., Loskutov A.A., Mitrovic M. Improvement of the technical excellence of multiparameter relay protection by combining the signals of the measuring fault detectors using artificial intelligence methods. In: International Scientific and Technical Conference Smart Energy Systems 2019 (SES-2019), 2019, vol. 124. DOI: https://doi.org/10.1051/e3sconf/201912401039.
21. Mahanty R.N., Dutta Gupta P.B. Comparison of fault classification methods based on wavelet analysis and ANN. Electric Power Components and Systems, 2006, vol. 34, pp. 47-60.
22. Mazumdar J., HarleyR.G., LambertF., Venayagamoorthy G. Neural Network Based Method for Predicting Nonlinear Load Harmonics. Power Electronics, IEEE Transactions, 2007, vol. 22(3), pp. 1036-1045. DOI: 10.1109/TPEL.2007.897109.
23. MontgomeryD.C. Design and Analysis of Experiments. - John Wiley & Sons, Inc. 1997, 757 p.
24. Niekerk C.R., Rens A.P.J., Hoffman A.J. Identification of types of distortion sources in power systems by applying neural networks. In: 6th IEEE AFRICON, 2002, vol. 2(2), pp. 829-834.
25. Osowski S. Neural network for estimation of harmonic components in a power system. IEEЕ Proceedings on Generation, Transmission and Distribution, 1992, vol. 139(2), pp. 129-135.
26. RosenblattF. Principles of neurodynamics. Washington, Spartan books, 1962.
27. RumelhartD. E., Hinton G. E., Williams R. J. Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing. Vol. 1. Cambridge, MA: MIT Press, 1986, pp. 318-362.
28. Silva K.M., Souza B.A., Brito N.S.D. Fault detection and classification in transmission lines based on wavelet transform and ANN. IEEE Transactions on Power Delivery, 2006, vol. 21, pp. 2058-2063.
29. Slavutskiy A, SlavutskiiL., Slavutskaya E. Neural Network for Real-Time Signal Processing: the Nonlinear Distortions Filtering. In: 2021 International Ural Conference on Electrical Power Engineering (UralCon), 2021, pp. 84-88. DOI: 10.1109/UralCon52005.2021.9559619.
АНДРЕЕВ ВЯЧЕСЛАВ ВЛАДИМИРОВИЧ - студент IV курса факультета радиоэлектроники и автоматики, Чувашский государственный университет, Россия, Чебоксары ([email protected]).
СЛАВУТСКИЙ ЛЕОНИД АНАТОЛЬЕВИЧ - доктор физико-математических наук, профессор кафедры автоматики и управления в технических системах, Чувашский государственный университет, Россия, Чебоксары ([email protected]; ОКСГО: https://orcid.org/0000-0001-6783-2985).
СЛАВУТСКАЯ ЕЛЕНА ВЛАДИМИРОВНА - доктор психологических наук, профессор кафедры психологии и социальной педагогики, Чувашский государственный педагогический университет имени И.Я. Яковлева, Россия, Чебоксары ([email protected]; ОКСШ: https://orcid.org/0000-0002-3759-6288)._
Vyacheslav V. ANDREEV, Leonid A. SLAVUTSKII, Elena V. SLAVUTSKAYA FEED FORWARD NEURAL NET SIGNAL PROCESSING: APPROXIMATION AND DECISION MAKING
Key words: artificial neural networks, forward propagation, signal processing in electrical engineering, approximation, classification, decision-making.
Feedforward artificial neural networks (multilayer perceptron) allow solving a wide range of regression (approximation) and classification (data splitting into subsets) problems. The corresponding algorithms are applied in electrical and power engineering. The peculiarity of such an artificial neural network is that the training sample can be submitted to the input in an arbitrary sequence. Therefore, the signals themselves during artificial neural network training should be formed taking into account their time form. The paper proposes the use of artificial neural network in a sliding time window. Using simple examples of transients and relay protection, the paper analyses the possibilities of the signals' time form approximation and the problems of recognition using the artificial neural network of the signal parameters near zero and threshold values. It is shown that errors in the operation of the artificial neural network can be compensated. The choice of the duration of the sliding window must necessarily take into account the need for additional processing of data from the output of the neural network in the form of their statistical analysis, the obtained dependencies approximation or smoothing.
References
1. Gorban' A.N., Dunin-Barkovskiy V.L., Kirdin A.N. et al. Neyroinformatika [Neuroinfor-matics]. Novosibirsk, Nauka Publ., 1998, 296 p.
2. Kruglov V.V., Borisov V.V. Iskusstvennye neironnye seti. Teoriya i praktika [Neural networks. Theory and practice]. Moscow, Goryachaya liniya Telekom Publ., 2001, 382 p.
3. Minskiy M., Peypert S. Perseptrony [Perceptions]. Moscow, Mir Publ., 1971, 261 p.
4. Petrov A.P. O vozmozhnostyakhpertseptrona [On the capabilities of the perceptron]. Izvestiya ANSSSR. Tekhnicheskaya kibernetika, 1964, no. 6, pp. 25-57.
5. Slavutskaya E., Slavutskiy L. O vybore struktury iskusstvennykh neyrosetey i algoritmov analiza psikhodiagnosticheskikh dannykh [On choosing the artificial neural networks structure and the algorithms for psycho diagnostic data analyzing]. Kazan pedagogical journal, 2020, no. 5(142), pp. 202-210. DOI: 10.34772/KPJ.2020.142.5.026.
6. Slavutskaya E.V., Abrukov V.S., Slavutskii L.A. Prostyye neyrosetevyye algoritmy dlya otsenki latentnykh svyazey psikhologicheskikh kharakteristik mladshikh podrostkov [Simple neuro network algorithms for evaluating latent links of younger adolescent's psychological characteristics]. Experimental Psychology, 2019, vol. 12, no. 2, pp. 131-142.
7. Haykin S. Neyronnyye seti: polnyy kurs. 2-ye izd. [Neural networks: a complete course. 2nd ed.]. Prentice Hall, NJ, 2006, 1104 p.
8. Basodi S., Zhang H., Pan Y. Gradient amplification: An efficient way to train deep neural networks. Big Data Mining and Analytics, 2020, vol. 3(3), pp. 196-207.
9. Bhattacharya B., Sinha A. Intelligent Fault Analysis in Electrical Power Grids. In: IEEE 29th International Conference on Tools with Artificial Intelligence (ICTAI). Boston, 2017, pp. 985-990. DOI: 10.1109/ICTAI.2017.00151.
10. Burton B., Harley R.G. Reducing the computational demands of continually online-trained artificial neural networks for system identification and control of fast processes. IEEE Transactions on Industry Applications, 1998, vol. 34(3), pp. 589-596.
11. Bychkov A., Slavutskii L., Slavutskaya E. Neural Network for Pulsed Ultrasonic Vibration Control of Electrical Equipment. In: 2020 International Ural Conference on Electrical Power Engineering (UralCon), 2020, pp. 24-28. DOI: 10.1109/UralCon49858.2020.9216248.
12. Coury D.V., Oleskovicz M., Aggarwal R.K. An ANN routine for fault detection, classification and location in transmission lines. Electrical Power Components and Systems, 2002, no. 30, pp. 1137-1149.
13. Dharmendra K., Moushmi K., Zadgaonkar A.S. Analysis of generated harmonics due to transformer load on power system using artificial neural network. International journal of electrical engineering, 2013, vol. 4(1), pp. 81-90.
14. Ivanov S., Nikandrov M., Lariukhin A. Neuro Algorithm Accuracy Evaluation for The Anomalies Detecting in Overcurrent Protection Operation. In: 2021 International Ural Conference on Electrical Power Engineering (UralCon), 2021, pp. 116-120. DOI: 10.1109/UralCon52005.2021.9559614.
15. Grossberg S. A Path Toward Explainable AI and Autonomous Adaptive Intelligence: Deep Learning, Adaptive Resonance, and Models of Perception, Emotion, and Action. Front. Neurorobot, 2020, vol. 14. DOI: https://doi.org/10.3389/fnbot.2020.00036.
16. He Z., Lin S., Deng Y., Li X., Qian Q. A rough membership neural network approach for fault classification in transmission lines. International Journal of Electrical Power and Energy Systems, 2014, vol. 61, pp. 429-439.
17. Jain A., Thoke A.S., Patel R.N. Fault classification of double circuit transmission line using artificial neural network. International Journal of Electrical Systems Science and Engineering, 2008, vol. 1, pp. 230-235.
18. Jamil M., Kalam A., Ansari A.Q., Rizwan M. Generalized neural network and wavelet transform based approach for fault location estimation of a transmission line. Applied Soft Computing, 2014, vol. 19, pp.. 322-332.
19. Keerthipala W.W.L., Low Tah Chong, Tham Chong Leong. Artificial neural network model for analysis of power system harmonics. IEEE International Conference on Neural Networks, 1995, vol. 2, pp. 905-910.
20. Kulikov A.L., Loskutov A.A., Mitrovic M. Improvement of the technical excellence of multiparameter relay protection by combining the signals of the measuring fault detectors using artificial intelligence methods. In: International Scientific and Technical Conference Smart Energy Systems 2019 (SES-2019), 2019, vol. 124. DOI: https://doi.org/10.1051/e3sconf/201912401039.
21. Mahanty R.N., Dutta Gupta P..B. Comparison of fault classification methods based on wavelet analysis and ANN. Electric Power Components and Systems, 2006, vol. 34, pp. 47-60.
22. Mazumdar J., Harley R.G., Lambert F., Venayagamoorthy G. Neural Network Based Method for Predicting Nonlinear Load Harmonics. Power Electronics, IEEE Transactions, 2007, vol. 22(3), pp. 1036-1045. DOI: 10.1109/TPEL.2007.897109.
23. Montgomery D.C. Design and Analysis of Experiments. John Wiley & Sons, Inc. 1997, 757 p.
24. Niekerk C.R., Rens A.P.J., Hoffman A.J. Identification of types of distortion sources in power systems by applying neural networks. In: 6th IEEE AFRICON, 2002, vol. 2(2), pp. 829-834.
25. Osowski S. Neural network for estimation of harmonic components in a power system. IEEE Proceedings on Generation, Transmission and Distribution, 1992, vol. 139(2), pp. 129-135.
26. Rosenblatt F. Principles of neurodynamics. Washington, Spartan books, 1962.
27. Rumelhart D.E., Hinton G.E., Williams R.J. Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing. Vol. 1. Cambridge, MA: MIT Press, 1986, pp. 318-362.
28. Silva K.M., Souza B.A., Brito N.S.D. Fault detection and classification in transmission lines based on wavelet transform and ANN. IEEE Transactions on Power Delivery, 2006, vol. 21, pp. 2058-2063.
29. Slavutskiy A, Slavutskii L., Slavutskaya E. Neural Network for Real-Time Signal Processing: the Nonlinear Distortions Filtering. In: 2021 International Ural Conference on Electrical Power Engineering (UralCon), 2021, pp. 84-88. DOI: 10.1109/UralCon52005.2021.9559619.
VYACHESLAV V. ANDREEV - 4th Year Student, Faculty of Radio Electronics and Automation, Chuvash State University, Cheboksary, Russia ([email protected]).
LEONID A. SLAVUTSKII - Doctor of Physical and Mathematical Sciences, Professor, Department of Automation and Control in Technical Systems, Chuvash State University, Russia, Cheboksary ([email protected]; ORCID: https://orcid.org/0000-0001-6783-2985).
ELENA V. SLAVUTSKAYA - Doctor of Psychological Sciences, Professor, Department of Psychology and Social Pedagogy, LYa. Yakovlev Chuvash State Pedagogical University, Russia, Cheboksary ([email protected]; ORCID: https://orcid.org/0000-0002-3759-6288).
Формат цитирования: Андреев В.В., Славутский Л.А., Славутская Е.В. Обработка сигналов нейросетью прямого распространения: аппроксимация и принятие решений // Вестник Чувашского университета. - 2022. - № 1. - С. 14-22. DOI: 10.47026/1810-1909-2022-1-14-22.
