CC BY
21
УДК 004.896
О совершенствовании процесса обучения нейронной сети при помощи заранее обученных фрагментов
И.Ф. Ясинский
ФГБОУВПО «Ивановский государственный энергетический университет имени В.И.Ленина»,
Иваново, Российская Федерация E-mail: [email protected]
Авторское резюме
Состояние вопроса: Для многих прикладных задач, включая энергетическую отрасль, продолжительность обучения нейросетевой системы является сдерживающим фактором, затрудняющим ее использование.
Материалы и методы: Для обучения нейронной сети применяется метод обратного распространения ошибки. Результаты: Предложен и исследован новый способ построения нейронной сети, формирующейся из заранее обученных нейросетевых фрагментов.
Выводы: Предложенная архитектура позволяет ускорить процесс обучения нейронной сети и повысить качество ее работы. Перспективным направлением развития нейросетевых технологий может являться создание и наполнение специальной базы данных, состоящей из обученных нейронных сетей, позволяющих решать различные прикладные задачи, в том числе возникающие при автоматизации энергетических процессов.
Ключевые слова: нейросетевые технологии, архитектура нейронной сети, алгоритм обучения.
On Improving Neural Network Training Process with Pre-trained Fragments
I.F. Yasinskiy
Ivanovo State Power Engineering University, Ivanovo, Russian Federation E-mail: [email protected]
Abstract
Background: For many applications, including power engineering branch, the duration of neural network training can be an obstacle, preventing its usage.
Materials and methods: The method of opposite error propagation is used for neural network training.
Results: A new principle of the neural network structure is suggested and researched. The architecture is formed by the pre-trained neural network fragments-professionals.
Conclusions: The described architecture allows to accelerate the neural network training and improve its quality of work. A promising direction in the development of neural network can be the creation and accumulation of the database of trained neural networks, that solve a variety of application tasks, including the energetic processes automation.
Key words: neural network technologies, neural network architecture, training algorithm.
Нейронные сети представляют собой особый класс систем искусственного интеллекта. Они позволяют эффективно решать задачи в условиях неопределенности, и благодаря этой способности широко используются в различных областях науки и техники для распознавания образов и прогнозирования течения процессов [1].
Нейронная сеть стандартной архитектуры (рис. 1) обычно имеет несколько слоев клеток: R - рецепторный слой, на который подаются входные данные; А - ассоциативный слой, нейроны которого интерпретируют полученную информацию; E - эффекторный слой, представляющий реакцию (или ответ) нейронной сети.
R
Рис. 1. Структурная схема нейронной сети стандартной архитектуры
В случае задачи распознавания образов нейронная сеть обучается путем предъявления на ее входной слой некоторой последовательности изображений объектов, принадле-
жащих различным классам. В процессе обучения изменяются веса между элементами так, чтобы при предъявлении образов ответы распознающей нейронной сети (или перцептрона) соответствовали заранее известным истинным ответам. После успешного обучения нейронная сеть начинает делить новые объекты на соответствующие классы.
Если требуется обучить нейронную сеть прогнозированию, то на клетки входного слоя на каждом шаге подаются последовательности данных, представляющих, как правило, значения прогнозируемой функции, изменяющейся во времени. При этом истинное значение, контролирующее правильность предсказания выходного слоя, включается в обучающие данные на следующем шаге обучения нейронной сети.
Известным является феномен, когда мозг, научившись решать некоторую задачу, пытается решать аналогичные задачи, используя те же приемы. Согласно такой идее, должна оказаться продуктивной следующая структурная схема нейронной сети, изображенная на рис. 2.
Оі = w1 Ок1 + ш2 Ок2 +... +
А
Рис. 2. Структурная схема нейронной сети с обученными фрагментами
Такая нейронная сеть уже на стадии обучения содержит фрагменты с настроенными синаптическими связями, полученными ранее при решении задач, сопряженных с данной. Согласно предложенной схеме, входной образ или его часть анализируются предварительно настроенными блоками. При обучении сети веса внутри блоков не меняются. Настройке подлежат только свободные веса ш1, ш2, на выходах фрагментов, которые могут быть получены при помощи алгоритмов минимизации функций (случайный поиск, генетический алгоритм, инерционный поиск) [2]. Ответ на выходе сети ОЇ может быть сформирован в виде линейной комбинации ответов обученных фрагментов-специалистов:
м
+Ш
м
Окм = X Окі,
і=1
где Ок/ - сигнал на выходном нейроне /-го обученного фрагмента нейросети-специалиста; w/ -весовой коэффициент, учитывающий влияние /-го обученного фрагмента на итоговый ответ.
Полученный ответ также можно подвергнуть функции активации:
Оі'=-
1
_О1 ’
1 + е~Н
где Н - постоянный коэффициент, определяющий «крутизну» сигмоидальной функции активации.
Были проведены численные эксперименты по обучению нейронной сети прогнозированию стохастической периодической функции у:
N
У] =^ А • + ф; ), / = 1,...^,
/=1
1
А =
1 + і
2 п і
2 ;
+1 = о + т,
где У] - значение функции в момент времени 1 А/ - амплитуда; w/ - частота; ф; - фаза (случайная величина); N = 20 - число слагаемых в сумме.
Для сравнения были взяты стандартная архитектура сети (рис. 1) и структура с включением заранее настроенных фрагментов (рис. 2).
Обучающие пары создавались следующим образом. На клетки входного слоя нейронной сети подавались десять последовательных значений функции уу,..., уу+9 при изменении параметра ^ с фиксированным шагом т . Истинным ответом на выходном слое выступало значение функции уу+10 в момент времени
*1+10. Таким образом, первая обучающая пара запишется в виде {у1,...,у10; у11}, вторая -
{ у2,..., у11; у12} и т.д.
Для настройки весовых коэффициентов обученных фрагментов сети использовалась аналогичная функция с другим значением шага по времени т*. Очевидно, задавая различные значения т, можно получать различные последовательности У], связанные, тем не менее, общим периодическим законом. Случайность процесса характеризуется диапазоном изменения ф.
На рис. 3 приведены графики обучения нейронной сети со стандартной архитектурой и сетей с включением различного количества заранее настроенных фрагментов.
Сравнительный анализ графиков показывает, что обучение нейронной сети с настроенными фрагментами происходит значительно бы-
стрее, и даже при длительном обучении нейронная сеть стандартной архитектуры не достигает такого же уровня правильных ответов.
По нашему мнению, дальнейшее совершенствование нейросетевых технологий будет заключаться в накоплении базы данных обу-
ченных нейронных сетей, позволяющих решать различные задачи. В процессе решения новой задачи обучающий алгоритм будет подбирать оптимальные фрагменты из базы данных для построения эффективной структуры сети (рис. 4).
Обученный
фрагмент 1
Обученный фрагмент 2
Обученный фрагмент М
База данных обученных нейронных сетей
Задача 1 Сеть 1
Сеть 2
Задача 2 Сеть 1
Сеть 2
Рис. 4. Возможности совершенствования структуры нейронных сетей: 1 - поиск оптимальных для решения данной задачи фрагментов в базе данных; 2 - построение структуры из выбранных фрагментов; 3 - настройка веса каждого фрагмента в результирующем ответе системы
1
2
Заключение
Предложенный способ построения нейронной сети заключается в использовании заранее обученных фрагментов. При этом обучение такой системы состоит в настройке внешних весовых коэффициентов, учитывающих влияние каждого фрагмента на результирующий ответ. Веса внутри обученного фрагмента при этом не меняются. Новый метод позволяет значительно повысить скорость обучения нейронной сети и расширить область приложения таких сетей в автоматических системах, включая те, что находят применение в энергетике.
Список литературы
1. Головко В.А. Нейронные сети: обучение, организация и применение. - М.: Изд-во журнала «Радиотехника», 2001. - 256 с.
2. Каллан Роберт. Основные концепции нейронных сетей: пер. с англ. - М.: Изд. дом «Вильямс», 2001. -283 с.
References
1. Golovko, V.A. Neyronnye seti: obuchenie, organi-zatsiya i primenenie [Neural networks: training, organization and application]. Moscow, Izdatel'stvo zhurnala «Radio-tekhnika», 2001. 256 p.
2. Kallan, Robert. Osnovnye kontseptsii neyronnykh setey [Basic concepts of the neural networks]. Moscow, Izdatel'skiy dom «Vil'yams», 2001. 283 p.
Ясинский Игорь Федорович,
ФГБОУВПО «Ивановский государственный энергетический университет имени В. И. Ленина», кандидат технических наук, доцент кафедры высокопроизводительных вычислительных систем, e-mail: [email protected]
