CC BY
81
УДК 519.95
АВТОМАТИЗИРОВАННАЯ ТЕХНОЛОГИЯ МОДУЛЬНОГО ПРИНЦИПА ОБУЧЕНИЯ И САМООРГАНИЗАЦИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
© В.П. Рыков
Ключевые слова: искусственные нейронные сети; самоорганизация нейронных сетей; автоматизированная технология; модульный принцип обучения.
Приведены идеи разработки автоматизированной системы модульного принципа обучения и самоорганизации искусственных нейронных сетей.
Искусственные нейронные сети (ИНС) прочно вошли в нашу жизнь и в настоящее время широко используются при решении самых разнообразных задач и активно применяются там, где обычные алгоритмические решения оказываются неэффективными или вовсе невозможными [1]. В числе задач, решение которых доверяют искусственным нейронным сетям, можно назвать следующие: задачи классификации, прогнозирования временных рядов, распознавания образов и т. д. [2-3].
Однако использование нейронных сетей на практике предполагает ряд ощутимых неудобств, например, таких, как необходимость значительных временных затрат на обучение сети или сложность подбора оптимальной структуры ИНС для конкретной задачи. Возможным вариантом повышения скорости обучения может являться модульный принцип, заключающийся в последовательном поиске решения не во всем пространстве весовых коэффициентов, а отдельно для каждого модуля сети.
Использование модульного принципа обучения в ИНС предполагает ряд весомых преимуществ [4]:
- более высокая скорость обучения сети;
- легкость моделирования тех объектов, у которых уже известно устройство некоторых подсистем -таким образом, появляется возможность последовательного обучения каждой подсистемы в отдельности;
- более удобный метод подбора структуры нейронной сети - так, в случае применения конструктивного метода появляется возможность не переобучать на каждом шагу всю сеть полностью, а производить обучение лишь добавленного модуля сети.
Итак, в каких же случаях применение модульного подхода к обучению ИНС является эффективным?
Модульный подход к обучению ИНС может дать существенный эффект в плане увеличения скорости обучения, для «составных» сетей - сетей, включающих в себя несколько объектов. Примером такой сети может являться сеть, реализующая какой-либо алгоритм шифрования, когда одним объектом является шифратор, другим - дешифратор. В таком случае появляется возможность разбить исходную нейронную сеть на соответствующие модули и производить обучение поочередно каждого из них до достижения желаемого значения невязки.
Другой ситуацией, где применение модульного принципа может дать результат, является случай, когда после обучения какой-либо нейронной сети ошибка в результатах оказалась слишком высокой. В таком случае минимизировать ошибку можно, применив конструктивный метод построения нейронной структуры [5]: добавить к существующей сети один или несколько нейронов и повторить обучение. В такой ситуации, имея уже обученный модуль сети, мы можем его зафиксировать и производить обучение только добавленной части. Таким образом, ИНС, зная весовые коэффициенты зафиксированного блока, сможет подстроить новые веса без изменения настроек уже отлаженного модуля.
Итак, идея использования модульного принципа при подборе нейронной структуры конструктивным методом может дать положительный эффект в плане уменьшения количества итераций, необходимых для обучения сети. Иллюстрацией этой идеи является рис. 1.
При этом следует отметить, что для получения выигрыша в количестве итераций применять модульный принцип обучения следует в несколько этапов: обучение
Рис. 1. Обучение нейронной сети при конструктивном методе подбора нейронной структуры с использованием модульного принципа
<Пока не достигнута ж ел з е ма я о шибка |=1-н -.1
О буч е ни \ — го б ло ка
Нет Достигнуто наименьшее значение ^
НЄЕД5КИ для данного
V гл о дул яТ1 V
Т Да
Остановка обучения «Смена модулей»
Рис. 2. Обучение нейронной сети с использованием модульного принципа N - количество модулей)
первой части сети до тех пор, пока процесс минимизации значения невязки не замедлится, что говорит о том, что обучающий модуль сети близок к предельному значению невязки; далее процесс обучения необходимо остановить и зафиксировать нейроны и связи данного модуля. Затем аналогично производится обучение остальных модулей сети. Данные действия могут быть произведены несколько раз над каждым из модулей ИНС до тех пор, пока невязка не достигнет требуемого значения. Идея заключается в постепенном подборе весовых коэффициентов для каждого из блоков сети на каждом шаге обучения.
Однако в некоторых ситуациях процесс обучения может быть настолько длинным, что человек просто физически не в состоянии следить за ходом минимизации ошибки и выполнять фиксацию модулей сети. Поэтому возникает идея автоматизировать данный процесс в рамках разработки программного комплекса для моделирования ИНС с поддержкой модульного принципа обучения. В таком случае программа сможет самостоятельно разбивать исходную структуру сети на
модули и выполнять поочередное обучение каждого из них.
При этом возникает вопрос, по какому принципу программа будет делить исходную сеть на модули, сколько нейронов должно быть в каждой части. Наиболее верным кажется решение, когда программа будет перебирать возможные варианты разбиения исходной структуры, выбирая «наилучшие» модули с точки зрения минимизации ошибки.
Кроме того, следует предоставить человеку возможность жестко указывать программе количество модулей сети, а также количество нейронов в каждом из них, т. к., например, в рассмотренных выше случаях разбиение сети на соответствующие модули является очевидным. В таком случае программа должна осуществлять только лишь обучение каждого блока ИНС.
Процесс обучения нейронной сети с использованием модульного подхода может выполняться согласно схеме, представленной на рис. 2.
Еще одной актуальной проблемой в области ИНС является проблема выбора оптимальной структуры сети. Здесь как правило пользуются либо конструктивным, либо деструктивным методом подбора структуры, что естественно требует значительных временных затрат и существенной доли ручного и интеллектуального труда. Возможным решением такой проблемы может являться идея самоорганизации нейронных сетей, когда, например, имея начальную структуру сети, в процессе обучения программа автоматически осуществляет добавление новых нейронов и изменение их функций активации до достижения наименьшего значения невязки. И так как озвученная выше идея автоматизации модульного принципа обучения близка к одному из возможных вариантов реализации ИНС с возможностью самоорганизации, а также актуальность данной проблемы, то возникает необходимость реализовать возможность самоорганизации нейронных сетей в рамках разработки программного комплекса для моделирования ИНС с поддержкой модульного принципа обучения.
Возможная модель самоорганизации ИНС представлена на рис. 3.
Рис. 3. «Конструктивная» модель самоорганизации ИНС
Следует отметить, что в случае использования модели, представленной на рис. 3, от человека требуется только выбрать количество скрытых слоев в начальной структуре сети. Модель названа конструктивной, т. к., в сущности, имитирует именно этот подход: имея минимальную начальную конфигурацию, программа должна осуществлять добавление все новых и новых нейронов к скрытым слоям сети до достижения наименьшего значения невязки. Следует отметить, что необходимо также реализовать возможность остановки процесса самоорганизации пользователем.
Таким образом, идея использования модульного принципа обучения на практике, идея автоматического деления ИНС на модули, а также идея самоорганизации нейронных сетей представляются весьма перспективными и будут разрабатываться и развиваться в дальнейшем в рамках разработки программного комплекса для моделирования ИНС с поддержкой модульного принципа обучения.
ЛИТЕРАТУРА
1. Нейронные сети: на пороге будущего. иИЬ: http://www.com-pгess.гu/aгticle.aspx?id=9663&iid=407. Загл. с экрана.
2. Арзамасцев А.А., Зенкова Н.А. Искусственный интеллект и распознавание образов: учеб. пособие. Тамбов: ИМФИ ТГУ им. Г.Р. Державина, 2010.
3. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений. М.: Финансы и статистика, 2004. 176 с. (Прикладные информационные технологии).
4. Арзамасцев А.А., Рыков В.П. Модель искусственной нейронной сети с реализацией модульного принципа обучения // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2012. Т. 17. Вып. 4. С. 1219-1224.
5. Интеллектуальные информационные системы: лекции. иЯЬ:
Ьир://§епёос$.ш/у98/лекции_-_интеллектуальные_информацион-ные_системы?ра§е=3. Загл. с экрана.
Поступила в редакцию 8 апреля 2013 г.
Rykov V.P. AUTOMIZED TECHNOLOGY OF MODULE PRINCIPLE OF STUDY AND SELF-ORGANIZATION OF ARTIFICIAL NEURON NETWORKS
The ideas of development of automized system of module principle of study and self-organization of artificial neuron networks are given.
Key words: artificial neuron networks; self-organization of neuron networks; automatized technology; module principle of study.
