О применении генетического алгоритма для настройки искусственных нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

Решетневскуе чтения. 2013

удовлетворительными и могут быть использованы в целях управления процессом конвертерной плавки стали.

Библиографические ссылки

1. Цыпкин Я. З. Основы информационной теории идентификации. М. : Наука, 1984. 320 с.

2. Надарая Э. А. Непараметрические оценки плотности вероятности и кривой регрессии. Тбилиси : Изд. Тбил. ун-та, 1983. 194 с.

3. Медведев А. В. Непараметрические системы адаптации. Новосибирск : Наука, 1983. 174 с.

4. Воскобойников В. Г, Кудрин В. А., Якушев А. М. Общая металлургия. М. : Металлургия, 1998. 768 с.

References

1. Cypkin Ja. Z. Osnovy informacionnoj teorii identifikacii (The foundation of information identification theory). Moscow : Nauka, 1984, 320 p.

2. Nadaraia E. A. Neparametricheskie ocenki plotnosti verojtnosti i krivoy regresii (Nonparametric estimation of the probability density and the regression curve). Izd. Tbiliskogo university, 1983. 194 p.

3. Medvedev A. V. Neparametricheskie sistemy adapticii (Nonparametric adaptive systems). Novosibirsk : Nayka, 1983. 174 p.

4. Voskoboynikov V. G., Kudrin V. A., Yakushev A. M. Ob Obschay metallurgya (Overall Metallurgy). Moscow : Metallurgya, 1998. 768 с.

© Корнет М. Е., 2013

УДК 519.6

О ПРИМЕНЕНИИ ГЕНЕТИЧЕСКОГО АЛГОРИТМА ДЛЯ НАСТРОЙКИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

А. А. Коромыслова

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Россия, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 E-mail: [email protected]

Рассматривается проблема настройки весовых коэффициентов и структуры нейронной сети с помощью генетического алгоритма при решении задач аппроксимации.

Ключевые слова: генетический алгоритм, нейронные сети, задача аппроксимации.

GENETIC ALGORITHM APPLICATION FOR NEURAL NETWORKS ADJUSMENT

A. A. Koromyslova

Siberian State Aerospace University named after academician M. F. Reshetnev 31, "Krasnoyarsky Rabochy" Av., Krasnoyarsk, 660014, Russia. E-mail: [email protected]

The problem a neural network's weights and structure adjustment by means of genetic algorithm is considered for approximation problems solving.

Keywords: genetic algorithm, neural networks, approximation problem.

Искусственные нейронные сети являются одним В данной статье представлены результаты работы

из видов интеллектуальных технологий анализа алгоритма, сочетающего в себе две вычислительные

данных [1]. Они состоят из элементов, функцио- технологии (искусственных нейронных сетей и гене-

нальные возможности которых аналогичны боль- тических алгоритмов) для решения задачи аппрокси-

шинству элементарных функций биологического мации. Выбор генетического алгоритма для настрой-

нейрона. ки параметров или структуры нейронных сетей обу-

Они обучаются на основе опыта, обобщают пре- словлен высокой эффективностью д^юго алгоритм

дыдущие прецеденты на новые случаи и извлекают при решении задач га^алмот отгамюацда [3]. существенные свойства из поступающей информа- Поэтому была реализ°вана полносвязшя нейрот-

ции, которая может также содержать излишние ная сеть с произвольным числом скрытых слоев и

данные [2] нейронов на них. Нейроны на выходном и скрытых

Искусственные нейронные сети могут менять свое слоях имеют акгаваддонную функцию сигмоиду:

поведение в зависимости от внешней среды. После out = _L_, где S - это сумма произведений выхо-получения входных сигналов (возможно, вместе с 1 + b s

требуемыми выходами), они самонастраиваются для дов нейронов с предыдущего слоя, умноженных на

обеспечения требуемой реакции [2]. соответствующие весовые коэффициенты.

Математические методы моделирования, управления и анализа данных

Оценка работы алгоритма нейронных сетей, весовые коэффициенты которого настраивались

с помощью генетического алгоритма

Номер тестовой функции Параметры генетического алгоритма Ошибка на тестовой выборке

Селекция Скрещивание Мутация

1 (1 вход) Турнирная (с размером турнира 3) Двухточечное Средняя 2,97 %

2 (1 вход) Турнирная (с размером турнира 5) Двухточечное Средняя 3,75 %

3 (2 входа) Пропорциональная Двухточечное Средняя 12,66 %

4 (2 входа) Ранговая Двухточечное Средняя 14,89 %

Начальные веса выбираются случайным образом и далее настраиваются с помощью генетического алгоритма.

Результаты, полученные в ходе работы, представлены в таблице. Тестирование алгоритма проводилось при помощи программной системы по следующим правилам:

- при каждых настройках выполнялось по 100 запусков генетического алгоритма для настройки весовых коэффициентов нейронной сети;

- объем обучающей выборки 100, а тестовой - 40;

- результаты представлены для лучших настроек генетического алгоритма;

- ошибка по всем запускам усреднялась;

- ошибка в каждом запуске считалась по следующей формуле:

£ OUT - Y

E = i=0 Ymax - Ymm 100%, n

где n - размер выборки; Yi - истинное значение в точке; OUT - выход сети; Ymax - максимальное значение функции на интервале; Ymin - минимальное значение функции на интервале.

Задачи с одним входом решаются с ошибкой около 4 %, а на функциях с двумя входами дают несколько большую погрешность аппроксимации.

Полученная нейронная сеть достаточно хорошо решает задачу, при этом не требуя больших затрат времени.

Эффективность работы нейронной сети существенно зависит от ее структуры, поэтому было решено использовать генетический алгоритм для выбора эффективной структуры.

Под формированием структуры нейронной сети определяется количество слоев и число нейронов на

каждом слое, а также виды передаточных функций для нейронов.

Выбор структуры нейронной сети обусловливается спецификой и сложностью решаемой задачи. Для определения лучшей структуры сети для конкретной задачи зачастую выполняется последовательность запусков алгоритма на задаче и выбирается наиболее эффективный вариант. Результаты тестирования генетического алгоритма для выбора эффективной структуры нейронной сети подробно будут изложены в докладе.

Библиографические ссылки

1. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы / пер. с пол. И. Д. Рудинского. М. : Горячая линия - Телеком, 2006. 384 с.

2. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика / пер. с англ. Ю. А. Зуева, В. А. Точе-нова. 1992. 184 с.

3. Вороновский Г. К., Махотило К. В., Петра-шев С. Н., Сергеев С. А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. Харьков : Основа, 1997. 112 с.

References

1. Rutkovskaja D. Nejronnye seti, geneticheskie algoritmy i nechetkie sistemy / D. Rutkovskaja, M. Pilin'skij, L. Rutkovskij / per. s pol'sk. I. D. Rudinskogo. M. : Gorjachaja linija - Telekom, 2006. 384 s.

2. Uossermen F. Nejrokomp'juternaja tehnika: teorija i praktika / per. s angl. Ju. A. Zuev, V. A. Tochenov. 1992. 184 s.

3. Voronovskij G. K., Mahotilo K. V., Petrashev S. N., Sergeev S. A. Geneticheskie algoritmy, iskusstvennye nejronnye seti i problemy virtual'noj real'nosti. H. : Osnova, 1997. 112 s.

© Коромыслова А. А., 2013