Научная статья на тему 'Генетические алгоритмы для формирования нейросетевых моделей'

Генетические алгоритмы для формирования нейросетевых моделей Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
506
113
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Камшилова Ю. А., Семёнкин Е. С.

Рассмотрен генетический алгоритм для автоматического генерирования весовых коэффициентов искусственных нейронных сетей. Проведено исследование эффективности алгоритма на тестовых задачах аппроксимации.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Генетические алгоритмы для формирования нейросетевых моделей»

Секция «Математические методы моделирования, управления и анализа данных»

УДК 519.816:519.852

А. А. Живанов Научный руководитель - А. А. Ступина Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск

АНАЛИЗ СРЕДЫ ФУНКЦИОНИРОВАНИЯ РЕГИОНОВ РОССИИ

Применение методологии анализа среды функционирования (АСФ) для сравнительного анализа социально-экономических показателей регионов России.

Управление страной требует огромной ответственности, особенно такой огромной страной как Россия. Для эффективного управления необходимо учитывать огромное количество информации. Без владения полной и точной информацией риск принятия неверных, а порой, и катастрофических решений увеличивается в разы. Очевидно, что для восприятия таких объемов информации необходим инструмент, который позволяет компактно и точно отобразить всю необходимую информацию, не потеряв при этом никаких важных данных. В качестве такого инструмента предлагается использовать методологию Data Envelopment Analysis (DEA) [1], известную в России под названием Анализ среды функционирования (АСФ).

Методология АСФ относится к граничным методам, так как этот метод основан на построении так называемой границы эффективности и анализа расположения исследуемых объектов относительно этой границы [2]. Если точка, соответствующая исследуемому объекту, расположена на границе эффективности, то функционирование такого объекта считается эффективным. Объекты, у которых соответствующие им точки расположены не на границе эффективности, считаются неэффективными.

Преимущество методологии АСФ состоит в том, что она позволяет оценивать эффективность функционирования системы не по какому-то одному выбранному критерию или искусственно созданному коэффициенту, а по всем факторам, влияющим на систему в совокупности. Кроме того, данный метод позволяет наглядно увидеть какие показатели необхо-

димо скорректировать, для выхода системы на границу эффективности.

Данная методология ранее не применялась для комплексного анализа социально-экономических показателей регионов России. В настоящий момент проведены исследования на основе статистических данных социально-экономических показателей регионов России, а именно образовательная сфера, медицинская сфера и экономическая сфера. Полученные результаты наглядно отображают какие именно показатели не позволяют региону считаться «эффективным» и каким образом необходимо изменить эти показатели, для выхода региона на границу эффективности.

Такие исследования, несомненно, будут крайне востребованы и, возможно, помогут выявить недостатки социально-экономической жизни региона, незамеченные при анализе другими методами.

Библиографические ссылки

1. Cooper W. W., Seiford L. M., Tone K. Data Envelopment Analysis : A Comprehensive Text with Models, Applications, References, and DEA-Solver Software. Boston : Kluwer Academic Publishers, 2000. 318 p.

2. Моргунов Е. П., Моргунова О. Н. Многомерная классификация сложных объектов на основе оценки их эффективности // Вестник НИИ СУВПТ : сб. науч. тр. / под общ. ред. Н. В. Василенко. Красноярск : НИИ СУВПТ, 2003. Вып. 14. С. 222-240.

© Живанов А. А., 2014

УДК 004.94

Ю. А. Камшилова Научный руководитель - Е. С. Семёнкин Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск

ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ ДЛЯ ФОРМИРОВАНИЯ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

Рассмотрен генетический алгоритм для автоматического генерирования весовых коэффициентов искусственных нейронных сетей. Проведено исследование эффективности алгоритма на тестовых задачах аппроксимации.

Интеллектуальные информационные технологии (ИИТ) - одна из наиболее перспективных научных областей [1]. ИИТ, в настоящее время, используются во многих отраслях науки. Искусственные нейронные

сети являются одной из наиболее часто применимых ИИТ, они способны решать широкий круг задач анализа данных: распознавания образов, классификации, прогнозирования и управления. При применении ней-

Актуальные проблемы авиации и космонавтики - 2014. Информационные технологии

ронных сетей к конкретной задаче, возникает проблема настройки ее параметров, в том числе настройки весовых коэффициентов.

В данной работе был реализован генетический алгоритм для настройки весовых коэффициентов искусственных нейронных сетей прямой проводимости с произвольным числом слоев и нейронов на них. Пример полносвязной нейронной сети представлен на рис. 1. В качестве активационной функции нейронов на скрытых слоях используется сигмоида:

I (*) = 7-^,

1 - е 5

где 5 - взвешенная сумма выходов нейронов с предыдущего слоя.

Рис. 1. Пример полносвязной нейронной сети

Обучение нейронной сети состоит в подборе весовых коэффициентов, таким образом, чтобы сеть давала лучшее решение задачи. Одним из наиболее распространенных методов обучения нейронной сети является алгоритм обратного распространения ошибки, осуществляющий градиентный спуск по поверхности ошибок [2]. Однако несмотря на достаточную простоту и применимость в решении большого круга задач, алгоритм обратного распространения ошибки имеет ряд серьезных недостатков:

1. В процессе обучения сети, значения весов могут, в результате коррекции, стать очень большими, что может привести к сильному замедлению процесса обучения;

2. Так как алгоритм обратного распространения ошибки использует разновидность градиентного спуска, то существует большая вероятность попадания в локальный минимум;

3. На качество решения сильное влияние оказывает выбранный размер шага.

Поэтому предлагается использовать генетические алгоритмы для автоматической настройки весовых коэффициентов нейронной сети [3], так как он эффективен при решении задач глобальной оптимизации. Генетические алгоритмы работают с бинарными хромосомами. Весовые коэффициенты нейронной сети кодируются в двоичном коде. Количество бит, отводимых для кодирования одного веса, зависит от точности и разброса и рассчитывается для каждой конкретной задачи. Пример хромосомы с закодированными весами представлен на рис. 2.

Рис. 2. Бинарная хромосома, кодирующая весовые коэффициенты нейронной сети

Далее применяется обычная схема генетического алгоритма, критерием оптимальности является ошибка моделирования нейронной сети.

Эффективность алгоритма проверялась на тестовых задачах аппроксимации [4]. Структура нейронной сети была выбрана следующая: 3 скрытых слоя и 5 нейронов на каждом. Тестирование проводилось по следующим правилам:

1. При каждых настройках генетического алгоритма выполнялось 100 запусков;

2. Соотношение обучающей и тестовой выборок: 70 % - обучающей, 30 % - тестовой;

3. Размер популяции - 500 индивидов;

4. Количество поколений - 1000;

5. Ошибка усреднялась по всем запускам.

По результатам тестирования можно сказать, что нейронная сеть с весами, подобранными при помощи генетического алгоритма, аппроксимирует тестовые задачи с большей точностью, чем та же нейронная сеть с весами, настроенными с помощью стандартного алгоритма обратного распространения ошибки.

В ходе работы был реализован генетический алгоритм для автоматической настройки весовых коэффициентов нейронных сетей. Искусственные нейронные сети с весовыми коэффициентами, настроенными с помощью генетического алгоритма, решают задачи аппроксимации с приемлемой точностью. Однако эффективность работы алгоритма сильно зависит от выбранной структуры нейронной сети.

Библиографические ссылки

1. Башмаков А. И., Башмаков И. А. Интеллектуальные информационные системы : учеб. пособие. М. : Изд-во МГТУ им. М. Э. Баумана, 2005. 304 с.

2. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы / пер. с польск. И. Д. Рудинского. М. : Горячая линия - Телеком, 2006. 384 с.

3. Цой Ю. Р., Спицын В. Г. Эволюционный подход к настройке и обучению искусственных нейронных сетей // Электронный журнал «Нейроинформати-ка». 2006. Т. 1. № 1. С. 34-61.

4. Эволюционные методы моделирования и оптимизации сложных систем : конспект лекций / Е. С. Семен-кин, М. Н. Жукова, В. Г. Жуков и др. Красноярск : Изд-во СФУ 2007.

© Камшилова Ю. А., 2014

i Надоели баннеры? Вы всегда можете отключить рекламу.