Обучение искусственных нейросетей перцептронного типа генетическими методами Текст научной статьи по специальности «Математика»

При решении ЗК с 10 городами исходным АУС необходимо было более 30 точек сети и результат получался не всегда оптимальным. Возникали случаи захвата аттрактором двух несоседних точек. Вероятно, это было следствием несовершенных значений параметров в выражении (1), которые затруднительно подобрать. Однако модифицированный АУС выполнил данную задачу на 100%, используя при этом всего 10-15 точек. В обоих случаях результат решения проверялся с помощью алгоритма полного перебора. Экспериментальные исследования для большего количества городов подтверждают преимущества модифицированного АУС.

Можно ожидать, что дальнейшее развитие этого метода и его реализация на нейропроцессорных сетях [3] будет иметь практическую и научную ценность, что позволит решать сложные задачи, возникающие в реальных жизненных ситуациях.

ЛИТЕРАТУРА

1. Van den Bout D.E. and Miller Т.К. 1988. A traveling salesman objective function that works.

Proceedings of the IEEE International Conference on Neural Networks.

2. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика М.: Мир, 1992. 240 с.

3. Чернухин Ю.В. Нейропроцессорные сети: Монография. Таганрог: Изд-во ТРТУ, 1999.

439с.

УДК 007.52

Ю.В. Чернухин, М.А. Беляев

ОБУЧЕНИЕ ИСКУССТВЕННЫХ НЕЙРОСЕТЕЙ ПЕРЦЕПТРОННОГО ТИПА ГЕНЕТИЧЕСКИМИ МЕТОДАМИ

Искусственные нейронные сети (ИНС) представляют собой приближенную модель естественной нервной системы. Они обладают способностью решать трудно формализуемые задачи, такие как кластеризация, распознавание образов, ассоциативная обработка информации и т.д. Наибольший интерес представляет способность ИНС к обучению, т.е. к автоматической настройке параметров сети в соответствии с решаемой задачей [1].

Одной из наиболее распространенных нейросетевых моделей является модель многослойного перцептрона. Нейроны такой сети работают по следующему принципу: значения, подающиеся на входы нейрона, умножаются на соответствующие входам синаптические веса и суммируются. Полученная сумма передается в качестве аргумента активационной функции (как правило, используется гиперболический тангенс или логистическая функция), и результат подается на выход нейрона. При соединении выходов одних нейронов с входами других получается сеть, состоящая из нескольких слоев, где число слоев определяется числом соединений между Нейронами [1]. i

Обучение перцептрона предполагает наличие обучающей выборки, т.е. набора обучающих пар из векторов входных значений и соответствующих им выходных векторов. Обучение сети заключается в нахождении такого набора значений синаптических весов, при котором различие между реакцией сети на входные векторы из обучающей выборки и их целевыми векторами было бы минимальным.

Самым популярным методом обучения многослойных перцептронов является алгоритм обратного распространения ошибки, основанный на процедуре градиентного спуска [1]. Однако этот метод обладает рядом недостатков, к которым можно отнести возможность паралича перцептронной сети и возможность остановки процесса обучения в локальном минимуме. Кроме того, алгоритм обратного распространения является узко специализированным и не может быть применен к другим нейросетевым парадигмам. Таким образом, актуальной является задача поиска альтернативных методов обучения ИНС, одним из которых может являться использование генетических алгоритмов (ГА).

Генетические алгоритмы, представляющие собой механизм направленного стохастического поиска, нашли широкое применение при решении различных задач оптимизации [2]. Однако возможности их применения к проблеме обучения нейросетей остаются мало исследованными, что связано со спецификой рассматриваемой задачи [3].

В данной работе предлагается подход, позволяющий сделать обучение ИНС с помощью генетического алгоритма более эффективным.

Рассмотрим структуру простого ГА [2]. Изначально имеется набор случайно подобранных решений (особей) - родительская популяция. Различные решения комбинируются друг с другом, обмениваясь некоторыми своими параметрами, производя тем самым новый набор - дочернюю популяцию. Над ней, в свою очередь, производится процедура мутации, т.е. случайное изменение некоторых параметров, выбранных с заданной вероятностью особей. После этого из обеих популяций производится выбор особей, содержащих наилучшие решения, и формирование из них новой популяции родителей. Этот процесс продолжается до тех пор, пока все особи не будут обладать близкими решениями (сходимость ГА) или не будет найдено решение, с заданной точностью удовлетворяющее условиям задачи.

Решения в ГА кодируются битовой строкой, называемой хромосомой. Рассмотрим формат хромосомы для описания рассматриваемой нейросети перцеп-тронного типа.

Сеть может быть представлена матрицей весов, где на пересечении ьй строки и _]-го столбца находится значение веса связи от ьго нейрона к ^му. Если расположить все элементы этой матрицы в одну строку, получится хромосома, условно разделенная на участки, каждый из которых соответствует одному синаптическому весу. Участок может представлять собой последовательность битов, задающую вещественное значение веса.

Оператор рекомбинации представляется оператором кроссовера [2]. Суть одной из его разновидностей, одноточечного кроссовера, состоит в том, что бе-

рутся две хромосомы, случайным образом выбирается точка разрыва и все биты одной хромосомы, находящиеся по одну сторону от этой точки, меняются с соответствующими битами другой хромосомы. В результате получаются две дочерние особи, несущие черты обоих родителей. Таким образом, производится обмен и комбинация лучших параметров решения.

Использование оператора кроссовера в описанной форме, однако, является мало эффективным, так как при единственной точке разрыва на хромосоме изменяется значение только одного синаптического веса, содержащего эту точку, а все остальные веса просто копируются из одного решения в другое. Поэтому в данной работе предлагается использовать модифицированные операторы кроссовера и мутации, работающие с отдельными участками хромосомы. При таком подходе рекомбинация двух особей будет заключаться в применении традиционного оператора кроссовера отдельно к каждому участку хромосомы, описывающему один вес. Процедуры оценка и отбора по-прежнему производятся над целыми хромосомами, т.к. решение формируется всей совокупностью синаптических весов.

Таким образом, получается, что особью для операторов мутации и рекомбинации является отдельный вес сети, а для оператора селекции - вся нейросеть.

Вероятность попадания особи в следующую популяцию определяется значением оценочной функции, называемой также функцией фитнесса и определяющей степень пригодности решения. Данная функция должна быть выбрана таким образом, чтобы она имела экстремум и ее оптимизация (поиск максимума) приводила к минимизации ошибки [2].

В данной работе использовалась функция, состоящая из трех слагаемых, являющихся обратными величинами средней ошибке по выборке, максимальной ошибке на выборке и среднему значению синаптических весов. Эти величины умножаются на коэффициенты, определяющие их вклад в значение фитнесса. Ошибка для каждой обучающей пары вычисляется как модуль разности между нормами входного и целевого векторов.

Первое слагаемое функции фитнесса определяет направление минимизации суммарной ошибки сети. Второе слагаемое определяет направление минимизации максимальной ошибки. Третье слагаемое является вспомогательным. Оно выбрано с целью уменьшения значений весов при попадании сети в область малого изменения ошибки, т.е. в область насыщения активационной функции. В этом случае при очень большом диапазоне изменения весов изменение ошибки будет очень малым, и процесс поиски может сильно затянуться.

Так как третье слагаемое является вспомогательным, оно должно влиять на процесс поиска только в случае малого изменения первых двух параметров, следовательно, коэффициент при нем должен быть гораздо меньше, чем при слагаемых, соответствующих значению ошибки.

В работе для битового кодирования вещественных значений весов было использовано представление чисел в формате с фиксированной точкой. Такое кодирование, однако, обладает существенным недостатком, связанным с большой неравнозначностью вклада старших и младших битов в изменение ошибки. При попадании в локальный оптимум сеть будет стремиться к сохранению значений

старших разрядов, т.к. их изменение приведет к большому изменению ошибки, в то время как вклад младших разрядов в ошибку будет гораздо меньшим. Таким образом, решение может очень долго задерживаться в окрестности локального оптимума, определяемой текущими значениями старших битов. Для вывода ее из этой окрестности может быть использована предлагаемая в данной работе процедура изменения вероятности мутации в зависимости от текущего состояния популяции. Эта процедура заключается в нахождении среднего изменения ошибки на определенном числе шагов поиска (этапе поиска). Если различие между значениями, измеренными на текущем и предыдущем этапах, различаются не значительно (в пределах 1%), вероятность мутации увеличивается и через некоторое количество шагов возвращается к прежнему значению. Таким образом, при долгом нахождении популяции в локальном оптимуме высокая мутация дает ей возможность покинуть его.

Предложенный метод был исследован на задачах, предполагающих использование нейросетей, состоящих из 5-7 нейронов. Эксперименты показали, что при увеличении числа нейронов эффективность использования предложенных генетических операторов возрастает по сравнению с использованием исходных операторов.

На рассмотренных задачах не удалось достичь значительного выигрыша в скорости обучения, по сравнению с алгоритмом обратного распространения. Однако генетический метод имеет преимущества в своей универсальности. С небольшими модификациями он может быть применен практически к любой нейро-сетевой парадигме, не зависимо от ее структуры и способа функционирования.

ЛИТЕРАТУРА

1. Чернухин Ю. В. «Нейропроцессорные сети». Таганрог: ТРТУ, 1999.

2. Курейчик В.М., Лебедев Б.К., Нужное Е.В. Учебное пособие по курсу «Генетические методы оптимизации». М., 1996.

3. Whitley D. «Genetic Algorithms and Neural Networks». 1995.

УДК 681.325.(681.324)

В.Ф. Гузик, B.E. Золотовский, В.Б. Резников КОММУНИКАЦИОННЫЕ СРЕДСТВА ВЫЧИСЛИТЕЛЬНЫХ СЕТЕЙ

Требования к производительности современных компьютеров постоянно растут. Самой высокой производительностью из всех типов компьютеров обладают суперкомпьютеры. Решение задачи создания высокопроизводительных компьютеров упирается в проблему преодоления физического предела. Уровень современных технологий подошел к наивысшей точке и для существенного прорыва в этой области необходим переход к принципиально новым технологиям. Это могут быть нейро-, квантовые или оптические компьютеры, которые, однако, в данной области ещё не нашли достаточно приемлемого технологического решения.