Экспериментальное исследование скорости обучения нейросетей методом обратного распространения ошибки Текст научной статьи по специальности «Компьютерные и информационные науки»

ma i tyiiwimweppB^iHWinwHygpSigHff ■' иш&ытирввнитеивге^ 1 =*

среднее значение 0^(//(х)+ //(х+0)) функции принадлежности для меры Р Тогда ц/(Р, /}) = 0.5f(//(x) + M(x+0))dP,(x) и мы получаем, что условие

R

леммы 5 дает наилучшее решение в случае функции полезности 0^//(х) + Мх + 0)).

Заключение

Предлагаемый подход выбора оптимального решения можно развивать в различных направлениях. Например, можно использовать другие индексы включения нечетких множеств для упорядочения вероятностных распределений. Выбор наилучшего решения, когда результирующее отношение у/ нетранзитивно, можно осуществлять, например, на основе выделенных Парето-оптимальных множеств. Когда информация о принимаемых решениях неточна, по-видимому, последствия принимаемых решений следует описывать с помощью нечетких мер, в частности возможностных мер. Это в свою очередь приводит к задаче упорядочения распределений возможностей, которая может быть решена аналогичным образом.

Литература

1. Броневич А.Г., Каркищенко А.Н. Вероятностные и возможностные модели классификации случайных последовательностей. Таганрог: ТРТУ, 1996.

2. Броневич А.Г., Каркищенко А.Н. Мера включения Хэмминга вероятностного распределения в нечеткий интервал II Интеллектуальные САПР. Таганрог: ТРТУ, 1996, вып. 6.

3. Bronevitch A.G., Karkishchenko A.N. Fuzzy Classification of Probability Distributions // Proc. of the Fourth European Congress on Intelligent Techniques and Soft Computing, Germany, Aachen, September 2-5, 1996, v.l.

УДК [007,52:611,81]:681.3.06

Ю.В. Чернухин, А.П. Топчий, E.A. Грязин Экспериментальное исследование скорости обучения нейросетей методом обратного распространения ошибки.

В настоящее время системы автоматизированного проектирования (САПР) широко применяются в различных отраслях науки и техники. Задачи, решаемые САПР, становятся все более ресурсоемкими, и, как следствие этого, все чаще при разработке самих САПР используются нетрадиционные подходы их построения. К таким подходам можно отнести использование в САПР систем нечеткого вывода, генетических алгоритмов, параллельных технологий и нейрокомпьютерной техники (искусственных нейросетей - ИНС).

Общие принципы и базис нейросетей были предложены в работе [1] в 1962 г. Эти принципы и элементный базис нейросетей развиваются и в настоящее время. Предлагаются новые элементы и алгоритмы обучения, новые структуры и области применения нейропроцессорной техники [2,3].

На данный момент одной из самых распространенных ИНС является многослойная перцептронная нейросеть с обратным распространением ошибки (back-propagation error neural network BPNN). Такая сеть находит широкое

Гёматичёскийвыпуск

применение, но имеет недостаток, связанный с малой скоростью обучения (необходимо большое количество обучающих итераций) [4]. В данной работе предлагается и экспериментально исследуется один из методов ускорения обучения ВРШ.

Как известно [4], алгоритм обучения ВР№'1 делится на 2 этапа. Первый прямое распространение сигнала; второй обратное распространение с модификацией синаптических весов. Для удобства представим алгоритм ВР№»1 в векторной форме и запишем его для простейшей двухслойной сети, изображенной на рис. 1. В результате получим:

I) прямое распространение

Р|Л = ГцХ( - 0|;

Ъ\\\ = одт Рщ;

Р* = Га Ztл - ©2;

Ъуц = sigm Р41;

Ел = Т| -я

ОЕ| = X Е)|т Е)|.

>|

Если СЕ1 < <1, тогда вычисления оканчиваются, система обучена.

Двухслойная перцептронная искусственная нейросеть

Рецепторы 1 сл. 2 сл. Выходы

Рис. 1

II) обратное распространение

ДГЧ, = ((Ел * (Ъщ * (I - Тт гщГ) ь,;

АГ.л = (((Ел * ОД * 0 - гЧ1)) * ГЧ|) * &\л * (1 ■ Ь2;

я

АГи = £ ДГщ;

я

ДГа = ДГэд;

Г|о+о = Гн + ДГи ;

Гзд+1) = Гя + АГг/,

где 1,2 - индексы, показывающие принадлежность величины к 1-му или 2-му слою;

* - знак покомпонентного умножения двух вектор-столбцов;

3 • индекс номера образа и реакции в выборке;

1 - индекс номера временной итерации;

Р - вектор-столбец пространственной суммы;

X - вектор-столбец входного паттерна;

Г матрица синаптических весов (в начальный момент времени веса инициализируются по случайному закону из интервала (-1;!));

0 - вектор-столбец пороговых значений;

1 - вектор-столбец выходных реакций (реальных);

Ъ? вектор-строка выходных реакций первого слоя (Т знак транспонирования);

Хт - вектор-строка входного паттерна (Т - знак транспонирования);

I - единичный вектор-столбец;

Т - вектор-столбец целевых реакций (идеальных);

Е - вектор-столбец ошибок обучения;

Ет - вектор-строка ошибок обучения (Т - знак транспонирования);

СЕ - величина глобальной ошибки;

АГ • матрица приращений синаптических весов;

Ь - коэффициент обучения для матрицы синаптических весов;

Я - количество предъявленных сети образов;

N - количество воспринимающих рецепторов (количество столбцов матрицы

Г);

М - количество нейронов во входном слое(количество строк матрицы Г);

К - количество нейронов выходного слоя (как правило, равное количеству классов, различаемых ИНС);

5 • заданная глобальная погрешность обучения системы:

1

Р = ---------;——;

1 + ехр(-.Р)

}= й?

Из теории обучения нейросетей методом ВР^ЧЫ следует, что коэффициент обучения 11 принадлежит интервалу (0,01; 1,0) [4]. Этот факт обосновывается тем, что на данном интервале сходимость метода ВР№«1 является оптимальной. Однако в процессе программных экспериментов по моделированию перцетронной ИНС были получены результаты, отличные от общепринятых.

Так, при моделировании задачи “исключающего ИЛИ” на двухслойной сети (рис. 1) было установлено, что количество итераций, необходимых для полного обучения нейросети, с увеличением коэффициента обучения Ь>1 уменьшается до значения Ь £ 6. Устойчивость же системы сохраняется вплоть до значения Ь = 10. Далее система сходится, но обучение идет неустойчиво. Результаты моделирования, полученные путем двадцатикратного повтора и вычисления среднего значения, приведены в табл. 1.

Табл. 1

И 0,01 0,1 0,5 1 2 4 6 8 10 16

Итер 1587 1076 7308 4449 4057 3201 267 433 1287 4664

График скорости обучения для задачи “Исключающее ИЛИ”, построенный по Данным табл. 1, приведен на рис. 2.

I

Рис. 2

Как видно из рис. 1, минимальные значения количества итераций находятся в интервале (5;9). Этот минимум значительно глубже и смещен вправо относительно того интервала, который указан в [4].

Аналогичные результаты получены и при обучении ИНС методом ВРКЫ на выборке из четырех образов с более высоким процентом пересечения образов Между собой, чем в случае “исключающее ИЛИ” Размер рецептивного поля N=64 (8X8) дня приведенной на рис.1 двухслойной сети. Результаты обучения приведены в табл. 2. Эти результаты получены путем двадцатикратного повтора и вычисления среднего значения.

Табл. 2

И 0,01 0,1 0,5 1 2 4 6 8 10 16

Итер 4865 2377 1238 621 408 302 107 369 633 1735

График скорости обучения для сложной выборки, построенный в соответствии с табл. 2, показан на рис.З.

Рис. 3

Полученные в ходе экспериментов результаты позволяют сделать следующие выводы относительно обучения перцептронной ИНС методом ВРШ:

1) увеличение коэффициента обучения Ь>1 позволяет ускорить процесс обучения;

2) устойчивость системы после увеличения коэффициента обучения до 16 значительно снижается, количество обучающих итераций напротив возрастает;

3) оптимальное значение коэффициента обучения находится в окрестности значения Ь=6.

В заключение следует отметить, что при использовании данной методики обучения в системах автоматизированного проектирования скорость сходимости обучения ВРКК увеличивается; и следовательно, скорость всей САПР также повышается. При нынешнем глобальном увеличении требований к производительности вычислительных средств увеличение скорости работы нейросетевых подсистем САПР позволит экономить материальные и временные ресурсы систем в целом.

Литература

1. Розенблатт Ф. Принципы нейродинамики. М.: Мир, 1965. 480 с.

2. Чернухин Ю.В. Нейропроцессоры. Таганрог: ТРТУ, 1994. 175 с.

3. Чернухин Ю.В. Нейропроцессорные ансамбли. Таганрог: ТРТУ, 1995. 149 с.

4. Уоссерман Ф. Нейрокомпьютерная техника: Теория и практика. М.: Мир, 10992. 240 с.

УДК 658.512

Н.Н. Карпова

Особенности написания функционально-логических параллельных программ с использованием языка БЪСЮОЬ

В статье дается сравнительный анализ языков функционального программирования, рассматриваются как отечественные, так и зарубежные разработки в этой области. Даны основные положения теории направленных

Пб