Новые алгоритмы обучения одноИ многомодульных дискретных нейронных сетей арт Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 681.513:620.1

В.Д. ДМИТРИЕНКО, д-р техн. наук, НТУ "ХПИ" (г. Харьков),

О.А. ПОВОРОЗНЮК, НТУ "ХПИ" (г. Харьков)

НОВЫЕ АЛГОРИТМЫ ОБУЧЕНИЯ ОДНО- И

МНОГОМОДУЛЬНЫХ ДИСКРЕТНЫХ НЕЙРОННЫХ СЕТЕЙ АРТ

Проанализированы недостатки алгоритмов обучения существующих дискретных нейронных сетей адаптивной резонансной теории (АРТ). Предложены новые алгоритмы обучения одно- и многомодульных дискретных нейронных сетей на основе генетических алгоритмов и алгоритмов обучения нейронных сетей АРТ без адаптации весов связей распределенных распознающих нейронов.

Ключевые слова: алгоритм обучения нейронных сетей, адаптивная резонансная теория (АРТ), нейронная сеть АРТ, генетический алгоритм.

Постановка проблемы и анализ литературы. Искусственные нейронные сети в последние 10 - 15 лет вызывают к себе повышенное внимание, поскольку с их помощью успешно решаются разнообразные сложные задачи, в том числе и задачи классификации [1 - 4]. Хотя многослойные перцептроны и целый ряд других нейронных сетей являются универсальными апроксиматорами функций и успешно используются во многих практических приложениях, однако они имеют и серьёзные недостатки:

- большое время обучения;

- не обладают свойством стабильности - пластичности, то есть способностью воспринимать и запоминать новую информацию без потери или искажения уже имеющейся;

- не могут выделять новую входную информацию, относя любой входной вектор (входное изображение) к одному из уже известных классов.

Эти недостатки существенно затрудняют использование нейронных сетей при решении практических задач, поскольку в реальных задачах, как правило, исходная информация на этапе обучения нейронной сети полностью неизвестна и может быть получена только при эксплуации реального объекта или системы, что требует многократного и трудоёмкого переобучения нейронной сети. Наличие этих существенных недостатков привело к разработке нового класса нейронных сетей - сетей адаптивной резонансной теории (Adaptive Resonance Theory (ART)), в которых в значительной мере решены проблемы стабильности - пластичности и обнаружения новой информации [3, 5].

Проблема большого времени обучения в нейронных сетях может решаться за счет использования модульного подхода, который характерен для мозга человека и высших животных [6] и широко используется в науке и технике. Этот подход предполагает разбиение сложной задачи на множество

отдельных подзадач, решение каждой из которых требует обучения существенно меньшей нейронной сети. Такой подход открывает и новые возможности в использовании нейронных сетей, например, создание иерархических систем распознавания и классификации. В частности, известны иерархические нейронные сети ART с разделением (Hierarchical ART with Splitting (HART-S)) и иерархические нейронные сети ART с объединением (Hierarchical ART with Joining (HART-J)).

На рис. 1 приведена сеть HART-J с тремя уровнями иерархии.

Рис. 1. Нейронная сеть HART-J с тремя уровнями иерархии

На каждом уровне иерархии используется дискретная нейронная сеть ART-1, архитектура которой приведена на рис. 2. Сеть ART-1 имеет три поля или слоя нейронов:

- поле или слой входных бинарных нейронов;

- слой бинарных интерфейсных нейронов, поля ^0 и Е\ часто рассматривают как одно поле и называют полем обрабатывающих нейронов;

^2 - поле непрерывных распознающих 7-нейронов.

Распознающие нейроны 7-слоя могут находиться в одном из следующих состояний:

- неактивен (ивыхТ = 0), нейрон установлен в начальное состояние или

проиграл соревнование с другими распознающими нейронами при предъявлении текущего входного изображения;

- заторможен (ииыхГ =-1), изображение, хранящееся в весах связей

нейрона 7' по параметру сходства не соответствует текущему входному изображению;

- активен (0 < ивыхГ < 2), выходной сигнал нейрона определяется

П __

в^іражением иЪых^ = Uвх.Yj =х ^(/ивьїх.Zi ’ ] 1,т ;

І=1

- активен (С/выхГ = 1, ивых1к = 0, к = 1,т, к Ф у), распознающий нейрон 1 является победителем при предъявлении текущего изображения.

Рис. 2. Архитектура нейронной сети ART-1

Архитектура нейронной сети ART-1 включает также три управляющих нейрона: R, G1 и G2. Нав рис. 1 нейроны G1 и G2 каждого модуля условно

показаны одним нейроном Gi (i = 1,3).

Большинство связей между нейронами сети ART-1 являются возбуждающими:

- все связи от нейронов входного слоя к Z-нейронам и управляющим нейронам G1, G2 и R;

- все связи между нейронами Y- и Z-слоев; при этом из-за наличия большого числа связей между нейронами на рис. 2 обозначена только одна

1 2

пара связей с весами Wj, Wji;

- от управляющих нейронов G1, G2 к нейронам Z- и Y- слоев.

Тормозящие сигналы передаются только по связям от интерфейсных

нейронов к управляющему нейрону R, от нейронов Y-слоя к нейрону G1 и от R-нейрона к распознающим нейронам. Все связи нейронной сети передают только бинарные сигналы.

Нейроны полей F1 и F2 переходят в активное состояние по правилу "два из трёх", то есть при наличии возбуждающих сигналов из двух различных источников. Y-нейроны переходят в активное состояние только при наличии

5З

единичных сигналов как от интерфейсных элементов, так и от управляющего нейрона 02; 2-нейроны переходят в активное состояние при наличии либо единичных сигналов от Б-нейрона и управляющего нейрона 01, либо единичных сигналов от элементов входного и выходного полей нейронной сети.

Нейронная сеть может работать в двух режимах - обучения и распознавания. Будем полагать, что в основу первого режима положен метод быстрого обучения [7], предполагающий, что веса связей победившего распознающего нейрона достигают равновесных значений при предъявлении любого входного изображения. На основе этого метода предложен алгоритм обучения дискретных нейронных сетей АЯТ-1 [7].

Цель статьи - анализ недостатков известных алгоритмов быстрого обучения дискретных одномодульных и иерархических сетей АРТ и разработка новых алгоритмов обучения этих нейронных сетей.

Общий алгоритм обучения дискретных нейронных сетей АКТ-1 и его анализ. Обозначения, принятые в алгоритме:

п - число нейронов во входном и интерфейсном слоях и число бинарных компонент во входных изображениях или векторах;

Б1 = (Б(, Л12, Б1п) - п-мерный входной вектор, I = 1, д ;

q - число обучающих векторов;

т - максимальное число распознаваемых образов (и число нейронов в поле ^2);

и , = (и ,, и ,, ..., и ,), и , = (и ,, и ,, ..., и ,) - со-

вх.Л вх.Б| вх.Б2 вх.Бп вых.Л вых.Л| вых.Л2 вых.Лп

ответственно п-мерный бинарный вектор входных и выходных сигналов элементов Б-слоя при подаче на его вход изображения Б1;

и-вх.2 = (иЕх^1 - ивх.22 ’ ...’ ивх.2п )’ ивых2 = (ивых^1 - ивых^2 ’ ивых_2п ) - соответственно п-мерный бинарный вектор входных и выходных сигналов нейронов интерфейсного слоя;

ивх.7 = (ивх.71 > ивх.Г2 , ..., ивх!п ), ивыхГ = (^вых! > ивыхГ2 , -., ивыхТп ) - соответственно т-мерный вектор входных и выходных сигналов элементов 1-слоя;

||Б|| - норма вектора Б;

р (0 < р < 1) - параметр сходства между двумя изображениями - входным и хранящемся в весах связей победившего распознающего нейрона;

м>!- веса связей, соответственно от нейрона к нейрону Т] и от

элемента Т] к элементу 2{,

Ь - константа;

ивыхЛ- ивых.С1 - ивых.02 - выходНЫе сигналы нейр°н°в Gl, G2, Я.

Шаг 1. Инициируются параметры р, Ь, веса связей м>1 ,м>2 и выходные сигналы нейронов Я, 01у 02 и Б-слоя. Рекомендуемые значения:

L = 2; w1 = 1/(1 + n); w2 = 1; і = 1,n; j = 1, m;

UBЫXR UB^IX.Gi UE^IX.G2 UBbIX.S; 0 i 1

Шаг 2. Выполняются шаги 3 - 12 алгоритма до тех пор, пока не выполнятся условия останова на шаге 12.

Шаг 3. Для каждого входного вектора Sl =(S(, Sl2, Sln), l = 1,q,

выполняются шаги 4 - 11 алгоритма.

Шаг 4. Задаются выходные сигналы всех 7-нейронов: ив^1х7 = 0,

j =1,m.

Активизируются входным вектором Sl нейроны входного слоя:

U i =Sl, i = 1,n, и вычисляется норма вектора сигналов U l :

вых .S' i r r вых-S1

III II II n

U i = S'l = ^ Sl. Определяются выходные сигналы управляющих

ИЛХ. i^

нейронов G1 и G2: ив^1х.о1 = Uвых.02 = 1, если |Sl > 1 .

Шаг 5. Определяются входные и выходные сигналы нейронов Z-слоя:

Uвx.Zi = Uвыx.Si ’ Uвыx.Zi = Uвx.Zi ^Uвыx.Gl, 1 =1,n-

Шаг 6. Для каждого распознающего незаторможенного 7-элемента

(ивых1^ * -1) в^1числяется его выходной сигнал: ивых1, = ^ивых 2.м>1, ] = 1,т.

і=1

Шаг 7. Пока не определен элемент 7/, вектор весов связей которого по величине параметра сходства р соответствует вектору Б1, выполняются шаги 8 - 10 алгоритма.

Шаг 8. В слое распознающих нейронов определяется элемент 7/, выходной сигнал которого удовлетворяет условию ивых^ > ивыхГ , ] = 1, т.

При наличии нескольких таких нейронов выбирается нейрон с наименьшим индексом. Нейрон 7/ становится победителем при текущем предъявлении изображения Б1 и ивіх г =1. Этот сигнал затормаживает управляющий нейрон

Оі. Если ивыхТ = -1, то входной вектор не может быть распознан и запомнен,

поскольку все нейроны распознающего слоя заторможены.

Шаг 9. По правилу "два из трех" определяются сигналы на выходах

г-элементов: uшлxZ =uJыlxS w2Jl, а затем - шрма вект°ра иЪЪ1х.2:

n

(^вых^Ц = ^^UBЫX.Zi • i=1

Шаг 10. С помощью заданного значения параметра сходства определяется условие возможности обучения выделенного элемента YJ

входным изображением Sl. Если ||UBbIxZ||/||sl|| < p, то обучение невозможно, нейрон Yj затормаживается (Uв^1хТ/ = -1,) и начинается поиск нового нейрона-

победителя в Y-слое переходом на шаг 7 алгоритма. Если fU^^I/ls1! > p , то

обучение элемента YJ возможно.

Шаг 11. Корректируются веса связей нейрона YJ с помощью соотношений:

1 вых Z, 2 -Л \

WJ = т Л Пгг--------ii , Wji = Uвых.Z,- , 1 = 1 n . (1)

L -1 + 1U въ^Ц '

Шаг 12. Проверяются условия останова работы алгоритма: отсутствие изменения весов связей нейронной сети в течение эпохи; достижение заданного числа эпох и т.д.

Шаг 13. Останов.

Если в режиме обучения найденный прототип, хранящийся в весах связей сети, модифицируется, чтобы стать более похожим на предъявленный

нейронной сети вектор, то в режиме распознавания веса связей,

распределенных на этапе обучения нейронов сети, остаются неизменными. В остальном алгоритмы обучения и распознавания сети ART-1 очень похожи [5]. Не распределенные во время обучения распознающие нейроны могут как накапливать новую информацию, так и не использоваться.

Зная алгоритмы функционирования нейронной сети ART-1, рассмотрим пример классификации с помощью нейронной сети HART-J (рис. 1) следующего множества двоичных векторов:

51 = (00001111), S5 = (00000111), S9 = (01110000), S13 = (00000011),

52 = (11111100), S6 = (00001101), S10 = (10110000), S14 = (11010000).

53 = (11110000), S7 = (00001011), S11 = (00111111),

54 = (11000000), S8 = (11100000), S12 = (00111100),

Пусть сеть ART-1 на первом уровне иерархии в сети HART-J имеет следующие параметры: m = 14; n = 8; q =14; L = 2; p = р1м = 0,75 - параметр сходства; м^1м)(0) = 1/(1 + n) = 0,111; (i =1,n; j = 1,m) - начальные веса связей от нейронов Z-слоя к распознающим Y-элементам модуля; W2M(0) = 1; (i = 1,n; j = 1,m) - начальные веса связей от распознающих Y-нейронов к Z-нейронам, где индекс 1м указывает на принадлежность

параметров первому модулю НАЯТ-.!.

Будем полагать, что модули второго и третьего уровней иерархии сети НАЯТ-1 отличаются от модуля первого уровня только параметрами сходства: р2м = 0,6 и р3м = 0,33, где р2м и р3м - соответственно параметры сходства для второго и третьего модулей сети НАЯТ-1.

Обучение сети НАЯТ! выполним с помощью алгоритма, обучающего модули иерархической сети последовательно, начиная с первого модуля. При этом, обучение каждого последующего модуля начинается только после окончания обучения предыдущего модуля. Обучающие двоичные вектора на вход сети НАЯТ! подаются циклически, начиная с Б1: Б1, Б2, ... , Б14, Б1, Б2, ...

При предьявлении первого вектора Б1 = (00001111) в результате выполнения шагов 1 - 11 алгоритма получим, что победителем будет нейрон

7]1м. Веса связей этого нейрона определяются по соотношениям (1):

41м) = 41м) = цм = 41м) = 0; 41м) = м$м) = 41м) = 41м) = 0,4;

М2|1м) = м^1м) = м^1 м) = >41м) = 0; м21м) = >41м) = м21м) = м21м) = 1.

В результате распределения первого распознающего нейрона, матрицы весов связей первого модуля примут вид, приведенный в табл. 1 и 2, где

^ 1(1м), W21м) - соответственно матрицы весов от 2-элементов к 7-элементам и от 7-элементов к 2-нейронам.

Таблица 1

Матрица весов связей W11м) после распределения первого распознающего

нейрона

Нейрон 7-слой ^1м у 1м 1 2 у1м М4

2-слой

2і1м 0 0,111 0,111

V 1м 22 0 0,111 0,111

V 1м 23 0 0,111 0,111

V 1м 24 0 0,111 0,111

251м 0,4 0,111 0,111

7 1м 26 0,4 0,111 0,111

271м 0,4 0,111 0,111

281м 0,4 0,111 0,111

Анализ структуры нейронной сети АРТ-1 (рис. 2), соотношений (1) и табл. 1 и 2 показывает, что матрица весов связей W2 любого модуля / (/ = 1,3) однозначно определяется по матрице W1, поэтому в дальнейшем будем анализировать только матрицу W1ш) / = 1,3 весов связей от элементов 2-слоя к распознающим элементам 7-слоя.

После предъявления второго входного вектора Б2 = (11111100) в

результате выполнения шагов 3 - 8 алгоритма нейроном-победителем в 7-слое становится нейрон 711м. Однако, определение параметра сходства

р1м = ||^ ^1м ||/||б 2|| = 2/6 < 0,75 показывает, что входной вектор недостаточно

похож на вектор, хранящийся в весах связей нейрона 7г 1м .

Таблица 2

Матрица весов связей Ж 21м^ после распределения первого распознающего

нейрона

Нейрон 2-слой 21м 1м 2 2 <-7 1м 2 3 1м 2 4 1м 2 5 1м 2 6 1м 2 7 1м 28

7-слой

71м 0 0 0 0 1 1 1 1

•у 1м 7 2 1 1 1 1 1 1 1 1

у 1м 714 1 1 1 1 1 1 1 1

Поэтому нейрон 711м затормаживается и распределяется нейрон 721м , веса связей которого корректируются по соотношениям (1):

»$“> = »«"> =.. .= »1‘") = 0,286; = »■«"' = 0;

»<2?") = ,*.|21“)= ...= ^-2б1м) = 1; = щ|8,“1 = 0.

После окончания первой эпохи обучения (последующего предъявления векторов Б3, Б4, ... , Б14) матрица весов связей Ж11м) принимает вид, приведенный в табл. 3.

Таблица 3

Матрица весов связей Ж11м) после первой эпохи обучения

Ней- рон 7-слой 71м 1м 1 2 у 1м 7 3 1м 7 4 у 1м 7 5 у 1м 7 6 у 1м 77 у 1м 78 у 1м 7 9 у 1м М0 у1м 714

2- слой

2Ы 0 0,667 0 0 0,5 0 0,5 0 0,5 0,111 0,111

2,1м 0 0,667 0 0 0,5 0,5 0 0 0,5 0,111 0,111

2з1м 0 0 0 0 0,5 0,5 0,5 0,4 0 0,111 0,111

241м 0 0 0 0 0 0,5 0,5 0,4 0,5 0,111 0,111

251м 0 0 0,5 0,5 0 0 0 0,4 0 0,111 0,111

V 1м 26 0 0 0,5 0 0 0 0 0,4 0 0,111 0,111

271м 0,667 0 0 0,5 0 0 0 0 0 0,111 0,111

V 1м 28 0,667 0 0,5 0,5 0 0 0 0 0 0,111 0,111

Во время второй эпохи обучения распределяется еще три 7-нейрона и матрица весов связей Ж11 м) приобретает окончательный вид (табл. 4).

После окончания обучения первого модуля иерархической сети ИЛЯТ-1 начинается обучение второго модуля, который имеет те же начальные параметры, что и первый модуль, за исключением параметра сходства, который для этого модуля меньше: р2м = 0,6. Обучение начинается с предъявления первому модулю сети входного вектора Б1 = (00001111). Нейроном-победителем первого модуля становится 73'м , а на выходе нейронов

2-слоя этого модуля появляется вектор и 1м = (00001101), который поступает на вход Б-нейронов второго модуля: и ,(2м) = и 2м , где индекс

вх .^ вых .£

2м указывает на принадлежность ко второму модулю сети ИЛЯТ-І

Таблица 4

Матрица весов связей W1(1м) после второй эпохи обучения

Ней- рон й о л с-

2- слой У11м у1м 1 2 у 1м 1 3 1м 1 4 1м 15 1м 1 6 1м 17 1м 18 1м 1 9 1м 110 1м 111 1м 112 1м 113 1м 114

211м 0 0,667 0 0 0,5 0 0,5 0 0,5 0,286 0 0 0,111 0,111

V 1м 22 0 0,667 0 0 0,5 0,5 0 0 0,5 0,286 0 0 0,111 0,111

V 1м 23 0 0 0 0 0,5 0,5 0,5 0,4 0 0,286 0 0,286 0,111 0,111

V 1м 24 0 0 0 0 0 0,5 0,5 0,4 0,5 0,286 0 0,286 0,111 0,111

251м 0 0 0,5 0,5 0 0 0 0,4 0 0,286 0 0,286 0,111 0,111

V 1м 26 0 0 0,5 0 0 0 0 0,4 0 0,286 0,5 0,286 0,111 0,111

271м 0,667 0 0 0,5 0 0 0 0 0 0 0,5 0,286 0,111 0,111

V 1м 28 0,667 0 0,5 0,5 0 0 0 0 0 0 0,5 0,286 0,111 0,111

Распоз. вектора Б13 Б4 Б1, Б6 Б7 Б3, Б8 Б9 Б10 Б12 Б14 Б2 Б5 Б11 - -

При предъявлении первого обучающего вектора и 1(2м) второму модулю иерархической нейронной сети в результате выполнения шагов 1 - 11 алгоритма обучения победителем становится нейрон 72м . Веса связей этого нейрона по соотношениям (1), имеют следующие значения:

м12м) = 42м) = = м42м) = Ц(2м) = 0; 42м) = 42м) = ^1(2м) = 0,5;

^2(2м) = = ^2(2м) = >42м) = м22м) = 0; м^2м) = м22м) = ^2(2м) = 1.

Последующее предъявление на вход сети ИЛЯТ-І векторов Б1, Б2, ..., Б14 приводит к появлению на входе второго модуля обучающей последовательности векторов:

Б1(2м) = (00001101), Б5(2м) = (00000111), Б9(2м) = (01110000), Б13(2м) = (00000011),

Б2(2м) = (11111100), Б6(2м) = (00001101), Б10(2м) = (10110000), Б14(2м) = (11010000).

Б3(2м) = (11100000), Б7(2м) = (00001011), Б11(2м) = (00111111),

Б4(2«) = (11000000), Б8(2м) = (11100000), Б12(2м) = (00111100),

Обучение второго модуля иерархической нейронной сети выполняется за три эпохи, в результате чего получается матрица весов связей приведенная в табл. 5.

Таблица 5

Матрица весов связей W ^2м^ после окончания обучения второго модуля сети НАЯТ-1

Нейрон о л СJ 72м 2м 1 2 2м 73 2м 1 4 2м 1 5 2м 1 6 2м 1 7 2м 114

Z-слой

Z12м 0 0,бб7 0 0 0 0 0,111 0,111

Z22“ 0 0,бб7 0 0 0 0 0,111 0,111

Z32“ 0 0 0 0,667 0 0,4 0,111 0,111

Z42“ 0 0 0 0,667 0 0,4 0,111 0,111

Z52“ 0 0 0 0 0,667 0,4 0,111 0,111

V 2м ^б 0,бб7 0 0 0 0,667 0,4 0,111 0,111

Zy2“ 0 0 0,667 0 0 0 0,111 0,111

V 2м Z8 0,бб7 0 0,667 0 0 0 0,111 0,111

Распоз. вектора S1, S6 S3, S4, S8, S14 S5, S7 S13 S9, S10 - S2, S11 S12 - - -

Аналогично второму модулю сети HART-J обучается и ее третий модуль при параметре сходства р3м = 0,33. Входная последовательность для этого модуля (при неизменяемой входной последовательности обучения S1, S2, ... , S14 для первого модуля сети) будет следующая:

S11» = (00000101), S51» = (00000011), S91» = (00110000), S13(2h) = (00000011),

S2(2h) = (00111100), S5(2h) = (00000101), S10(2h) = (00110000), S141» = (11000000).

S3(2«) = (11000000), S7(2h) = (00000011), S111» = (00111100),

S4(2h) = (11000000), S8(2h) = (11000000), S12(2h) = (00111100),

В результате обучения третьего модуля получается матрица весов связей

W1зм, приведенная в табл. 6.

Таким образом, первый модуль сети HART-J разбивает исходные 14 векторов на 12 классов, второй - на пять и третий - на три. Рассмотрим детально результаты примера.

Анализ входной последовательности, алгоритма обучения нейронной

сети ART-1 и матрицы весов связей W1ім показывает, что если вектора S6, S7 во входной последовательности поменять местами, то разбиение входных векторов на классы первым модулем изменится, поскольку нейрон 731м будет относить к одному классу вектора S1 и S7, а вектор S5 запомнится нейроном

Г41м как представитель отдельного класса. Подобная ситуация возникает и в отношении тройки векторов S3, S8, S9, точнее, нужно рассматривать не три вектора, а пять: S3, S8, S9, S10, S14, поскольку класс из двух векторов с вектором

Б3 может (в зависимости от изменения порядка следования векторов & (/ = 1, 14) во входной последовательности) образовывать любой из векторов Б8, Б9, Б10, Б14, так как каждый из них отличается от вектора Б3 только одним единичным элементом.

Таблица 6

Матрица весов связей Ж1зм^ после окончания обучения ______________третьего модуля сети ИЛКТ-1_______________________

Нейрон -о о YЗм у Зм 1 2 у Зм 1З у Зм 1 4 у Зм 114

Z-слой

21Зм о о о,бб7 о,111 о,111

V Зм Z2 о о о,бб7 о,111 о,111

V Зм 2З о о,бб7 о о,111 о,111

V Зм Z4 о о,бб7 о о,111 о,111

о о о о,111 о,111

V Зм 2б о о о о,111 о,111

2Ъм о о о о,111 о,111

7 Зм Z8 1 о о о,111 о,111

Распоз. вектора S1, S5, S6, S7, Sn S2, S9, Sm, S11, S12 S3, S4, S8, S14 - - -

В связи с этим напрашивается алгоритм обучения одно- и многомодульных нейронных сетей ART с изменяющейся входной последовательностью. Поскольку q входных обучающих векторов можно упорядочить q! способами, то полный перебор всех входных последовательностей векторов реален только при небольших значениях q. Поэтому в реальных задачах при больших значениях q целесообразно использовать эволюционные методы поиска приемлемых решений, в частности, генетические алгоритмы. В генетических алгоритмах объекты эволюции - хромосомы, представляющие собой закодированные решения рассматриваемой задачи. Поэтому в качестве хромосом при генерировании начальной популяции в рассматриваемой задаче необходимо брать некоторое множество возможных входных последовательностей. Полученные особи (хромосомы) оцениваются одним или несколькими критериями и с помощью тех или иных операторов селекции [8, 9] лучшие из них отбираются для воспроизводства (репродукции) потомков с помощью генетических операторов: скрещивания (простого или одноточечного, двухточечного, упорядоченного, циклического и т. д.), мутаций (различных видов), инверсии (поворотов хромосом или ее участков на 180 градусов). Процесс селекции и воспроизводство потомков продолжается до тех пор, пока улучшается качество получаемых решений рассматриваемой задачи.

Видимо, несложно придумать задачу, где множество векторов S3, S8, S9, S10, S14 или векторов: S1, S5, S6, S7 должно относиться к одному классу, однако классические и генетические алгоритмы обучения дискретных сетей ART не

позволяют получить такие классы при любом порядке векторов S (i = 1, 14) во входной последовательности.

С целью расширения возможностей обучения дискретных нейронных сетей ART в работе [10] предложены алгоритмы обучения без коррекции весов связей распределенных нейронов. Однако запрет коррекции весов связей всех распределенных 7-нейронов имеет и свои отрицательные стороны. Например, если вектора S2 и S11 подать первыми, то все множество входных данных разобьется только на два класса (хотя в каких-то задачах классификации это может быть и лучшим решением). Если подавать входную последовательность векторов в первоначально заданном порядке, но запретить адаптацию весов связей нейронов, запомнивших векторы S1 и S3, то при р1м = 0,75 получим

следующую матрицу весов связей W1lH) и классы векторов (табл. 7).

Таблица 7

Матрица весов связей после окончания обучения

первого модуля сети ИЛКТ-1

Нейрон о л О 71м 1м 1 2 1м 11 1м 1 4 1м 1 5 1м 16 1м 114

Z-слой

211ш 0 0 0,4 0 0,286 0,111 0,111

v 1м Z2 0 0 0,4 0 0,286 0,111 0,111

v 1ш Z3 0 0,4 0,4 0,286 0,286 0,111 0,111

v 1ш Z4 0 0,4 0,4 0,286 0,286 0,111 0,111

2з1ш 0,4 0,4 0 0,286 0,286 0,111 0,111

v 1м Z6 0,4 0,4 0 0,286 0,286 0,111 0,111

і71ш 0,4 0 0 0,286 0 0,111 0,111

7 1м Z8 0,4 0 0 0,286 0 0,111 0,111

Распоз. вектора S1, S5, S6, S7, S13 S2 S3, S4, S8, S9, S10, S14 S11 S12 - - -

В соответствующие классы векторов вошли также векторы 54 и £13, хотя они отличаются соответственно от векторов ^ и £3 не одним, а двумя двоичными разрядами. Это связано с особенностью определения параметра сходства, которая становится существенной при запрещении адаптации весов связей распределенных нейронов. Рассмотрим определение параметра сходства р1м при подаче на вход обученного первого модуля сети вектора £13 . Нейроном победителем в этом случае станет нейрон 711м, а параметр сходства определится выражением

^1м=К^м (г11м ■ ^)||/и- (^11=К!м). о?13))/!^ о?13!

где и 1м (7/м, £13) - норма вектора выходных сигналов нейронов 2-слоя

ц вых.Л ц

при нейроне-победителе 711м и входном векторе сети З13; ||ивых5 С£13)| - норма вектора выходных сигналов нейронов ^-слоя при входном векторе сети £13; (^21^’ ^вых5С^3))- скалярное произведение вектора весов связей от

нейрона-победителя У11м к элементам Z-слоя и вектора выходных сигналов элементов S-слоя.

Поскольку ^72(!м) = (W 21м), ^2,(1м), ... , W 21м)) =(00001111) и

ивЫх.5 (S13) =(00000011), то

p1м = W2М, ^ (S13)) / (S13)|| = (І )/||(000000П)|| =

г=1

= 2/2 = 1.

Поэтому в тех случаях, когда запрещена адаптация весов связей всех или части распреденных распознающих нейронов и нежелательно формирование классов векторов с большим расстоянием по Хеммингу между ними, необходимо вводить дополнительный параметр сходства рх, учитывающий расстояние по Хеммингу, или отношение вида

p* =

Sв:

Wj2z

где р* - дополнительный параметр сходства; р“ Ц - норма входного вектора

нейронной сети; jjwfz || - норма весов связей от нейрона-победителя J к Z-слою нейронов.

Если в рассматриваемом примере использовать дополнительный параметр сходства, потребовав, например, чтобы расстояние по Хеммингу рх между входным вектором и вектором весов связей от нейрона-победителя YJ к элементам Z-слоя не превышало единицы или выполнялось условие р* > 0,75, то входные вектора S4 и S13 будут запомнены отдельными распознающими Y-нейронами, т. е. выделятся нейронной сетью как отдельные классы.

В заключение отметим, что генетические алгоритмы обучения нейронных сетей ART могут использоваться совместно с алгоритмами обучения нейронных сетей ART с полным или частичным запрещением адаптации весов связей распределенных распознающих нейронов.

Выводы. Проанализированы недостатки известных алгоритмов обучения дискретных нейронных сетей адаптивной резонансной теории, не позволяющие их эффективно использовать в реальных системах распознавания и классификации. Впервые для обучения одно- и

многомодульных дискретных нейронных сетей ART предложены генетические алгоритмы, алгоритмы обучения с частичным запрещением адаптации весов связей распределенных распознающих нейронов, а также генетические алгоритмы с полным или частичным запрещением адаптации весов связей распределенных распознающих нейронов.

Список литературы: 1.Xaйкuн С. Нейронные сети: Полный курс. - М.: Вильямс, 2006. - 1104 с. 2. Бодянсшй Е.В., Руденко О.Г. Искусственные нейронные сети: архитектура, обучение, применение. - X.: TEЛETEX, 2004. - 372 с. 3. Комaрцовa А.Г., Maксuмов А.В. Нейрокомпьютеры. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 320 с. 4. ^луштн А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Том 2. - М:. Горячая линия - Телеком, 2004. - 464 с. 5. Grossberg S. Competitive learning: from interactive activation to adaptive resonance // Cognitive Science. - 1987. - Vol. 11. - P. 23-63. б. Bartfai G. Whrite R. ART-based Modular Networks for Incremental Learning of Hierarchical Clustering. Technical Report CS-TR-96/11. Department of Computer Science. Victoria University of Wellington. New Zealand, 1996. - P. 1-28. 7. FausettL. Fundamentals of Neural Networks. Arhitectures, Algorithms and Applications. - New Jersey: Prentice Hall International, Inc., 1994. - 461 p. 8. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г.К. Вороновсшй, К.В. Мосо-^^ло, С.Н. Пemрaшeв, С.А. Сергеев - X.: Основа: 1997. - 112 с. 9. Глaдков Л.А., Курейчш В.В., Курейчш В.М. Генетические алгоритмы. - М.: Физматлит, 2006. - 320 с. 10. Дм^і^-^^е^^о В.Д., Носков В.И., Xaвuнa И.П. Aлгоритмы обучения дискретных сетей APT без адаптации весов связей распределенных распознающих нейронов / Вісник НТУ '^ПІ". Збірник наукових праць. Тем. вип.: Інформатика і моделювання. - Xарків: НТУ ^ПІ". - 2006.- № 23. - C. 35-48.

УДК 681.513:620.1

Нові алгоритми навчання одно- та багатомодульних дискретних нейронних мереж АРТ / Дмитрієнко В.Д., Поворознюк О.А. // Вісник НТУ '^ПІ". Тематичний випуск: Інформатика і моделювання. - Xарків: НТУ '^ПІ", 2008. - № 24. - С. 51 - 64.

Проаналізовано недоліки алгоритмів навчання існуючих дискретних нейронних мереж адаптивної резонансної теорії (APT). Запропоновано нові алгоритми навчання одно- та багатомодульних дискретних нейронних мереж на основі генетичних алгоритмів і алгоритмів навчання нейронних мереж APT без адаптації ваг зв'язків розподілених нейронів, що розпізнають. Іл.: 2. Табл.: 7. Бібліогр.: 10 джерел.

Ключові слова: алгоритм навчання нейронних мереж, адаптивна резонансна теорія (APT), нейронна мережа APT, генетичний алгоритм.

UDC 681.513:620.1

New algorithms of the education one- and multimodul discrete neural networks ART I Dmitrienko V. D., Povoroznyuk O. A. // Herald of the National Technical University "KhPI". Subject issue: Information science and modelling. - Kharkov: NTU "KhPI", 2008. - № 24. - P. 51 - 64.

It have been analysed defects of education algorithms of existing discrete neural networks for adaptive resonance theory (ART). It have been offered new algorithms of e education one- and multimodul discrete neural networks based on genetic algorithms and algorithm of education neural networks ART without adapting weight relations of portioned recognizing neurons. Figs: 2. Tabl.: 7. Refs: 10 sources.

Key words: algorithm of education neural networks, adaptive resonance theory (ART), neural network ART, genetic algorithm.

Посmуnuлa в рeдaкцuю 25.04.2008