CC BY
52
УДК 681.3.07
НЕЙРОСЕТЕВОЕ УСТРОЙСТВО НАПРАВЛЕННЫХ АССОЦИАЦИЙ
Национальный технич еский университет “Харьковский политехнический институт ”
В.Д. ДМИТРИЕНКО А.Ю. ЗАКОВОРОТНЫЙ И.П. ХАВИНА
Разработана новая нейронная сеть реализующая принципы двунаправленной ассоциативной памяти (ДАП) на основе нейронных сетей адаптивной резонансной теории (АРТ) обладающая возможностью восстановления из памяти нейронной сети по входной информации пары ассоциативных друг другу и входным данным изображений, которые представлены в виде векторов с непрерывными составляющими и обладает свойством компактного хранения информации, дообучения и стабильного хранения запомненной ранее информации, что позволяет эту сеть использовать для разработки ассоциативной памяти и баз знаний, использующих ассоциативную информацию.
Ключевые слова: нейронные сети адаптивной резонансной теории, двунаправленная ассоциативная память.
Постановка проблемы исследований и анализ литературы
Представления об ассоциации идей основаны на гипотезах психологии XVIII и ХК вв. Французский философ-просветитель Э. Кондильяк (1754 г.) высказал предположение, что все наши знания формируются на базе ощущений. Философы Дж. Локк (1690 г.) и Д.Юм (1739 г.) выдвинули гипотезу, согласно которой основные элементы, из которых складываются ощущения, сочетаются по закону ассоциации идей. В ответ на исходное слово-раздражитель человек генерирует индивидуальные ассоциации, свободные или направленные. К свободным относят ассоциации, на генерирование которых никаких ограничений смыслового или грамматического характера не накладывается. Г енерирование направленных ассоциаций ограничивают заранее определенными условиями, например, по контрасту или по сходству, выражением словами определенной части речи, символами, знаками и др.
В ответ на одно исходное слово могут также генерироваться группы (гирлянды) ассоциаций: каждая высказанная новая ассоциация служит, в свою очередь, словом-раздражителем. Метод гирлянд ассоциаций и метафор предложен исследователем Г.Я. Бушем. Его цель - обеспечить поиск решения задач при дефиците информации, т.е. при невозможности использовать логические средства. В этом случае одним из средств служит использование цепочек (гирлянд) ассоциаций и метафор, что позволяет совершить переход в новую область знаний, интерпретировать по-новому ранее разрабатываемые идеи. Таким образом, в качестве своеобразного информационного фонда выступает ассоциативная память разработчика [1].
Для решения задач нахождения ассоциативных образов в настоящее время существует множество разнообразных методов и алгоритмов. В связи с этим в теории искусственного интеллекта предпринимаются попытки создания универсальных подходов, позволяющих решать широкие классы задач поиска и запоминания ассоциативной информации. Один из таких подходов связан с использованием искусственных нейронных сетей (НС). Их эффективное применение для решения различных задач во многом основывается на том, что традиционные трудности решения разнообразных задач облегчены применением универсальных алгоритмов обучения нейронных сетей на обучающих выборках.
Простейшая архитектура НС ассоциативной памяти приведена на рис. 1.
Обычная НС, реализующая отображение / = ДХ ) , где / = (Ух , Ук2 , ... , Ут ) -входной вектор НС для к-го входного вектора сети хк = (х’к, х2,..., хП), к = 1, р , где р -число пар векторов (хк, ук ), хк е Яп, ук е Яп.
Серия История. Политология. Экономика. Информатика. 2010. № 7 (78). Выпуск 1 4/1
В отличие от обычной НС ассоциативная память отображает в выходной век-
тор У к любой входной вектор х , удовлетворяющих условию
х - х
(1)
где • , £ - соответственно заданная норма и константа.
Л
ук
л П
> Ук1
к
к
к
т
Рис. 1. Архитектура простейшей НС ассоциативной памяти
В теории НС выделяют три основных типа сетей ассоциативной памяти [3]:
- гетероассоциативные НС, в которых реализуются отображения х — ук, для всех х, удовлетворяющих условию (1);
- автоассоциативные НС, являющимися частным случаем гетероассоциатив-ных нейронных сетей при хк = ук, к = 1, р :
х —У х , (2)
для всех х, удовлетворяющих условию (1);
- НС для распознавания образов, которые также являются частным случаем гете-роассоциативных НС, но при этом выходной вектор становится скаляром х — ук е Я1, а входным вектором х является любой вектор, удовлетворяющий условию (1).
Если информация об ассоциациях достаточно полна, то для создания ассоциативных систем может использоваться значительное число различных НС. Однако при разработке систем для реальных технических объектов разработчики сталкиваются с тем, что информация об объекте далека от полноты и будет уточняться в процессе функционирования объекта. Это резко сужает круг сетей-кандидатов, которые целесообразно использовать в подобных системах, поскольку во многих сетях обучение новому образу, ситуации или ассоциации в общем случае требует полного переобучения сети [2-4]. Невозможность с помощью указанных НС решить проблему чувствительности (пластичности) к новой информации при сохранении (стабильности) имеющейся информации привели к разработке принципиально новых конфигураций НС на основе адаптивной резонансной теории (АРТ) [5-7].
НС АРТ относят входное изображение к одному из известных классов, если оно в достаточной степени похоже на прототип этого класса. Если найденный прототип соответствует входному изображению с заданной точностью, то он модифицируется, чтобы стать более похожим на предъявленное изображение. Если входное изображение сети АРТ не похоже в достаточной степени ни на одно из изображений, хранящихся в весах связей нейронной сети, то на его основе создается новый класс. Это возможно благодаря наличию в сети избыточных нейронов, которые не исполь-
зуются до тех пор, пока в этом нет необходимости (если избыточных нейронов нет и входное изображение не относится ни к одному из известных классов, то оно не вызывает реакции сети). Таким образом, НС АРТ могут запоминать новую информацию без искажения имеющейся информации или переобучения сети.
Однако использование этих сетей в реальных системах управления затруднено из-за большого разнообразия конкретной измерительной информации об одних и тех же динамических режимах объектов управления (тысячи и даже десятки тысяч различных графических отображений одного и того же режима). Это порождает сложную проблему селекции и хранения существенной информации [8], поскольку прямое использование сетей АРТ-1 и APT-2 в таких случаях проблематично из-за слишком большого числа необходимых нейронов.
Цель статьи - разработка двунаправленной ассоциативной памяти (ДАП) на основе НС АРТ с возможностью восстановления из памяти нейронной сети по входной информации пары ассоциативных друг другу и входным данным изображений, которые представлены в виде векторов с непрерывными составляющими.
В статьях [9, 10] авторами приведены новая архитектура и особенности функционирования непрерывной НС АРТ-2Д работающей не с отдельными изображениями, а множествами изображений, задаваемых с помощью двух подмодулей сети и реализующей принципы двунаправленной ассоциативной памяти (ДАП). Новая сеть ДАП, с одной стороны, сохраняет возможность работы с ассоциативными изображениями, а с другой стороны, добавляет новые возможности: одновременное восстановление из памяти сети по входной информации пар ассоциативных друг другу и входным данным изображений.
Новая ДАП (рис. 2) может работать в трех основных режимах: режим № 1 -обучения нейронной сети ДАП; режим № 2 - распознавание входных изображений и определение им ассоциативных изображений из памяти нейронной сети ДАП; режим № 3 - по входным данным одновременное восстановление из памяти нейронной сети ДАП пары ассоциативных друг другу изображений.
Режим № 1 используется для обучения ДАП парам ассоциативных друг другу изображений. Режим № 2 используется для распознавания входного изображения и восстановления из памяти НС ДАП одного ассоциативного ему вектора (изображения). Данный режим может использоваться для восстановления из памяти сети решения по условию задачи (прямая задача) и восстановления условия по решению (обратная задача). Режим № 3 используется для одновременного восстановления из памяти нейронной сети ДАП по входным данным пар ассоциативных друг другу изображений.
ДАП состоит из двух параллельно работающих модулей Мх, М2, каждый из которых является непрерывной НС АРТ-2Д. В состав модулей М1 и М2 входят сенсорные слои элементов, соответственно 5,1 и Б? (г = 1,..., п; 1 = 1,..., к), которые могут принимать пары ассоциативных входных изображений (5/,б!2),^,З^),...,^,Б^). Элементы сенсорных 5-слоев модулей М1 и М2 передают входные изображения интерфейсным нейронам 2/,2] и Z13,2^ (г = 1,..., п; 1 = 1,...,к), соответственно подмодулей М11,М12 и М21,М22. Элементы интерфейсных слоев 2?, 2] и2], 2^ (г = 1,...,п; 1 = 1,...,к) связаны с элементами распознающих слоев у1, у2 и У^, У^ (у = 1,..., т; g = 1,..., т), соответственно подмодулей М11,М12 и М21,М22 сети.
Рис. 2. Схема непрерывной ДАП, построенной на основе нейронных сетей АРТ-2Д
Соединение между элементами интерфейсных и распознающих слоев осуще-
1 7 ^ А 1 О Л
Ьу,Ьу,Ь1&,Ь1&, tji,tji, tgl, tgl (г = 1,...,п;у = 1,...,т; 1 = 1,...,к; g = 1,...,т), соответственно для подмодулей М11,М12,М21,М22 НС. В подмодулях М11,М12 и М21,М22 слои У1, Уу и Уg3, У^ (у = 1,..., т; g = 1,..., т) являются слоями соревнующихся нейронов, в которых каждый элемент может находиться в одном из трех состояний: активном, неактивном, заторможенном. В результате распознавания входных изображений в каждом подмодуле НС остается активным только один нейрон распознающего слоя
1 о 'З /I 1 О 'Х А.
У], У2 и У], У<: в соответствующих им слоях Уу, Уу и У Уг (у = 1,..., т; g = 1,..., т) подмодулей М11,М12 и М21,М22 сети. На решающих нейронах Я1, и Я2, , определяются
параметры сходства р11, р12 и р12, р22, соответственно для подмодулей М11, М12 и М21,М22 нейронной сети, а с помощью нейронов Я1 и Я2, которые входят в состав модулей М1 и М2 , определяются общие параметры сходств р1 и р2 .
Двунаправленная ассоциативная память, построенная на НС АРТ-2Д, ориентирована на работу с непрерывными входными изображениями, поэтому все веса
лей Mjj,M12 и M21,M22 НС, являются непрерывными.
Архитектуру сети, кроме модулей М1 и М2 на основе нейронных сетей АРТ -2Д , определяет слой промежуточных нейронов Pd (d = 1,m), который связывает модули М1 и М2 нейронной сети. На этапе обучения (режим №1) модули М1 и М2 нейронной сети будут запоминать пары ассоциативных изображений. При этом наряду с установлением значений весов связей внутри каждого из модулей, будут устанавливаться и матрицы весовых коэффициентов промежуточного слоя нейронов Pd (d = 1,..., m), который связывает модули М1 и М2 НС. На основе этих весовых коэффициентов будет осуществляться ассоциативная связь между запомненными изображениями двух модулей. Процесс обучения (режим №1) новой НС ДАП считается законченным, когда по окончанию очередной эпохи обучения отсутствуют изменения весовых коэффициентов: bj,bj,bg,bg (i = 1,...,n; j = 1,...,m;l = 1,...,k;g = 1,...,m) и
tj, j, tgl, tg (j = 1,..., m; i = 1,..., n; g = 1,..., m; l = 1,..., к) соответственно весов связей
от элементов интерфейсного слоя к элементам распознающего слоя и весов связей от элементов распознающего слоя к элементам интерфейсного слоя, модулей М1 и М2 НС.
В режиме №2 n- или ^-мерные входные вектора могут подаваться соответственно на входы «S’,1 или S2 (i = 1,..., n; l = 1,..., к) элементов, соответственно модулей Mj
и М2 нейронной сети. Нейрон-победитель XJ или XG модулей М1 или М2, активизируется сигналами от пары нейронов распознающих слоев, соответственно подмодулей Mj1,M12 или М21,М22. Нейрон-победитель XJ модуля М1, определяется сигналами нейронов-победителей YJ и YJ распознающих слоев Yj, Yj (j = 1,..., m), соответственно подмодулей Mj1,M12 . Аналогичным образом может определяться и нейрон-победитель XG для модуля М2 нейронной сети, соответствующими сигналами нейронов-победителей Y(g и YG распознающих слоев Yg3, Yg (g = 1,..., m), соответственно подмодулей М21,М22 НС. Нейроны-победители YJ и Y(g, выбираются в результате соревнования нейронов распознающих слоев Yj и Yg ( j = 1,..., m; g = 1,..., m)
ствляется
взвешенными
связями
с
весовыми
коэффициентами
связей bj,bj,bg,blg,tj, t2,tgi,t4gi (i = 1,...,n; j = 1,...,m; l = 1,...,k;g = 1,...,m) подмоду-
Серия История. Политология. Экономика. Информатика. 2010. № 7 (78). Выпуск 14/1
подмодулей М11 и М21 нейронной сети. Нейроны-победители У] и У]4 подмодулей М12 и М22 , выбираются не в результате соревнования нейронов распознающих слоев Уу2 и У^ (у = 1,..., т; g = 1,..., т) подмодулей М12 и М22, а сигналами с соответствующих нейронов-победителей У] и У] подмодулей М11 и М21, после их проверки по величине параметров сходства р^ и р12. В связи с этим введены связи между парами У-нейронов Уу1, Уу2 и У^, У^ (у = 1,..., т; g = 1,..., т) модулей М1 и М2 нейронной сети. Выделенные таким образом нейроны У] и У] подмодулей М12 и М22, также проверяются по величине параметров сходства р2 и р^. Если нейроны У] и У] выдерживают эту проверку и выдерживают последующую проверку по величине параметра сходства и пары нейронов У], У] и У], У4, для модулей М1 и М2, то на выходе распознающего нейрона X] или Xгс модулей М1 или М2 появляется единичный сигнал, свидетельствующий о распознавании входного изображения. Если нейроны У] и У 4 или пары элементов У], У] и У], У4, модулей М1 и М2, не выдерживают проверку по величине параметров сходства, то нейроны У] и У^, подмодулей М11 и М21, затормаживаются (ивыхТ1 = -1; ивыхУз = -1), а нейроны У] и У^, подмодулей М12 и М22, переводятся в неактивное состояние (и = 0; и = 0).
выхУ] 7 выхУд
После выбора нейрона-победителя X ] или X2 одного из модулей М1 или М2, осуществляется выбор нейрона-победителя другого модуля НС. Он определяется не в результате соревнования нейронов распознающего слоя, а активизируется нейроном-победителем первого модуля через связи элементов Р-слоя. Этот нейрон-победитель с помощью нисходящих связей восстановит в интерфейсном слое Z-элементов хранящееся в его памяти изображение. Восстановленное изображение повторится на слое 5-элементов и поступит на выходы модуля. Таким образом, произойдет выбор изображения, ассоциативного входному изображению, подаваемому на вход другого модуля НС.
Новая ДАП, построенная на основе разработанных непрерывных нейронных сетей АРТ-2Д, функционирует согласно трем алгоритмам: алгоритму обучения, соответствующего режиму № 1 и двум алгоритмам распознавания, соответствующих режиму № 2 и режиму № 3 работы сети.
В алгоритмах приняты следующие обозначения:
т - максимальное число пар запоминаемых ассоциативных изображений;
п и к - число компонент во входном векторе (изображении) соответственно для модуля М1 и М2;
р1 и р2 - параметры сходства модулей М1 и М2;
д - число пар запоминаемых ассоциативных изображений;
1 1 2 2
р11, р12 и р12 , р22 - параметры сходства между входным вектором и векторами, хранящимися в весах связей победивших нейронов, соответственно У] , У] и У], У]4 подмодулей М11,М12 или М21,М22 нейронной сети; диапазон допустимых значений параметров сходства: 0 < р\, р\ < 1; 0 < р12, р2 < 1;
Ь1, Щ и Ь], Ь£ (г = 1,..., п; у,g = 1,...,т; I = 1,...,к) - веса связей от элементов интерфейсного слоя к элементам распознающего слоя, соответственно подмодулей
МП,М12 и М21,М22; рекомендуемое начальное значение при обучении: Ь1 = ьу = Ь1 = ЬI =1 (г ==1,...,п; у,g = 1,...,т; I = 1,...,к);
tj!., tj и ^^ (у,g = 1,..., т; г = 1,...,п; I = 1,...,к) - веса связей от элементов
распознающего слоя к элементам интерфейсного слоя, соответственно подмодулей М11, М12 и М21, М22 ; рекомендуемое начальное значение при обучении:
4 = ^ ^ ^I =1 (у,g = 1,...,т;г = 1,...,п;1 = 1,...,к);
и о1, и о2 (г = 1,..., п; I = 1,..., к) - выходные сигналы элементов 5-слоя, со-
вЫХ.Ь^ 7 вЫХ.$1 4 7 7 7^7/
ответственно модулей М1 и М2 нейронной сети;
ивх.гр , и ых*Г и ^ , и ыых^ (р = ^ = 1>->п;Ч = 3 4;1 = 1’-’к) - входные и выходные сигналы элементов интерфейсного слоя, соответственно подмодулей М11, М12 и М21 , М22 нейронной сети;
и ^, и ^ и и ^, и „4 (/,g = 1,...,т) - выходные сигналы распознаю-
вых.У1 вых.У2 вых!^ вых.У4 Ы’о > > / «
щих элементов, соответственно подмодулей МП,М12 и М21,М22 нейронной сети;
ивыхх1-, ивтX2 (у'^ = 1,..., т) - выходные сигналы распознающих элементов,
соответственно модулей М1 и М2 нейронной сети;
Б'Ц1 = (З^,...,), Биг2 = (^г,,...,), Г = 1,...,q - входные вектора г-й пары ассоциативных изображений, соответственно для модулей М1 и М2 ;
\\У\\ - норма вектора У;
Р4 ^ = 1,..., т) - нейроны промежуточного слоя, которые связывают модули М1 и М2 ассоциативной нейронной сети;
Их^ и Qjg (у, d, g = 1,..., т) - веса связей от соответственно элементов распознающего слоя модуля М1 к элементам промежуточного Р-слоя и от элементов промежуточного Р-слоя к элементам распознающего слоя модуля М2 нейронной сети;
Qjd и (g, d, у = 1,..., т) - веса связей от соответственно элементов распознающего слоя модуля М2 к элементам промежуточного Р-слоя и от элементов промежуточного Р-слоя к элементам распознающего слоя модуля М1 нейронной сети.
Алгоритм обучения новой НС ДАП, построенной на основе непрерывных нейронных сетей АРТ-2Д в статье не приведен.
Алгоритм работы НС ДАП в режиме распознавание входных изображений и определение им ассоциативных изображений (режим № 2), предполагает выполнение следующих шагов:
Шаг 1. Инициируются параметры сходства нейронной сети и все её веса связей. Шаг 2. На вход любого из модулей сети подается входное изображение. Допустим, что входное изображение подается на вход модуля М1 НС. Тогда аналогичным образом, как и в алгоритме обучения, определяется нейрон-победитель X! модуля М1 [10].
Шаг 3. Определяется нейрон-победитель X]г модуля М2 нейронной сети. Он выделяется не в результате соревнования между распознающими элементами модуля М2 , а единичным сигналом элемента Р]Г , который, в свою очередь, в активное состояние переводится нейроном-победителем X), : ивт х1г = 1, и^^ = 0,
Серия История. Политология. Экономика. Информатика. 2010. № 7 (78). Выпуск 14/1
g = 1,..., т , g ф Ог. При этом выходному сигналу нейрона-победителя XGr присваивается единичное значение и 2 = 1 , а все остальные нейроны распознающего слоя
вых. XQr
модуля М2 нейронной сети переводятся в неактивное состояние: иыа,х2 = 0,
g = 1,. . . , т , g ф Ог.
Шаг 4. Единичным выходным сигналом с нейрона-победителя Xjr модуля М2 в активное состояние переводятся нейроны-победители У$г и У$г в соответствующих им слоях У^ и У^ (g = 1,..., т) подмодулей М21 и М22 нейронной сети. При
этом выходным сигналам нейронов уОг и уОг подмодулей М21 иМ22 сети, присваивается единичное значение и 3 = 1 и и 4 = 1 , а все остальные нейроны, распо-
вых. Уог вых. Уог
знающих У-слоев подмодулей М21 и М22, переводятся в неактивное состояние: и ^ = 0, и ^ = 0 , g = 1,..., т , g ф Ог.
вых.У^ 7 вых.У^ 70 77 70
Шаг 5. Рассчитываются выходные сигналы элементов интерфейсных слоев 2\ и 2Аг (1 = 1,..., к) подмодулей М21 и М22 сети: ивых2з = О, ивых24 = tGl, I = к.
Шаг 6. На основе выходных сигналов элементов интерфейсных слоев 2] и Zl4 (I = 1,..., к) подмодулей М21 и М22 нейронной сети, формируются входные и выходные сигналы элементов входного слоя Б^ (I = 1,..., к), модуля М2 нейронной сети. Полученное на выходе модуля М2 изображение БГ = (Б^,...,БГк), является ассоциацией изображению Б1 = (Б^,...,Бхт) (г = 1,...,q ), которое подается на элементы входного слоя модуля М1 .
Шаг 7. Останов.
Алгоритм работы новой нейронной сети ДАП, построенной на основе непрерывных НС АРТ-2Д, в режиме одновременного восстановления из памяти нейронной сети пары ассоциативных друг другу изображений (режим № 3), предполагает выполнение следующих шагов:
Шаг 1. Инициируются параметры сходства нейронной сети и все её веса связей. Шаг 2. На нейроны А-слоя подается бинарный входной вектор, содержащий единственную единицу и соответствующий некоторой паре ассоциативных изображений.
Шаг 3. Определяются нейроны-победители X\r и хGr соответственно модулей М1 и М2 нейронной сети ДАП. Они выделяются не в результате соревнования между распознающими элементами модулей М1 и М2 , а единичным сигналом элемента Р0г, который, в свою очередь, в активное состояние переводится единичным выходным сигналом нейронов А-слоя ЛПг: и 1 = 1, и ^ = 0, у = 1,..., т , у ф Бг,
Г иг вых. X1г вых. Xj 3 и 3 3 7 *' 3
и . =1, и ^ = 0, g = 1 ,..., т , g ф Бг. При этом выходным сигналам нейронов-
вых. X Ог вых. X ^
победителей X)r и хGr присваиваются единичное значение и выххХ = 1 и и выхх1 = 1, а
все остальные нейроны распознающих слоев модулей М1 и М2 нейронной сети ДАП, переводятся в неактивное состояние: и ^ = 0, у = 1,. . . , т , у ф Бг , и ^ = 0,
г вых. ху 7 и 7 7 7 7 вых. хя 3
g = 1,..., т , g ф Бг.
Шаг 4. Единичными выходными сигналами с нейронов-победителей X* и Х^г модулей Mj и М2 в активное состояние переводятся нейроны-победители
1 о 'З /I 'ХА.
Yjr, YJr и Yfr, Yf в соответствующих им слоях Yj, Yj (j = j,...,m) и Yg, Yg
(g = J,...,m) в соответствующих подмодулях Mjj, Mj2 и M2j, M22 нейронной сети ДАП. При этом выходным сигналам нейронов Yjr, Yjr и Y<Gr, Yfr в соответствующих подмодулях MJJ, MJ2 и M2J, M22 нейронной сети ДАП, присваивается единичное значение U = J, U „2 = J, U „3 = J, U „4 = J, а все остальные нейроны, распо-
eux.ljr вых.!* вЫХ.Удг вЫХ.Удг
знающих F-слоев подмодулей MJJ, MJ2 и M2J, M22, переводятся в неактивное состояние: U j = 0, U 2 = 0, j = J,..., m , j Ф Jr, U 3 = 0, U = 0 , g = J,..., m , g Ф- Gr.
ebix.Yj 7 вых.У~ 7 J 7 7 7 J 7 ebix.Yg 7 ebix.Yg 70 7 7 70
Шаг 5. Рассчитываются выходные сигналы элементов интерфейсных слоев ZJ, Z2 (i = J,...,я) и Zf , Z4 (I = J,...,k) подмодулей MJJ, MJ2 и M2J, M22 нейронной сети ДАП: U zj = tj, U z2 = J, U Z3 = 4, U Z4 = t4Gl, i = J,...,я, l = J,...,k.
ebix.Zt Ji ebix.Zi Ji ebix.Zi Gl ebix.Zi Gl
Шаг 6. На основе выходных сигналов элементов интерфейсных слоев ZJ, Z2 (i = J,...,я) и Zf , Zf (l = J,...,k) подмодулей MJJ, MJ2 и M2J, M22 НС формируются входные и выходные сигналы элементов входных слоев SJ (i = J,..., я) и S2 (l = J,..., k) модулей MJ и M2 НС ДАП. Полученное на выходе модулей MJ и M2
изображения SJ = (SJJ,..., SJ) и S2r = (Sr2J,...,S2rk) (r = J,...,g ), является ассоциациями
друг другу, и ассоциативны входному бинарному вектору на A-слое нейронов.
Шаг 7. Останов.
Таким образом, разработана новая ДАП на основе нейронных сетей АРТ обладающая возможностью восстановления из памяти нейронной сети по входной информации пары ассоциативных друг другу и входным данным изображений, которые представлены в виде векторов с непрерывными составляющими. ДАП обладает также свойством компактного хранения информации, дообучения и стабильного хранения при этом запомненной ранее информации, что позволяет эту сеть использовать для разработки ассоциативной памяти и баз знаний, использующих ассоциативную информацию.
На основе НС ДАП создана база знаний системы поддержки принятия решений для получения оптимального ведения дизель-поезда по железнодорожному перегону и реализовать компактное хранение информации, необходимой машинисту.
Разработанный подход к построении нейронных сетей ДАП может быть заложен в структуру более крупных иерархических объединений искусственных нейронных сетей, которую можно ассоциировать как ячейку мозга и в перспективе применять при построении “цифрового мозга”.
Литература
1. Буш Г.Я. Основы эвристики для изобретателей. Ч. 1, 2. - Рига: Знание, 1977. - 95 с.
2. Оссовский С. Нейронные сети для обработки информации. - М.: Финансы и статистика, 2002. - 344 с.
3. Бодянский Е.В., Руденко О.Г. Искусственные нейронные сети: архитектура, обучение, применения. - Харьков: ТЕЛЕТЕХ, 2004. - 372 с.
4. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия - Телеком, 2001. - 382 с.
5. Carpenter G.A., Grossberg S. A. massively parallel architecture for self-organising neural pattern recognition machne // Computing, Vision, Graphics and Image Processing. - 1987. -Vol. 37. - P. 54 - 115.
Серия История. Политология. Экономика. Информатика. 2010. № 7 (78). Выпуск 14/1
6. Grossberg S. Competitive learning: From interactive activation to adaptive resonance // Cognitive Science. - 1987. - Vol. 11. - P. 23 - 63.
7. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. -New Jersey: Prentice Hall Int., Inc., 1994. - 461 p.
8. Дмитриенко В.Д., Расрас Р.Д., Сырой А.М. Специализированное вычислительное устройство для распознавания динамических режимов объектов управления // Інформаційно-керуючі системи на залізничному транспорті. - 2002. - № 1. - С. 15 - 22.
9. Дмитриенко В.Д. Двунаправленная ассоциативная память на основе нейронных сетей адаптивной резонансной теории. / В.Д. Дмитриенко, М.В. Липчанский,
А.Ю. Заковоротный // Вісник НТУ “ХПІ”, Збірник наукових праць. Тематичний випуск: Інформатика і моделювання. - Харків: НТУ “ХПІ”. - 2005. - № 56. - С. 193-204.
10. Дмитриенко В.Д. Двунаправленная ассоциативная память на основе непрерывных нейронных сетей адаптивной резонансной теории. / В.Д. Дмитриенко, А.Ю. Заковоротный // Научные ведомости. Серия информатика и прикладная математика. - Белгород. - 2006. -№ 2(31). Выпуск 3. - С. 20-32.
NEURAL NETWORK DEVICE AIMED ASSOCIATIONS
National Technical University
“Kharkov Polytechnic Institute”
V.D. DMITRIENKO А.У. ZАKОVОRОTNYI I.P. KHAVINA
A new neural network which implements the principles of bidirectional associative memory (DAP) based on neural networks, adaptive resonance theory (ART) have an option to the memory of the neural network input pair associative each other and to input data images that are represented as vectors with continuous components and has the property of compact storage of information, to education and stable storage previously stored information that allows the network to use for the development of associative memory and knowledge bases, using associative information.
e-mail: [email protected]
Key words: neural network adaptive resonance theory, bidirectional associative memory.
