Дискретные нейронные сети арт, использующие идеи иммунокомпьютинга Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.71:004.89

В.Д. ДМИТРИЕНКО, д-р техн. наук, проф., НТУ "ХПИ", Харьков,

А.Ю. ЗАКОВОРОТНЫЙ, канд. техн. наук, доц., НТУ "ХПИ",

Харьков

ДИСКЕТНЫЕ НЕЙРОННЫЕ СЕТИ АРТ, ИСПОЛЬЗУЮЩИЕ

ИДЕИ ИММУНОКОМПЬЮТИНГА

Разработаны дискретные нейронные сети адаптивной резонансной теории, использующие при классификации входных изображений не только параметр сходства между входным изображением и изображением, хранящемся в весах связей нейронной сети, но и идеи положительного и отрицательного отбора в иммунных системах живых организмов.

Ключевые слова: дискретные нейронные сети адаптивной резонансной теории, параметр сходства, положительный и отрицательный отбор в иммунных системах.

Постановка проблемы и анализ литературы. Многие нейронные сети пригодных для разработки высокоэффективных систем распознавания, классификации, прогнозирования, идентификации [1 - 7]. Большой интерес к нейросетевым системам распознавания, классификации и т.д. связан с тем, что они имеют ряд полезных свойств, которых часто трудно добиться с помощью других методов. В частности, речь идет об их универсальности, о возможности построения нейронных сетей под задачу, о возможности обучения на примерах, о самообучении и обобщении, распознавании новой информации, об использовании ассоциаций, о распознавания и классификации зашумленных изображений и т.д. В тоже время существуют и определенные проблемы при разработке систем на основе нейронных сетей. Прежде всего, это связано с особенностью обучения нейронных сетей, которая, как правило, требует наличия всей исходной информации, поскольку обучение новому образу методом обратного распространения ошибки или генетическими алгоритмами, или другими методами требует, как правило, полного переобучения сети. Невозможность с помощью уже известных нейронных сетей решить проблему восприятия новой информации при сохранении уже имеющейся (т.е. решить проблему стабильности - пластичности) привело к разработке принципиально новых конфигураций нейросетей - сетей адаптивной резонансной теории (АРТ). Эти сети в определенной степени решают противоречивые задачи чувствительности (пластичности) к новым данным и сохранения полученной ранее информации (стабильности). Поэтому многие задачи, указанные выше, могут решаться на основе нейросетей АРТ [6 - 10]. Однако известные дискретные нейронные сети АРТ имеют и ISSN 2079-0031 Вестник НТУ "ХПИ", 2012, № 62 (968)

52

существенные недостатки, связанные со способом распознавания входных изображений, использующим параметр сходства.

При малых значениях параметра сходства в режиме распознавания память нейронной сети АРТ не имеет необходимого объема информации (наборов фрагментов изображений) для принятия обоснованных решений, а при больших значениях параметра аналогичные изображения, отличающиеся небольшим числом второстепенных деталей, запоминаются как прототипы разных классов изображений с помощью разных 7-нейронов. Это затрудняет практическое использование сетей АРТ.

Целью статьи является разработка новых архитектур и алгоритмов функционирования дискретных нейронных сетей адаптивной резонансной теории, позволяющих расширить область применения этих сетей.

Архитектура и алгоритмы функционирования сети АРТ-1.

Архитектура нейронной сети АРТ-1 приведена на рис. 1. Эта сеть относит предъявленное входное изображение к одному из запомненных классов только в том случае, если оно достаточно похоже на прототип этого класса, то есть на изображение, хранящееся в весах связей нейронной сети. Если такое свойство, установленное с помощью специального параметра сходства между двумя изображениями [8 - 11], имеет место в режиме обучения, то найденный прототип модифицируется, чтобы стать более похожим на предъявленное сети входное изображение. При отсутствии достаточного сходства между предъявленным изображением и прототипами всех имеющихся классов, оно запоминается сетью как прототип нового класса. Это возможно благодаря тому, что информация об изображениях-прототипах хранится локально, только в весах связей одного распознающего нейрона, и сеть имеет значительное число неиспользуемых распознающих нейронов, избыток которых уменьшается по мере поступления новой входной информации. Наличие избыточных распознающих нейронов является принципиальной особенностью нейронных сетей АРТ, поскольку при их отсутствии новые входные изображения просто теряются. Таким образом, локальное хранение информации и наличие избыточных распознающих нейронов позволяет запоминать новую информацию (новые образы), не искажая или теряя уже имеющуюся [8 - 11].

Основу архитектуры нейронной сети составляют три слоя нейронов:

- слой чувствительных 5-нейронов, воспринимающих входную информацию в виде черно-белых изображений или бинарных входных векторов;

- слой бинарных интерфейсных 2-нейронов; 2- и ^-элементы объединяются в поле входных обрабатывающих нейронов;

- слой распознающих 7-нейронов.

Кроме этого имеются еще три управляющих нейрона: Я, 01 и 02 .

Рис. 1. Архитектура нейронной сети АРТ-1

Выход каждого бинарного нейрона (/ = 1, п) входного слоя связан

одной однонаправленной связью с единичным весовым коэффициентом с бинарным нейроном (/ = 1, п) интерфейсного слоя. Выходные сигналы всех чувствительных элементов поступают также по связям с единичными весовыми коэффициентами на входы управляющих нейронов Я, 01 и 02. Каждый интерфейсный нейрон ^ (* = 1,п) связан со

всеми элементами (] = 1, т) распознающего слоя и с управляющим

нейроном Я. Связи с весовыми коэффициентами КЭЫ 2079-0031 Вестник НТУ "ХПИ", 2012, № 62 (968)

54

( = 1, п; у = 1, т), 0 < < 1 передают сигналы с выхода каждого

2-элемента на входы каждого 7-нейрона. Бинарные связи с весовыми коэффициентами (у = 1, т ; / = 1, п) связывают выход каждого

распознающего нейрона с входом каждого интерфейсного нейрона. На входы каждого 2-элемента по связям с единичными весовыми коэффициентами поступает также сигнал с выхода бинарного управляющего нейрона . Сигналы с выходов всех 2-элементов по связям с единичными весовыми коэффициентами поступают на входы управляющего нейрона Я. Такими же связями выходы всех распознающих нейронов соединены со входами нейрона 0-[, а их входы -с выходами управляющих нейронов 02 и Я. В любой момент времени

нейроны £г- и ^ (* = 1,п), ^ и ^ находятся в одном из двух состояний: 0 или 1.

Нейроны 7-слоя с помощью дополнительной нейронной сети, на рис. 1 не показанной, образуют слой конкурирующих нейронов. Каждый

элемент Т (У = 1, т) распознающего слоя может находиться в одном из

четырех состояний:

- активен, сеть АРТ-1 функционирует в режиме определения выходных сигналов нейронов распознающего слоя, выходной сигнал ивыху■ удовлетворяет условию 0 < С/вых^. < 2 и определяется выходными

п

сигналами 2-элементов: С/вых^. = ивхТ

*=1

- активен, ивь1Хт = 1, нейрон Ту является победителем при

текущем предъявлении входного изображения;

- неактивен, С/шх7 = 0, нейрон установлен в начальное состояние

или проиграл соревнование с другими нейронами при текущем предъявлении входного изображения;

- заторможен, ивых^ = -1, информация, хранящаяся в весах связей

нейрона, не удовлетворяет текущему входному изображению по величине параметра сходства, поэтому нейрон исключен из соревнования.

Все связи нейронной сети АРТ-1 являются возбуждающими, за исключением связей от 7-элементов к нейрону 0\ и от интерфейсных 2-элементов к нейрону Я, которые передают тормозящие сигналы.

2- и 7-нейроны получают сигналы из трех источников: 2-нейроны -от управляющего нейрона О и от нейронов слоев 5 и 7; 7-нейроны - от управляющих нейронов 02, Я и от 2-нейронов. 2- и 7-элементы переходят в активное состояние по правилу "два из трех", то есть только при наличии сигналов из двух различных источников. Например, если 7-нейрон получает только п единичных сигналов с выходов всех 2-элементов, но нет возбуждающего сигнала от управляющего нейрона 02 , то перейти в активное состояние он не может.

Для обучения дискретных нейронных обычно используется метод быстрого обучения, при котором равновесные веса связей нейронов определяются за одно предъявление входного изображения [9 - 11].

В исходном состоянии перед началом обучения все нейроны сети имеют нулевые выходные сигналы. При подаче на вход сети первого бинарного изображения 511 = (^, S2^,...,^^) 5-элементы, получившие единичные входные сигналы, переходят в активное состояние. Их единичные возбуждающие сигналы переводят в активное состояние управляющие нейроны 0 и 0 , а также поступают на входы соответствующих интерфейсных нейронов. Поскольку 2-нейроны переходят в активное состояние по правилу "два из трех", то в активное состояние перейдут только те 2-элементы, которые получат единичные входные сигналы как от нейрона 01 , так и от соответствующего 5-элемента. Возбуждающие сигналы с выходов 2-элементов по связям с весами (г = 1, п; у = 1, т) поступят на входы всех распознающих

нейронов. 7-нейроны в активное состояние переходят, получая возбуждающие сигналы как от 2-нейронов, так и от управляющего нейрона 02. Входные и выходные сигналы распознающих нейронов рассчитываются по соотношениям:

п ___

иъхУу = ^ г, ^выхГ^ = ^вхГу , ] = 1 т .

г =1

При этом веса связей подобраны таким образом, чтобы

выходные сигналы нейронов 7-слоя удовлетворяли условию

0 < ивых7у < 2 У 1 т .

Затем с помощью дополнительных нейронов и связей, не показанных на рис. 1, в 7-слое происходит выделение единственного нейрона 3 с максимальным выходным сигналом. Если оказывается, что в

7-слое имеется несколько элементов с одинаковым максимальным сигналом, то в качестве нейрона-победителя выделяется 7-нейрон, имеющий минимальный индекс. В результате латерального процесса на выходах 7-нейронов появятся следующие сигналы:

^выхТ, = 1 ивых7у = 0, у 1 т , у ^ 3 ■

Единичный возбуждающий сигнал нейрона-победителя У3 поступает на входы всех интерфейсных нейронов и этот же единичный сигнал переводит в неактивное состояние нейрон . Поскольку интерфейсные элементы переходят в активное состояние по правилу "два из трех", то единичные выходные сигналы появятся на выходах только тех 2-нейронов, которые получат возбуждающий сигнал как от нейрона ■з , так и от 5-элемента. Возбуждающие сигналы с выходов элементов входного слоя и тормозящие с выходов 2-слоя поступят на входы управляющего нейрона Я, который, в зависимости от отношения числа этих сигналов, либо переходит в активное состояние (= 1), либо остается пассивным (ишхК = 0). При пассивном управляющем Я-нейроне в сети АРТ-1 наступает резонанс и происходит адаптация весов связей Ж^, Ж2 (г = 1, п) нейрона-победителя с помощью входного изображения. Если управляющий нейрон Я - активен, то его единичный выходной сигнал затормаживает нейрон-победитель У3 (ишхУ =-1), исключая его из участия в соревнованиях распознающих

нейронов при текущем входном изображении. После этого в выходном слое определяется новый нейрон-победитель. Если ни одно из изображений, хранящихся в весах связей распределенных 7-нейронов не оказывается близким к входному, то все распределенные нейроны будут заторможены и нейроном-победителем окажется нераспределенный элемент с минимальным индексом, который и запомнит в весах связей предъявленное изображение.

Недостаток нейронной сети АРТ-1. Поясним недостаток сети с помощью следующего примера.

Пусть нейронная сеть обучена распознаванию трех классов изображений с помощью эталонных черно-белых изображений, приведенных на рис. 2.

Возьмем сеть со следующими параметрами: т = 3 - число 7-нейронов в распознающем слое сети; п = 64 - число нейронов во

входном слое сети; р = 0,8 - параметр сходства; Ь = 2 - константа, для коррекции весов связей (г = 1, 64; у = 1, 3) в процессе обучения.

Я1 52 Я3

Рис. 2. Эталонные черно-белые изображения

В процессе обучения получены следующие веса связей:

щ1 = 0 при г = Г32; Щ1 = °,°59 при г = 33, 64 ;

= о при г = 1, 2, ...,32, 41,42, ...,48;

щ/2 = 0,080 при г = 33, 34, ...,40, 49, 50, ...,64;

= 0 при г = 1, 2, ...,32, 49, 50, ...,56 ;

Щ/3 = 0,080 при г = 33, 34, ...,48, 57, ...,64,

где Щ^1 - вес связи от /-го 2-нейрона к /-му 7-нейрону, ■ = 1, 64; у = 1, 3 .

Расчёт весов связей нейронной сети выполняется с помощью известного алгоритма быстрого обучения [10 - 12].

При подаче на вход нейронной сети изображения 51 после простых вычислений получим:

П

ивхп =Хивих2Д-1 = 0,059 • 32 = 1,888;

г=1

П

ивх 72 = Щ2 = 0,080 • 24 = 1,920;

г=1

П

и»хГ3 =Еивих2гЩ-3 = 0,080 • 24 = 1,920.

г=1

Поскольку нейрон 72 имеет меньший индекс, то он становится

нейроном-победителем, однако определение параметра сходства /ввм 2079-0031 Вестник НТУ "ХПИ", 2012, № 62 (968)

58

Р = ^ = 24 / 32 = 0,75 показывает, что полученное значение

параметра сходства меньше заданного, поэтому нейрон У2 затормаживается. По этой же причине затормаживается и нейрон У3. Таким образом, победителем становится нейрон у . Параметр сходства в этом случае равен единице:

р=1 =32 /32=*.

Аналогично, при подаче на вход нейронной сети эталонных изображений Б2, Б3 нейронами-победителями становятся

соответственно нейроны У2 и У3, т.е. эталонные изображения правильно распознаются нейронной сетью.

При подаче на вход сети изображения $, у которого из-за помех утеряны два единичных элемента в шестой строке имеем:

64

Цх у =Хиих2Д-1 = 0,059 • 30 = 1,770;

I=1

64

Цх у2 = Щ2 = 0,080 • 24 = 1,920;

1=1

П

Ц*73 = ^3 = 0,080 • 22 = 1,760.

1=1

Из результатов расчетов следует, что нейрон У2 становиться

победителем, однако в этом случае норма входного вектора уменьшается и параметр сходства получается равным 0,8:

Р = ЩыжИ/ЩыжИ = 24 / 30 = 0,8.

Таким образом, нейрон У2 окончательно становится победителем и выходное изображение относиться ко второму классу.

Неудача с распознаванием изображения 51 связана с тем, что используется параметр сходств, который учитывает наличие только единичных элементов во входном изображении и изображении, хранящемся в весах связей нейрона-победителя. При этом расположение единичных элементов во входном изображении не учитывается. Для преодоления этого недостатка нейронной сети предлагается воспользоваться механизмами положительного и отрицательного отбора

в иммунных системах живых организмов, которые успешно применяются в иммунокомпьютинге [13, 14]. Если в рассматриваемом примере использовать детекторы отрицательного отбора, которые затормаживают нейрон-победитель, если во входном изображении наблюдаются аномалии, не характерные для распознаваемого изображения, то дискретная сеть APT будет правильно распознавать входные изображения и в условиях помех. Для достижения указанного эффекта изменим архитектуру исходной нейронной сети и алгоритм её функционирования в режиме распознавания.

На рис. 3 изображена нейронная сеть АРТ-1 с бинарными детекторами отрицательного отбора DYU, ..., DY1k, DY2\, ..., DYm1, ..., DYmk. Каждый распознающий Y-нейрон имеет к детекторов. Детекторы переводятся в активное состояние единичным сигналом нейрона-победителя. Они выполняют сравнение фрагментов распознаваемого изображения с фрагментами, хранящимися в детекторах. В иммунокомпьютинге для сравнения бинарных строк (векторов) используются различные метрики: R-chunks, Хемминга, R&T,

Левенштейна [13]. Для дискретной нейронной сети APT наиболее удобно использование расстояния Хемминга, которое между двумя двоичными векторами равно числу компонент, в которых векторы различны.

Если детектор отрицательного отбора обнаруживает, что с заданной точностью сравниваемые фрагменты различны, то он своим единичным сигналом затормаживает нейрон-победитель, исключая его из соревнования при предъявлении текущего входного изображения. Если ни один из детекторов, возбужденных нейроном-победителем, не обнаруживает аномальных фрагментов во входном изображении, то дальнейшее функционирование модифицированной нейронной сети не отличается от функционирования сети АРТ-1.

В рассматриваемом примере для предотвращения ошибок при распознавании достаточно использовать только два детектора отрицательного отбора (рис. 4).

Детектор DY2 должен содержать в качестве эталонного фрагмент, с которым сравнивается соответствующий фрагмент входного

изображения, шестую строку изображения S2, а детектор DY3 - седьмую строку изображения S3. При подаче на вход нейронной сети изображения S1, в котором из-за помех отсутствует несколько единичных компоненты в шестой строке, в начале нейроном-победителем станет нейрон Y2, однако он будет заторможен детектором

Рис. 3. Нейронная сеть АРТ-1 с детекторами отрицательного отбора

Действительно, пусть в изображении 51 отсутствует по три единичных элемента в строках шесть и семь. В этом случае на входах 7-нейронов будут следующие сигналы:

64

Цх У1 =£и™хЛ = 0,059 • 26 = 1,534;

1=1

64

и вхУ2 = Щ-2 = 0,080 • 21 = 1,680;

1=1

П

Цх у3 = 1Рвих21 Ъ3 = 0,080 • 21 = 1,680.

1=1

Рис. 4. Нейронная сеть АРТ для распознавания зашумленных изображений S1 ,

S2, S3

Поэтому вначале нейроном-потребителем будет нейрон Y2, который будет заторможен детектором DY2. Если бы детектор DY2 отсутствовал,

то по параметру сходства p = Z ,11 A\U ,11 = 21 / 26 = 0,808 входное

II HbixS || 11 выхS ||

изображение было бы ошибочно отнесено ко второму классу. Поскольку нейрон Y2 затормаживается детектором DY2, то следующим нейроном-победителем будет нейрон Y3, который затормаживается детектором DY3. Только после того, как заторможены нейроны Y2 и Y3, нейроном-победителем становится нейрон Yb Определение параметра сходства для этого изображения (р = 26 / 32 = 0,812) показывает, что входное изображение относится к первому классу.

Таким образом, рассмотренный пример распознавания изображений подтверждает эффективность использования в дискретных нейронных сетях детекторов отрицательного отбора, характерных для иммунокомпьютинга.

Выводы. Проанализирован недостаток известных дискретных нейронных сетей адаптивной резонансной теории, не позволяющий эффективно применять их для классификации или распознавания входных изображений в условиях шума. Предложены архитектурные изменения в дискретной нейронной сети АРТ-1, обеспечивающие повышение помехоустойчивости сети за счет применения на этапе определения нейрона-победителя детекторов отрицательного отбора применяемых в иммунокомпьютинге.

ISSN 2079-0031 Вестник НТУ "ХПИ", 2012, № 62 (968)

62

Список литературы: 1. Wang Bielei Zhao, Lin Tan Zhenfan. Neural network based online selflearning adaptive PID control II Proceedings of the 3rd World Congress on Intelligent Control and Automation, Heffei, China, 28 June - 2 July 2000. - Vol. 2. - P. 908 - 910. 2. Комашинский B^. Нейронные сети и их применение в системах управления и связи I B..H. Комашинский, Д.Л. Смирнов. - М.: Горячая линия - Телеком, 2002. - 94 с. 3. Neural networks for control I Edited by W. Thomas Miller III, Richard S. Sutton, and Paul J. Werbos, - Cambridge, Massachusetts, London: MIT Press, 199б. - 524 P. 4. Барский Л.Б. Нейронные сети: распознавание, управление, принятие решений I Л.Б Барский. - М.: Финансы и статистика, 2004. - 176 с. 5. Галушкин Л.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Том 2 IЛ.И. Галушкин. - М.: Горячая линия - Телеком, 2004. - 4б4 с. б. Хайкин С. Нейронные сети: полный курс I С. Хайкин. - М.: Издательский дом "Вильямс", 200б. - 1104 с. 7. Комарцова Л.Г. Нейрокомпьютеры: Учеб. пособие для вузов

I Л.Г. Комарцова, Л.B. Максимов. - М.: Изд-во им. Н.Э. Баумана, 2002. - 320 с. 8. Grossberg S. Competitive learning: From interactive activation to adaptive resonance

II Cognitive Science - 1987. - Vol. 11. - P. 23 - б3. 9. Carpenter G.A., Grossberg S. A massively

parallel architecture for selforganizing neural pattern recognition machine II Computing, Vision, Graphics and Image Processing. - 1987. - Vol. 37. - P. 54 - 115. 10. Дмитринко B-Д. Моделирование технологических процессов механообработки методами искуственного интеллекта: монография / B.Д. Дмитр^нко, И.П. Хавина, B.Л. Хавин, B.B. Beрeзуб. -Xарьков: HTMT, 2009. - 224 с. 11. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. - New Jersey: Prentice Hall International, Inc., 1994. - 4б1 p. 12. Носков B.И. Моделирование и оптимизация систем управления и контроля локомотивов / Носков B.И., Дмитршнко B.Д., Заполовский Н.И., Лeонов С.Ю. - X.: XФИ Транспорт Украины, 2003. - 248 с. 13. Интеллектуальные информационные технологии

проектирования автоматизированных систем диагностирования и распознавания образов: монография / С.Л. Субботин, Л.Л. ОлєИн^, ЕЛ. Гофман и др. / Под редакцией С.Л. Субботина. - X.: Компания СМИТ, 2012. - 318 с. 14. Искусственные иммунные системы и их применение / Под редакцией Д. Дасгунты. - М.: Физматлит, 2006. - 344 с.

УДК 519.71:004.89

Дискретні нейронні мережі АРТ, які використовують ідеї імунокомп’ютингу I Дмитрієнко В.Д., Заковоротний О.Ю // Вісник НТУ '^ПІ". Серія: Інформатика та моделювання. - Xаркiв: НТУ ^ПІ". - 2012. - № б2 (9б8). - С. 52 - б3.

Pозробленi дискретні нейронні мережі адаптивної резонансної теорії, які використовують при класифікації вхідних зображень не тільки параметр подібності між вхідним зображенням і зображенням, що зберігається у вагах зв'язків нейронної мережі, але й ідеї позитивного і негативного відбору в імунних системах живих організмів.

Ключові слова: дискретні нейронні мережі адаптивної резонансної теорії, параметр подібності, позитивний і негативний відбір в імунних системах. Іл.: 4. Бібліогр.: 14 назв.

UDC 519.71:004.89

Diskette neural network ART, ideas immunocomputing I Dmitrienko V.D., Zakovorotnyi A.Y. II Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". - 2012. - №. б2 (9б8). - P. 52 - б3.

Developed discrete neural network adaptive resonance theory, using the classification of input images is not only setting the similarity between the input image and the image stored in the weights of the neural network connections, but also the idea of positive and negative selection in the immune systems of living organisms. Figs.: 4. Refs.: 14 titles.

Keywords: discrete neural network adaptive resonance theory, parameter similarity, the positive and negative selection in the immune system.

Поступила в рeдaкцию 30.07.2012

ISSN 2079-0031 Вестник НТУ "ХПИ", 2012, № 62 (9вВ)

б3