Нейронная сеть арт, распознающая изменяющиеся объекты Текст научной статьи по специальности «Компьютерные и информационные науки»

ISSN 2079-0031 Вестник НТУ "ХПИ", 2014, № 62 (1104) УДК 004.383.8: 681.322

B.Д. ДМИТРИЕНКО, д-р техн. наук, проф., НТУ "ХПИ",

C.Ю. ЛЕОНОВ, д-р техн. наук, доц., НТУ "ХПИ"

НЕЙРОННАЯ СЕТЬ АРТ, РАСПОЗНАЮЩАЯ

ИЗМЕНЯЮЩИЕСЯ ОБЪЕКТЫ

На основе нейронной сети адаптивной резонансной теории (АРТ), способной определять несколько решений, разработана архитектура и алгоритмы функционирования стабильно-пластичной дискретной нейронной сети АРТ, которая может распознавать объекты, изменяющиеся в дискретные моменты времени. Ил.: 2. Библиогр.: 11 назв.

Ключевые слова: нейронная сеть, распознающая изменяющиеся объекты, адаптивная резонансная теория (АРТ), стабильно-пластичная дискретная нейронная сеть АРТ.

Постановка проблемы и анализ литературы. С помощью нейронных сетей (НС) решаются различные сложные задачи [1 - 8]. Однако, хотя многослойные перцептроны и целый ряд других НС успешно используются во многих практических приложениях, они имею и серьёзные недостатки: большое время обучения; не обладают свойством стабильности - пластичности, то есть способностью воспринимать и запоминать новую информацию без потери или искажения уже имеющейся; не могут выделять новую входную информацию и т.д. Эти недостатки существенно затрудняют использование НС при решении практических задач, поскольку в реальных задачах, как правило, входная информация на этапе обучения НС полностью не известна и может быть получена лишь при эксплуатации реального объекта или системы, что требует многократного и трудоемкого переобучения сети и часто не позволяет использовать НС. Этих недостатков нет у нейронных сетей адаптивной резонансной теории (АРТ) [1, 2, 8 - 11]. Эти сети обнаруживают новую входную информацию и в определенной мере решают противоречивые задачи чувствительности (пластичности) к новым данным и сохранения полученной ранее информации (стабильности). Поэтому проблемы адаптации систем на основе НС в процессе эксплуатации могут решаться на основе нейронных сетей АРТ. Однако с помощью сетей АРТ не могут решаться такие важные задачи как распознавание изменяющихся во времени объектов. Распознавание таких объектов затруднено и с помощью других нейронных сетей. Во многом это связано с тем, что при

© В.Д. Дмитриенко, С.Ю. Леонов, 2014

распознавании изменяющихся объектов необходимо получать число решений, равное числу моментов времени, в которые наблюдается распознаваемый объект. Однако существующие нейронные сети, за редким исключением, не позволяют получать несколько решений даже в тех случаях, когда они реально существуют. Одним из исключений является дискретная нейронная сеть АРТ, предложенная в работе [9] на основе нейронной сети АРТ-1.

Таким образом, существует общая проблема, требующая совершенствования архитектуры и алгоритмов обучения нейронных сетей с целью их более эффективного использования в науке и технике, в частности, для решения задач распознавания объектов, изменяющихся во времени.

Целью статьи является разработка на основе дискретной нейронной сети АРТ, позволяющей определять несколько решений, архитектуры и алгоритмов функционирования НС, способной распознавать объекты, изменяющиеся во времени.

Архитектура дискретной нейронной сети АРТ, способной определять несколько решений (если они имеются), приведена на рис. 1. В прямоугольнике, нарисованном пунктирной линией, изображена архитектура нейронной сети АРТ-1. Основой архитектуры сети являются три слоя нейронов:

- слой чувствительных ^-нейронов, воспринимающих входную информацию в виде черно-белых изображений или бинарных входных векторов;

- слой бинарных интерфейсных Z-нейронов;

- слой распознающих Y-нейронов.

Кроме этого имеются еще три управляющих нейрона: R, Gi и G2.

В любой момент времени нейроны Si и Zi (i = 1, n), Gi и G2 находятся в одном из двух состояний: 0 или 1.

Нейроны Y-слоя с помощью дополнительной нейронной сети, на рис. 1 не показанной, образуют слой конкурирующих нейронов. Каждый

элемент Y- (j = 1, m) распознающего слоя может находиться в одном из

четырех состояний:

- активен, сеть АРТ-1 функционирует в режиме определения выходных сигналов нейронов распознающего слоя, выходной сигнал Uвых^. удовлетворяет условию 0 < ивых^ < 2 и определяется

выходными сигналами Z-элементов;

- активен, UBbIx7 = 1, нейрон Y.■ является победителем при

текущем предъявлении входного изображения;

- неактивен, С/выхY. = 0, нейрон установлен в начальное состояние

или проиграл соревнование с другими нейронами при текущем предъявлении входного изображения;

- заторможен, ивых^ = -1, информация, хранящаяся в весах связей

нейрона, не удовлетворяет текущему входному изображению по величине параметра сходства, поэтому нейрон исключен из соревнования.

Все связи нейронной сети АРТ-1 являются возбуждающими, за исключением связей от 7-элементов к нейрону G1 и от интерфейсных Z-элементов к нейрону R, которые передают тормозящие сигналы.

Эта сеть относит предъявленное изображение к одному из запомненных классов только в случае, если оно достаточно похоже на прототип этого класса, то есть на изображение, хранящееся в весах связей нейронной сети. Если такое свойство, установленное с помощью специального параметра сходства между двумя изображениями, имеет место в режиме обучения, то найденный прототип модифицируется, чтобы стать более похожим на предъявленное сети входное изображение. В режиме распознавания - параметры сети не меняются, а только фиксируется класс, к которому относится входное изображение. При отсутствии достаточного сходства между предъявленным изображением и прототипами всех имеющихся классов, оно запоминается сетью как прототип нового класса. Это возможно благодаря тому, что информация об изображении-прототипе хранится в весах связей одного распознающего 7-нейрона, и сеть имеет значительное число неиспользуемых распознающих нейронов, избыток которых уменьшается по мере поступления новой входной информации. Наличие избыточных распознающих нейронов является принципиальной особенностью сетей АРТ, поскольку при их отсутствии новые входные изображения просто теряются. Таким образом, локальное хранение информации и наличие избыточных распознающих нейронов позволяет запоминать новую информацию (новые образы), не искажая или теряя уже имеющуюся [1, 2, 10, 11].

Выход каждого бинарного нейрона S (' = 1,п) входного слоя связан однонаправленной связью с единичным весовым коэффициентом с бинарным нейроном Z (i = 1, п) интерфейсного слоя и входами управляющих нейронов R, G1 и G2. Каждый интерфейсный нейрон Z

(i = 1, n) связан со всеми элементами Y ■ (j = 1, m) распознающего слоя и с управляющим нейроном R. Связи с весовыми коэффициентами Wl (i = 1, n; j = 1, m), 0 < Wl < 1 передают сигналы с выхода каждого Z-элемента на входы каждого 7-нейрона.

Рис. 1. Архитектура дискретной нейронной сети АРТ для поиска нескольких решений в задачах распознавания

Бинарные связи с весовыми коэффициентами Ж2 () = 1, т ; I = 1, п;) связывают выход каждого распознающего

нейрона с входом каждого интерфейсного нейрона. На входы каждого 2-элемента по связям с единичными весовыми коэффициентами поступает также сигнал с выхода бинарного управляющего нейрона 01. Сигналы с выходов всех 2-элементов по связям с единичными весовыми коэффициентами поступают на входы управляющего нейрона Я. Такими же связями выходы всех распознающих нейронов соединены со входами нейрона 01, а их входы - с выходами управляющих нейронов 02 и Я.

2- и У-нейроны получают сигналы из трех источников: 2-нейроны -от управляющего нейрона 01 и от нейронов слоев и У; 7-нейроны - от управляющих нейронов 02, Я и от 2-нейронов. 2- и У-элементы переходят в активное состояние по правилу "два из трех", то есть только при наличии сигналов из двух различных источников.

Для обучения дискретных нейронных обычно используется метод быстрого обучения, при котором равновесные веса связей нейронов определяются за одно предъявление входного изображения [1, 9, 11].

При предъявлении входного изображения сеть относит это изображение с помощью параметра сходства к первому близкому классу изображений, представители которых хранятся в весах связей распознающих У-нейронов, и тем самым определяет принадлежность входного изображения к одному из классов. Остальные возможные варианты решения задачи распознавания теряются. Для расширения возможностей дискретной нейронной сети АРТ-1 и получения всех возможных вариантов решения задачи распознавания к базовой архитектуре АРТ-1 (рис. 1) добавляется еще один управляющий нейрон

Я1, инвертирующий выходные сигналы нейрона Я, и слой

регистрирующих бинарных нейронов У) (у = 1, т). Один из входов

каждого нейрона У1 связан однонаправленной бинарной связью с

выходом соответствующего нейрона У у, а другой вход каждого нейрона

У1 связан с выходом управляющего нейрона Я1 . Перед началом режима

распознавания нейроны У1 () = 1, т), как и другие нейроны сети, переводятся в пассивное состояние по цепям связей, не показанным на рисунке. Нейроны У) () = 1, т) переходят в активное состояние по правилу "два из трех" - при наличии единичных сигналов на выходе управляющего нейрона Я1 и нейрона-победителя У3 . Единичный сигнал

с выхода нейрона У] по цепи обратной связи фиксирует единичный выходной сигнал элемента У] и затормаживает нейрон-победитель У] . После этого в сети начинается поиск нового нейрона-победителя. Процесс поиска продолжается до тех пор, пока все распознающие распределенные нейроны не окажутся заторможенными. При этом на

выходах нейронов слоя У1 может не оказаться ни одного единичного сигнала, так как входное изображение не похоже ни на одно из изображений, хранящихся в весах связей сети, либо на выходах У1 -нейронов может быть один или несколько единичных сигналов, указывающих на принадлежность входного изображения к одному или нескольким классам изображений. Рассмотренная нейронная сеть обозначается АРТ-]^. Алгоритмы функционирования нейронной сети АРТ-1б в режиме обучения и при поиске нескольких решений детально описаны в работе [9].

Модифицируем архитектуру нейронной сети, приведенной на рис.1, для решения задачи распознавания изображений Ь объектов О, О2, ..., О, изменяющихся во времени:

Объект О1: О1(Г0), О1(Г1), ...ОЛЬ),

Объект О2: О2(Г0), О2(Гг), ...,О2(Гк), (1)

Объект Оь : Оь(Г0), Оь), ...,Оь(Гк),

где , ^, ...^к - моменты времени, в которые запоминаются изображения изменяющихся объектов.

Для решения этой задачи необходимо ввести дополнительный слой У2 распознающих нейронов, содержащий не менее Ь элементов (рис. 2). Нейроны этого слоя должны иметь пороговую функцию активации вида

и 2

БыхУд

0, если и 2 =Уи 1 <к +1,

вх У„ лш^ выхУ1

(2)

2 , 1 вхУ» выхУ„

4=1

1, если и 2 =Уи 1 = к +1,

вхУ 2 выхУ1

вхУ4 в^1хУ»

4=1

т

где и 2, и 2 — соответственно выходной и входной сигнал о-го

выхУ^ вхУд ,2 .

нейрона слоя У ; д = 1, Ьх, Ь >Ь.

Рис. 2. Архитектура дискретной нейронной сети АРТ для распознавания изменяющихся во времени изображений

В процессе обучения нейронная сеть по каждому объекту 01,02, ...,ОЬ запоминает его (к +1) изображение в моменты времени

t0, t1, -.¿к :

ЗД), ЗД),...^к), 5о2('оХ So2(tl), ...¿о2«к),

$оЬ (tо), ЯоЬ (tl), ...^оЬ ^),

соответственно нейронами распознающего слоя: У1,У2,...,Ук+1, Ук+2, ...,У(к+1)Ь, которые запоминают все (к + 1)Ь изображений (t0), S0 (^), ...£оь (tк),, отображающих изменения каждого из

объектов (1) в моменты времени ^, ^, ...¿к.

Обучение У-нейронов сети выполняется быстрым алгоритмом обучения и существенно не отличается от обучения нейронной сети АРТ-1. В процессе запоминания объекта ог распознающие У-нейроны запоминают изображения Бо (t0),Бо (t1), ...$о (tк) этого объекта и

переводят в единичное состояние соответствующие им нейроны слоя У 1. Поскольку выход каждого У1 -нейрона соединен со входом каждого У2 -нейрона, то в процессе обучения сети последовательно определяются веса связей между слоями нейронов У 1 и У2. Без потери общности можно полагать, что в процессе обучения сети изображениями первого объекта 8о (^), (t1), ...,5о (^) их запоминают распознающие нейроны

У1, У2, ...,Ук +1, а единичный сигнал, соответствующий объекту о1, появляется на выходе нейрона У12 . При этом веса связей этого нейрона следующие:

Ж 1 2 = Ж 1 2 = ...= Ж 1 2 = 1, уУ УУ у'+у2

Ж 1 2 = Ж 1 2 = ...= Ж 1 2 = 0.

тл! V 2 тл 1 тл 2 тл 1 тл 2

Ук +2У1 Ук +3У1 УтУ1

При обучения сети изображениями г-го объекта Ог без потери общности можно полагать, что их запоминают распознающие нейроны Уг(к+1)-к, Уг(к+1)-к+и Y•(k+1), Г = 2, Ь, а еДиничный сигнал, соответствующий объекту О, появляется на выходе нейрона Уг2. При этом веса связей этого нейрона следующие:

Ж 1 2 = Ж 1 2 = ... = Ж 1 2 = 1,

У 1 V 2 У 1 V 2 У 1 у 2 7

■гг(к+1)-<И'- 'г(к+1)-к+1'г 'г(к+1)'г

Ж 12 = Ж ,2 = ... =

УУ Фг

= Ж 1 2 = Ж 1 2 = Ж 1 2 = ...= Ж 1 2 = 0.

Уг(к+1)-к-1Уг Уг(к+1)+1Уг Уг(к+1)+2Уг УтУг

Для распознавания нейронной сетью некоторого объекта О (г = 1, Ь) по его неискаженным изображениям

$Ог (¿0), БОг (^), ...,SO (¿к) необходимо выполнить следующие шаги:

- инициировать параметры и начальные веса связей сети, все нейроны сети перевести в пассивное состояние по вспомогательным цепям связей, не показанным на рисунке;

- на вход нейронной сети подать первое изображение БО (/0) г-го

объекта и определить нейрон-победитель в слое распознающих нейронов. Этот нейрон своим единичным выходным сигналом переводит в

активное состояние нейрон +1)-к слоя нейронов У \

- на вход НС подать второе изображение SO (^) г-го объекта и

определить нейрон-победитель в слое распознающих нейронов, который затем своим выходным сигналом переводит в активное состояние нейрон У1 •

Уг(к+1)-к+1;

- на вход сети последовательно подать все изображение SOr(¿2), SOr(?3), ...,SO ) г-го объекта, которые с помощью нейронов-

победителей распознающего слоя активируют нейроны

У/(к+1)-к+2,Уг1(к+1)-к+3,...у1(к+1). Элементы слоя У1 своими единичными

сигналами переводят в активное состояние нейрон Уг , имеющий функцию активации вида

(2). Нейрон Уг2 и указывает, что распознан объект О, изменяющийся в моменты времени , ^, .

При использовании зашумленных исходных данных при больших значениях параметра сходства входных изображений и изображений, хранящихся в весах связей нейронной сети, возможно ослабление требования распознавания объектов во все заданные моменты времени. В этом случае изменяется функция активации (2) нейронов выходного слоя:

U

m

0, если U 2 = YU 1 <l,

вх Y,. выхГ„

q q=1 q

1, если U 2 = YU 1 > l,

вх Yq BbixYq

q q=1 q

где l - заданное число распознанных с заданным значением параметра сходства изображений q-го объекта, изменяющегося в дискретные моменты времени.

Выводы. На основе дискретной нейронной сети адаптивной резонансной теории, способной определять несколько решений (если они имеются), разработана архитектура и алгоритмы функционирования стабильно-пластичной дискретной нейронной сети АРТ, которая может распознавать объекты, изменяющиеся в дискретные моменты времени. Перспективой дальнейших исследований является разработка непрерывных нейронных сетей АРТ, способных решать задачи распознавания изменяющихся во времени объекты.

Список литературы: 1. Leonov S.Yu. K-Value Adaptive Resonance Theory of the Neural Network for Analyzing the Operability of Computing Devices / S. Yu. Leonov, V.D. Dmitrienko, T.V. Gladkikh // World Applied Sciences Journal. - 2014. - 30 (12). - P. 1932-1938. 2. Dmitrienko V.D. Neural Networks Art: Solving problems with multiple solutions and new teaching algorithm / V.D. Dmitrienko, A. Yu. Zakovorotnyi, S. Yu. Leonov, I.P. Khavina // Open Neurology Journal. - 2014. - 8. - P. 15-21. 3. Neural networks for control / Edited by W. Thomas Miller III, Richard S. Sutton, and Paul J. Werbos, - Cambridge, Massachusetts, London: MIT Press, 1996. - 524 P. 4. Хавина И.П. Применение нейронных сетей в технологических процессах механообработки / И.П. Хавина, В.В. Лимаренко // Сборник научных трудов "Автоматизированные технологи и производства" Магнитогорского государственного технологического университета им. Г.И. Носова. - Магнитогорск: МГТУ им. Г.И. Носова. -2013. - С. 233-239. 5. Хайкин С. Нейронные сети: полный курс / С. Хайкин. - М.: Издательский дом "Вильямс", 2006. - 1104 с. 6. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений / А.Б Барский. - М.: Финансы и статистика, 2004. - 176 с. 7. Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Том 2 / А.И. Галушкин. - М.: Горячая линия - Телеком, 2004. - 464 с. 8. Леонов С.Ю. K-значная нейронная сеть АРТ для анализа работоспособности вычислительных устройств / С.Ю. Леонов // Вюник НТУ "ХШ". - Харюв: НТУ "ХП1", 2013. - Вип. 39 (1012). - С. 115-128. 9. ДмитриенкоВ.Д. Вычислительная сеть для решения задач распознавания с несколькими решениями / В.Д. Дмитриенко, И.П. Хавина // Вюник НТУ "ХШ". - Х.: НТУ "ХШ".- 2007. - № 19. - С. 58-63. 10. Grossberg S. Competitive learning: From interactive activation to adaptive resonance / S. Grossberg // Cognitive Science -

2

m

1987. - Vol. 11. - P. 23-63. 11. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications / L. Fausett. - New Jersey: Prentice Hall International, Inc., 1994. -461 p.

Bibliography (transliterated): 1. Leonov S.Yu. K-Value Adaptive Resonance Theory of the Neural Network for Analyzing the Operability of Computing Devices / S.Yu. Leonov, V.D. Dmitrienko, T.V. Gladkikh // World Applied Sciences Journal. - 2014. - 30 (12). - P. 19321938. 2. Dmitrienko V.D. Neural Networks Art: Solving problems with multiple solutions and new teaching algorithm / V.D. Dmitrienko, A.Yu. Zakovorotnyi, S.Yu. Leonov, I.P. Khavina // Open Neurology Journal. - 2014. - 8. - P. 15-21. 3. Neural networks for control / Edited by W. Thomas Miller III, Richard S. Sutton, and Paul J. Werbos, - Cambridge, Massachusetts, London: MIT Press, 1996. - 524 P. 4. Havina I.P. Primenenie nejronnyh setej v tehnologicheskih processah mehanoobrabotki / I.P. Havina, V. V. Limarenko // Sbornik nauchnyh trudov "Avtomatizirovannye tehnologi i proizvodstva" Magnitogorskogo gosudarstvennogo tehnologicheskogo universiteta im. G.I. Nosova. - Magnitogorsk: MGTU im. G.I. Nosova. - 2013. - S. 233-239. 5. Hajkin S. Nejronnye seti: polnyj kurs / S. Hajkin. - M.: Izdatel'skij dom "Vil'jams", 2006. - 1104 s. 6. Barskij A.B. Nejronnye seti: raspoznavanie, upravlenie, prinjatie reshenij / A.B Barskij. - M.: Finansy i statistika, 2004. - 176 s. 7. Galushkin A.I. Nejrokomp'jutery i ih primenenie na rubezhe tysjacheletij v Kitae. V 2-h tomah. Tom 2 / A.I. Galushkin. - M.: Gorjachaja linija - Telekom, 2004. - 464 s. 8. Leonov S.Ju. K-znachnaja nejronnaja set' ART dlja analiza rabotosposobnosti vychislitel'nyh ustrojstv / S.Ju. Leonov // Visnik NTU "HPI". - Harkiv: NTU "HPI", 2013. - Vip. 39 (1012). - S. 115-128. 9. Dmitrienko V.D. Vychislitel'naja set' dlja reshenija zadach raspoznavanija s neskol'kimi reshenijami / V.D. Dmitrienko, I.P. Havina // Visnik NTU "HPI". -H.: NTU "HPI".- 2007. - № 19. - S. 58-63. 10. Grossberg S. Competitive learning: From interactive activation to adaptive resonance / S. Grossberg // Cognitive Science - 1987. - Vol. 11. - P. 23 - 63. 11. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications / L. Fausett. - New Jersey: Prentice Hall International, Inc., 1994. - 461 p.

Поступила (received) 25.12.2014

Статью представил д-р техн. наук, проф., заслуженный изобретатель Украины, зав. кафедрой "Системы информации" НТУ "ХПИ" Серков А.А.

Dmitrienko Valerii, Dr.Tech.Sci., Professor

National Technical University "Kharkiv Polytechnic Institute"

Str. Frunze, 21, Kharkiv, Ukraine, 61002

Tel.: (057) 707-61-98, e-mail: [email protected]

ORCID ID: 0000-0003-2523-595X

Sergey Leonov, Dr.Tech.Sci., Dotcent

National Technical University "Kharkiv Politechnical Institute" Str. Frunze 21, Kharkov, Ukraine, 61002 Tel.: (099) 911-911-3, e-mail: [email protected] ORCID ID 0000-0001-8139-0458