CC BY
123
ISSN 2079-0031 Вестник НТУ "ХПИ", 2015, № 32 (1141) УДК 004.383.8: 681.322
B.Д. ДМИТРИЕНКО, д-р техн. наук, проф., НТУ "ХПИ",
C.Ю. ЛЕОНОВ, д-р техн. наук, доц., НТУ "ХПИ",
Д.М. ГЛАВЧЕВ, бакалавр, НТУ "ХПИ"
НЕЙРОННАЯ СЕТЬ, РАСПОЗНАЮЩАЯ ГРУППЫ
ИЗОБРАЖЕНИЙ
На основе нейронной сети адаптивной резонансной теории АРТ-1 и сети АРТ, способной определять несколько решений (если они существуют), разработана нейронная сеть, способная распознавать как отдельные изображения, так и группы изображений. Приведена архитектура и алгоритмы функционирования нейронной сети. Ил.: 3. Библиогр.: 12 назв.
Ключевые слова: нейронная сеть адаптивной резонансной теори, нейронная сеть, распознающая группы изображений.
Постановка проблемы и анализ литературы. Искусственные нейронные сети широко и успешно используются для решения разнообразных задач в науке, технике, медицине и т.д. [1 - 11]. Разработка и применение нейронных сетей позволяет не только решать конкретные научные или технические задачи, но и получать крупицы знаний о мышлении и функционировании мозга человека. Это, в свою очередь, ведет к созданию новых компьютерных интеллектуальных систем, которые а определенных областях по своим возможностям приближаются к человеку или даже превосходят его. Эксперименты с такими системами вскрывают и их недостатки и недостатки нейронных сетей, на основе которых они созданы, что открывает новые пути по совершенствованию искусственных нейронных сетей как некоторых частных моделей мозга или его отдельных частей. Например, большинство нейронных сетей, в частности, и перцептроны, не могут дообучаться, то есть не способны запоминать новую информацию без искажения или потери уже имеющейся, не могут обнаруживать на своих входах новую информациюи т.д. Эти недостатки не только существенно отличают их от мозга человека, но и весьма затрудняют их использование при решении практических задач, поскольку при создании систем распознавания, управления, контроля, идентификации и т.д. для реальных объектов, как правило, исходная информация, необходимая для обучения нейронной сети, на этапе создания системы полностью не известна, и может быть получена только при эксплуатации объекта. Это
© В.Д. Дмитриенко, С.Ю. Леонов, Д.М. Главчев, 2015
требует многократного и трудоемкого переобучения нейронной сети, что часто сильно затрудняет или делает невозможным их практическое использование.
Проблемы дообучения нейронных сетей и обнаружения на их входах новой информации были, в определенной степени, решены с помощью адаптивной резонансной теории (АРТ) и появления нейронных сетей АРТ [2, 11]. Однако существуют важные классы задач, которые не могут решаться и с помощью нейронных сетей АРТ, в частности, это задачи распознавания групп из q объектов или изображений, распознавание которых затруднено и с помощью других нейронных сетей. Это связано с тем, что при распознавании групп из n объектов необходимо решать n задач распознавания. Тривиальный подход -использование q параллельно работающих сетей - задачу решает, однако требует большого числа нейронов. В работе [12] при распознавании режимов функционирования объектов по значительному числу изменяющихся во времени переменных были предложены нейронные сети АРТ с m полями обрабатывающих нейронов. При q = m эти сети могут использоваться и для распознавания групп из q объектов. Такая сеть имеет меньшее число нейронов по сравнеию с q параллельно работающими нейронными сетями, однако она группы изображенй, предъявленных в различном порядке, распознает как разные группы, что в большинстве задач (но не во всех) не является правильным. Кроме того, число обрабатывающих нейронов остаетя все же большим. Существенно уменьшить их можно только используя одно поле обрабатывающих нейронов, однако в этом случае необходимо запоминать q решений, что большинство нейронных сетей обеспечить не могут. Одним из исключений является дискретная нейронная сеть АРТ, описанная в работе [9], которая может быть модифицирована для решения задач распознавания групп объектов.
Таким образом, существует проблема эффективного распознавания групп изображений (объектов) с помощью нейронных сетей АРТ, требующая совершенствования сетей адаптивной резонансной теории с целью их более широкого и плодортворного использования при решении задач распознавания в различных областях науки, техники и медицины.
Цель статьи - разработка дискретной нейронной сети адаптивной резонансной теории, способной распознавать как отдельные объекты, так и различные группы объектов.
Архитектура предлагаемой нейронной сети АРТ-1гр, способной распознавать как группы из q, (q - 1), ..., трех и двух изображений (объектов), так и отдельные изображения, приведена на рис. 1.
На входы нейронов
1 У1, У 1 у1 2,•••>УЧ
гЧ \._
На входы нейронов У1 У1 У1
г ' * * г1' т
^выхГ,1 ивыху\
ивыхУ1 и™ху1т
ишлху1т-1 ивыхУ^
ивыху2 ив^:хУ2
и
выхУ 2 т
и
выхУ 2
а
^выхУ 1
и
i у.
2-слой
Рис. 1. Архитектура нейронной сети АРТ-1гр 44
На рис.1 приняты следующие обозначения: d = m + j - 1; dl = Cm ;
d2 = Cq ; Cq - число сочетаний из m по q ; r = m - q + 1; rl = m - 1.
Основой архитектуры сети АРТ-1гр является дискретная нейронная сеть АРТ-1, упрощенная архитектура которой на рис. 1 выделена пунктирной линией.
Более детальная архитектура сети АРТ-1 приведена на рис. 2.
Рис. 2. Архитектура дискретной нейронной сети АРТ-1
Нейронная сеть АРТ-1 имеет три слоя нейронов:
- 5"-слой чувствительных нейронов, предназначенных для восприятия бинарных (черно -белых) изображений;
- 2-слой интерфейсных бинарных нейронов;
- 7-слой выходных распознающих нейронов.
Имеется также два управляющих нейрона 01, 02 и решающий нейрон Я.
Детально архитектура и алгоритмы функционирования нейронной сети АРТ-1 описаны в работах [2, 9 - 12]. Однако во всех этих работах, как и во многих других, опущены как второстепенные два блока нейронов (рис. 3):
- блок 1 выделения нейрона-победителя в распознающем 7-слое сети, который также осуществляет затормаживание или активацию Y-нейронов, сброс в нуль выходных сигналов Y-нейронов, определяет наличие новой информации на входе сети по заторможенности всех используемых 7-нейронов и т.д.
- блок 2 синхронизации и управления нейронной сетью, который синхронизирует работу нейронов сети, сбрасывает их в начальное состояние и т.д.
Блок 2
Блок 1
I
71 7 2 Ym
4= ==► S1 S2 Si Sn
Рис. 3. Найронная сеть АРТ-1 с дополнительными блоками
Для обеспечения возможностей нейронной сети АРТ-1гр распознавать не только отдельные изображения (объекты), но и группы из двух, трех, ..., (д - 1), q изображений (объектов) в сеть введено дополнительно д слоев распознающих нейронов (рис. 1):
- слой У1 -нейронов, предназначенных для распознавания отдельных изображений и их запоминания;
- слой У2-нейронов, распознающих пары изображений;
- слой Уд -нейронов, распознающих группы из д изображений. Перед началом распознавания нейроны сети АРТ-1гр с помощью блоков 1 и 2 переводятся в пассивное состояние. На рис. 1 и 2 эти связи не показаны.
При распознавании одиночных изображений, когда на вход нейронной сети подается некоторое входное изибражение
= (Б?, Б?,..., Б?), сеть АРТ-1 относит это изображение с помощью параметра сходства [11, 12] к первому близкому классу изображений, представители которых хранятся в весах связей распознающих У-нейронов. Без потери общности можно положить, что к = 1 и в
результате предъявления изображения Бк = Б1 нейроном-победителем стал распознающий нейрон Ук = У1, то есть изображение отнесено к к-му (первому) классу. Выходной сигнал нейрона-победителя Ук = У1 поступает на вход нейрона У? = У11 слоя У1, единичные выходные сигналы которого указывают на распознавание отдельных изображений. Нейрон У? = У11 переходит в активное состояние и его единичный выходной сигнал по цепи обратной связи фиксирует единичный выходной сигнал элемента У? = У11 и затормаживает нейрон-победитель
Ук = У1 в распознающем У-слое нейронной сети. Если в течение заданного интервала времени Т на вход сети не поступает нового изображения, то считается, что на вход сети подано отдельное изображение, которое распознано и отнесено к определенному классу изображений, хранящихся в памяти нейронной сети АРТ-1. Если при
распознавании отдельного изображения Бк на выходах нейронов У1-слоя не оказалось ни одного единичного сигнала, то это указывает на то, что оно не похоже ни на одно из изображений, хранящихся в весах связей нейронной сети. При распознавании пар изображений, например, пары
с^к гчк+1 гчк+1 пк
Б , Б или Б , Б вначале на вход сети подается первое
изображение, например, Бк. Пусть, как и при распознавании единичного изображения, описанном выше, нейроном-победителем будет нейрон Ук ,
что приведет в конечном итоге к активации нейрона У в слое У:-нейронов. и затормаживанию нейрона Ук в У-слое элементов. Затем на вход сети АРТ-1гр поступает второе изображение Бк1. Без потери общности можно положить, что нейроном-победителем в этом случае стал распознающий нейрон Ук+1 , единичный выходной сигнал которого
переводит в активное состояние нейрон у!+1. Единичный выходной сигнал этого нейрона по цепи обратной связи фиксирует его единичный выходной сигнал и затормаживает нейрон-победитель Ук+1 в распознающем слое сети АРТ-1. Если в течение заданного интервала
времени T на вход сети не поступает нового изображения, то блок 2 фиксирует, что на вход нейронной сети поступила пара изображений
Sk, Sk+1 и активируются нейроны 72-слоя. В единичное состояние
переходит только тот 72-нейрон, на вход которого поступили два
единичных сигнала с выходов нейронов уЦ и у1+1 . Единичный выходной
сигнал нейрона-победителя в слое 72-нейронов по цепи обратной связи
фиксирует сигнал нейрона-победителя и затормаживает нейроны у,1 и
у!+1. В результате этого только в слое 72-элементов будет один нейрон с единичным выходным сигналом, который соответствует паре входных изображений Sk, Sk+1. При k =1 в слое Y-нейронов будут нейроны-
победители Y1 и Y2, а в слое 71-нейронов - нейроны у1 и У2:. Паре
входных изображений S1 и S2 в соответствии с рис. 1 будет
v2
соответствовать нейрон у1 .
Распознавание группы изображений, содержащих более двух изображений, происходит аналогично. Рассмотрим, например, случай подачи на вход нейронной сети АРТ-1гр группы из q изображений,
например, S1,..., Sq, каждое из которых распознается нейронной сетью АРТ-1 как представитель одного из классов изображений, хранящихся в весах связей этой нейронной сети. Без потери общности можно положить, что эти изображения последовательно в слоях Y и Y1
активируют нейроны Y1, 72, ..., Yq, а затем нейроны У,1, У2,..., У^,
единичные сигналы которых переводят в заторможенное состояние активные элементы Y-слоя. Затем блок 2 фиксирует, что распознается группа из q изображений и активирует нейроны 7^слоя. В единичное состояние переходит только тот элемент 7^слоя, на входы которого поступили q единичных сигналов. Единичный выходной сигнал нейрона-победителя 7^слоя по цепи обратной связи фиксирует свой единичный сигнал и затормаживает все активные элементы 7:-слоя.
Если при распознавании отдельного изображения или группы изображений какое-то изображение не распознается, то это фиксируется блоком 2, а затем начинается распознавание нового отдельного изображения или групп изображений.
Математическое моделирование нейронной сети АРТ-1гр с различными исходными данными подтвердило ее работоспособность.
Выводы. На основе нейронной сети АРТ-1 и дискретной нейронной сети АРТ, способной определять несколько решений, разработана архитектура и алгоритмы функционирования дискретной нейронной сети АРТ-1гр, которая может распознавать как отдельные изображения (объекты), так и пары, тройки и группы из q (q > 3) изображений (объектов). Перспективой дальнейших исследований в этом направлении является разработка нейронных сетей адаптивной резонансной теории, способных решать задачи распознавания как отдельных изображений, так и групп полутоновых изображений.
Список литературы: 1. Leonov S.Yu. K-Value Adaptive Resonance Theory of the Neural Network for Analyzing the Operability of Computing Devices / S. Yu. Leonov, V.D. Dmitrienko, T.V. Gladkikh // World Applied Sciences Journal. - 2014. - 30 (12). - P. 1932-1938. 2. Dmitrienko V.D. Neural Networks Art: Solving problems with multiple solutions and new teaching algorithm / V.D. Dmitrienko, A. Yu. Zakovorotnyi, S. Yu. Leonov, I.P. Khavina // Open Neurology Journal. - 2014. - 8. - P. 15-21. 3. Neural networks for control / Edited by W. Thomas Miller III, Richard S. Sutton, and Paul J. Werbos, - Cambridge, Massachusetts, London: MIT Press, 1996. - 524 P. 4. Хавина И.П. Применение нейронных сетей в технологических процессах механообработки / И.П. Хавина, В.В. Лимаренко // Сборник научных трудов "Автоматизированные технологи и производства" Магнитогорского государственного технологического университета им. Г.И. Носова. - Магнитогорск: МГТУ им. Г.И. Носова. -2013. - С. 233-239. 5. Хайкин С. Нейронные сети: полный курс / С. Хайкин. - М.: Издательский дом "Вильямс", 2006. - 1104 с. 6. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений / А.Б Барский. - М.: Финансы и статистика, 2004. - 176 с. 7. Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Том 2 / А.И. Галушкин. - М.: Горячая линия - Телеком, 2004. - 464 с. 8. Леонов С.Ю. K-значная нейронная сеть АРТ для анализа работоспособности вычислительных устройств / С.Ю. Леонов // Вюник НТУ "ХП1". - Харюв: НТУ "ХП1", 2013. - Вип. 39 (1012). - С. 115-128. 9. ДмитриенкоВ.Д. Вычислительная сеть для решения задач распознавания с несколькими решениями / В.Д. Дмитриенко, И.П. Хавина // Вюник НТУ "ХП1". - Харюв: НТУ "ХШ".- 2007. - № 19. - С. 58-63. 10. Grossberg S. Competitive learning: From interactive activation to adaptive resonance / S. Grossberg // Cognitive Science -1987. - Vol. 11. - P. 23-63. 11. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications / L. Fausett. - New Jersey: Prentice Hall International, Inc., 1994. -461 p. 12. Носков В.И. Моделирование и оптимизация систем управления и контроля локомотивов / Носков В.И., Дмитриенко В.Д., Заполовский Н.И., Леонов С.Ю. - Харьков: ХФИ "Транспорт Украины", 2003. - 248 с.
Bibliography (transliterated): 1. Leonov S.Yu. K-Value Adaptive Resonance Theory of the Neural Network for Analyzing the Operability of Computing Devices / S.Yu. Leonov, V.D. Dmitrienko, T.V. Gladkikh // World Applied Sciences Journal. - 2014. - 30 (12). - P. 19321938. 2. Dmitrienko V.D. Neural Networks Art: Solving problems with multiple solutions and new teaching algorithm / V.D. Dmitrienko, A.Yu. Zakovorotnyi, S.Yu. Leonov, I.P. Khavina // Open Neurology Journal. - 2014. - 8. - P. 15-21. 3. Neural networks for control / Edited by W. Thomas Miller III, Richard S. Sutton, and Paul J. Werbos, - Cambridge, Massachusetts, London: MIT Press, 1996. - 524 P. 4. Havina I.P. Primenenie nejronnyh setej v tehnologicheskih processah mehanoobrabotki / I.P. Havina, V. V. Limarenko // Sbornik nauchnyh trudov "Avtomatizirovannye tehnologi i proizvodstva" Magnitogorskogo gosudarstvennogo tehnologicheskogo universiteta im. G.I. Nosova. - Magnitogorsk: MGTU im. G.I. Nosova. - 2013. - S. 233-239. 5. Hajkin S.
Nejronnye seti: polnyj kurs / S. Hajkin. - M.: Izdatel'skij dom "Vil'jams", 2006. - 1104 s. 6. Barskij A.B. Nejronnye seti: raspoznavanie, upravlenie, prinjatie reshenij / A.B Barskij. - M.: Finansy i statistika, 2004. - 176 s. 7. Galushkin A.I. Nejrokomp'jutery i ih primenenie na rubezhe tysjacheletij v Kitae. V 2-h tomah. Tom 2 / A.I. Galushkin. - M.: Gorjachaja linija - Telekom, 2004. - 464 s. 8. Leonov SJu. K-znachnaja nejronnaja set' ART dlja analiza rabotosposobnosti vychislitel'nyh ustrojstv / SJu. Leonov // Visnik NTU "HPI". - Harkiv: NTU "HPI", 2013. - Vip. 39 (1012). - S. 115-128. 9. Dmitrienko V.D. Vychislitel'naja set' dlja reshenija zadach raspoznavanija s neskol'kimi reshenijami / V.D. Dmitrienko, I.P. Havina // Visnik NTU "HPI". -Harkiv: NTU "HPI".- 2007. - № 19. - S. 58-63. 10. Grossberg S. Competitive learning: From interactive activation to adaptive resonance / S. Grossberg // Cognitive Science - 1987. - Vol. 11. - P. 23 - 63. 11. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications / L. Fausett. - New Jersey: Prentice Hall International, Inc., 1994. - 461 p. 12. Noskov V.I. Modelirovanie i optimizacija sistem upravlenija i kontrolja lokomotivov / Noskov V.I., Dmitrienko V.D., Zapolovskij N.I., Leonov SJu. - Har'kov: HFI "Transport Ukrainy", 2003. - 248 s.
Поступила (received) 25.04.2015
Статью представил д-р техн. наук, проф., заслуженный изобретатель Украины, зав. кафедрой "Системы информации" НТУ "ХПИ" Серков А.А.
Dmitrienko Valerii, Dr.Tech.Sci., Professor
National Technical University "Kharkiv Polytechnic Institute"
Str. Frunze, 21, Kharkiv, Ukraine, 61002
Tel.: (057) 707-61-98, e-mail: [email protected]
ORCID ID: 0000-0003-2523-595X
Sergey Leonov, Dr.Tech.Sci., Dotcent
National Technical University "Kharkiv Politechnical Institute" Str. Frunze 21, Kharkov, Ukraine, 61002 Tel.: (099) 911-911-3, e-mail: [email protected] ORCID ID 0000-0001-8139-0458
Dmitry Glavchev, Student
National Technical University "Kharkiv Politechnical Institute" Str. Frunze 21, Kharkov, Ukraine, 61002 Tel.: (099) 304-980-7, e-mail: [email protected]
