CC BY
141DOI: 10.12731/wSD-2016-5-7 УДК 004.8
СРАВНЕНИЕ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ОБРАЗОВ НЕЙРОННЫМИ СЕТЯМИ ХОПФИЛДА
Павлова А.И., Бобрикова К.А.
Основным достоинством искусственных нейронных сетей (ИНС) в задачах распознавания состоит в их функционировании подобно человеческому мозгу. В работе рассмотрены вопросы распознавания изображений нейронными сетями Хопфилда, выполнен сравнительный анализ распознавания изображений методом проекций и по правилу Хебба. Для этих целей разработана программа на языке C# в среде Microsoft Visual Studio 2012. В ходе распознавания эталонных и искаженных образов изображений с разным уровнем зашумленности показал, что сети Хопфилда, обучаемые методом проекций способны запоминать и восстанавливать исходные образы со значительными искажениями до 25-30%.
Ключевые слова: искусственные нейронные сети; образы; распознавание изображений; правило Хебба; метод проекций; функция энергии сети.
THE COMPARISON OF ALGORITHMS OF RECOGNITION OF IMAGES HOPFILD'S NEURAL NETwORKS
Pavlova A.I., Bobrikova K.A.
The main advantage of artificial neural networks (ANN) in recognition of the cottages, is in their functioning like a human brain. The paper deals with
image recognition neuron Hopfield's networks, a comparative analysis of the recognition images by a projection's method and the Hebb's rule. For these purposes, was developed program with C# in Microsoft Visual Studio 2012. In this article to recognition for images with different levels of distortion were used. The analysis of results of recognition of images has shown that the method of projections allows to restore strongly distorted images (level of distortions up to 25-30 percent)
Keywords: artificial neural networks; images; recognition of images; Hebb s rule; projection method; energy function of the neural network.
Введение
Существует разнообразные методы, используемые для распознавания образов. К числу современных методов относятся искусственные нейронные сети (ИНС). ИНС присущи следующие качества: обучение на основе опыта, обобщение знаний, извлечение необходимой информации из множества исходных данных [1, 2, 3]. ИНС способны обучаться согласно выбранной архитектуре выстраивать взаимосвязи межу нейронами при изменении внешних условий. Обученная определенным алгоритмом ИНС, обладает свойством обобщения и позволяет избежать необходимости строгого соответствия входным данным [4, 5, 6]. ИНС в ходе обучения способны извлекать наиболее существенную информацию, т.е. идеальные образы для «запоминания» [7, 8].
Дж. Хопфилд [9] одним из первых предложил нейронную сеть, способную распознавать образы на основе ассоциативной памяти. Ассоциативная память представляет собой систему, способную устанавливать взаимосвязи между векторами входных данных. Различают ассоциативную память двух типов: автоассоциативная (на наличие взаимозависимости входных векторов исследуются компоненты одного и того же вектора) и гетероассоциативная (если взаимозавимыми оказываются два различных вектора). Задача ассоциативной памяти заключается в запоминании и восстановлении эталонных образов [10, 11, 12].
Методы исследований
В настоящей рассмотрены особенности распознавания образов с помощью нейронных сетей Хопфилда. Пусть сеть Хопфилда состоит из п входов и п нейронов. Каждый выход путем синаптических связей соединен со всем нейронам на входе, кроме самих себя. На каждом следующем шаге функционировании сети /-ый выход становится г-ым входом. Особенностью сети Хопфилда является наличие обратных связей [5, 9, 13]. Известны различные методы обучения сети Хопфилда, при этом наиболее известными являются метод Хебба и проекций [2, 4, 9-10]. В настоящей работе отражены особенности распознавания образов на примере нескольких символов.
При обучении по правилу Хебба основная зависимость, определяющая сеть Хопфилда, описывается в виде формулы с начальным условием:
у(0) = х, (1)
где х . у. - соответственно вход и выход нейрона.
Выходной сигнал /-го нейрона сети определяется на определенной итерации (0:
= (2)
где N - количество нейронов.
В классической сети Хопфилда отсутствует связь нейрона с собственным, т.е. W.. = 0, а матрица весов является обязательно должна быть симметричной. Каждый нейрон в сети имеет функцию активации типа сигнум и принимает значения ±1 [14].
Входные вектора хк транспонируются в вектора хкт, где к - это номер входного образца. Для одного обучающего вектора х значения весов вычисляются по формуле:
1У=^Х1ХР (3)
где N - количество элементов во входном векторе.
Ш - матрица весовых коэффициентов сети размером
X - матрица, составленная из обучающих векторов размером (р -общее количество обучающих векторов).
При обучении сети большому количеству эталонов х„ к = 1,2,..., р весовые коэффициенты рассчитываются по формуле:
(4)
к=1
Для сходимости алгоритма обучения должны выполняться требования [10, 12, 17]: матрица весовых коэффициентов должна быть квадратной; диагональные элементы матрицы должны быть равны нулю (Ш = 0); должна быть обеспечена симметричность связей (Ш.. = Ш.). Второе требование объясняется тем, что в структуре сети Хопфилда каждый нейрон связан с каждым, кроме самого себя.
Образы, которые необходимо распознать задаются при обучении в виде вектора у, который умножается на матрицу весовых коэффициентов:
У = Шуу. (5)
В основе другого метода обучения сети Хопфилда - метода проекций в основе обучения сети используется операция псевдоинверсии матрицы:
Г = ХХ + =Х(ХТХ)~1ХТ, (6)
где Х+ - операция псевдоинверсии применительно к матрице X.
В случае линейной независимости обучающих векторов хвыражение можно представить в виде:
_ --Ч^х,(7)
Хк Хк Хк " (к-\)Хк
В результате распознавания образов сеть стремится к устойчивому состоянию, при котором функция энергии сети достигает минимального значения - аттрактора. Множество аттракторов представляют память сети Хопфилда. Сеть является устойчивой, в случае если изменение вы-
хода сети становится меньше с каждой итерацией, пока выход не окажется постоянным.
Для доказательства устойчивости сети Хопфилда используется функция, зависящая от состояния сети и называемая функцией энергии:
w=4ÊÊ>w,+£®y>v (8)
^ ¡=1 j=\ 1
Изменение функции энергии, вызванное изменением состояния i-го нейрона [14, 15, 16]:
АЕ = (-£ wty, + &j)Ayj = ~{Sj - &j)Ay, (9)
где sj - значение выхода j-го нейрона; 0j - пороговое значение j-го нейрона.
Однако при обучении сети Хопфилда возникают случаи, когда устойчивое состояние сети достигнуто, но сгенерированное решение не является верным. Такое явление называется ложным распознаванием или локальным минимумом сети. Для устойчивой сети любое изменение состояния нейрона либо уменьшит энергию сети, либо оставит неизменной.
Результаты исследований
В работе приведен пример программы Imagination для распознавания образов, разработанной на языке C# в среде Microsoft Visual Studio 2012 (авторы: Павлова А.И., Бобрикова К.А.). Входные образы представляются векторами размерностью 81 пиксел. Основное меню программы представлено на рис. 1. Для начала работы программы необходимо занести в память эталоны. Для этого необходимо загрузить в рабочее окно программы исходный образ без искажений (эталонный образ) и затем нажать кнопку «Запомнить». После «запоминания» всех необходимых образов, сеть необходимо обучить и после этого программа готова для распознавания образов.
Рис. 1. Интерфейс программы для распознавания на основе нейронной сети Хопфилда
Процент искажений в исходном образе (эталоне)
5% 10% 15% 20% 30%
Искаженный образ ■■■■ ■■■■ ■ ■ ■■■■■■■■ ■ ■ ■■ ■ ■■■■■ ■■■ ■■■■■■ ■ ■ ■ ■ ■ ■■■■ ■■ ■ ■■ ■ ■ ■■■■ ■■■■ ■■ ■■■ ■■ ■ ■ ■ ■■■■ ■ ■ ■ ■■■ ■■■■ ■■ ■■■■ ■■ ■■ ■■■ ■■ ■■■ ■ ■ ■ ■■ ■■■ ■■
Распознанный образ ■■■■■■■■■ ■■■■■■■■■ ■■■■■■■■■ ■■■■■■■■■ ■ ■■■■■■■■■ 1 ■■■■■■■■■ ■■■■■■■■■ ■■■■■■■■■ ■ ■■■■■■■■■ ■■■■■■■■■ ■ ■■■■■■■■■ 1 ■■■■■■■■■ ■■■■■■■■■ ■ ■■■■■■■■■ 1
Энергия сети 4200 3160 3152 2708 1812
Рис. 2. Примеры распознавания буквы «Е» и значение функции энергии
Процент искажений в исходном образе (эталоне)
5% 10% 15% 20% 30%
Искаженный образ ■■ ■■ ■■ ■■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■■■ ■ ■■ ■■ ■ ■■ ■ ■ ■ ■ ■ ■ ■ ■■ ■■ ■ ■■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■■ ■ ■ ■■ ■ ■■ ■■ ■■ ■ ■ ■ ■ ■ ■ ■■■■ ■ ■ ■ ■ ■ ■ ■ ■ ■■ ■■ ■■■■ ■■ ■■ ■ ■ ■ ■ ■ ■ ■ ■ ■■■ ■
Распознанный образ ■■ ■■ ■■ ■■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■■ ■■ ■■ ■■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■■ ■■ ■■ ■■ ■ ■ ■ ■ ■ ■ ■ ■ ■■ ■■ ■■ ■■ ■ ■ ■ ■ ■ ■ ■ ■
Энергия сети 3174 2710 2320 1454 704
Рис. 3. Примеры распознавания буквы «М» и значение функции энергии
Рис. 4. Примеры распознавания буквы «Ж» и значение функции энергии
Примеры распознавания букв «Е» и буквы «М» приведены на рис. 2-3. В ходе распознавания эталонные изображения искажались случай-
ным образом, путем изменения исходной информации об образе. При этом уровень зашумленности входного образа изменялся от начального состояния от 5 до 30%.
В качестве примера работы программы рассматривается буква «Ж» русского алфавита. В ходе обучения при распознавании значение функции энергии сети существенно отличается. При обучении сети методом проекций функция энергии сети меньше, чем при обучении сети по правилу Хебба.
Результаты распознавания не сильно отличаются, при обоих методах обучения сеть не распознала букву «Ж» если исходный образ искажен примерно до 20%.
Заключение
Проведенные исследования показали, что ИНС обученная на основе сети Хопфилда хорошо справляется с задачей распознавания образов, содержащих искажения примерно до 30% от эталонных образов. Для устойчивой сети функция энергии уменьшается с каждой итерацией. Энергия сети становится меньше при увеличении количества итераций. При этом сеть, обученная методом проекций, лучшим образом восстанавливает исходные образы.
Список литературы
1. Галушкин А.И. Нейронные сети: основы теории. М.: Горячая линия-Телеком, 2010. 496 с.
2. Осовский С. Нейронные сети для обработки информации / Пер. с польского. М.: Финансы и статистика, 2002. 342 с.
3. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: пер. с польского, И.Д. Рудинского. М.: Горячая линия-Телеком, 2013. 384 с.
4. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992. 240 с.
5. Хайкин С. Нейронные сети: полный курс: пер. с англ. М.: Издательский дом Вильямс, 2006. 1104 с.
6. Каличкин А.И., Павлова А.И. Применение нейронной экспертной системы для классификации эрозионных земель // Сибирский вестник сельскохозяйственной науки. 2014. № 6. С. 5-11.
7. Павлова А.И., Каличкин В.К. Картографирование эрозионных земель с помощью ГИС и нейронной экспертной системы // Интерэкспо Гео-Си-бирь. 2013. Т. 3. № 4. С. 170-173.
8. Павлова А.И., Каличкин В.К. Автоматизированное картографирование сельскохозяйственных земель с помощью нейронной экспертной системы, интегрированной с ГИС // Достижения науки и техники АПК, 2011. № 1. С. 5-8.
9. Hopfield J., Tank D. Neural computation of decisions in optimization problems // Biological Cybernetics. 1985. Vol. 52, pp. 141-152.
10. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечёткая логика и искусственные нейронные сети. М.: Физматлит, 2001. 221 с.
11. Редько В.Г. Эволюция, нейронные сети, интеллект модели и концепция эволюционной кибернетики. М.: ЛИБРОКОМ, 2011. 220 с.
12. Басараб М., Вельц С.В. Иерархическое представление компьютерной сети на основе нейронной сети Хопфилда // Наука и образование, 2013. №9. С. 335-348.
13. Artificial Neural Networks - Methodological Advances and Biomedical Applications / Kenji Suzuki Published by InTech Janeza (editors), Croatia. 362 p.
14. MacKay David J.C. Information Theory, Inference, and Learning Algorithms URL: http://www.inference.phy.cam.ac.uk/itprnn/book.pdf (дата обращения 10.10.2016).
15. On the equivalence of Hopfield networks and Boltzmann Machines / A. Barra, A. Bernacchia, E. Santucci, P.Contucci// Neural Networks, 2012. Vol. 34, pp. 1-9.
16. Анализ эффективности применения искусственных нейронных сетей для решения задач распознавания, сжатия и прогнозирования / А.А. Талалаев, И.П. Тищенко, В.П. Фраленко, В.М. Хачумов // Искусственный интеллект и принятий. 2008. №2. C. 34-33.
17. Бобрикова К.А., Павлова А.И. Применение сети Хопфилда в качестве инструмента распознавания образов // Современные материалы, техника и технологии, 2016. №1(4). С. 44-49.
References
1. Galushkin A.I. Neyronnye seti: osnovy teorii [Neural networks: theory bases]. M.: Hot liniya-Telecom, 2010. 496 p.
2. Osovsky S. Neyronnye seti dlya obrabotki informatsii [Neural networks for the information processing] / Lane from Polish. M.: Finance and statistics, 2002. 342 p.
3. Rutkovskaya D., Pilinsky M., Rutkovsky L. Neyronnye seti, geneticheskie al-goritmy i nechetkie sistemy [Neural networks, genetic algorithms and indistinct systems]: the lane with Polish, I.D. Rudinsky. M.: Hot liniya-Telecom, 2013. 384 p.
4. Uossermen F. Neyrokomp'yuternaya tekhnika [Neurocomputer equipment]. M.: World, 1992. 240 p.
5. Khaykin S. Neyronnye seti: polnyy kurs [Neural networks: full course]: the lane with English. M.: Publishing house Williams, 2006. 1104 p.
6. Kalichkin A.I., Pavlova A.I. Primenenie neyronnoy ekspertnoy sistemy dlya klassifikatsii erozionnykh zemel' [Use of neural expert system for classification of erosive lands]. Sibirskiy vestniksel'skokhozyaystvennoy nauki [Siberian messenger of agricultural science]. 2014. No. 6, рр. 5-11.
7. Pavlova A.I., Kalichkin V.K. Kartografirovanie erozionnykh zemel' s po-moshch'yu GIS i neyronnoy ekspertnoy sistemy [Mapping of erosive lands by means of GIS and neural expert system]. Interekspo Geo-Sibir' [Interekspo Geo-Siberia]. 2013. T. 3. No. 4, рр. 170-173.
8. Pavlova A.I., Kalichkin V.K. Avtomatizirovannoe kartografirovanie sel'skok-hozyaystvennykh zemel' s pomoshch'yu neyronnoy ekspertnoy sistemy, in-tegrirovannoy s GIS [The automated mapping of farmlands by means of the neural expert system integrated with GIS]. Dostizheniya nauki i tekhniki APK [Achievements of science and technology of agrarian and industrial complex], 2011. No. 1, pp. 5-8.
9. Hopfield J., Tank D. Neural computation of decisions in optimization problems [Neural computation of decisions in optimization problems]. Biological Cybernetics [Biological Cybernetics]. 1985. Vol. 52, pp. 141-152.
10. Kruglov V. V., Dli M.I., Golunov R.Yu. Nechetkaya logika i iskusst-vennye ney-ronnye seti [Fuzzy logic and artificial neural networks]. M.: Fizmatlit, 2001. 221 p.
11. Red'ko V.G. Evolyutsiya, neyronnye seti, intellekt modeli i kontsep-tsiya evoly-utsionnoy kibernetiki [Evolution, neural networks, intelligence of model and concept of evolutionary cybernetics]. M.: LIBROKOM, 2011. 220 p.
12. Basarab M., Velts S.V. Ierarkhicheskoe predstavlenie komp'yuter-noy seti na osnove neyronnoy seti Khopfilda [Hierarchical representation of a computer network on the basis of a neural network of Hopfild]. Nauka i obrazovanie [Science and education], 2013. No. 9, pp. 335-348.
13. Artificial Neural Networks - Methodological Advances and Biomedical Appli-cations/Kenji Suzuki Published by InTech Janeza (editors), Croatia. 362 p.
14. MacKay David J.C. Information Theory, Inference, and Learning Algorithms URL: http://www.inference.phy.cam.ac.uk/itprnn/book.pdf (date of the address 10/10/2016).
15. On the equivalence of Hopfield networks and Boltzmann Machines / A. Barra, A. Bernacchia, E. Santucci, P. Contucci. Neural Networks, 2012. Vol. 34, pp. 1-9.
16. Talalayev A.A., Tishchenko I.P., Fralenko V.P., Hachumov V. M. Analiz effek-tivnosti primeneniya iskusstvennykh neyronnykh setey dlya resheniya zadach raspoznavaniya, szhatiya i prognozirovaniya [The analysis of efficiency of application of artificial neural networks for the solution of problems of recognition, compression and forecasting]. Iskusstvennyy intellekt i prinyatiy, 2008. No. 2, pp. 34-33.
17. Bobrikova K.A., Pavlova A.I. Primenenie seti Khopfilda v kachestve instrumenta raspoznavaniya obrazov [Application of a network of Hopfild as the instrument of recognition of images]. Sovremennye materialy, tekhnika i tekhnologii [Modern materials, equipment and technologies], 2016. No. 1(4), pp. 44-49.
ДАННЫЕ ОБ АВТОРАХ Павлова Анна Илларионовна, доцент кафедры Прикладных информационных технологий, кандидат технических наук, доцент Новосибирский государственный университет экономики и управления
ул. Каменская, 52, г. Новосибирск, Российская Федерация annstab@mail.ru
Бобрикова Ксения Анатольевна, студент 4 курса
Новосибирский государственный университет экономики и управления
ул. Каменская, 52, г. Новосибирск, Российская Федерация kseniya.bobrikova@mail.ru
DATA ABOUT THE AUTHORS Pavlova Anna Illarionovna, Associate Professor, Associate Professor of Applied Information Technologies, Ph.D.
Novosibirsk State University of Economy and Management 52, Kamenskaya St., Novosibirsk, Russian Federation annstab@mail.ru SPIN-code: 8714-1140
Bobrikova Ksenya Anatolevna, Student
Novosibirsk State University of Economy and Management 52, Kamenskaya St., Novosibirsk, Russian Federation kseniya.bobrikova@mail.ru
