CC BY
27
А. О. Дранкова, Е. В. Ткаченко: ИССЛЕДОВАНИЕ СЕТИ ХОПФИЛДА ДЛЯ РАСПОЗНАВАНИЯ ЦИФРО-ПОДОБНЫХ ОБРАЗОВ
ВЫВОДЫ
Предложена структура двойного вэйвлет-нейрона и алгоритм его обучения, позволяющий настраивать все параметры сети. Алгоритм прост в численной реализации, обладает высокой скоростью сходимости и дополнительными следящими и сглаживающими свойствами.
ПЕРЕЧЕНЬ ССЫЛОК
1. Chui C. K. An Introduction to Wavelets. - New York: Academic, 1992. - 264 p.
2. Daubechies I. Ten Lectures on Wavelets. Philadelphia, PA: SIAM, 1992. - 228 p.
3. Meyer Y. Wavelets: Algorithms and Applications. Philadelphia, PA: SIAM, 1993. - 133 p.
4. Lekutai G., van Landingham H. F. Self-tuning control of nonlinear systems using neural network adaptive frame wavelets // Proc. IEEE Int. Conf. on Systems, Man and Cybernetics. - Piscataway, N. J. - 1997. - 2. - P. 1017-1022.
5. Bodyanskiy Ye., Lamonova N., Pliss I., Vynokurova O. An adaptive learning algorithm for a wavelet neural network // Expert Systems. - 2005. - 22. - №. 5 - P. 235-240.
6. Bodyanskiy Ye., Kolodyazhniy V., Pliss I., Vynokurova O. Learning wavelet neuron based on the RASP-function // Radio Electronics. Computer Science. Control. - 2004. -№ 1. - P. 118-122.
7. Бодянский E. В., Винокурова E. А., Ламонова H. С. Адаптивная гибридная вэйвлет-нейронная сеть для решения задачи прогнозирования и эмуляции // C6. науч. трудов 12-й международной конференции по автоматическому управлению «Автоматика 2005», Т. 3. -Харьков: Изд-во НТУ «ХПИ». - 2005. - С. 40-41.
8. Бодянский E. В., Винокурова E. А. Треугольный вэйв-лет и формальный нейрон на его основе // Сб. наук. праць 3-1 М1жнародноТ науково-практичноТ конференцп «Математичне та программне забезпечення ¡нтелекту-альних систем» (MPZIS-2005) - Днтропетровськ: ДНУ. -2005. - С. 14-15.
9. Billings S. A., Wei H.-L. A new class of wavelet networks for nonlinear system identification // IEEE Trans. on Neural networks. - 2005. - 16. - № 4. - P. 862-874.
10. Szu H. H., Telfer B., Kadambe S. Neural network adaptive wavelets for signal representation and classification // Opt. Eng. - 1992. - 31. - P. 1907-1916.
11. Zhang Q. H., Benveniste A. Wavelet networks // IEEE Trans. on Neural Networks. - 1992. - V. 3. - № 6. - P. 889-898.
12. Dickhaus H., Heinrich H. Classifying biosignals with wavelet networks // IEEE Eng. Med. Biol. Mag. - 1996. -15. - № . 5. - P. 103-111.
13. CaoL.Y., HongY.G, Fang H. P., He G. W. Predicting chaotic time series with wavelet networks // Phys. D. -1995. - 85. - P. 225-238.
14. Oussar Y., Dreyfus G. Initialization by selection for wavelet network training // Neurocomputing. - 2000. - 34. -P. 131-143.
15. Zhang J., Walter G.G., Miao Y, Lee W. N. W. Wavelet neural networks for function learning // IEEE Trans. on Signal Process. - 1995. - 43. - № 6. - P. 1485-1497.
16. Zhang Q. H. Using wavelet network in nonparametric estimation // IEEE Trans. on Neural Networks. - 1997. - 8. -№ 2. - P. 227-236.
17. Casdagli M. Nonlinear prediction of chaotic time series // Phys. D. - 1989. - 35. - P. 335-356.
18. Soltani S. On the use of wavelet decomposition for time series prediction // Neurocomputing. - 2002. - 48. -P. 267-277.
19. Yamakawa T., Uchino E., Samatu T. Wavelet neural networks employing over-complete number of compactly supported non-orthogonal wavelets and their applications // IEEE Int. Conf. on Neural Networks, Orlando, USA. -1994. - P. 1391-1396.
20. Yamakawa T., Uchino E., Samatu T. The wavelet network using convex wavelets and its application to modeling dynamical sytems // The Trans. on the IEICE. - 1996. -J79-A. - № 12. - P. 2046-2053.
21. Yamakawa T. A novel nonlinear synapse neuron model guaranteeing a global minimum - Wavelet neuron // Proc. 28 th IEEE Int. Symp. On Multiple-Valued Logic. -Fukuoka, Japan: IEEE Comp. Soc., 1998. - P. 335-336.
22. Baumann M. Nutzung neuronaler Netze zur Prognose von Aktienkursen. - Report Nr. 2/96, TU Ilmenau, 1996. -113 s.
23. Fueser K. Neuronale Netze in der Finanzwirtshaft. - Wiesbaden: Gabler, 1995. - 437 s.
Haäinm^a 22.02.06
B cmammi 3anponoHoeano apximeKmypy nodeiÜHozo eeüe-Äem-Heüpony, wp e Modurf>iKau,iern cmaiäapmHozo eeüenem-HeüpoHy ma anzopumM HaenaHHM üozo napaMempie. öm ap-ximeKmypa do3eonae noninmumu anpoKcuMymni enacmu-eocmi eeüenem-HeüpoHy. npoeedeHo iMimau,iÜHe MoäenmeaH-hm 3anponoHoeaHozo nodeiÜHozo eeüenem-HeüpoHy ma anzo-pumMy üozo HaenaHHM 3 euKopucmaHHMM Hecmau,ioHapHo'i xaommHo'i nacoeo'i nocnidoeHocmi.
In this paper a new double wavelet neuron architecture obtained by modification of standard wavelet neuron, and its learning algorithm for its parameters is proposed. Offered architecture allows to improve the approximation properties of wavelet-neuron. Double wavelet neuron and its learning algorithm are examined for predicting non-stationary chaotic time series.
УДК 004.932.001.57
A. О. Дранкова, E. В. Ткаченко
ИССЛЕДОВАНИЕ СЕТИ ХОПФИЛДА ДЛЯ РАСПОЗНАВАНИЯ ЦИФРО-ПОДОБНЫХ ОБРАЗОВ
Исследованы функциональные возможности дискретной сети Хопфилда для распознавания цифро-подобных образов при наличии шумов различной природы и интенсивности. Результаты компьютерного моделирования позволяют рекомендовать данные сети для распознавания
© Дранкова А. О., Ткаченко Е. В., 2006
стационарных образов при достаточно большом процентном содержании помех.
В настоящее время все более распространенным подходом к распознаванию цифро-подобных образов
НЕЙР01НФ0РМАТИКА ТА 1НТЕЛЕКТУАЛЬН1 СИСТЕМИ
при наличии помех различной интенсивности является подход, основанный на применении модели Хопфилда. Модель Хопфилда является наиболее успешной реализацией автоассоциативной памяти. Реализация автоассоциативной памяти включает в себя восстановление сохраненных образов при предъявлении памяти неполных или зашумленных их версий [1].
Данная статья описывает компьютерное моделирование и тестирование дискретной сети Хопфилда, выступающей в качестве ассоциативной памяти ограниченной емкости. В эксперименте использовалась сеть, состоящая из N = 900 нейронов и, следовательно, имеющая N - N = 809100 синоптических связей. Эта сеть обучалась для извлечения 10 бинарных цифро-подоб-ных образов, приведенных на рисунке 1. Каждый из этих рисунков содержит 30*30 пикселей (элементов). Для входов применяемых в сети предполагалось, что белому цвету, образа соответствует значение - 0, а черному - 1. Поэтому в качестве функций активации использовалась линейная функция, ограниченная 0 и 1. Каждый из этих образов использовался как ячейка фундаментальной памяти на фазе запоминания (обучения) сети Хопфилда для создания матрицы синапти-ческих весов W.
В работе ассоциативной памяти можно выделить 2 фазы:
- фаза запоминания, которая соответствует процессу обучения сети на исходных образах;
- фаза вспоминания, соответствующая извлечению запомненного образа в ответ на представление в сеть зашумленной или искаженной версии образа [2].
Фаза вспоминания осуществлялась в асинхронном режиме.
Во время первой части фазы вспоминания на вход сети подавались ячейки фундаментальной памяти. Таким образом, выполнялась проверка способности их корректного восстановления из информации, сохраненной в матрице синаптических весов. В каждом из случаев желаемый образ восстанавливался сетью после одной итерации. Данная фаза практически соответствует случаю, когда отношение сигнал/шум и емкость сети М не превышает критическое значение, определяемое по формуле: М = 0,14N [3].
Во второй части фазы вспоминания рассматриваемый образ преднамеренно искажался шумами раз-
0123456789
Рисунок 1 - Исходные цифро-подобные образы
в)
Рисунок 2 - Искаженные цифро-подобные образы при отношении сигнал / шум = 2:
а - нормальный гауссовский шум; б - импульсная помеха; в - мультипликативный шум
0123456789
а)
О12 14 3 6 7 8 9
б)
О 123456789
в)
Рисунок 3 - Результаты симуляции искаженных цифро-подобных образов при отношении сигнал / шум = 2:
а - нормальный гауссовский шум; б - импульсная помеха; в - мультипликативный шум
личного типа и интенсивности (рисунок 2), чтобы продемонстрировать способность сети Хопфилда корректировать ошибки.
Результат симуляции сети Хопфилда на искаженных образах показан на рисунке 3.
Исследования показали, что при отношении сигнал / шум =10 : 1 вероятность ошибки не превышает 5-10 % для нормального гауссовского шума, 1 % для мультипликативного шума и 40 % для импульсной помехи. Результаты моделирования приведены в таблице 1.
Таблица 1 - Вероятность ошибки распознавания в процентах
Отношение сигнал/ шум 10 9 8 7 6 5 4 3 2 1
Вид шума
Нормальный гауссовский шум 0 0 0 0 0 0 0,03 0,25 0,86 6,44
Импульсная помеха 0 0 0 0 0,05 4,76 11,35 18,48 27,12 40,06
Мультипликативный шум 0 0 0 0 0 0 0,005 0,011 0,023 0,037
92
1607-3274 «Радюелектрошка. 1нформатика. Управлшня» № 2, 2006
А. И. Липчанский, Механна Сами, Хабис А. А. Зидат: ИСПОЛЬЗОВАНИЕ ПРОДУКЦИОННЫХ СИСТЕМ И БИНАРНЫХ ОТНОШЕНИЙ В ЭКСПЕРТНЫХ СИСТЕМАХ ДИАГНОСТИКИ
U1Z
a)
б)
П 1
в)
Рисунок 4 - Искаженные цифро-подобные образы:
а - при удалении верхней трети образа; б - при удалении средней трети образа; в - при удалении нижней трети образа
Удаление верхней либо нижней трети образа позволяет обеспечить вероятность ошибки не более 2 %. Как показали, исследования средняя часть цифро-подобно-го образа является наиболее информативной, и ее удаление повышает вероятность ошибки до 7 %. Результат симуляции сети Хопфилда при удалении различных частей образа представлен на рисунке 5.
Несмотря на высокий процент вероятности правильного распознавания цифро-подобных образов, все еще открытым остается вопрос емкости сети Хопфилда, которая зависит от размерности исходных образов и их коррелированности, а также от отношения сигнал/шум.
0 12 3 4 5 6 7 8 9
a)
3123433733
б)
0123456 7 89
в)
Рисунок 5 - Результаты симуляции искаженных цифро-подобных образов:
а - при удалении верхней трети образа; б - при удалении средней трети образа; в - при удалении нижней трети образа
Третья часть фазы вспоминания исследует способность сети Хопфилда к восстановлению образа по его части: удаление верхней трети образа, удаление средней трети образа, удаление нижней трети образа (рисунок 4).
ПЕРЕЧЕНЬ ССЫЛОК
1. Осовский С. Нейронные сети для обработки информации / Пер. с польского. - М.: Финансы и статистика, 2004. - 344 с.
2. Саймон Хэйкин. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. - М.: издательский дом «Виль-ямс», 2006. - 1104 с.
3. Медведев В. С., Потемкин В. Г. Нейронные сети. MAT-LAB 6/ Под общ. ред. к. т. н. В. Г. Потемкина. - М.: ДИАЛОГ-МИФИ, 2002. - 496 с.
Надшшла 11.03.06 Шсля доробки 10.07.06
Досл1джет функцюналът можливост1 дискретноi мере-ж1 Хопфыда для розтзнавання цифро-под1бних образ1в при наявност1 шум1в рiзно'i природи та ттенсивност1. Резулъ-тати комп'ютерного моделювання дозволяютъ рекоменду-вати дант мережi для розтзнавання стащонарних образiв при достатнъо великоi процентно'i наявностi завад.
Functional potential of discrete Hopfield network for recognition number-similar characters in the presence of different nature and energy noise is analyzed. The computer modeling results allow to recommend this kind of network for fixed characters recognition big enough proportion of noise.
УДК 681.3.07
А. И. Липчанский, Механна Сами, Хабис А. А. Зидат
ИСПОЛЬЗОВАНИЕ ПРОДУКЦИОННЫХ СИСТЕМ И БИНАРНЫХ ОТНОШЕНИЙ В ЭКСПЕРТНЫХ СИСТЕМАХ ДИАГНОСТИКИ
КОМПЬЮТЕРНОЙ ТЕХНИКИ
Рассматривается возможность использования продукций для создания экспертных систем, способных поставить диагноз возможному состоянию компьютерной техники. Показано, что эта цель может быть достигнута с помощью использования бинарных отношений, заданных на множестве состояний объекта диагностирования. Эффективность предлагаемого подхода иллюстрируется на конкретных примерах.
© Липчанский А. И., Механна Сами, Хабис А. А. Зидат, 2006
1 АКТУАЛЬНОСТЬ ИССЛЕДОВАНИЯ
Технология экспертных систем (ЭС) является одним из направлений искусственного интеллекта (ИИ). Исследования в области ИИ направлены на разработку программ, решающих задачи, с которыми сейчас лучше справляется человек. Поэтому «разработку
