CC BY
106
УДК 519.95
ИСПОЛЬЗОВАНИЕ СЕТИ ХЕММИНГА И КЛАССИФИКАТОРА КАРПЕНТЕР-ГРОССБЕРГА ДЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ
© О.В. Крючин, О.В. Кондраков
Ключевые слова: искусственная нейронная сеть; классификатор Карпентер-Гроссберга; сеть Хемминга.
В работе проводилось сравнение двух видов искусственной нейронной сети: сеть Хемминга и классификатор Карпентер-Гроссберга. Вычислительные эксперименты показали, что классификатор Карпентер-Гроссберга более гибок при решении задач, а сеть Хемминга оказалась менее трудоёмкой в настройках.
ВВЕДЕНИЕ
Мозг человека выполняет трудную задачу обработки непрерывного потока сенсорной информации, получаемой из окружающего мира. Из потока тривиальной информации он должен выделить жизненно важную информацию, обработать ее и, возможно, зарегистрировать в долговременной памяти. Понимание процесса человеческой памяти представляет собой серьезную проблему; новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются.
Многие ученые занимались исследованиями мозга с помощью искусственных нейронных сетей (ИНС). Традиционные искусственные нейронные сети оказались не в состоянии решить проблему стабильности-пластичности. Очень часто обучение новому образу уничтожает или изменяет результаты предшествующего обучения. В некоторых случаях это не существенно. Если имеется только фиксированный набор обучающих векторов, они могут предъявляться при обучении циклически. В сетях с обратным распространением, например, обучающие векторы подаются на вход сети последовательно до тех пор, пока сеть не обучится всему входному набору. Если, однако, полностью обученная сеть должна запомнить новый обучающий вектор, он может изменить веса настолько, что потребуется полное переобучение сети [1—2].
Одной из важнейших задач, решаемых ИНС, является распознавание образов. В данной задаче существует набор классов (выходов), каждый из которых состоит из нескольких близких друг к другу образов (входов). Задача ИНС заключается в том, чтобы соотнести подаваемый на вход вектор с соответствующим классом. Существуют два основных типа структур ИНС, используемых для решения данной задачи - сети АРТ (адаптивно резонансная теория) и различные модификации сети Хопфилда. Целью данной работы является сравнение представителей этих типов - классификатора Карпентер-Гроссберга и сети Хемминга.
СЕТЬ ХЕММИНГА
Сеть Хемминга была предложена Р. Липманом в работе [3] и является развитием сети Хопфилда [4-5].
Эта сеть представляет специализированное гетероассо-циативное запоминающее устройство. Основная идея функционирования этой сети состоит в минимизации расстояния Хемминга между тестовым вектором, подаваемым на вход сети, и векторами обучающих выборок, закодированными в структуре сети [6].
Структура сети Хемминга изображена на рис. 1. Как можно видеть, эта сеть состоит из 4 слоев, первый из которых имеет Ь нейронов, а остальные по N (N -количество строк в обучающей выборке (х,3), Ь -
длина одного из входных векторов х). Нейроны всех слоев, за исключением второго скрытого, имеют линейную активационную функцию. Нейроны второго скрытого слоя имеют пороговую активационную функцию, в которой входные значения вычисляются по следующей формуле:
х, х > 0
0, х < 0
(1)
Скрытые слои называют также слоем МАШЕТ [6-7].
Сеть функционирует следующим образом.
1. Начальная инициализация весовых коэффициентов. Весовые коэффициенты ^0 , соединяющие входной и первый скрытый слой, инициализируются согласно формуле (2):
Рис. 1. Искусственная нейронная сеть структуры Хемминга
723
Г0,г,]
(2)
Здесь і - номер строки в обучающей выборке и номер нейрона на скрытом слое, ] - номер элемента входного вектора Хг и номер нейрона на входном слое.
Весовые коэффициенты м>1 , соединяющие скрытые слои, инициализируются согласно правилу (3)
ж
1,г.}
1 - N
- Р(, г * І
(3)
где р^ - случайное число с достаточно малой амплитудой.
Весовые коэффициенты ^2 , соединяющие скрытый и выходной слои, инициализируются согласно правилу (4):
Ж2,г,і .
(4)
2. Подача на входной слой очередного вектора входной обучающей выборки х .
3. Последовательное вычисление выходных значений входного и скрытых слоев - у0 , у1 , у2 .
4. В случае, когда выходное значение только одного из нейронов второго скрытого слоя превышает 0, -переход к пункту 7.
5. Выходные значения у2 подаются на вход первого скрытого слоя.
6. Переход к пункту 4.
7. Вычисляются значения выходного слоя.
Сеть Хемминга считается гетероассоциативным запоминающим устройством с парой связанных между
собой векторов (х, й), где х и у - это соответственно входной и выходной биполярные векторы сети со значениями элементов ±1. Входные узлы сети 0, 1, 2, ..., N — 1 принимают значения, задаваемые аналогичными компонентами вектора х . Нейроны первого слоя рассчитывают расстояние Хеминга между фактически предъявляемым входным вектором х и каждым из N закодированных векторов-образцов, образующих веса первого слоя. Нейроны в слое ЫАХШ.Т выбирают вектор с наименьшим расстоянием Хемминга, определяя таким образом класс, к которому принадлежит предъявляемый входной вектор х . Веса нейронов выходного слоя формирует вектор, соответствующий предъявляемому входному вектору. При N нейронах первого слоя емкость запоминающего устройства Хемминга также равна N , поскольку каждый нейрон представляет единственный класс [6].
КЛАССИФИКАТОР КАРПЕНТЕР-ГРОССБЕРГА
Классификатор Карпентер-Гроссберга, также известный как сеть АРТ1, был предложен в 1969 г. Для обучения эта сеть использует алгоритм кластеризации
[8]. В соответствии с алгоритмом первый входной сигнал считается образцом первого кластера. Следующий входной сигнал сравнивается с образцом первого кластера. Говорят, что входной сигнал «следует за лидером» и принадлежит первому кластеру, если расстояние до образца первого кластера меньше порога. В противном случае второй входной сигнал - образец второго кластера. Этот процесс повторяется для всех следующих входных сигналов. Таким образом, число кластеров растет с течением времени и зависит как от значения порога, так и от метрики расстояния, использующейся для сравнения входных сигналов и образцов классов.
Основная часть классификатора Карпентер-Гроссберга схожа с сетью Хемминга, которая дополнена полносвязной сетью МАХЫЕТ. С помощью последовательных связей высчитывается соответствие входных сигналов и образцов кластеров. Максимальное значение соответствия усиливается с помощью взаимного латерального торможения выходных нейронов. Классификатор Карпентер-Гроссберга отличается от сети Хемминга обратными связями от выходных нейронов к входным, кроме того, имеется возможность выключать выходной нейрон с максимальным значением соответствия и проводить пороговое тестирование соответствия входного сигнала и образцов кластеров, как того требует алгоритм «последовательного лидера».
Сеть состоит из двух слоев нейронов входного (сравнительного), число нейронов, в котором фиксировано и равно размерности векторов, и выходного (соревновательного), с переменным количеством нейронов, где каждому нейрону соответствует один класс объектов (кластеров). Каждый нейрон входного слоя соединен с каждым нейроном выходного слоя, и, наоборот, каждый нейрон выходного слоя связан с каждым нейроном входного. Каждой связи поставлен в соответствие некоторый вес. Связи от входных нейронов к выходным называют восходящими, а от выходных к входным - нисходящими. В качестве функции состояния каждого нейрона рассматривается расстояние в некоторой специальной метрике между входным вектором х и вектором весов нейрона й . Обучение нейронной сети является ненаблюдаемым и заключается в коррекции весов нейронов таким образом, чтобы каждый нейрон был победителем для максимального количества векторов из обучающего множества, и при этом выполнялся некоторый критерий близости.
Рис. 2. Классификатор Карпентер-Гроссберга
х
1
Алгоритм функционирования сети.
1. Инициализация всех восходящих весовых коэффициентов:
Жг.1 = 0 .
2. Инициализация всех нисходящих весовых коэффициентов:
Ж ■ = 11
1 Ь-1 1 +1:
і=0
а нисходящих
1 = 0, ..., ь
-х. 1 = 0, ... Ь .
1
и 1
1 + Ь
10. Если имеющийся вектор входов был не последним, то переход к шагу 3.
где Ь - количество входов в обучающей выборке (длина входного вектора х ).
3. Предъявление сети нового бинарного входного сигнала х .
4. Вычисление выходных значений выходного слоя:
Уг= 1 (1х1).
1=0
5. Выбирается активный нейрон с максимальным выходным сигналом:
П = тах(уг) і = і.
Если такого нейрона нет, то переход к шагу 9.
6. Вычисление отношения скалярного произведения входного сигнала и образца с наибольшим значением соответствия к числу единичных бит входного сигнала:
Ра
Ь-1 і=0
хж из
Ь-1
1 =
і=0
7. Сравнение значения Ра , вычисленного на предыдущем шаге с величиной порога. Если выполняется условие Ра > к( , то нейрон делается неактивным, и
переход к шагу 5.
8. Корректировка весовых коэффициентов выбранного нейрона
і 1 Ь -1
2
1=0...ь
ж 1.1 = х1Ж 1.1 1 = 0 ..., ь
Переход к шагу 10.
9. На выходной слой добавляется новый нейрон. Значения идушцх к нему восходящих синаптических связей устанавливаются по следующей формуле:
ВЫЧИСЛИТЕЛЬНЫЕ ЭКСПЕРИМЕНТЫ
С ИСПОЛЬЗОВАНИЕМ КЛАССИФИКАТОРА КАРПЕНТЕР-ГРОССБЕРГА
Вышеописанные сети были реализованы в виде компьютерной программы на языке С++. Именно эта программа были использована для проведения вычислительных экспериментов.
В качестве обучающей выборки сети использовались образы, представляющие собой бинарные изображения цифр от 0 до 9. Обучающая выборка содержала 50 образов, которые подавались на входы сети в виде линейной развертки. Количество образов в выборке в ходе экспериментов оставалось неизменным. Образы были представлены в «оригинальном» и зашумленном виде и в различном порядке. В ходе каждого эксперимента выходной слой первоначально содержал только один нейрон. Проводилось четыре серии экспериментов для различной размерности входных векторов. В каждой серии для одной и той же обучающей выборки сеть обучалась при разных значениях параметра сходства, которые менялись от 0,05 до 0,95.
В ходе первой серии экспериментов образ имел размерность 10x10, соответственно, входной слой сети содержал 100 нейронов. Результаты обучения сети для различных значений параметра сходства представлены на рис. 3.
Анализ результатов показывает, что на данную обучающую выборку очень сильно влияет эффект «шаблона критических черт», т. к. размерность образа очень мала. Например, для параметра сходства р = 0,45 сеть создала 10 классов, но эти классы были «обобщенные», и узнать цифры достаточно сложно, с другой стороны, при высокой степени соответствия (р = 0,95) распознавание «стало» очень хорошим, но сеть стала более чувствительной даже к незначительным изменениям и разбила всю выборку на 41 класс.
В связи с этим следующие эксперименты были проведены для образов большей размерности - сети предлагались образы размерностью 20x20 (400 входных нейронов, рис. 4), 30x30 (900 входных нейронов, рис. 5) и 100x100 (10000 входных нейронов, рис. 6).
Следует отметить, что, как и следовало ожидать, с увеличением размерности эффект «шаблона критических черт» снижается, о чем свидетельствует снижение числа распознаваемых классов сети для высоких значений критерия сходства. Например, для р = 0,95 число классов постепенно падает и для образа 100x100 появляются необходимые 10 классов цифр.
х
г=0
о 45 о
параметр сходства р, ед
Рис. 3. Результаты обучения классификатора Карпентер-Грос-сберга для образа размерностью 10x10
Параметр сходства р, ед
Рис. 4. Результаты обучения классификатора Карпентер-Грос-сберга для образа размерностью 20x20
параметр сходства р, ед
Рис. 5. Результаты обучения классификатора Карпентер-Грос-сберга для образа размерностью 30x30
параметр сходства р,ед
Рис. 6. Результаты обучения классификатора Карпентер-Грос-сберга для образа размерностью 100x100
Очевидно, что на результат распознавания сети влияет не только размер образа, но так же зашумленность обучающих векторов, а в некоторых случаях даже порядок их представления сети, т. к. любой идентифицированный образ подстраивает веса нейрона соответствующего класса под новую информацию.
Следует отметить, что выбор значения параметра сходства очень важен, т. к. при больших значениях параметра сходства сеть становится очень требовательной к предъявляемым векторам и создает большое количество классов, в которых различия могут быть несущественными. А при малых значениях параметра сходства разбивка на классы становится очень общей (разные образы может отнести к одному классу).
ВЫЧИСЛИТЕЛЬНЫЕ ЭКСПЕРИМЕНТЫ С ИСПОЛЬЗОВАНИЕМ СЕТИ ХЕММИНГА
При проведении экспериментов с сетью Хемминга было установлено, что критерием, определяющим правильность распознавания образа, является расстояние Хемминга. Так, образ может быть отнесен к неверному классу в том случае, когда расстояние Хемминга для него оказывается меньшим. Также проблему вызывают одинаковые расстояния Хеминга, в этом случае выбор класса, к которому будет отнесен вектор, оказывается случайным.
ВЫВОДЫ
Таким образом, можно сделать вывод, что классификатор Карпентер-Гроссберга, являющийся APT-структурой, представляет собой более гибкий по сравнению с сетью Хемминга механизм, который, однако, требует более сложной настройки.
ЛИТЕРАТУРА
1. Круглов В.В. Искусственные нейронные сети. М., 2001.
2. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика // пер. на рус. яз. Ю.А. Зуева, В.А. Точенова. М., 1992.
3. Lippmann R. An introduction to computing with neural nets // IEEE ASSP Magazine. 1987. April. P. 4-22.
4. Haykin S. Neural networks, a comprehensivefoundation. N. Y.: Macmillan College Publishing Company, 1994.
5. Hopfield J., TankD. Computing with neural circuts: a model // Science. 1986. V. 233. P. 625-633.
6. Осовский С. Нейронные сети для обработки информации / пер. с пол. И. Д. Рудинского. М.: Финансы и статистика, 2002. 344 с.
7. Floreen P. The convergence of Hamming memory network // IEEE Trans. Neural Networks. 1991. V. 2. P. 449-457.
8. Терехов С.А. Лекции по теории и приложениям искусственных нейронных сетей. Снежинск, 1998.
Поступила в редакцию 17 февраля 2010 г.
Kryuchin O.V., Kondrakov O.V. Use of a Hemming network and the Carpenter-Grossberg qualifier for recognition of images.
In the work comparison of two kinds of an artificial neural network was made: the Hemming network and the Carpenter-Grossberg qualifier. Calculative experiments have shown that the Carpenter-Grossberg qualifier is more flexible problem solving and the Hemming network has appeared to be less laborconsuming in options.
Key words: artificial neural network; Carpenter-Grossberg qualifier; Hemming network.
