Методика и критерии сравнения моделей и алгоритмов синтеза искусственных нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93

С.А. Субботин

МЕТОДИКА И КРИТЕРИИ СРАВНЕНИЯ МОДЕЛЕЙ И АЛГОРИТМОВ СИНТЕЗА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Предложены критерии и методика, позволяющие количественно оценивать уровень логической прозрачности многослойных нейронных сетей прямого распространения, что дает возможность осуществлять сравнение и обосновывать выбор нейромоделей в задачах интеллектуального анализа данных.

1 ПОСТАНОВКА ЗАДАЧИ

В настоящее время одним из наиболее эффективных средств решения задач вычислительного моделирования являются искусственные нейронные сети (НС), обладающие способностью аппроксимировать многомерные нелинейные зависимости по точечным данным. Среди многочисленных известных моделей НС наиболее популярным классом являются многослойные нейронные сети (МНС), обучаемые традиционно с помощью итеративных градиентных алгоритмов многомерной нелинейной оптимизации [1].

Известно, что сходимость итеративных алгоритмов обучения МНС зависит от размерности обучающих данных, начальных значений весов, а также от задаваемых максимальной допустимой общей ошибки обучения (критерий качества обучения) и количества допустимых циклов обучения (критерий длительности обучения). Эти два критерия останова целесообразно использовать при сравнении итеративных алгоритмов обучения МНС. Зафиксировав поочередно каждый из критериев останова обучения, можно проследить, как для каждого алгоритма обучения МНС меняются значения другого критерия при одинаковых обучающих выборках. Результаты экспериментов принято оценивать по таким критериям, как: t^ - время работы алгоритма обучения, epoch - затраченное количество циклов обучения и E -достигнутая точность (ошибка) [1-3].

Однако таких, традиционно используемых при сравнении НС и алгоритмов их обучения показателей, как точность (ошибка) аппроксимации сетью обучающей или тестовой выборки и время, затрачиваемое на обучение сети и (или) работу обученной сети, на практике оказывается недостаточно. Это объясняется тем, что даже несколько НС одного и того же типа, с одинаковой топологией, обученные на одних и тех же данных с помощью одного и того же алгоритма обучения и обеспечивающие почти одинаковую точность аппроксимации и сравнимое время обучения и работы, из-за разных начальных состояний (разных значений весов перед обучением) могут обладать существенно разным качеством. Такие различия в качестве нейромоделей связаны с разными уровнями логической прозрачности нейромоделей, избы-

точностью памяти и связей сетей, качеством аппроксимации обучающих данных.

Поэтому в дополнение к рассмотренным критериям сравнения НС необходимо разработать комплекс частных и обобщенных критериев, позволяющих количественно оценивать вышеперечисленные свойства нейросете-вых моделей, сравнивать их и принимать решение о выборе более оптимальной модели для решения поставленной задачи.

2 КРИТЕРИИ СРАВНЕНИЯ ТРЕБОВАНИЙ К

РЕСУРСАМ ЭВМ

В [4] для сравнения методов обучения НС предлагается наряду с количеством циклов обучения использовать такой критерий, как количество дополнительных переменных для организации вычислительного процесса Ыу. Под дополнительными здесь понимаются переменные, необходимые для сохранения промежуточных результатов вычислений при программной реализации алгоритма обучения. Предпочтение следует отдавать тем методам, которые при обучении НС требуют малого числа дополнительных переменных, что связано с ограничением ресурсов вычислительных средств.

Достаточно важной характеристикой любой распознающей системы является ее сложность. Исходя из биологической специфики НС в [5] применительно к ним предлагается использовать следующую терминологию:

- структурная (статическая) сложность системы определяется построением системы из ее составляющих подсистем;

- вычислительная сложность (сложность управления) характеризуется мерой вычислительных ресурсов, необходимых для детального расчета особенностей динамики системы, отражает выполняемые операции обработки информации и характеризует практическую сложность детального понимания поведения системы - может быть сведена к зависимости вычислительных возможностей (ресурсов вычислительной системы), необходимых для моделирования поведения системы, от специфической характеристики задачи - размерности выборки и (или) модели.

Структурную сложность нейросетевой модели, основными структурными элементами которой являются нейроны, будем характеризовать количеством нейронов Ын., которое для МНС определяется по формуле:

м

N. ^ . (1)

ц=1

Вычислительную сложность нейросетевой модели будем характеризовать числом используемых ячеек памяти .п.м. и количеством времени работы 1р_, затрачиваемым на расчет значений выходов модели при заданных входах для одного экземпляра или всех экземпляров выборки.

Вычислительную сложность алгоритма синтеза нейро-сетевой модели будем характеризовать числом используемых ячеек памяти Кпа. и количеством времени, затрачиаемым на обучение модели 1об..

Очевидно, что число используемых ячеек памяти а будет равно сумме числа ячеек, необходимых для хранения обучающей выборки, числа ячеек, необходимых для хранения переменных модели (в случае НС - весов и порогов), и числа ячеек, необходимых для хранения дополнительных переменных:

Хп.а. = П(( + ) + +

(2)

, -го слоя НС ^ (х)=х, то Т^

равной нулю. Вычислительные сложности синапсов, дискриминантных функций и функций активации определяют с учетом условий реализации сети (на разных ЭВМ с разной скоростью работы затраты времени на

Г(Ц, 1)

вычисления будут разными).

Вычислительная сложность сети прямого распространения при последовательной реализации вычислений (при программной реализации на ЭВМ с последовательной организацией вычислений) Т определяется из выражения:

т = ЕЕ т

ц=1 г =1

0-М

(5)

где М- количество слоев сети, N. - количество нейронов

в , -ом слое сети.

Вычислительная сложность сети прямого распространения при параллельной реализации вычислений (например, при аппаратной реализации сети) Т2:

м

Т2 = ^ Мах Т

(М)

1 = 1,2,..., N

.=1

(6)

где Лв. - количество ячеек памяти для хранения одного элемента данных обучающей выборки, (NS+Nм)- количество элементов данных обучающей выборки, N - количество признаков, характеризующих экземпляры, S - количество экземпляров в выборке, Nм - количество целевых (выходных) признаков, Пк - количество ячеек памяти, необходимых для хранения одного веса сети, ^

- количество весов и порогов сети, Пу - количество ячеек памяти, необходимых для хранения одной дополнительной переменной алгоритма обучения.

Поскольку НС являются вычислительными устройствами, весьма важными характеристиками являются сложность их аппаратной или программной реализации, а также время работы в процессе распознавания одного экземпляра данных.

Вычислительную сложность г-го нейрона ц -го слоя

Т(ц , ^ будем определять по формуле (3) или (4):

Т(Ц, 1) = .(,, 1) Т(Ц, 1) + .(,, 1) Т(Ц, 1) + Т(Ц, 1) (3) ф с . ф v > ( )

Т(Ц, 1) = .(,, 1) (Т(Ц, 1) + Т(Ц, 1))+ Т(Ц, 1) (4)

ф (с ф ) v ,()

хт(Ц, 1)

где N - количество входов 1-го нейрона , -го слоя, Тс - вычислительная сложность одного синапса 1-го

нейрона , -го слоя, Тф - вычислительная сложность дискриминантной функции 1-го нейрона Ц -го слоя для

обработки двух аргументов, 1) - вычислительная

сложность функции активации 1-го нейрона Ц -го слоя. Заметим, что, если функция активации 1-го нейрона

3 КРИТЕРИИ ОЦЕНКИ УРОВНЯ ЛОГИЧЕСКОЙ

ПРОЗРАЧНОСТИ

Логически прозрачной называют НС, которая решает задачу понятным для человека способом, для которого легко сформулировать словесное описание в виде явного алгоритма. Такая сеть должна обладать минимальной структурной сложностью и при этом удовлетворять требованиям (предпочтениям) пользователя и/или требованиям алгоритма автоматизированного извлечения знаний к виду результирующей сети.

Как было отмечено выше, НС обладают памятью, реализуемой весами. Чем меньше память сети, тем меньше образов она может запомнить, но если две сети с разным объемом памяти обеспечивают требуемую точность распознавания (оценивания), то сеть с меньшей памятью, очевидно, будет проявлять лучшие обобщающие свойства. Избыточность памяти сети будем характеризовать с помощью коэффициента избыточности для хранения обучающей выборки К^:

К: =

N

" , N >1, S > 0, N > 0. w

(7)

можно положить

Если Кх>1, то память сети избыточна (размерность памяти сети больше размерности обучающей выборки), если Кх=1, то сеть может запомнить всю обучающую выборку (размерность памяти сети равна размерности обучающей выборки), если Кх<1, то сеть не сможет в точности запомнить всю обучающую выборку (размерность памяти сети меньше размерности обучающей выборки), однако при этом сеть будет проявлять обобщающие и аппроксимирующие способности.

В случае, если количество нулевых весов в НС велико, то К будем определять по формуле:

К = - =0

N

Логическая прозрачность сети сильно зависит от общего количества связей в сети и количества связей, соединяющих конкретные нейроны (количества входов нейронов скрытых слоев). Чем меньше связей, тем проще сеть и тем удобнее она для анализа и интерпретации человеком.

Коэффициент разреженности связей сети прямого распространения Кд определяется из выражения:

N п

!> (ц-^ ц ц-1

где Nw - количество весов сети, равных нулю:

(9)

0 < ^ - ° .

N цц-2 1-1

Кь = м Nw=1 , Ы0 = N

2> (ц-^ ц

ц-1

KN = 1 - КЬ = 1 - —

N

X

ц-1

_ , ы0 = N. (13)

N (ц-1^ ц

Для долей единичных и неединичных синапсов сети прямого распространения характерны следующие свойства: Кь + КЫ = 1; 0 < Кь < 1; 0 < КЫ < 1.

Поскольку логическая прозрачность связей сети зависит в значительной степени от разреженности и простоты связей, будем ее характеризовать коэффициентом, показывающим долю бинарных (нулевых или единичных по модулю) весов в общем количестве весов сети.

Коэффициент логической прозрачности связей сети прямого распространения Кт будем определять из выражения:

ц-1

Коэффициент связанности МНС Кс определяется по формуле:

Кс = 1 - Ка = 1 - м Nw=° , Ы0 = N (10)

с к м

2> (ц-1^ ц ц-1

Для коэффициентов связанности и разреженности связей сети прямого распространения характерны следующие свойства: Кк+Кс = 1; 0 < Кк < 1; 0 < Кс < 1.

Коэффициент средней связанности нейронной сети прямого распространения Км показывает среднее количество входов с ненулевыми весами для нейронов всех слоев, кроме первого:

1 м N ,

Км=(е-N 7-0), (11)

Кт - Кк + Кь - м

Nw-° + N

, Ы0 = N.

(14)

2> (ц-1>)^ ц

ц-1

Коэффициент логической непрозрачности (размытости) связей сети прямого распространения К8 будем рассчитывать по формуле (15) или альтернативной ей формуле (16):

К - 1 - Кт - 1 -(Кк + Кь)

К - 1 - N7-° + ^-1 , N0 = N.

^ (ц-1)к ц

ц-1

(15)

(16)

ц-2

где N7-° - количество весов 1-го нейрона ц -го слоя сети, равных нулю.

Чем больше в сети единичных синапсов (связей, веса которых равны по модулю единице), тем проще ее реализация (прежде всего аппаратная) и удобнее анализ человеком.

Долю единичных синапсов в сети прямого распространения КЕ будем рассчитывать по формуле:

(12)

Для коэффициентов логической прозрачности и непрозрачности связей сети прямого распространения характерны следующие свойства: Кт + К = 1;0 < Кт < 1; 0 < К8 < 1.

Для более точной оценки логической прозрачности будем определять логическую прозрачность сети через логическую прозрачность ее элементов.

Коэффициент логической прозрачности 1-го нейрона

ц -го слоя сети КЕ (ц, 1) будет определяться типом используемой функции активации. Для линейной и пороговой функций активации примем: КЕ (ц,1)=1, для всех

остальных функций активации Ке (ц, 1) = 0.

Коэффициент логической прозрачности НС прямого распространения Ки будем рассчитывать по формуле:

м N

ЦК ^

где N„=1 - количество весов сети, по модулю равных

м

единице: ° < N7-1 <£ N(ц-l)Nц .

ц-1

Долю неединичных синапсов в сети прямого распространения К^ определим из выражения:

Ки -, Км * 0.

(17)

Км^> ц

ц-1

Чем больше Ки, тем выше уровень логической прозрачности сети, и, наоборот, чем меньше Ки, тем ниже уровень логической прозрачности сети.

Одной из важнейших характеристик нейросетевых моделей является качество аппроксимации. Качество аппроксимации при одном и том же уровне ошибки тем выше, чем меньше используется весов.

Коэффициент качества аппроксимации нейросетевой модели КА определим как среднюю долю ошибки, приходящуюся на ненулевые веса сети:

Ka =

E

Nw - Nw =0

(18)

где Е - совокупная ошибка, допускаемая сетью

(например, среднеквадратическая ошибка), такая, что

Е < , где - максимально допустимая ошибка (цель обучения).

4 МЕТОДИКА ПРОВЕДЕНИЯ ИССЛЕДОВАНИЙ ХАРАКТЕРИСТИК

нейросетевых моделей и алгоритмов их синтеза Поскольку важнейшими характеристиками итеративных методов обучения МНС являются время обучения tQg., количество затраченных циклов обучения epoch и достигнутая точность (ошибка) E, для отбора наилучшего среди градиентных методов обучения МНС целесообразно для различных прикладных задач сравнить алгоритмы по каждому из данных критериев, зафиксировав поочередно остальные.

Для неитеративных методов синтеза МНС [1,6], следует оценивать время обучения tQg. и достигнутую точность (ошибку) E.

Значения критериев Nv и Nna будут сильно зависеть от особенностей программной реализации каждого алгоритма обучения. При этом для градиентных алгоритмов большое значение будет иметь способ вычисления производной целевой функции по весам. В связи с данными обстоятельствами теоретическая оценка (2) данных критериев представляется неудобной. Поэтому будем оценивать N„.a. следующим образом:

N .а. =(М2 - Mj )+(Мз - ы2) + + (М4 -М3) = М4 -Mj,

(19)

где

М4 - Мз =п, м2 - М1 =П.Б(( + ), М3 — М2 = , М1 - размер занятой памяти ЭВМ

до загрузки обучающей выборки, М2 - размер занятой памяти ЭВМ после загрузки обучающей выборки перед созданием переменных модели НС, М3 - размер занятой памяти ЭВМ после создания переменных модели и перед обучением НС, М4 - размер занятой памяти ЭВМ перед окончанием процедуры обучения НС.

Таким образом, для оценки значений критериев и N а следует определять объемы занятой памяти ЭВМ М1, М3 и М4.

Критерии .па., Е, .п.м., 1р., К1, Т1, Т2, Кк, Кс, Км, К^, К., Кт, К8, Ки и КА необходимо оценивать

для моделей, полученных в результате использования как итеративных, так и неитеративных методов. При этом значение критерия N^., будем определять по аналогии с (19) следующим образом:

Nn.м. =(Мз - М2). (20)

На основе выше изложенных соображений сформулируем методику проведения экспериментов для исследования характеристик и сравнения нейросетевых моделей и алгоритмов их синтеза.

Этап 1. Подготовительный. Определить номенклатуру решаемых задач.

Для каждой задачи задать обучающую и тестовую выборки данных, а также определить значения параметров задачи для сравнения методов синтеза МНС: название задачи, описание задачи, тип задачи (классификация, оценивание), количество признаков N, число целевых признаков NM, количество экземпляров в обучающей выборке S, количество экземпляров в тестовой выборке 5тест., целевая функция (формула или ссылка на нее), максимально допустимое значение целевой функции (ошибки) .

Для каждой задачи сформировать отдельную таблицу (пример см. табл. 1), в верхней части которой записать результаты выполнения этапа 1.

Выбрать программное средство, содержащее процедуры, реализующие сравниваемые модели и методы настройки весов НС.

Этап 2. Экспериментально-расчетный. Выбрать прикладную задачу. Запустить на выполнение выбранное программное средство. 0пределить размер занятой памяти M1. Ввести в память ЭВМ обучающую выборку данных, определить размер занятой памяти M2.

Для соответствующей прикладной задачи задать тип модели НС и метод обучения. Для соответствующей модели НС и метода обучения определить значения начальных параметров (количество слоев M, количество нейронов в каждом слое N.. , тип дискриминантной функции и функции активации каждого нейрона, начальные значения весов сети, тип алгоритма настройки весов и значения его параметров).

Сформировать переменные модели сети, определить размер занятой памяти M3. Засечь время. Запустить на выполнение процедуру, реализующую выбранный алгоритм настройки весов сети, определить размер занятой памяти M4, время работы алгоритма tc6 и число затраченных циклов обучения epoch. Рассчитать NH а по формуле (2). Матрицу весов и параметры полученной в результате обучения модели представить в виде таблицы (см. табл. 2).

Определить количество нейронов в сети NK., количество весов Nw, количество нулевых весов Nw=0, количество единичных весов Nw=1, а также определить значения параметров и критериев: N^.^ , N(. *) , тС. *) ,

Т(М), т(М), т(ц,1) , Nn M, Ke=., i) , Kj, T1, Tc, KR, Kc, Km, Kl, Kn, Kt, Ks и Ки.

Таблица 1 - Формат таблицы "Задача и результаты моделирования"

описание задачи тип задачи N NM Sc6. S ^тест. целеваяфункция

Моделирование коэффициента упрочнения [6,7] оценивание 11 1 43 43 сумма квадратов мгновенных ошибок 0.0001

критерий сравнения модель и алгоритм обучения МНС

радиально-базисная нейронная сеть [6] нейронная сеть, реализующая метод кластер-регрессионной аппроксимации [ 1 ]

epoch 1 1

^об. 6.04 12.96

Еоб. 2.79 10-27 9.7410-6

^р. о. 0.33 6.37

Nn. а 56510 43506

N, 44 197

Nn. м 47872 37558

Nw 560 4422

Nw=0 1 3833

Nw=i 0 391

Ki 1.1839 0.4144

Ti 0.0493 0.2243

T2 0.0032 0.0107

Kr 0.0018 0.8668

Kc 0.9982 0.1332

Km 0.9545 0.1260

Kl 0 0.0884

Kn 1 0.9116

KT 0.0018 0.9552

Ks 0.9982 0.0448

Ku 0.0238 7.9344

Ka 4.9810-30 1.6510-8

tT. 0.33 6.37

Ет. 2.7910-27 9.7410-6

Засечь время. На основе построенной модели произвести распознав ание экземпляров обучающей выборки. Определить время, затраченное на распознавание экземпляров обучающей выборки 1р.о. , а также Е0б. и Кд0б_.

Загрузить в память ЭВМ тестовую выборку. Засечь время. На основе построенной модели произвести распознавание экземпляров тестовой выборки. Определить время, затраченное на распознавание экземпляров тестовой выборки 1р.о., а также Етест. и КАтест..

Этап 2 выполняется отдельно для каждой задачи. При выборе задачи этап 2 выполняется отдельно для каждого выбранного метода. Результаты расчетов для каждой задачи занести в отдельную таблицу (см.табл.1).

Этап 3. Аналитический. На основе данных табл. 1, построенной при выполнении этапов 1 и 2, для каждой задачи проранжировать методы обучения и полученные модели по скорости обучения, работы, точности, сложности, логической прозрачности. Проанализировать и обобщить полученные результаты.

Таблица 2 Образец таблицы "Нейросетевая модель"

5 ЭКСПЕРИМЕНТЫ И РЕЗУЛЬТАТЫ

На основе предложенной методики были проведены эксперименты по сравнению нейросетевых моделей коэффициента упрочнения деталей авиадвигателей [6,7], полученных на основе радиально-базисных НС [6] и метода кластер-регрессионной аппроксимации [1]. В рамках проведенных экспериментов расчитывались значения разработанных критериев сравнения НС, которые приведены в табл. 1.

Как видно из табл. 1, метод кластер-регрессионной аппроксимации является более требовательным к вычислительным ресурсам и более медленным чем радиально-базисная НС. 0днако НС, реализующая метод кластер-регрессионной аппроксимации, обладает существенно более высоким уровнем логической прозрачности по сравнению с радиально-базисной НС, и поэтому в задачах интеллектуального анализа данных предпочте-ние следует отдать методу кластер-регрессионной аппроксимации.

Сравнение аппроксимационных свойств построенных моделей коэффициента упрочнения показывает, что метод кластер-регрессионной аппроксимации обеспечивает лучшую аппроксимацию, чем радиально-базисная сеть,

которая является чрезвычайно избыточной и запоминает обучающую выборку как таблицу, проявляя слабые аппроксимационные свойства.

Результаты проведенных экспериментов хорошо согласуются с теоретическим представлениями о свойствах исследовавшихся нейромоделей и позволяют рекомендовать предложенные методику и критерии сравнения НС для широкого использования на практике.

ПЕРЕЧЕНЬ ССЫЛОК

1. Дубровш B.I., Субботш С.О. Методи оптим1зац1Т та Тх застосування в задачах навчання нейронних мереж: Навчальний пос1бник.-3апор1жжя: 3HTV, 2003.-136 с.

2. Vоссермен Ф. Нейрокомпьютерная техника: Теория и практика/Пер. Ю.А. Зуев, B.A. Точенов -М.: Мир, 1992.240 с.

3. Каллан Р. Основные концепции нейронных сетей.- М.: Издательский дом "Вильямс", 2001.- 287 с.

4. Круглов В.В., Борисов В.В. Искусственные нейронные сети: Теория и практика. -М.: Горячая линия-Телеком, 2001. - 382 с.

5. Рамбиди Н.Г. Биомолекулярные нейросетевые устройства. Кн. 33.-М.: ИПРЖР, 2002.-224 с.

6. Дубровин В.И., Субботин С.А., Богуслаев А.В., Яценко В.К. Интеллектуальные средства диагностики и прогнозирования надежности авиадвигателей: Монография.-Запорожье: ОАО "Мотор-Сич", 2003.-279 с.

7. Dubrovin V.I., Subbotin S.A., Yatzenko V.K. Neural network model of hardening coefficient of airengine details // Smart Engeineering System Design: Neural Networks, Fuzzy Logic, Evolutionary Programming, Data Mining, and Complex Systems / ed.: C.H. Dagli, et al.- New York: ASME press, 2001, vol. 11, P. 939-944.

Надшшла 10.09.03 Шсля доробки 13.10.03

Запропоновано критерп та методику, що дозволяють к1льк1сно ощнювати pieeHb логiчно'i прозороcmi багатоша-рових нейронних мереж прямого поширення, що дае можли-вicmь порiвняння та обгрунтовувати вибiр нейромоделей у задачах iнmелекmуального аналiзу даних.

The criterions and technique permitting to quantitatively estimate a level of multilayer feed-forward neural network logical transparency are offered. It enables to realize a comparison and to justify a choice of neural models in the data mining problems.

номер нейрона в слое формулы дискриминант-ной функции и функции активации номер входа нейрона номер слоя

1 2 3

1 0

1

2

УДК 004.93:007

В.Д. Цыганков

СПИНОВЫЕ СТЕКЛА, НЕЙРОКОМПЬЮТЕР "ЭМБРИОН" И КВАНТОВЫЕ ВЫЧИСЛЕНИЯ

1 СПИНОВОЕ СТЕКЛО

В физическом понятии спинового стекла "спин" - это квантово-механический спин, который обуславливает магнитные эффекты, а слово "стекло" относится к беспорядку в ориентации и взаимодействиях спинов. В обычном стекле атомы "заморожены" в случайных положениях в пространстве, т.е. к идеальному кристаллу природой или технологом-стеклодувом добавлен небольшой

Возможность интерпретации виртуального нейрокомпьютера "ЭМБРИОН" [1 ] как квантового вычислителя была предпринята ранее в работах [2, 4]. В настоящей работе предпринята попытка провести сопоставление между свойствами спиновых стекол и информационными процессами в виртуальной нейронной сети нейрокомпьютера "ЭМБРИОН". Показано, что нейронная сеть нейрокомпьютера может быть представлена некоторым информационным аналогом спинового стекла.