CC BY
12
1 2 Э 4 £ В 7 в .0 Ю 12 1Э 14 15 16 17 16 19 20 21 22 23 24 25 2в 27 2в
Номер признака а
12345678 9 1011 121Э14151617 16 19 20 21 72 23 24 25 2в 27 38 2С
Номер признака а
Рис.3. Фрагменты изменений вероятностей гипотез в процессе распознавания пользователя по парольной фразе.
Для оценки информативности исследованного признака "клавиатурный почерк" в рамках рассмотренного алгоритма распознавания пользователей было привлечено двад-
цать человек. В качестве парольной фразы использовалось высказывание Сенеки: " Любят родину не за то, что она велика, а за то, что своя". В ста экспериментах по идентификации пользователей 96 из них опознаны правильно. Фрагменты изменения вероятностей гипотез после анализа очередного признака а приведены на рис. 3.
Часть кривых, Имеющих малые /а ), на рис. 3 не
показана. Из изображений кривых на рисунке следует, что достаточно 12 признаков для завершения процесса распознавания пользователя ПЭВМ.
Повысить вероятность распознавания оператора, работающего на ПЭВМ, используя признак "клавиатурный почерк", можно многими способами. Результаты исследований в этом направлении в настоящее время уточняются и по завершению этапа анализа будут представлены для ознакомления научной общественности.
Полученный результат (96%) дает основание рекомендовать использовать разработанную программу распознавания в системах дистанционного образования. Проблема "инкогнито обучающегося" - одна из главных недостатков технологий обучения на расстоянии. И снимается она при незначительных финансовых затратах.
ЕПИФАНЦЕВ Борис Николаевич, доктор технических наук, профессор, заведующий кафедрой "Информационная безопасность" Сибирской автомобильно-дорожной академии.
ПОКУСАЕВА Ольга Алексеевна, инженер, кафедры "Информационная безопасность", СибАДИ.
В.И.ПОТАПОВ И. В. ПОТАПОВ
Омский государственный технический университет
УДК621.3
МАТЕМАТИЧЕСКИЕ МОДЕЛИ И РАСЧЕТ
ФУНКЦИОНАЛЬНОЙ НАДЕЖНОСТИ АДАПТИВНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ДВУХ ТИПОВ __
РАССМАТРИВАЮТСЯ МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДВУХ ТИПОВ АДАПТИВНЫХ К ОТКАЗАМ И СБОЯМ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ И ПРИВОДЯТСЯ ВЫРАЖЕНИЯ ДЛЯ РАСЧЕТА ВЕРОЯТНОСТИ БЕЗОТКАЗНОЙ РАБОТЫ СЕТЕЙ В ПРЕДЛОЖЕНИИ ПУАССОНОВСКОГО ПОТОКА ОТКАЗОВ И СБОЕВ.
В работах [1,2] даны основные понятия и определения, относящиеся к структуре сетей искусственных нейронов, используемых для обработки цифровой информации, и изложен метод синтеза оптимизированных логически стабильных искусственных нейронных сетей (ИНС), адаптивных к отказам нейронов. При этом полагалось, что основу таких сетей составляют искусственные нейроны (ИН) с пресинаптическим взаимодействием [3). В развитие указанных работ в [4] изложен в общем виде метод построения вероятностной модели функционирования избыточной адаптивной искусственной нейронной сети и метод расчета функциональной надежности адаптивных ИНС произвольной конфигурации без ограничений на принцип адаптации в предложении пуассоновского процесса возникновения отказов в сети с параметром X и постоянства интенсивности восстановления ц функциональных свойств сети в любом состоянии адаптации.
В дальнейшем без дополнительных пояснений будут использоваться понятия и обозначения, приведенные в
указанных выше работах, и по мере необходимости вводиться новые понятия и обозначения.
При рассмотрении математических моделей описываемых ниже адаптивных искусственных нейронных сетей с целью упрощения будем пренебрегать конечной надежностью устройства контроля состояния сети и устройства адаптации, полагая, что их интенсивность отказов не менее чем на порядок ниже интенсивности отказов на выходе (выходах) ИНС. Будем также считать, что время контроля и адаптации по сравнению с временем функционирования ИНС пренебрежимо малы, а адаптация начинается сразу же после появления отказа или сбоя на выходе сети или производится регулярно по мере решения задачи, например путем перестройки порогов ИН в диапазоне логической стабильности сети. При этом полагаем, что одновременное появление на выходах ИНС двух и более отказов или сбоев исключено. Очередной отказ или сбой может появиться на выходе сети только после ее адаптации к предыдущему отказу.
Аналогично работе [4] будем считать, что процесс возникновения отказов и сбоев в адаптивной И НС пуассонов-ской, однако при этом, стремясь приблизится к реальным условиям функционирования ИНС, будем полагать, что X = Х0 + X, и V = х; + Х|, где Х0,Х, - интенсивности отказов соответственно вида (1 -»0) и (0 1), а х; и X," - интенсивности сбоев вида (1 ->0) и (0-И).
Учитывая то, что теория адаптивных искусственных нейронных сетей находятся в стадии становления и рано еще говорить о каких-либо обобщающих результатах, рассмотрим в рамках сделанных предположений математические модели некоторых типов адаптивных ИНС и дадим оценку их надежности по критерию вероятность безотказной работы.
Адаптивная ИНС первого типа
Пусть искусственная нейронная сеть представляет собой одновыходную ИНС, логически стабильную вдиапа-
зоне {т; (/•,/)}, V = 1,2,...,т одновременного изменения порогов нейронов сети [4].
Процесс адаптации к отказам и сбоям заключается в следующем. При каждом наборе двоичных входных переменных (л:,,л2.....,*5)= X вычисляется значение двоичной
выходной функции сети Рк{х^хг.....,х6) н^Нечетном числе
наборов порогов ИН из диапазона логической стабильности
{Ту (/%/)} и результат выдается по большинству, т.е.
где функция здп 2 определяется как
Г1, если г г: О,
эцп 2.-
Ы =
и + 1
0, если г < 0,
п = 3,5,7,...
Если выбранный набор порогов т; (г, ¿), V = 1л при накопившихся отказах в ИНС не обеспечивает получение правильного значения функции Р(х„х21...,х&), то по соответствующим правилам переходят к другому набору порогов из диапазона логической стабильности нейронной сети и решают задачу аналогичным способом до тех пор пока не будет израсходован весь ресурс логической стабильности.
Обозначив Ец - работоспособное состояние нейронной системы, различно реагирующей на отказы и сбои каждого
2(Хо+Ао*>±
2(Х1+?ц*)(й
вида, при отказах и сбоях вида (I о) на /-ом наборе порогов и вида (о 1) нау-ом наборе порогов, а ЕР - неработоспособное (поглощающее) состояние, соответствующее потере корректирующей способности на выбранном наборе порогов из диапазона логической стабильности, не трудно составить математические модели в виде графов состояний адаптивной ИНС при п = 3,5,7,... .
Очевидно, что на практике наибольший интерес представляют алгоритмы адаптации при /7=3 и п=5.
Граф состояний, описывающий переходы нейронной системы при л=3, представлен на рис. 1, а граф состояний при п=5 изображен на рис.2.
Обозначив рц,рг - вероятности нахождения системы в
соответствующих состояниях Е(/ и Ег легко составить по известным правилам [5] систему дифференциальных уравнений состояния адаптивной ИНС.
При /1=3 система уравнений имеет вид:
р;1(/)=зх1рм(г)-2(х + х;)р01(/),
Ри (')= 2Х, рю (/)+ 2\ р01 (/)- (х + V )/>„(/),
р' (г) = 2^ + >4)р,о(')+ 2(х, + \;К,(/)+ (х + Х')д,(/)+ рМ
Отсюда следует, что вероятность безотказной работы адаптивной ИНС первого типа при /7=3 на конкретном наборе порогов из множества {т;.(//,/)} находятся следующим образом:
Р„=з(<)= £ />Д<),
¡.у=0
а вероятность отказа определяется по формуле рД/)=1 - р(/).
Решение системы уравнений (1) при начальных условиях Роо(о)= 1,7>,„(о)= Ро,(0)= Р„(о)=рДо)=0 имеет вид
(1)
Р„„3(/)=ехр(-ЗХ^1-ЗХ,
ЗХ„
к-гк
1-1-
Х-2Х"0 2Х,
1 —
2Х,
х-х+2х:,
ехр
(х-2х;)/
г ехр(Х-2Х',)/
х-х'+гх;
Х-Х' Хехр(2Х-Х')/
2Х-Х'
_(Х-2ХЦХ-2Х") (Х-ХЧ2ХЦХ-Х +2Х")
Его 3(Хо+Хо*)Л
ЕО2
Используя граф переходов на рис.2 легко составить систему дифференциальных уравнений адаптивной ИНС при /7=5
=4Х0 з(х + X (2)
p'01(t)= 4Х,р01(/)-з(х + к)раг('1 Рп(') = 3х0л,(')+3\ Рго(']~ 2(х +
Рп(') = 3\р„(')+ ЫоРоЖ)-2& + К)рп(<\
Р;.(/)=з(х,+х;)р20(/)+ э^+^Ы')* г(х„+х;)Л1(/)+ +2{\+к)рп(>)++л(<)
Проведя аналогичные выше сделанным рассуждения, не трудно (хотя и громоздко) получить аналитические выражения для расчета вероятности безотказной работы адаптивной ИНС при п=5.
В общем виде вероятность безотказной работы адаптивной ИНС при п-5 определяется выражением
и=0
При п> 5 вряд ли следует стремиться получить аналитические выражения для расчета вероятности безотказной работы адаптивной ИНС. В этом случае целесообразно использовать программы для решения дифференциальных уравнений.
Адаптивная ИНС второго типа
Будем полагать, что искусственная нейронная сеть второго типа представляет собой набор, состоящий из п одновыходных ИНС, на входы которых подаются двоичные переменные (jc,,^,...,), а на выходе каждой из этих сетей при отсутствии отказов реализуется значение одной и той же двоичной функции f(x„jc2,...,jcj )• Выходы сетей соединены со входами адаптивного искусственного нейрона без пресинаптического взаимодействия с переменными весами wit(l = 1,2,...) входов F,{x) (i = 1,2,-,и; л > 3) и переменным порогом "Ц, (v = 1,2,...), у которого в процессе работы в зависимости от ситуации на входах (от количества и вида отказов и сбоев на выходах подключенных ИНС) автоматически производится целенаправленное изменение параметров w„ и X (адаптация) для достижения максимально возможной корректирующей способности. Под корректирующей способностью R адаптивного ИН будем понимать максимально допустимое количество отказов и сбоев на его входах, не приводящее к появлению ошибки на его выходе.
Рассмотрим модель функционирования ИНС рассматриваемого типа в предположении, что выходной адаптивный ИН (АИЩ) характеризуется однонаправленным ступенчатым изменением порога т; от максимального к минимальному (каждый раз на единицу) и бинарным изменением весовых входов w,, {( = 1, и>„ = = 2, wi2 = о). Реализуемая таким адаптивным ИН функция имеет следующий вид:
F(x},x1>...,xi) = sqn±[wiiFl{x)-X}. (3)
/-i
Принцип работы рассматриваемого АИН-) заключается в следующем. Перед началом работы на всех л-входах
веса равны w„, а порог Tv = max исходя из выбранной логики работы. При появлении любого вида отказа или единичного сбоя на к-м входе АИН-j соответствующий вход отключается, т.е. wki -> wi2, а порог т; в зависимости от выбранного алгоритма адаптации остается без изменения или уменьшается на единицу. Индикатором отказа (сбоя) любой ИНС, подключенной ко входам АИН^, является рассогласование ее выходаFt{x) с сигналами на выходах работоспособных (не отключенных от входов адаптивного ИН) сетей, либо с сигналом на выходе АИН^. Очевидно, что минимальное число не отключенных входов у АИН-| равно л=2.
Если априори известно, что на входах адаптивного ИН интенсивность отказов вида (0->l) много больше, чем (l —> о), то в последнем адаптивном состоянии следует устанавливать т; = 2. В противном же случае следует
устанавливать X =1.
Рассмотрим еще одну модель функционирования ИНС рассматриваемого типа в предложении что используемый адаптивный ИН (АИН2) имеет большую логическую гибкость, чем рассмотренный выше АИН^. При этом будем полагать, что у него возможно однонаправленное (от максимального к минимальному) ступенчатое изменение порога X и реверсивное ступенчатое изменение весов ВХОДОВ w„(/ = l,w„ =m-,t = 2,wll =т-\\... I * т, wlm = l;f = т + 1, = о) , а выражение для реализуемой им функции Р(х„хг,...,х6) по форме совпадает с (3).
Рассмотрим более подробно принцип работы такого АИН2, заключающийся в следующем. Перед началом работы на всех л-входах веса устанавливаются равными
ve„, а порог "Ц, = шах исходя из выбранной логики работы АИН2. При каждом рассогласовании сигнала на к-м входе АИН2 с истинным значение вес к-го входа уменьшается на единицу, а при каждом совпадении уменьшенный вес увеличивается на единицу. Следовательно, если на к-м входе АИН2 число следующих подряд несовпадений с
истинным значением равно г <т , а в следующих s > г циклах работы имеют место совпадения, то вес к -го входа wtt принимает ряд значений:
-> wtl -»•••-> -> wt -> wt ^2 -»■••-> wtl.
При этом порог i; остается постоянным.
В том случае, когда на к-м входе АИ Н2 число следующих подряд несовпадений с истинным значением равно г > т,
то wkx -»wi2 —> wk mtl = о. Следовательно, к-й вход отключается, а порог X в зависимости от выбранного алгоритма адаптации остается без изменения ипи уменьшается на условную единицу, равную т единицам веса входа. Отключенный вход АИН2 больше не подключается. Приняв условие, что в состоянии сбоя ложный сигнал на входе адаптивного АИН2 появляется не более чем т раз подряд, легко заметить, что рассмотренный АИН2 не чувствителен к сбоям при наличии трех и более не отключенных входов. Поэтому в дальнейшем будем считать, что у подобного адаптивного ИН2 минимальное число не отключенных ВХОДОВ /7=3.
Из рассмотрения моделей функционирования нейронных сетей с АИН1 и АИН2 следует, что в обоих случаях устройство контроля, тип которого мы здесь не оговариваем, в каждом цикле вычисления производит сравнение значений входных сигналов на не отключенных входах либо между собой, либо с сигналом на выходе адаптивного ИН и при наличии рассогласования выдает команду в устройство адаптации, которое в соответствии с выбранным
алгоритмом изменяет параметры АИН^, АИН2 - Щ, и X .
Очевидно, что возможны и другие модели функционирования ИНС с адаптивным выходным ИН и другие алгоритмы адаптации ИН. Однако в данной статье мы ограничимся рассмотренными выше моделями и дадим оценку вероятности безотказной работы ИНС с АИН-| и АИН2. При этом для определенности рассмотренный выше алгоритм адаптации ИНС с АИН-) обозначим символом N. а алгоритм адаптации ИНС с АИН2- символом М.
Расчет вероятности безотказной работы адаптивных ИНС с АИН, и АИНг
В дальнейшем будем пользоваться следующими обозначениями:
Е* - работоспособное состояние нейронной системы при наличии на к входах АИН отказов и сбоев; Ег - как и прежде, неработоспособное (поглощающее) состояние системы, соответствующее потере корректирующей способности АИН;
Р4 , Рг - вероятности нахождения нейронной системы в соответствующих состояниях Е4 и Е,..
Исходя из алгоритмов адаптации видов N и М, нетрудно составить графы состояний нейронных систем с л- входо-выми АИН обоих типов (рис. 3 для алгоритмов вида N и рис. 4 для алгоритмов видаМ). На графах над (под) дугами без квадратных скобок указаны вероятности переходов для нейронных систем с АИН-), а в квадратных скобках -вероятности переходов для нейронных систем с АИН2, отличные от соответствующих вероятностей переходов нейронных систем с АИН-]. Очевидно, что графы состояний для систем с обоими типами АИН топологически эквивалентны и отличаются лишь вероятностями перехода из состояния Е, в состояние Е,+| для первого грифа в диапазоне (о £ к < п-3) и для второго-в диапазоне (0<А:<л-4), причем в обоих случаях, в зависимости от ситуации на входах АИН.) и АИН2, их корректирующая способность находится в пределах п-2<И<п-\-
Система дифференциальных уравнений, соответствующая графу на рис. 3, имеет вид:
1<к<п-3
..............................................................................(4)
Р',-г(')= я„-зА,-э(')- 2(Х + К)р„-г(<)> Р'„Л')= 2Х,Р„-2 (0-«„-,/>„-,(').
р'Х1)- 2(\,+х; )р„.г (/)+а„., (/)+р, (?),
Решая систему (4) с начальными условиями /?0(о)= 1, Р\ (0) = л(о) =... = />„_. (0) = р, (0) = 0 получим
р„(/)=ехр(-яо0,
1<к<л-3
7=0
>-ь
ехр(-2(х + х;>)
(8)
(6)
. (7)
—4—^у у 1
а,.,-2(Х + Х-0)^ В, % (а„_,-а,)В,
ехр(-".-.0 (8)
где
в, = [2(х+х;)-я,]П к-4
(9)
/=0
Используя выражения (5) - (9), можно вычислить вероятность безотказной работы и другие надежностные характеристики нейронной системы с АИН^ и АИН2 при алгоритмах адаптации вида N.
Для графа на рис. 4 соответствующая система дифференциальных уравнений запишется следующим образом:
Рс(0="ЯоРо(').
1<к¿п-4
(10)
¿-Л') = ЗХ />„_,(/)-2(2Х + Х'К-Л'). Р:-(')=2Хр„.2(/)-(О, р'г (0 = 2Л„чЛ,-2 (')+ «„-, А,-. (0+ Рг (').
где ак(0<к<п-4) и п„_, дляАИН1 и АИН2 имеюттотже вид, что и в системе(4).
Решение системы уравнений (4) с начальными условиями р0(о)=1, л(0)=рг(0)=... = л.,(о)=рг(0) = 0 представляется в следующем виде: (0<к<п-4) по форме совпадают, соответственно, с (5) и (6),
где ак = (п - Л)(х + X") для искусственных нейронных сетей С АИН1 и а, = (п-к)1 дляИНСсАИН2, 0<*<н-3,а п„_, = X +).' для обоих типов АИН.
Я-э(')=''а..,П а>
ехр(-й./) , ,, ^
(ЗХ-о,)С,
,(11)
Б, ПСА+Л'Э Е, (|Н)(Х+Х-)± Е^з КХ+Х«)4 Е^ 20л+Л,*)4 Е,
[па 4]
[3X4]
(Х+Х')4
Б, п(Х+Х*)<11 Е, (ЫХХ+Х1 [п).Л] [(п-1)Х Л]
К-2 2(Хо+Х,.*№
2(Х,+ Х,»)4
Л.2(0=12Хв..,П Е
г ехр(-д,')
й (зх-я,)д.
ехр(- ЗХ/)у! Х + 2Х' Й
(ЗХ-а,)С\
1
Х + 2Х'
(12)
Ь, (зх-я,)с, (ЗХ - я,) д.
ехр1
1-4 Iл-4
*р(~ л,')
л.,(/)=24хч-П а> I Ш—V-ттг
ехр(-ЗХ/) у 1
~ {Х+2Х1Х (3 Х-я,)С,
1
зх+х-
^;Л0 = £ л(<).
Полученные математические модели надежности избыточных нейронных систем с адаптивными ИН позволяют решить следующую важную для практики задачу. При заданном соотношении между интенсивностями отказов и сбоев найти тип ДИН, обеспечивающий нейронной системе на интервале [оД] вероятность безотказной работы не ниже заданной при минимальной избыточности системы, либо при заданном ограничении на избыточность ИНС найти тип АИН, обеспечивающий максимальную вероятность безотказной работы системы.
ЛИТЕРАТУРА
(ЗХ-а,)д (Х + 2Х')(ЗХ + Х")
(ЗХ-а()С,
ехр -2 2Х + Х- ( +
(Х + 2Х'ХХ'-2Х)
у! 1___1 1
Ь (3Х-а,)С, ЗХ + Х'Й? (ЗХ-а,)Д +(Х + 2Х"ХЗХ + Х") ^ 1 ^ 1
где
& (ЗХ-а,.)С, (ЗХ-а,Ха„.,-(7,)Д
¡.о 1*'
Д = 2(2Х + Х')С,.
(14)
(15)
Полученные выражения (5), (6), (11) -(15) для рк (/) (о < к < п -1) позволяют вычислять надежные характеристики, включая вероятность безотказной работы, для нейронных систем с АИН.) и АИН2 при алгоритме адаптации вида М.
Из систем уравнений (4) и (10) следует, что для ИНС с обоими типами АИН при любом из рассмотренных видов алгоритма адаптации вероятность безотказной работы определяется как
1. Потапов В.И., Потапов И.В. Классификация сетей искусственных нейронов, используемых для обработки цифровой информации// Природные и интеллектуальные ресурсы Сибири (Сибресурс-7-2001): Доклады Международной научно-практической конференции (Барнаул 1719 сентября 2001 г.)-Томск. 2001.-4.2.-е. 194-197.
2. Потапов И. В. Синтез оптимизированных логических стабильных искусственных нейронных сетей, адаптивных к отказам нейронов/Омский гос.техн.ун-т.-0мск,-2001 .-14с,-Деп.в ВИНИТИ. 21.09.2001, №2014.
3. Потапов В.И., Потапов И.В. Математические модели и функциональные возможности искусственных нейронов/ Омский гос. техн. ун-т.-Омск, 2001.-12.-Деп.в ВИНИТИ 03.05.01., №1140.
4. Потапов В.И., Потапов И.В. Вероятная модель функционирования избыточной адаптивной искусственной нейронной сети//Доклады Сибирского отделения Академии наук высшей школы.-2001.- №2(4). -с.76-82
5. Вентцель Е.С. Исследование операций.-М:Сов.радио, 1972.-550С.
ПОТАПОВ Виктор Ильич, доктор технических наук, профессор, заведующий кафедрой информатики и вычислительной техники Омского государственного технического университета.
ПОТАПОВ Илья Викторович, аспирант Омского государственного технического университета.
Омский государственный технический университет
УДК 519.68
и в ПОТАПОВ МИНИМИЗАЦИЯ ПРОЦЕССА АДАПТАЦИИ ЛОГИЧЕСКИ СТАБИЛЬНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ К ОТКАЗАМ НЕЙРОНОВ__
РАССМАТРИВАЕТСЯ ЗАДАЧА МИНИМИЗАЦИИ ПРОЦЕССА АДАПТАЦИИ К ДЕСТАБИЛИЗИРУЮЩИМ ФАКТОРАМ И ОТКАЗАМ НЕЙРОНОВ ДЛЯ ЛОГИЧЕСКИ СТАБИЛЬНЫХ РЕГУЛЯРНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ. АДАПТАЦИЯ ОСУЩЕСТВЛЯЕТСЯ ПУТЕМ ПОШАГОВОГО ОДНОВРЕМЕННОГО ИЗМЕНЕНИЯ ПОРОГОВ У ВСЕХ ИСКУССТВЕННЫХ НЕЙРОНОВ СЕТИ НА ОДИНАКОВУЮ ВЕЛИЧИНУ НА КАЖДОМ ШАГЕ, И ПРЕСЛЕДУЕТ ЦЕЛЬ ЗА МИНИМАЛЬНОЕ ЧИСЛО ПЕРЕСТРОЕК ВОССТАНОВИТЬ ФУНКЦИОНАЛЬНЫЕ ВОЗМОЖНОСТИ СЕТИ, ЗАЛОЖЕННЫХ ПРИ ЕЕ СИНТЕЗЕ ИЛИ ПРИ ОБУЧЕНИИ. ДАЕТСЯ РЕШЕНИЕ РАССМАТРИВАЕМОЙ ЗАДАЧИ.
В работе [1] показано, что различные факторы, вызывающие искажение реализуемой искусственным нейроном (ИН) функции ^(д-„...,л/,...,.г8)х1.б{0,1}, например такие, как изменение величины сигналов независимых пере-
менных х, на функциональных входах ИН, спонтанные флуктуации величины порога срабатывания нейрона X . отказы компонентов ИН вида (1 —>о) и (О—>1) и другие, эквивалентны соответствующему пропорциональному
