CC BY
49
ПРИКЛАДНАЯ ДИСКРЕТНАЯ МАТЕМАТИКА
2010 Прикладная теория автоматов №4(10)
ПРИКЛАДНАЯ ТЕОРИЯ АВТОМАТОВ
УДК 519.217
МНОГОПАРАМЕТРИЧЕСКАЯ КЛАССИФИКАЦИЯ АВТОМАТНЫХ МАРКОВСКИХ МОДЕЛЕЙ НА ОСНОВЕ ГЕНЕРИРУЕМЫХ ИМИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СОСТОЯНИЙ
А. Р. Нурутдинова, С. В. Шалагин
Казанский государственный технический университет им. А. Н. Туполева,
г. Казань, Россия
E-mail: [email protected], [email protected]
Предложена методика многопараметрической классификации автоматных марковских моделей (АММ) на основе генерируемых ими последовательностей состояний при использовании метода дискриминантного анализа. При этом АММ заданы стохастическими матрицами, принадлежащими к априори заданным подклассам. Определено множество классифицирующих признаков (МКП), позволяющее разделить АММ, заданные матрицами из различных подклассов. Предложена методика, позволяющая определить минимальную длину последовательностей, требуемых для вычисления МКП с заданной доверительной вероятностью.
Ключевые слова: цепи Маркова, эргодические стохастические матрицы, иден-тификация,автономный верятностный автомат, автоматная марковская модель, статистическая обработка данных, дискриминантный анализ, линейные дискриминантные функции, информативность.
Введение
Аппарат теории цепей Маркова (ЦМ) служит для моделирования поведения технических устройств, а также объектов из области экономики, социологии, образования и т.п. как в теоретическом, так и в прикладном аспектах [1-3]. В частности, автоматные марковские модели (АММ), определённые на основе аппарата теории ЦМ, позволяют описывать широкий класс устройств [4, 5].
Задача анализа ЦМ имеет важное прикладное значение, связанное с исследованием частотного распределения символов текстов по m-граммам, m =2, 3,... [6, 7].
Современные информационные технологии статистической обработки данных, такие, как пакет прикладных программ Statistica 6.0 [8], позволяют ставить и решать задачи анализа АММ [9, 10]. При этом особая роль отводится отработке методики решения поставленных задач, а также исследованию множества классифицирующих признаков.
В [9, 10] решены задачи классификации и идентификации эргодических стохастических матриц (ЭСМ) по функционалам, вычисленным на их базе. Что касается решения данных задач для реализаций ЦМ, то в [11] определены подходы, связанные с определением биграмм, на основе которых вычисляются определенные функционалы [11-13]. Подобная схема характеризуется тем, что биграммы вычисляются с некоторой погрешностью относительно ЭСМ [11]. Данное обстоятельство способствует снижению точности анализа на основе указанных функционалов. Выходом из создавшейся ситуации
служит создание интегрированных признаков, которые вычисляются непосредственно по реализации ЦМ и являются информативными в плане дискриминации марковских последовательностей, вычисленных на основе определенных подклассов ЭСМ.
В работе на основе результатов, представленных в [14-16], решена задача многопараметрического анализа последовательностей ЦМ, полученных на базе АММ, заданных ЭСМ. Для множества классифицирующих признаков (МКП) анализируется возможность выделения априори заданных подклассов АММ в зависимости от подклассов, к которым принадлежат ЭСМ, определяющие АММ. Анализ проведен при допущении, что имеет место сходимость по вероятности элементов МКП, вычисленных эмпирически на основе ЦМ конечной длины N, к соответствующим элементам МКП, вычисленным теоретически на базе ЭСМ. Задача решается методом дискриминантного анализа (ДА).
1. Объекты классификации Определение 1. Простая конечная однородная ЦМ задана в виде [1]
(5, p, по), (1)
где 5 = {в0, ^1,... , вп-1} — множество состояний ЦМ; Р — эргодическая [1] стохастическая матрица вида Р = (р^), I,] = 0, п — 1; п0 — п-мерный вектор начального распре-
деления вероятности появления каждого состояния ЦМ.
Определение 2. Автономным вероятностным автоматом будем называть систему [4]
(и, 5, Р, 6(п, в)) , (2)
где и — дискретная случайная величина [4], принимающая на входе значения
п0, п1,... , п1_1 с распределением р = (р0,р1,... ,р1_1); 1 — размер имплицирующего век-1-1
тора [4]; ^ р^ = 1, 0 ^ р^ ^ 1; 6(п,в) —функция переходов, ставящая в соответствие
г=0
1-1
паре (п, в) однозначно новое состояние в' Е 5. При этом Р = ^ p^Ai, где А — простая
г=0
матрица (по терминологии [5]). Элементы А^ обозначенные через (*), к,] = 0, п — 1,
определены из следующего соотношения:
/■\ _ Г 1, если 5(щ,вк) = в^-, ак]\1) ^ 0, если $(п^ вк) = в^.
Определение 3. Цепь Маркова (1) является эргодической, если она состоит из одного эргодического класса, т. е. можно из каждого состояния перейти в любое другое [1].
Определение 4. Стохастическая матрица Р, задающая эргодическую цепь Маркова, называется стохастической эргодической матрицей.
Модель устройства, заданная согласно (1) и (2), определена как АММ. На АММ накладывается следующее ограничение: значения положительных элементов ЭСМ кратны определённой величине Д, которую будем называть дискретностью элементов ЭСМ. АММ, заданную на основе ЭСМ Р, обозначим АММ(Р).
Исследуются марковские последовательности, которые являются реализациями простых конечных однородных ЦМ. Они определяются АММ, заданными на основе различных подклассов эргодических стохастических матриц: квазитреугольных (Т) и
блочно-сообщающихся (Б). Матрицы класса Т подразделяются на верхние (Тв) и нижние (Тн). ЭСМ подкласса Б делятся на блочные правые (Бп) и блочные левые (Бл). Положительными элементами матриц заданных подклассов будут следующие:
1) для подкласса Тн — элементы р^, где г = 0,п — 1, ] = 0, г, и элемент р0(п-1);
2) для подкласса Тв — элементы р^, где г = 0,п — 1, ] = г, п — 1, и элемент р(п-1)0;
3) для подкласса Бп —элементы рij, где г,] = 0, к — 1, к = [п/2], и р^, где г,] = = к, п — 1, а также элементы р(к-1)к и рк(к-1);
4) для подкласса Бл —элементы р^, где г = 0, к — 1, ] = к, п — 1, к = [п/2], и р^, где г = к, п — 1, ] = 0, к — 1.
«Угловые» элементы квазитреугольных матриц добавлены для сохранения у данных ЭСМ свойства эргодичности.
Возникает вопрос — последовательность состояний какой длины требуется сгенерировать с целью классификации АММ, определенной на основе ЭСМ, с заданной доверительной вероятностью?
2. Множество классифицирующих признаков
В работе решена задача распознавания АММ(Р) в зависимости от того, к какому подклассу отнесены ЭСМ Р, которые определяют порождаемые ими ЦМ.
Задача решена на основе заданного набора признаков /, к =1 — п,п — 1, которые характеризуют частоту перехода ЦМ из состояния вi в состояние вj (вi,вj Е 5, г,] = = 0, п — 1) для случая, когда г — ] = к. Вычисление /к эквивалентно подсчету частот по биграмме, построенной на основе реализации ЦМ [7].
На основе реализации ЦМ длины N получим последовательность У длины ^ — 1), такую, что ух = к для г — ] = к (уг Е У, г = 1, N — 1), если на г-м шаге ЦМ переходит из состояния вi в состояние вj.
Частота перехода ЦМ из состояния вi в состояние вj для случая, когда г — ] = к, рассчитывается по формуле
Вероятности перехода ЦМ / (к =1 — п,п — 1) из состояния вi в состояние вj для случая, когда г — ] = к, являющиеся теоретическими оценками для величин /, определяются на базе ЭСМ(Р), определяющих АММ(Р), и рассчитываются по формуле
где т(г, к) = р^-к) для к = 1 — п, 0 и т(г, к) = р^+к^ для к = 1, п — 1. Величина (3) асимптотически стремится к (4) при бесконечном возрастании длины ЦМ. При решении практических задач величина N является конечной. Отклонение £к = /к — /к | (к = 1 — п, п — 1) рассчитывается исходя из того, что /к — частота появления события — перехода ЦМ из состояния вi в состояние вj для случая г — ] = к, г, ] = 0,п — 1. В свою очередь, /к, к =1 — п, п — 1, есть вероятность данного события. Примем в качестве допущения, что значение £к распределено по закону Гаусса [17]. Данным допущением можно пользоваться уже при N ^ 5 [17]. При условии, что величины /к вычисляются на основе последовательности У длины ^ — 1), данное отклонение вы-
если ух = к
(3)
і п—|к| Л = - Е т(*,к).
(4)
п і=і
числяется по формуле [17]
ek
fk - 1 fk
kf - kf = N - 1 , 1 - si - 1
(5)
где — величина, определяющая для нормального закона число среднеквадратических отклонений, которое нужно отложить относительно центра рассеивания, чтобы вероятность попадания в полученный интервал была равна а. При этом для / выполняется условие [17]
5 Ж- 6'
N- 1’ N- 1
(6)
N -1
Замечание 1. Условие (6) может быть записано, согласно (3), в виде У] ух Е
________ 2=1
Е [5, N — 6], уг Е У, г = 1, Ж — 1.
В случае невыполнения условия (6) / рассматривается как число появления заданного события в некотором числе опытов, которое распределено по биномиальному закону. В этом случае £к вычисляется согласно
£к = тах(|/к — р1й|, |р2к — /к|), (7)
где р1к и р2к — верхняя и нижняя границы доверительного интервала, рассчитанные при заданном значении доверительной вероятности а:
Е^йк (1—Р1к)м-т-1 = 2; е с^т (1—Р2к)м-т-1 = а,
т=1 2 т=0 2
где I — количество переходов ЦМ из состояния вг в состояние Sj для случая, когда г — ] = к, к =1 — п, п — 1 [16]. Перепишем (5) в виде
1 Г1 — л) 2 / л Г1 — л) 2 I 1 2 ___________
N = —-------гп + 1 ^ тах I —--гп I = — £а, к =1 — п, п — 1.
1 — I к
2 ос 1 I о I л _2 '
jTfc \ е2 I 4е2
Тогда имеет место
Утверждение 1. Верхняя оценка длины последовательности N, на основе которой вычисляются значения признаков f , достаточной для идентификации с заданной доверительной вероятностью a AMM(Pi) и АММ(Р2), где P1 и P2 принадлежат различным подклассам ЭСМ, определяется согласно (8).
Согласно утверждению 1, определив признаки, имеющие максимальные из минимальных отклонений,
е = max (min fk(Pi) - min fk(P2)) , (9)
k=1-n,n-1
где fk (Pi), fk (P2) —значения k-го признака, вычисленного для ЭСМ Р1 и Р2 соответственно, возможно определение N — минимальной длины ЦМ, достаточной для классификации АММ, определенной на основе ЭСМ, с заданной доверительной вероятностью а, согласно (8).
На основе утверждения 1 предложена методика дискриминации AMM(P) на подклассы, определяемые на основе ЭСМ P.
3. Методика решения задачи многопараметрической классификации
(дискриминации)
Пусть элементы pij > 0 ЭСМ P кратны некоторому числу D и pj Е [D, 1 — D],
i, j = 0, n — 1. На основе данного определения по формуле (4) вычисляется диапазон значений для величин fk, k =1 — n, n — 1.
Для многопараметрической дискриминации АММ^), P Е {Тн, Тв, Бп, Бл}, на базе порождаемых ею последовательностей — реализаций ЦМ в зависимости от того, к какому подклассу принадлежит ЭСМ P, определяющая АММ^), требуется решить следующие задачи.
Задача 1. Найти область определения каждого признака вида (4).
Задача 2. Выявить, какие признаки fk являются значимыми при выделении того или иного подкласса ЭСМ P, задающих АММ^) (определить рабочее множество).
Задача 3. Для заданной ЦМ вычислить элементы рабочего множества fk вида (3) с априори указанной точностью. При этом определяется минимальная длина N последовательности, снимаемой с выхода АММ, которая требуется для достижения заданной точности ek, вычисленной согласно (5).
Задача 4. Разделить множество реализаций ЦМ, снимаемых с выхода АММ^), на группы, определяемые подклассами Тн, Тв, Бп, Бл, используя метод дискриминантного анализа.
Последовательное решение задач 1-4 определяет методику многопараметрической дискриминации ЦМ на базе признаков вида (3).
Решение задачи 1 основано на следующем утверждении.
Утверждение 2. Для признаков fk, k = 1 — n, n — 1, вычисляемых на основе множества Vk положительных элементов матрицы P согласно (4), их минимальные значения, min fk, достигаются при условии, что h = D для всех h Е Vk, а максимальные значения, max fk, —при условии, что h =1 — D для всех h Е Vk.
Далее в формате (min fk, max fk) приведены минимальные и максимальные значения признаков для рассматриваемых подклассов ЭСМ.
Минимальные и максимальные значения признаков для Тн равны
fi-n = (D, 1 — D), fk = (0, 0), k = 2 — n, —1,
f0 = (D, 1 — (2 + n(n — 1))0,5Dn-i) , (10)
fk = ((1 — kn-i)D, 1 — (n + k — 1)(n — k)0,5Dn-i) , k = 1, n — 1.
Минимальные и максимальные значения признаков для Тв:
fk = ((1 — kn-i)D, 1 — (n + k — 1)(n — k)0,5Dn-i) , k =1 — n, —1,
f0 = (D, 1 — (2 + n(n — 1))0,5Dn-i) , (11)
fk = (0, 0), k = 1, n — 2, fn-i = (D, 1 — D).
Найдем минимальные и максимальные значения признаков для Бп, приняв w = 0,5n и v = [w] + 1, где n ^ 4:
fk = (0, 0) при k =1 і n, іv и k = v, n ~ 1, fo = (D, 1 і 2Dn-1((v і 1)2 і 1)) .
(І2)
При нечетном п:
/-1 = ^(п — 1)Бп-1,1 — 2Бп-1 ^(V — 1,25)2 + 23 ^ ,
/1 = ((п — 1)Бп-1,1 — 2Бп-1(^ — 1,5)2 + 0,25) ,
/к = ((1 + 2к)Бп-1,1 — (V — 1) (V + к) + Б (V — 2) (п + к — V)) , к =1 — V, —2.
При четном п:
/-1 = /1 = ((п — 1)Бп-1,1 — 2Бп-1 ((ад — 1,5)2 — 0,75)) ,
/к = ((1 — 2|к|)Бп-1,1 — Бп-1 (2ад2 — п(1 + |к|) + 21к| + 1)) , к = —ад, —2, к = 2,ад.
Минимальные и максимальные значения признаков для Бл: /0 = (0, 0); при нечетном п:
/к = (кБп-1,1 — к[ад]Б) , к = 1, [ад],
/к = (—кБп-1,1 — к[ад]Б) , к = —[ад], —1, (13)
/к = ([ад]Бп-1,1 — 2[ад]Б) , к = [ад] + 1,
/к = ((1 — к)Бп-1,1 — (п — к)[ад]Б) , к =1 — п, — [ад] — 2, к = [ад] + 2, п — 1;
при четном п:
/к = (|к|Бп-1,1 + |к| (1 — ад) Б) , к = —ад + 1, —1, к =1,ад — 1,
/к = ((1 — |к|п-1)Б, 1 — (п — |к|) (ад — 1) Б) , к =1 — п, —ад, к = ад, п — 1.
Результаты, полученные на основе (10)—(13), приведены в табл. 1
Решение задачи 2 требует введения следующих обозначений. Пусть Q — множество, обозначающее подкласс ЭСМ, принадлежащих одному и только одному из заданных подклассов — Тн, Тв, Бп или Бл; —множество индексов признаков /к, для
которых /к ^) = 0.
Утверждение 3. Признаки /к вида (4), объединенные во множество Дд, являются значимыми для дискриминации АММ(Р Е Q) и включаются в рабочее множество, если диапазоны их значений не пересекаются: /к^) = 0, а тт /к (~^) > 0, к Е /<д.
Утверждение 4. Объединение множеств Дд(1) и Дд(2) признаков /к вида (4), значимых для дискриминации АММ^ Е Q(1)) и АММ(Р2 Е Q(2)), Q(1) П Q(2) = 0, есть
искомое рабочее множество.
Согласно (10)—(13), признаки /к равны 0 при следующих условиях:
/к(Тн) = 0, к Е </тн = {2 — п, 3 — п,... , —1},
Ук(Тв) = 0 к Е ^Тв = {1, 2 . . . , п — 2} ,
/к(Бп) = 0, к Е /бп = ^Бп1 и /бП2 = {1 — п, 2 — п,..., —V} и {V, V + 1,..., п — 1},
/о(Бл) = 0.
Таблица 1 Характеристики признаков /, к = 1 —п,п — 1
Класс Р ШІП / тах /
Т -1- н й 1 г-Ч сТ п 1 1 к= сТ і 1
Т, к = 0 1 — (2 + п(п — 1))0,5Тп-1, к = 0
к =-1 ?г ^ п 3 і 1 Т 1—1‘ 1 п + кк = 1 Ч-1 ' 1 1 1) 0, 5 Т 3 1
г-Ч 1 Й 1 сч к= 0 1 Й 1 2 к= 0,
Тв , г-Ч Я 1 7і £ й 1 1 II т—Ч 1 — (п + к — 1)(п — к)0,5Тп 1, к = 1 — п, —1
Т, к = 0 1—1‘ 1 п + к 1 1 п 0- к) 0, 5 Т 3 1
т—Ч 1 й к сТ 1 1 п к сТ і 1
см і й т—Ч к= 0 2 і й 1 к= 0,
п шod 2=1
ШІП / тах /к
Бл кп-1Т, к =1, [ад] 1 , сТ 1 ^ 11 к[ к ^ Ж 1 к=
[ад]Тп-1, к = — [ад] — 1, к = [ад] + 1 1 ]+ сТ 11 2[ 1 -] [ к
Бп 1 — п і 1 — (п — к)[ад]Т,
,2 — 1 п, 1 1 к= ,2 1 1 п, 1 1 к=
к = [ад] + 2, п — 1 к = [ад] + 2, п — 1
—кп-1 Т, к = —[ад], —1
п mod 2 = 0
ШІП |/к 1 шах |/1
Бл |к|п-1Т, к = —ад + 1, —1, к = 1, ад — 1 1 — |к| (ад — 1) Т, к = —ад + 1, —1, к = 1, ад — 1
Бп (1 — |к|п-1), к = 1 — п, —ад, к = ад, п — 1 1 — (п — |к|) (ад — 1), к =1 — п, —ад, к = ад, п — 1
На основе утверждений 3 и 4 предложена методика определения рабочего множества (РМ) для дискриминации АММ(Р), Р Е {Тн, Тв, Бп, Бл}, включающая три этапа (по количеству подклассов ЭСМ за вычетом единицы).
Этап 1. Выделяются признаки, которые разделяют последовательности, порождаемые АММ(РЕТн), от последовательностей, порождаемых АММ(М), где MЕ{ТВ, Бп, Бл}.
Этап 2. Определяется множество признаков, которые разделяют последовательности, снимаемые с выхода АММ(РЕТв), от последовательностей, порождаемых АММ(М еБ).
Этап 3. Вычисляются признаки, разделяющие реализации цепи Маркова, снимаемые с выхода АММ(РЕБп), от реализаций цепей Маркова, порождаемых АММ(РЕБл).
При выполнении этапа 1 определяются признаки, выделяющие Тн из множества {Тн, Тв, Бп, Бл}. Найдем максимальное отклонение для признаков, отделяющих Тн от Тв. Для этого определим следующие значения:
Ai = max |min/(Тн) - min /(Тв)| = max (min/(Тв)) = (n - 1)Dn-1 для k = -1,
fc€JrH k€JTH
Bi = max |min /(Тн) - min /(Тв)| = max (min /(Тн)) = (n - 1)Dn-1 для k =1.
fc€JTB k£JTB
Максимальное отклонение для признаков, отделяющих Бп от Тн, найдем согласно формуле
C1 = max |min/(Тн) - min/(Бп)| =
ke(JTH\JBnj )и^Бп2
I \ <14)
= max max (min /k(Бп)), max (min /k(Тн)) .
yfc€(JTH\JBnj ) kJBn2 J
Приэтом JTh\JBn = {-[w],-[w] + 1,...,-1}. На этом интервале max (min /k (Бп)) =
1 k
= (n - 1)Dn-1 при k = -1, а для k Е Jsn получим max (min /k(Тн)) = (n - 1)Dn-1
п2 k
при k = 1. В результате C1 = (n - 1)Dn-1.
Отклонения для признаков, отделяющих Бл от Тн, вычисляются, согласно <14), как E1 = max |min/k(Тн) - min /k(Бл)|. В данном случае JThU{0} = {2-n, 3-n,... , 0},
k€JrH U{0}
max (min /k(Бл)) = [w]Dn-1, а min /0 (Тн) = D. В результате E1 = D. k€ Jth
Из этапа 1 следует вывод: для того чтобы выделить Тн из множества {Тн, Тв, Бп, Бл}, достаточно вычислить значения признаков с максимальным отклонением, равным min (A1, B1, C1, E1) = (n-1)Dn-1. В РМ войдут признаки /k, для которых /k удовлетворяет условию: |min /k(Тн) - min /k(Q)| ^ (n - 1)Dn-1, Q Е {Тн, Тв, Бп, Бл}. Определим данное РМ как Ятн.
На этапе 2 выявлены признаки, выявляющие ЭСМ подкласса Тв из множества Б = {Бп, Бл}.
Максимальное отклонение для признаков, отделяющих ЭСМ Бп от Тв, согласно <13), равно A2 = max |min /k(Тв) - min/k(Бп)| = (n - 1)Dn-1, k =1.
keJTB \JBn2
Максимальное отклонение для признаков, отделяющих Бл от Тв, равно, согласно <14), B2 = max |min/k(Тв) - min/k(Бл)| = D. При этом {0} U JT = {0,1,... ,
k€{0}UJTB B
n - 2}, min /0 (Тв) = D, а max (min /k(Бл)) = [w]Dn-1.
k€JTB
Таким образом, на этапе 2, чтобы отделить Тв от Б, достаточно выделить признаки с максимальным отклонением, равным min(A2, B2) = (n - 1)Dn-1. В РМ, которое определим как Rtb , войдут признаки /, для которых /k удовлетворяет условию |min /k(Тв) - min /k(Б)| ^ (n - 1)Dn-1.
На третьем этапе определены признаки, которые отделяют ЭСМ Бп от Бл. Максимальное отклонение для них, согласно <14), равно A3 = max |min /k(Бп) - min /k(Бл) |.
k€{0}UJBn
При этом {0} U Jsn = {1 - n, 2 - n,... , -v, 0, v, v + 1,... , n - 1}, min /k (Бп) = D при k = 0, а max (min /k(Бл)) = [w]Dn-1.
keJBn
В РМ, которое определено как Rgn, войдут признаки /k, для которых /k удовлетворяет условию: |min /k(Бп) - min /k(Бл)| ^ D.
Таким образом, согласно данным, полученных на этапах 1-3, имеет место
Замечание 2. РМ для дискриминации АММ(Р), Р Е {Тн, Тв, Бп, Бл}, на основе генерируемых ими ЦМ равно R = Rth U Rtb U Двп. При этом максимально допустимое отклонение е, вычисленное по формуле <9), равно (n - 1)Dn-1.
Решение задачи 3. Согласно <3), вычислим элементы РМ R, которые позволяют
дискриминировать на подклассы последовательности, порождаемые АММ(Р), в зависимости от того, к какому подклассу принадлежит P. Минимальное количество испытаний, необходимых для выделения подклассов реализаций ЦМ, порождаемых АММ(Р), определяется на основе <5) <при выполнении условия <6) для каждого из признаков РМ) согласно неравенству
N=max (/k - /k)tae-2+0 ^ 4(n-1)2D2 +1 <15)
где ^k определяется как максимально допустимое отклонение /k Е R от /k, определённое при решении второй задачи — (n - 1)Dn-1. Чем выше ek, тем меньше минимальное число испытаний, определенное согласно <15). Примем а = 0,95, откуда следует, что = 1,96 [17], D = 5 ■ 10-2. Таким обра)ом, <15) будет представлено в виде: N = max (1536,64 ■ n2 (n - 1)-2 ■ /k (1 - /k) + 1). В результате, согласно <15), при fk V V / /
/k = 0,5 получим N ^ 384,16 ■ n2 (n - 1)-2 + 1.
Замечание 3. В случае, когда <6) не выполняется для признаков R с множеством индексов J, минимальное число испытаний для /, k Е J, определяется на базе <7) путем решения системы уравнений относительно Nk:
(n - 1)Dn-1 ^ /k - p1k, ( P1k ^ /k - (n - 1)Dn-1,
или <16)
(n - 1)Dn-1 ^ P2k - /k, \ P2k ^ (n - 1)Dn-1 + /k,
где p1k и p2k определяются, согласно <7), при а = 0,95:
Nk-1 1
e cnupk (1 - pn)Nk-m:1 = 0,475, £ cm;_1p;k (1 - ^)Nk-m-1 = 0,475.
1 m=0
Здесь l — количество переходов ЦМ из состояния Si в состояние Sj для случая, когда i - j = k, k =1 - n, n - 1.
Утверждение 5. Минимальное количество испытаний, необходимых для выделения при заданном а подклассов ЦМ, реализации которых порождаются АММ<Р), определяется как N = max(Nk, Nz), где Nk, k Е J, вычислено на базе <16), а Nz находится, согласно <15), для z =1 - n,n - 1.
Задачи 2 и 3 решены для ЦМ, заданных ЭСМ РЕ{Тн, Тв, Бп, Бл}, при n = 5. Области определения для признаков /k приведены в табл. 2; в ячейках заданы минимальные и максимальные значения выбранных признаков.
Таблица 2
Области определения для признаков для ЭСМ при п = 5
Признак Т н Т в Бп Бл
/-4 - 1 а (Д, 1 - 4Д)/5 (0,0) /5 - 1 а
/-3 (0,0) /5 - 1 сТ С2 (0,0) /5 - 1 сТ С2
/-2 (0,0) (3Д, 1 - 9Д)/5 /5 - 1 а /5 - 1 сТ С2
/-1 (0,0) /5 О 1 - 1 (4 /5 9 - 1 сТ (4 /5 - 1 а
/о 1 1 - 1 сТ (5Д 1 - 11Д)/5 /5 0 1 - 1 сТ (5 (0,0)
/1 0 1 - 1 сТ (0,0) /5 СЮ - 1 сТ (4 /5 - 1 а
/2 сл - 1 (0,0) /5 3 - 1 а /5 4 - 1 сТ С(
/з - 1 (0,0) (0,0) /5 4 - 1 сТ С(
/4 - 1 3 /5 - 1 а (0,0) /5 3 - 1 3
Результаты этапа 1 даны в табл. 3, где показано, с каким максимальным отклонением допускается вычислять значение того или иного признака. Для выделения Тн из множества подклассов {Тн, Тв, Бп, Бл} достаточно вычислить признаки /, к = -1,1,
с ^ Д.
Таблица 3
Отклонения для признаков, выделяющих Тн из {Тн, Тв, Бп, Бл}
Подкласс /-4 /-3 /-2 /-1 /о /1 /2 /з /4 Макс. откл.
Тв — 0,4Д 0,6Д 0,8Д — 0,8Д 0,6Д 0,4Д — 0,8Д
Бп 0,2Д — 0,2Д 0,8Д — — 0,4 Д 0,4Д 0,2Д 0,8Д
Бл — 0,4Д 0,4Д 0,2Д Д — — — — Д
Данные, полученные на этапе 2, сведены в табл. 4 — для выделения подкласса Тв из множества подклассов {Тв, Бп, Бл} достаточно вычислить признаки /, к = 0,1, с максимальным отклонением Д.
Таблица 4
Отклонения для признаков, выделяющих Тв из {Тв, Бп, Бл}
Подкласс /-4 /-3 /-2 /-1 /о /1 /2 /з /4 Макс. откл.
Бп 0,2Д 0,4Д 0,4Д — — 0,8Д 0,2Д — 0,2Д 0,8Д
Бл — — — — Д 0,2Д 0,4Д 0,4Д — Д
В табл. 5 приведены результаты выполнения этапа 3, согласно которым достаточно вычислить признак /0 с максимальным отклонением Д.
Таблица 5
Отклонения для признаков, разделяющих подклассы Бп и Бл
Подкласс /-4 /-з /-2 /-і /о /і /2 /з /4 Ma^. откл.
Бл 0,2D 0,4D — — D — — 0,4D 0,2D D
На основе данных из табл. 2-4 определяем РМ для дискриминации реализаций ЦМ, порождаемых АММ(Р), Р Е {Тн, Тв, Бп, Бл}. При этом = D, к = -1,1.
Согласно формуле (3), вычислим элементы РМ /k, к = -1,1, которые позволяют дискриминировать на подклассы последовательности, порождаемые АММ(Р), в зависимости от того, к какому подклассу принадлежит Р. Минимальное количество испытаний, необходимых для однозначного выделения подклассов ЦМ, порождаемых АММ(Р), определяется на основе (5) и (14):
N = max (^2401 ■ / (1 - /Л +Л ^ 602,
/k
где определяется как максимально допустимое отклонение / от /, к = — 1, 1, определенное при решении задачи 2 при n = 5. Чем выше данная величина, тем меньше минимальное число испытаний, определенное согласно (15); если а = 0,95, то = 1,96; D = 5 ■ 10-2.
4. Получение и интерпретация результатов
Решение задачи 4 предполагает получение последовательностей, снимаемых с выхода АММ(Р), где Р Е {Тн, Тв, Бп, Бл}. Длина данных последовательностей — число испытаний ЦМ — определяется на основе (15) при выполнении условия (5) для всех признаков РМ, либо на базе (16) —в противном случае.
Указанные задачи решены для ЦМ, снимаемых с выхода АММ(Р). При этом Р принадлежит одному из подклассов Тн, Тв, Бп, Бл размерности n = 5. Объекты Тн, Тв, Бп, Бл получены с использованием генератора псевдослучайных чисел табличного процессора MS Excel. Дискретность представления положительных элементов ЭСМ заданных подклассов D = 5 ■ 10-2.
Проведено по 5 серий испытаний для АММ(Р), каждая из которых определена на основе 20 ЭСМ каждого из подклассов Тн, Тв, Бп, Бл —всего 400 последовательностей. Верхняя граница количества испытаний в каждой серии определена на основе (15) и составляет 602, если для признаков из РМ, используемых при классификации полученных последовательностей, выполняется условие (5). Минимальное количество испытаний N, необходимых для выделения подклассов реализаций ЦМ, сгенерированных на основе АММ(Р), не превышает 94% от максимального значения NM = 602.
Распределение значений величины N для последовательностей, генерируемых АММ, показано в табл. 6.
Таким образом, при проведении серий экспериментов для дискриминации реализаций ЦМ (при а = 0,95), сгенерированных АММ(Т), в более чем половине случаев требуется провести 509 испытаний, что соответствует 85% от значения Nm. Для дискриминации с заданной точностью реализаций ЦМ, описываемых матрицами Б, требуется в более чем половине случаев провести не менее 473 испытаний. Это составляет 79 % от Nm. Данные факты объяснимы более выраженной структурой ЭСМ Б по сравнению с ЭСМ Т. Для распознавания реализаций ЦМ, сгенерированных АММ(Б),
требуется последовательность в среднем меньшей длины, чем для реализаций ЦМ, сгенерированных АММ (Т).
Таблица 6
Распределение значений величины N для последовательностей,
генерируемых АММ
Класс Интервал изменения N % от числа испытаний % от значения Жм
Т ^ н 380 - 564 87 63 - 94
Т ^ н 86 - 233 13 14-39
Тв 380 - 564 99 63 - 94
Бп 417- 564 97 69 - 94
Бл 343 - 564 90 57-94
На основе признаков, входящих в РМ, проведено разделение полученных последовательностей на основе метода дискриминантного анализа. Результаты дискриминации представлены в табл. 7. Значение функции Фишера (Р-критерия) для полученных результатов равно 221,8 при уровне значимости р < 5 • 10-5. Величина А-статистики Уилкса равна 1,622 • 10-2. Данные факты свидетельствуют о высоком качестве дискриминации.
Таблица 7
Характеристики признаков РМ
Признак А-статистика Уилкса Р-критерий (3,291) Довер. интервал
/-і 0,073929 409,5078 0,718518
/с 0,074529 413,8994 0,619251
/і 0,094515 560,1085 0,668676
В табл. 7 приведены для каждой из переменных РМ значения следующих вычисленных параметров: А-статистика Уилкса, Р-статистика для исключения и доверительный интервал для его значения. Значение функции Фишера, вычисленное как соотношение усредненных межгрупповых и внутригрупповых дисперсий [11, 12], будет для данных признаков больше числа 409 [4, 7], а значение А-статистики Уилкса не превышает 0,1. Это свидетельствует о высоком вкладе в дискриминацию каждой переменной РМ.
Доля верно дискриминированных последовательностей, достигаемая при использовании заданного РМ, составляет 100%, что подтверждают приведенные в работе предположения.
5. Обсуждение полученных результатов
Экспериментальные данные подтверждают гипотезу относительно способности признаков, характеризующих частоту перехода ЦМ из состояния ^ в состояние ^ при г — ] = к (^, ^ € Б, г, ] = 0, п — 1), классифицировать последовательности, генерируемые АММ(Р). При этом матрицы Р ЦМ принадлежат к разным подклассам, которые различаются порядком расположения положительных элементов, а следовательно, и
характером реализаций ЦМ, генерируемых АММ(Р). Определена длина последовательностей, достаточная для дискриминации порождающих их АММ(Р) на априори заданные группы с заданной доверительной вероятностью.
Особую роль играет методика выбора элементов РМ — признаков, позволяющих дискриминировать генерируемые последовательности. Оценка их области определения при заданной дискретности элементов ЭСМ дает возможность выявить РМ.
Следует отметить, что решение задачи 3 для ЭСМ при п = 5 позволяет получить реализации ЦМ, длины которых могут в общем случае быть меньше, чем верхняя граница 602 за счет варьирования значений признаков из РМ и их отклонения от величины 0,5. Максимальное значение длины генерируемой реализации ЦМ для рассматриваемой задачи ограничено сверху, при этом увеличение размерности п ЭСМ способствует снижению данной оценки. Этот факт объясняется тем, что для ЭСМ большой размерности различие между их подклассами легче идентифицировать как за счет большего количества признаков — (2п — 2), так и из-за лучшего проявления принадлежности ЭСМ к определенному подклассу. Напротив, при малых значениях п различия между подклассами ЭСМ стираются. Следствием этого является увеличение верхней оценки для длины генерируемой ЦМ.
Верхняя оценка N, вычисленная на базе (11), будет пропорциональна
Отклонение , в свою очередь, будет асимптотически стремиться к О при бесконечном возрастании размерности ЭСМ, а для матрицы размера 2x2 оно будет равно 0,50. Однако за счет особенностей структуры ЭСМ, выявляемых признаками из РМ, и за счет многомерности пространства признаков реальное значение длины ЦМ может быть уменьшено в среднем на 6-21 % относительно ее верхней оценки.
Решена задача многопараметрической классификации АММ(Р) на базе порождаемых ими последовательностей, где Р принадлежит к априори заданным подклассам. Поставленная задача решается на основе вычисления частотных характеристик, а также выбора наиболее информативных из них.
Определена верхняя оценка для длины генерируемой последовательности, на базе которой с заданной точностью производится дискриминация порождающей ее АММ(Р). Данная оценка может быть снижена в зависимости от величины отклонения вероятности перехода ЦМ из одного состояния в другое от значения 0,5 и от максимально допустимого отклонения данной вероятности относительно её теоретического значения. Допустимое отклонение вычисляется на основе областей определения частот перехода ЦМ из одного состояния в другое для ЭСМ, принадлежащих к априори заданным подклассам.
Предложена методика многопараметрической дискриминации реализаций ЦМ, заданных ЭСМ определённых подклассов, на базе заданного множества классифицирующих признаков.
1. Кемени Дж.,Снелл Дж. Конечные цепи Маркова. М.: Наука, 1970. 272 с.
2. Романовский В. И. Дискретные цепи Маркова. М.; Л.: Гостехиздат, 1949. 436 с.
3. Раскин Л. Г. Анализ стохастических систем и элементы теории оптимального управления. М.: Сов. радио, 1976. 344 с.
4. Бухараев Р. Г. Основы теории вероятностных автоматов. М.: Наука, 1985. 287 с.
Заключение
ЛИТЕРАТУРА
5. Поспелов Д. А. Вероятностные автоматы. М.: Энергия, 1970. 88 с.
6. Алферов А. П., Зубов А. Ю., Кузьмин А. С., Черемушкин А. В. Основы криптографии. М.: Гелиос АРВ, 2002. 480 с.
7. Friedman W. F., Callimahos D. Military crypto analyze. Part I. V. Z. Aegean Park Press, Laguna Hills CA, 1985. 356 p.
8. Боровиков В. П. Statistica: искусство анализа данных на компьютере. 2-е изд. СПб.: Питер, 2003. 700 с.
9. Захаров В. М., Нурмеев Н. Н., Салимов Ф. И. и др. К задаче дискриминантного анализа автоматных марковских моделей // Вестник КГТУ им. А. Н. Туполева. 2001. Т. 1. №3. С.37-39.
10. Захаров В. М., Нурмеев Н. Н., Салимов Ф. И., Шалагин С. В. Классификация стохастических эргодических матриц методами кластерного и дискриминантного анализа // Исследования по информатике. Казань: Отечество, 2000. С. 91-106.
11. Ли И., Джадж Д., Зельнер А. M. Оценивание параметров марковской модели по агрегированным временным рядам. М.: Статистика, 1977. 221 с.
12. Ланкастер Л. Теория матриц. М.: Наука, 1982. 272 с.
13. Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи матем. наук. 1953. №3(55). С. 3-20.
14. Сабитова А. Р., Шалагин С. В. Дискриминантный анализ вероятностных моделей марковского типа // Наука. Технологии. Инновации: Материалы Всерос. конф. молодых ученых. Новосибирск: Изд-во НГТУ, 2007. С. 90-92.
15. Сабитова А. Р., Шалагин С. В. Многопараметрическая классификация марковских последовательностей // XV Туполевские чтения: Междунар. молодежная науч. конф. Казань: Изд-во КГТУ им. А. Н. Туполева, 2007. C. 78-79.
16. Нурутдинова А. Р., Шалагин С. В. Методика идентификации автоматных марковских моделей на основе порождаемых ими последовательностей // Вестник КГТУ им. А.Н. Туполева. 2010. №1. С. 94-99.
17. Вентцель Е. С. Теория вероятностей. IV изд., стер. М.: Наука, 1969. 576 с.
