CC BY
68
УЧЕНЫЕ ЗАПИСКИ КАЗАНСКОГО УНИВЕРСИТЕТА
Физико-математические пауки
УДК 519.6
О НОРМАЛЬНОЙ ФОРМЕ СТОХАСТИЧЕСКОЙ МАТРИЦЫ
Ю.А. Алъпип, B.C. Алъпипа
Аннотация
Определяется нормальная форма стохастической матрицы, основанная па понятиях совместимости и целости состояний соответствующей цепи Маркова. В сравнении с классической нормальной формой опа содержит больше информации для определения асимптотической эквивалентности состояний.
Ключевые слова: стохастическая матрица, нормальная форма, цепь Маркова.
1. Введение и необходимые сведения
Классификация состояний цепи Маркова, введенная Колмогоровым [1] для анализа асимптотического поведения переходных вероятностей, основана на понятиях о возвратных и невозвратных состояниях, классах сообщающихся состояний и их циклических подклассах. В случае конечной цепи эти понятия приводят к нормальным формам разложимой и неразложимой стохастической матрицы. В настоящей работе предлагаются классификация состояний и нормальные формы стохастической матрицы, основанные на понятиях совместимости и целости состояний. Эта классификация, как и классическая теория, использует лишь комбинаторные свойства матрицы, но даёт больше информации о том, когда два состояния конечной цепи Маркова асимптотически эквивалентны как начальные состояния процесса.
Необходимые для дальнейшего определения и факты, приводимые ниже, более или менее общеизвестны, но для них трудно указать один источник. Помимо основополагающей статьи [1] укажем лишь книги [2 4], из которых можно получить информацию о спектрах, нормальных формах и графах неотрицательных матриц, книгу [5] по матричной теории цепей Маркова, современное изложение теории см. в [61.'
Неотрицательная матрица Р = (р^) называется стохастической, если суммы элементов каждой из строк равны единице. В теории конечных однородных цепей Маркова число р^ понимается как вероятность перехода цепи из состояния г в состояние ] за один такт времени (за один шаг). Вероятности перехода за к шагов даются матрицей Рк = (р(к)). Поскольку мы не фиксируем начальное состояние (или начальное распределение вероятностей состояний), а исследуем совокупность переходных вероятностей, то будем говорить не о марковской цепи, а о марковской системе, определяемой стохастической матрицей.
Графом неотрицательной матрицы Р = (р^) порядка п называют ориентированный граф с вершинами 1,..., п, в котором дуга ведёт из вершины г в вершину ] (коротко: г ^ если р^ > 0. Путь г\.. .гкгк+1 длины к называется простым, если ни одна его вершина не повторяется, кроме, может быть, первой и последней. При г1 = гк+1 простой путь называется простым контуром. Основное соотношение, связывающее неотрицательную матрицу Р = (р^) с её графом, заключается в следующем.
Предложение 1. Элемент р^' матрицы Рк положителен тогда и только тогда, когда в графе матрицы Р существует путь длины к из вершины г в вершину ].
Говорят, что вершина ] достижима из вершины г, если г = ] или существует (г, ,?')-путь. При г = ] всегда можно выбрать простой (г, ])-путь, длина которого не больше чем п — 1.0 двух вершинах, каждая из которых достижима из другой, говорят, что они сообщаются. Если любые две вершины сообщаются, то граф называется сильно связны,м.
Обозначим через В матрицу смежности графа матрицы Р. Матрицу В можно определить и как портрет матрицы Л. Так называется (0,1)-матрица, получаемая из Л заменой ненулевых элементов на единицы. Будем считать, что В -матрица над двухэлементной булевой алгеброй. Мы не вводим специальных обозначений для операций булевой алгебры, так как их использование будет ясно из контекста. Например, символ I ив булевском случае обозначает единичную матрицу. Портреты неотрицательных матриц замечательны тем, что портрет суммы (произведения) матриц равен сумме (произведению) их портретов. Следовательно, чтобы вычислить портрет матрицы, образованной путём сложения и умножения неотрицательных матриц, с несравненно меньшими вычислительными затратами можно вместо самих матриц оперировать с их портретами. Например, предложение 1 можно дополнить следующим утверждением:
Таким образом, марковская система определяется стохастической матрицей,
к
гов из состояния г в состояние ], то система с нужной степенью точности определяется орграфом (при этом состояния системы отождествляются с вершинами графа) или, когда нужен аналитический инструмент, булевой матрицей (иногда в этой ситуации говорят о топологической цепи Маркова).
Состояние марковской системы называется возвратным,, если оно достижимо из любого достижимого из него состояния. Из возвратного состояния достижимы лишь возвратные, из любого невозвратного состояния достижимо некоторое возвратное состояние.
Множество состояний называется замкнуты,м, если дуги из его состояний ведут лишь в состояния этого множества. Замкнутое множество Б определяет компоненту системы, которую можно рассматривать как самостоятельную систему.
Р
пересечении строк и столбцов с номерами из Б. Слово «компонента» будет обозначать н замкнутое множество состояний и определяемую им систему. Компонента называется разложимой, если она содержит собственную компоненту. Ясно, что любая компонента содержит неразложимую компоненту. Отмстим ещё, что неразложимая компонента состоит из сообщающихся возвратных состояний и всякое возвратное состояние принадлежит некоторой неразложимой компоненте. Различные неразложимые компоненты не пересекаются.
Р
новка рядов (преобразование подобия, соединяющее перестановку строк с такой
Р
где Р1, Р2 - квадратные матрицы. В противном случае говорят, что Р - неразложимая матрица. Известно, что неразложимость матрицы равносильна сильной связности сё графа.
р(к' >0 ^ ь(к' = 1.
(и
Применительно к марковским системам перестановка рядов отражает перенумерацию состояний: перестановка г-й и ,7-й строк, а также г-го и 7-го столбцов соответствует тому, что состояние , получает в новой нумерации номер г. Граф данной матрицы и граф матрицы, полученной перестановкой рядов, изоморфны. Новая матрица и её граф задают ту же марковскую систему, но с другой нумерацией состояний. Ситуация здесь аналогична той, что имеет место для линейного оператора и его матриц в различных базисах пространства. «Правильная» нумерация состояний отражает внутреннюю структуру системы и приводит к матрицам нормальной (в том или ином смысле) формы.
Р
водится к блочно-треугольной нормальной форме
Р1
\ръ+1,1 . ■
\
Рн
Рн+1,н Рн+1,Н+1/
(2)
Р1 , . . . , Рн
неразложимым компонентам, матрицы Рн+1,1,..., Рн+1,н содержат вероятности перехода из невозвратных состояний в неразложимые компоненты, матрица Рн+1,н+1 задаёт переходы внутри множества невозвратных состояний.
Пусть теперь Р - неразложимая неотрицательная матрица и р - её спектральный радиус. Согласно теореме Фробениуса [2, с. 355] максимальные по модулю
Р
р,ре,..., ре
й-1
е = в2п'/а.
(3)
0 Р12 0 0
0 0 Р23 0
0 0 0 0 Рй-1,й
\Р<П 0 0 0 0
Число й собственных значений максимального модуля называется индексом импримитивности матрицы Р. Если й = 1, то матрица Р примитивна, это значит, что при некотором к матрица Рк не содержит пулей. Фробениус открыл связь между индексом импримитивности и расположением ненулевых элементов: неразложимая матрица Р с индексом импримитивности й > 1 подходящей перестановкой рядов преобразуется к виду
(4)
с квадратными диагональными блоками. Матрица (4) называется нормальной формой Фробениуса неотрицательной неразложимой матрицы.
К формам (2) и (4) независимо от аргументов Фробениуса приводит классификация Колмогорова состояний цепи Маркова, основанная на понятиях возвратного и невозвратного состояний, классов сообщающихся состояний и дальнейшего разбиения этих классов на циклические подклассы. Эта классификация не обращается к спектральным свойствам матрицы, а определяется расположением ненулевых элементов в матрице переходных вероятностей, то есть, фактически, графом матрицы.
Оба подхода к форме (4) связывает теорема Романовского [5, с. 102], утверждающая (в иных терминах), что индекс импримитивности неразложимой матрицы равен наибольшему общему делителю длин контуров её графа. Это число будем
называть индексом, графа. Ради краткости будем говорить об индексе матрицы или системы, имея ввиду индекс соответствующего графа.
Вследствие теоремы Романовского форма Фробениуса неразложимой матрицы определяется в чисто комбинаторных терминах как блочно-циклическая матрица вида (4), где d - индекс графа матрицы.
Напомним, что цепь Маркова с матрицей Р = (pij) переходных вероятностей называется эргодической, если для любых состояний i, j существует предельная вероятность, не зависящая от i:
lim pj = pj. (5)
киж J
Матрицу эргодической цепи (иногда и саму цепь) называют регулярной. Надо заметить, что определение эргодичности и регулярности у разных авторов различно.
В некоторых источниках (например, в [6]) дополнительно требуется, чтобы пре-pj
димым н достаточным условием регулярности является примитивность. В других работах (например, в [5]) при определении эргодического свойства допускаются нулевые предельные вероятности. Мы приняли это более широкое определение. Одно из ранних условий регулярности [5, с. 66] гласит:
P
гда, когда некоторая её степень Pk содержит положительный столбец.
В работе Добрушина [7] был введён коэффициент эргодичности а(Р) =
= min^min^jj,Pi2j) и выяснилось, в частности, что предыдущее условие можно il,i2 j
заменить на более слабое: стохастическая матрица Р = (pij) регулярна тогда и только тогда, когда при некотором показателе к
а(Рк) = min £ min(p(kj,p(kj) > 0.
il ,i2 -
j
Переформулируем этот критерий на языке графа матрицы.
P
когда существует такое число к, что в графе Р из любых двух вершин можно
к
2. Совместимость состояний. Целые состояния
Известно ещё одно определение эргодичности, эквивалентное предыдущему: цепь Маркова с n состояниями и матрицей перехода Р называется эргодической, если для любых состояний ii, i2
и,(pikj - p(2kj) = 0, j = 1, - -.,n- (6)
Рассмотрим марковскую систему общего вида. Назовём состояния ii, i2 асимптотически эквивалентными, если для этих состояний выполняется условие (6).
Из классических результатов о предельном поведении переходных вероятностей (см.,например, [6, гл. VIII]) с очевидностью следует, что два возвратных состояния асимптотически эквивалентны в точности тогда, когда они принадлежат одному циклическому подклассу. Но если хотя бы одно из состояний невозвратно, то, вообще говоря, в терминах традиционной классификации вопрос об их асимптотической эквивалентности решить невозможно. Легко привести пример двух марковских си-
ii
г2
лснтны, а во второй неэквивалентны. Аналогичный пример легко привести и для пары невозвратных состояний.
Опишем классификацию состояний марковской системы, отличающуюся от традиционной тем. что она даёт по-прежнему в терминах графа матрицы необходимое и достаточное условие асимптотической эквивалентности как пары возвратных состояний, так и состояний, лишь одно из которых возвратно. Первые шаги в развиваемом здесь направлении были сделаны, по-видимому, в заметке [8], однако понятия целого состояния и целой стохастической матрицы не были сформулированы и задача построения нормальной формы на их основе не ставилась. Понятие совместимости, определяемое ниже, использовалось в [9] для нового вывода формы Фробениуса неразложимой неотрицательной матрицы.
г1 г2
Рк
(к) (к)
что для некоторого , одновременно р> 0 и р^ > 0. Иначе говоря, состояния г1 г2
длины, достижимо некоторое общее состояние. Желая указать длину путей, бук
любые синхронно достижимые из него состояния совместимы.
Бинарное отношение совместимости на множестве состояний, очевидно, рефлексивно и симметрично, но в общем случае не транзитивно. Однако системы, на состояниях которых совместимость транзитивна (значит, является отношением эквивалентности), играют главную роль и в общем случае.
Разбиение множества состояний системы называется циклическим,, если существует такая нумерация классов разбиения: Б1:Б2,..., Бт, что все дуги с началом в Б1 ведут в Б2, дуги с началом в Б2 ведут в Б3 и так далее, наконец, из Бт все дуги ведут в Б1. Назовём марковскую систему целой, если отношение совместимости на её состояниях является эквивалентностью, классы которой образуют циклическое разбиение. Стохастическую матрицу целой системы будем называть целой. Подробнее целые матрицы рассмотрены в следующем параграфе.
Важнейший пример целой системы неразложимая марковская система, соответственно, неразложимая матрица пример целой матрицы. Разбиение множества состояний на циклические подклассы является, конечно, циклическим. При этом, как нетрудно видеть, состояния совместимы в точности тогда, когда они принадлежат одному циклическому подклассу, то есть классы совместимости совпадают с циклическими подклассами.
В целой системе пути одинаковой длины, имеющие одно начало, ведут в один класс совместимости, поэтому все состояния целой марковской системы целые.
В частности, целыми являются состояния неразложимых компонент марковской системы. А поскольку любое возвратное состояние принадлежит некоторой неразложимой компоненте, то все возвратные состояния марковской системы целые.
В силу последнего утверждения нецелое состояние невозвратно, поэтому из него достижимо возвратное состояние. В действительности нецелые состояния обладают более сильным свойством:
Предложение 4. Из нецелого состояния синхронно достижимы, два несов-
к
к, > V = —п(п — 1).
2 V )
г
одинаковой длины, ведущие из г в некоторые несовместимые состояния р и д.
Если оба они возвратные, то доказываемое уже имеется. Если нет. то воспользуемся простым фактом: из любого состояния есть путь длины п — 1 в некоторое возвратное состояние. Продолжим имеющиеся пути с началом в г путями длины п — 1из р и д в некоторые возвратные состояния и и V соответственно. Эти состо-
г
бы несовместимости р и д). Первое утверждение предложения доказано.
Теперь пусть даны пути наименьшей длины ко, ведущие из нецелого состояния г в несовместимые возвратные состояния: ¿¿1... гк0 — 1и и г,1 ... jk0 — lv. Тогда в последовательности пар различных вершин (¿ь л),..., (и, V) не должно быть совпадающих пар. а также пар. отличающихся лишь порядком элементов. В противном
ги
и V одинаковой длины, меньшей, чем ко. Следовательно, число ко не больше, чем количество V = (1/2)п(п — 1) неупорядоченных пар состояний. Пути длины ко, г
мн путями одинаковой длины. Эти продолжения лежат в множестве возвратных состояний н заканчиваются несовместимыми состояниями. □
Аналогично предложению 4 доказывается
к
вместимы при любом к > V.
Из предложений 3 и 5 вытекает
Следствие 1. Регулярными являются в точности такие системы, у которых любые два состояния совместим,ы.
Лемма 1. Целые состояния образуют замкнутое множество.
Доказательство. Пусть г - целое иг ^ ,7. Если состояния р ид к-достижимы из 7, то он и (к+1)-достижимы из г и поэтому совместимы. Следовательно, , также целое. □
Лемма 2. Для марковской системы, следующие условия равносильны: 1) 2)
3) все состояния системы целые.
Доказательство. Докажем, что из 1) следует 2). В рассматриваемом случае совместимость является отношением эквивалентности и определяет разбиение множества состояний на классы. Классы совместимости обладают следующими свойствами.
а) Дуги с началом в одном классе ведут в один и тот же класс. Действительно, пусть состояния «1 и принадлежат классу Ь. В силу их
совместимости есть дуги, ведущие из »1 и г2 в некоторый класс М. Но поскольку
г1
М г2 М
б) Дуги, ведущие в один класс, имеют и начало в одном классе.
В самом деле, пусть г1 и г2 совместимы, 11 ^ г1? 12 ^ г2,. Тогда, очевидно, 11 и /2 также совместимы, то есть лежат в одном классе.
В силу свойства а) на множестве классов совместимости целых состояний корректно определяется отображение, при котором Ь ^ М, если дуги из класса Ь М
множестве классов. Как известно, перестановка, заданная на конечном множестве, разлагается в произведение циклов, другими словами, граф перестановки является
объединенном непересекающихся простых контуров. Это и значит, что выполнено условие 2).
Как установлено выше, состояния целой системы целые, поэтому 2) влечёт 3).
Проверим, что из 3) следует 1). Действительно, пусть состояния г1? г2, г3 таковы, что г 1 совместимо с г2, а г 2 совместимо с гз. Докажем, что совместимы г1 и гз. Согласно предложению 5 из вершин г^ и г2 V-достижима некоторая вершина ,1, а из вершин г^ и гз V-достижима некоторая вершина • Вершины ,1 и ,2
г2
г1 гз
71 и ,2) также совместимы. Транзитивность доказана и доказательство леммы закончено. □
Р
перестановкой рядов может быть приведена к блочно-треугольному виду
( 31 \
"■ I' 171
\3г+1,1 ... 3г+1,г 3г+1/
где ..., - целые стохастические матрицы, они отвечают целым компонентам марковской системы, определяемой матрицей Р; матрицы 3.+1,1,..., содержат вероятности перехода из нецелых состояний в целые компоненты; матрица 1 задаёт переходы внутри множества нецелых состояний.
Доказательство. По лемме 1 множество целых состояний образует компоненту. В силу леммы 2 эта компонента состоит из непересекающихся целых компонент. Пусть И7!,... ,Т¥1 целые компоненты, ТV множество нецелых состояний. Тогда при нумерации состояний, согласованной с указанными классами, матрица системы получает желаемый блочно-треугольный вид (7). □
Матрицу (7) назовём нормальной формой нецелой стохастической матрицы.
Покажем, как построить нормальную форму (7), используя булев портрет В стохастической матрицы Р. Определим матрицу совместимости С = (е^) бинарного отношения совместимости как булеву матрицу, для которой е^ = 1 тогда и только тогда, когда состояния г и , совместимы. Чтобы вывести формулу для С,
В
Тогда получим: состояния г и , совместимы тогда и только тогда, когда строки г и , матрицы В^ содержат единицы в общем столбце. Отсюда следует, что матрица совместимости выражается формулой
С = В" (В* )т. (8)
С помощью матрицы совместимости легко установить, все ли состояния системы целые. Согласно лемме 2 это имеет место, если отношение совместимости транзитивно. Из теории бинарных отношений известно [10, с. 40], что рефлексивное отношение транзитивно тогда и только тогда, когда булева матрица отношения идомпотонтна. В результате получаем следующий критерий.
Предложение 6. Все состояния системы целые в точности тогда, когда С2 = С.
Если проверка на транзитивность выдержана, то классы совместимости определяются строками С: класс, содержащий состояние г, есть множество | е^ = 1}.
Когда классы совместимости известны, определение целых компонент и построение (в этом случае блочно-диагональной) нормальной формы (7) не представляет трудности.
Если отношение совместимости нетранзитивно, то существует способ найти целые состояния. Согласно предложению 4 состояние г - целое, если V-достижимые г
рактер. Обозначим через £(г) = (¿„у(г)) булеву матрицу бинарного отношения на множестве состояний «быть V-достижимыми из состояния г». Очевидно, что у (г) = . Теперь, используя адамарово (поэлементное) умножение матриц,
условие целости состояния можно сформулировать так:
Предложение 7. Состояние г - целое тогда и только тогда, когда Д(г)оС = = Дг).
После того, как множество целых состояний определено, строки и столбцы матрицы системы, отвечающие нецелым состояниям, можно вычеркнуть и, оперируя с оставшейся матрицей, провести вычисление блочно-диагональной части нормальной формы (7) по описанной выше схеме. Как видно, вопросы, связанные с построением нормальной формы (7) стохастической матрицы Р, решаются с помощью булева портрета Р и производных от него матриц.
3. Целые стохастические матрицы
Как видно из предыдущего параграфа, при построении нормальной формы (7) используется понятие целого состояния, более общее, чем понятие возвратного состояния, н, соответственно, понятие целой матрицы, обобщающее понятие неразложимой матрицы. Покажем, что для целой стохастической матрицы существует аналог формы Фробениуса.
Р
ятностей и числом т классов совместимости. Пусть £2,..., £т - нумерация классов совместимости, описанная в определении циклического разбиения. Если перенумеровать состояния системы: вначале состояния из £1, затем из £2 и так далее, а затем соответственно переставить ряды матрицы системы, то она приобретёт блочио-циклическую форму
/ 0 д!2 0 0
0 0
\Qrn1 0
т
рицу О = diag(Gl, О2,..., От), где О1 = ^12^23 ••• Ят1, О2 = ^23 ••• Ст1^12,..., От = Ст1^12 ••• Ст—1,ж- (Ю)
Стохастические матрицы (10) удобно рассматривать как матрицы марковских
тк
к = 1, 2, . . .
мы. Множества состояний темпоральных компонент это классы совместимости.
Если г, , £ то вероятность перехода темпоральной компоненты с матрицей перехода О4 из г в , за к шагов равна вероятности перехода исходной системы с матрицей (9) из г в , за тк шагов. Переводя этот очевидный матричный факт на язык графов, получаем:
0
С23
0 0
. . . 0 . . . 0
0 Ст — 1,т 00
(9)
Лемма 3. Пусть состояния г,, принадлежат одной темпоральной компоненте. Тогда (г,,) -путь длины к в графе компоненты существует тогда и только тогда, когда в графе исходной системы существует (г,,) -путь дли ны тк.
Лемма 4. Матрицы темпоральных компонент регулярны.
к
вольно взятом классе £ любые два состояния тк-совместимы, а из леммы 3 сле-
к
Согласно следствию 1 заключаем, что регулярная матрица. □
Лемма 5. Индекс графа целой системы равен числу классов совместимости.
т = 1 Р
жем, что индекс графа регулярной матрицы также равен 1. По предложению 2 существует показатель к, при котором в матрице Рк появляется положительный столбец, пусть с номером г. Легко проверить, что тогда и в Рк+1 столбец с номером г положителен. В частности, имеем р(к) > 0 и р(к+1) > 0. Эти неравенства означают, что через вершину г проходят контуры длины к и к +1. Следовательно,
Р,
вен 1.
т > 1
к
тк. Значит, если ко — индекс компоненты, Ко — индекс системы, то Ко = тко.
ко = 1
Ко = т.
Резюмируя сказанное выше, получаем для целой стохастической матрицы аналог формы Фробенпуса (4). □
Рт
т = 1 т > 1
водится к виду (9).
Матрицу (9) назовём нормальной формой целой стохастической матрицы с инт
Р
целой матрицы, совпадает с нормальной формой Фробенпуса. В этом случае матрицы (10) примитивны. Рассмотрим, как соотносятся целость и неразложимость в общем случае.
Теорема 3. Целая система содержит единственную неразложжм.ую компоненту. Каждый класс совместимости содержит единственный циклический подкласс этой компоненты.
Доказательство. Ясно, что система содержит некоторую неразложимую компоненту. Каждый циклический подкласс этой компоненты, будучи множеством попарно совместимых состояний системы, целиком содержится в некотором классе совместимости. Невозможно, чтобы в классе совместимости лежали два циклических подкласса одной компоненты, поскольку состояния из различных циклических подклассов несовместимы. Равно невозможно, чтобы целая система содержала две неразложимых компоненты, ведь тогда окажется, что в одном классе совместимости лежат состояния из различных неразложимых компонент. Но такие состояния, конечно, несовместимы. □
Утверждение теоремы 3 можно отразить в строении матрицы (9). Если нумеровать состояния каждого класса совместимости, начиная с принадлежащих
циклическому подклассу, то верхний левый угол в каждом стохастическом блоке формы (9). отвечающий состояниям циклических подклассов, будет блоком формы Фробониуса неприводимой компоненты целой системы.
Теорема 3 приводит к следующей характеристике целой системы.
Предложение 8. Выполнение следующих условий необходимо и достаточно для того, чтобы марковская систем,а была целой: 1)
2) система содержит единственную неразложимую компоненту.
Доказательство. Необходимость. Первое условие следует из того, что все состояния целой системы целые, и леммы 2. Второе доказано теоремой 3.
Достаточность. Согласно лемме 2 условие 1) означает, что система является целой либо дизъюнктным объединением нескольких целых компонент. Поскольку каждая целая компонента содержит неразложимую компоненту, то вторая возможность противоречит условию 2). Остаётся заключить, что система целая. □
Преобразуем предложение 8 в конструктивный критерий, выраженный на языке булевых матриц. Сначала докажем, что условие 2) эквивалентно следующему: систем,а содержит состояния, достижимые из всех состояний. Пусть
г
г
ния. Действительно, из невозвратного состояния есть путь в некоторое возвратное
г
г
есть общедостижимые состояния, то совокупность таких состояний, легко видеть, образует единственную неразложимую компоненту. Вопрос о существовании общедостижимых состояний решается с помощью матрицы достижимости Я = (гу ) (гу = 1 тогда и только тогда, когда из г достижимо ,): для этого необходимо и достаточно, чтобы Я имела положительный столбец. Привлекая еще предложение 6, получаем желаемый критерий:
Р
тогда, когда
1) С
2) булева матрица достижимости Я содержит, положительный столбец.
Матрица С вычисляется то формуле (8), а Я - то известной формуле Я = (I + + В)"-1, поэтому проверка целости Р является конечной процедурой.
4. Об асимптотической эквивалентности состояний
Сначала решим вопрос об асимптотической эквивалентности целых состояний.
Теорема 4. Необходим,ым, и достаточным, условием, асимптотической эквивалентности целых состояний марковской системы является их совместимость.
Доказательство. Необходимость условия очевидна, докажем достаточность. Совместимые целые состояния принадлежат одной целой компоненте, поэтому достаточно провести рассуждение для целой системы. Будем считать, что стохастичо-
Р
темпоральных компонент регулярны, следовательно, последовательность Ртк = = Ск = diag(Gk, Ск,..., С^) щи к ^ <х сходится к матрице
Сж = diag(Gf,G£0,...,G~), (И)
в которой каждый диагональный блок ость стохастическая матрица с одинаковыми строками. Разобьём последовательность Рк на т подпоследовательностей
р тк+г
где г = 0,1,
. к =1, 2,...,
, т — 1. Каждая подпоследовательность имеет свой предел, а именно
Иш Ртк+г = СТОРг.
(12)
Если состояния ¿1 и ¿2 совместимы и принадлежат темпоральной компоненте > то ¿1-я и ¿2-я строки матрицы равны, поскольку равны соответствующие им строки в . Но тогда строки с этими номерами равны и в остальных предельных матрицах СТОРг, г = 1,..., т — 1. Отсюда для состояний ¿1 и ¿2 следуют предельные равенства (6), что и требовалось доказать. □
Пользуясь теоремой 4, можно установить асимптотическую эквивалентность не только пары возвратных состояний (это можно сделать в рамках традиционной классификации), но и пары, в которой одно или оба состояния невозвратны, лишь бы эти состояния были целыми.
Теорема 5. Целое и нецелое состояния марковской системы не могут быть асимптотически жвивалентнылш.
Доказательство. Пусть показатель ш делится на индекс любой целой компоненты системы. Тогда из любого целого состояния переход за ш шагов возможен лишь в совместимое с ним состояние. Соответственно, матрицы Рш и Ршк имеют
Р а
/Я1
\Й1
Я* Д*
Р
^к
д<7
/як
\д1к)
Я*к Д*к)
(13)
Дшк/
Матрица Як состоит го вероятностей перехода системы за шк шагов внутри класса ^,а матрица Д(к) - го вероятностей перехода за шк шагов из нецелых состояний
в целые состояния класса £е Рассмотрим матрицу Рш (к+1). Вычисление показы-(к+1) (к) к
вает, что щ = Д) Я4 + Д Д4. Из этого равенства видно, что строчные суммы
о(к+1) о(к)
в Д^ те меньше соответствующих строчных сумм в Д4 , то есть вероятность перехода из нецелого состояния ¿за шк шагов в класс при рос те к не уменьшается. Следовательно, эта вероятность сходится. Из предложения 4 вытекает, что предельные вероятности положительны для двух различных классов совместимости. Поэтому для любого класса предельная вероятность меньше единицы. Между
¿
му состоянию из некоторого класса то сумма элементов строки, отвечающей
состоянию ^ ^ ^этрице Д(к), должна при к это невозможно, теорема доказана.
то сходиться к единице. Поскольку
□
В заключение сделаем несколько замечаний.
1. Теоремы 4 и 5 не дают ответа на вопрос об асимптотической эквивалентности двух нецелых состояний. Простой пример показывает, что этот вопрос и не может быть решён в терминах комбинаторной структуры матрицы перехода. Пусть
1 1 0 0 0 \
0 10 0
Я1 Я2 аз 0
62 0 63/
Р
(аз < 1,6з < 1).
Легко проверить, что состояния 3 и 4 асимптотически эквивалентны при условии det ^a b)2^ = 0. Это условие, конечно, не является свойством графа матрицы P.
2. Отличие описанной выше классификации от традиционной особенно заметно при рассмотрении детерминированных марковских систем, вероятности перехода в которых равны 1 или 0. В этом случае циклические подклассы состояний одноэлементны, поэтому на языке традиционной классификации асимптотическая эквивалентность никаких двух состояний не определяется. В то же время очевидно, что все состояния детерминированной системы целые, причём классы совместимости одноэлементны лишь тогда, когда отображение множества состояний в себя, определяемое матрицей перехода, биективно.
3. Согласно [3, с. 60] неотрицательная блочно-цикличоская матрица типа (4) без нулевых рядов тогда и только тогда является неприводимой матрицей в форме Фробениуса, когда матрица P12 • • • Pd1 примитивна. Для стохастической матрицы верно аналогичное утверждение: матрица (9) является нормальной формой целой матрицы в точности тогда, когда матрица Q12 • • • Qm1 регулярна.
Summary
Yu.A. Alpin, V.S. Alpina. On the Normal Form of a Stochastic Matrix.
The normal form of a Markov chain's stochastic matrix is defined based on the concepts of state compatibility and safety. Compared to the classical normal form it contains more information for defining asymptotic equivalence of states.
Key words: stochastic matrix, normal form. Markov chain.
Литература
1. Колмогоров A.H. Цепи Маркова со счётным числом возможных состояний // Бюл. Моск. ун-та. Математика и механика. 1937. Т. 1. Вып. 3. С. 1 16.
2. Гаитмахе.р Ф.Р. Теория матриц. М.: Наука, 1967. 576 с.
3. Mine Н. Nonnegat.ive matrices. N. Y.: Wiley. 1988. 218 p.
4. Сачков B.H., Тараканов B.H. Комбинаторика неотрицательных матриц. М.: ТВП. 2000. 448 с.
5. Романовский В.И. Дискретные цепи Маркова. М.-.Л.: Гостехиздат. 1949. 436 с.
6. Ширяев А.Н. Вероятность: в 2 кп. М.: МЦНМО, 2004. Кп. 1. 520 е.: Кп. 2. 408 с.
7. Добрухиии Р.Л. Центральная предельная теорема для неоднородных цепей Маркова // Теория вероятностей и её применения. 1956. Т. 1. Вып. 1. С. 72 88: Вып. 4. С. 365 425.
8. Алъпииа B.C. Классификация состояний вероятностного автомата, ориентированная па изучение его эргодических свойств // Вероятностные методы и кибернетика. Казань: Изд-во Казап. ун-та, 1980. Вып. 17. С. 15 22.
9. Алыми Ю.А., Алъпииа B.C. Теорема Перрона Фробениуса: доказательство с помощью цепей Маркова // Зап. пауч. семип. ПОМИ. 2008. Т. 359. С. 5 16.
10. Шрейдер Ю.А. Равенство, сходство, порядок. М.: Наука, 1971. 256 с.
Поступила в редакцию 24.01.12
Альпин Юрий Абдуллович кандидат физико-математических паук, доцепт кафедры алгебры и математической логики Казанского (Приволжского) федерального университета.
E-mail: Yuri.AIpin Qksu.ru
Альпина Валентина Сергеевна старший преподаватель кафедры высшей математики Казанского государственного технологического университета.
