CC BY
26
2014 Теоретические основы прикладной дискретной математики №3(25)
УДК 621.391: 519.728
О ПОНЯТИИ РАВНОСИЛЬНОСТИ НЕДООПРЕДЕЛЁННЫХ
АЛФАВИТОВ1
Л. А. Шоломов Институт системного анализа РАН, г. Москва, Россия E-mail: [email protected]
Для недоопределённых алфавитов предложена формализация понятий: а) один алфавит сильнее другого и б) алфавиты равносильны. Рассмотрены несколько подходов к определению этих понятий. Функциональный подход основан на выразимости одного алфавита через другой, три остальных подхода — комбинаторный, вероятностный и алгоритмический — терминологически связаны с подходами Колмогорова к введению меры информации. Доказано, что эти подходы к сравнению алфавитов эквивалентны. Если алфавиты равносильны, то решение задачи оптимального сжатия для одного алфавита фактически обеспечивает решение этой задачи и для второго. Установлено, что соотношения (а) и (б) допускают проверку за полиномиальное время.
Ключевые слова: недоопределённый алфавит, равносильные алфавиты, энтропия недоопределённых данных, сложность по Колмогорову.
Введение
Работа имеет дело с недоопределёнными данными — последовательностями недоопределённых символов. Каждому недоопределённому символу соответствует некоторое множество основных (полностью определённых) символов, любым из которых он может быть замещен (доопределён). При оперировании с недоопределёнными данными часто бывает достаточно вместо самих данных иметь их доопределения. Такие более слабые требования к данным предоставляют дополнительные возможности, одной из которых является рассматриваемая в работе возможность нетривиальных равносильных преобразований недоопределённых алфавитов.
Обсуждаются вопросы, каким образом можно сравнивать недоопределённые алфавиты и заключать, что один из них сильнее другого либо что они равносильны. Представлены несколько подходов к введению соответствующих понятий. Первый — функциональный — основан на функциональной выразимости символов одного алфавита через символы другого. Следующие три подхода терминологически связаны с подходами к введению меры информации, описанными А. Н. Колмогоровым [1]. Это комбинаторный, вероятностный (статистический) и алгоритмический подходы. В работе доказано, что все эти подходы эквивалентны, т. е. приводят к одним и тем же соотношениям недоопределённых алфавитов по силе. Установлено, что эти соотношения допускают проверку за полиномиальное время. Равносильные преобразования недо-определённых данных изучались и раньше [2, 3], но речь шла не об алфавитах, а об источниках, порождающих недоопределённые символы с некоторыми вероятностями,
1 Работа выполнена при поддержке ОНИТ РАН по проекту «Теоретические основы эффективного использования недоопределённой информации» программы «Интеллектуальные информационные технологии, системный анализ и автоматизация».
и в основу был положен информационный подход. Вытекающее из [2, 3] понятие равносильности по существу совпадает с введённым в данной работе.
Переход к равносильному алфавиту может оказаться полезным для ряда задач, имеющих дело с недоопределёнными данными. Одной из них является задача сжатия. В отличие от постановки этой задачи для полностью определённых данных, где кодирование должно обеспечить их полное восстановление [4], в случае недоопределённых данных требуется восстановить лишь некоторое доопределение. Если алфавиты равносильны, то решение задачи оптимального сжатия в одном из них обеспечивает решение аналогичной задачи и для другого алфавита. При этом переход к равносильному алфавиту иногда может облегчить решение исходной задачи сжатия. Ещё одна задача связана с двоичным представлением недоопределённых алфавитов. При двоичном представлении основным символам соответствуют двоичные слова некоторой длины в, а недоопределённым символам — недоопределённые двоичные слова длины в [3]. Возможна ситуация, когда для исходного недоопределённого алфавита такое представление не существует, но оно появляется при переходе к некоторому равносильному алфавиту. Рассмотрение задачи с точностью до равносильности позволяет также уменьшать длину в представлений. Задача наилучшей аппроксимации [3] недоопределённых алфавитов двоичными представлениями может быть поставлена лишь с точностью до равносильности.
Для анализа двух алфавитов на равносильность необходимо знать, как связаны символы одного алфавита с символами другого. Поэтому помимо самих алфавитов задаётся соответствие между их символами. Оно не предполагается взаимно однозначным, поскольку рассматриваются преобразования алфавитов, при которых несколько символов могут отображаться в один, и обратные преобразования, приводящие к возникновению нескольких образов одного символа. Отметим, что соотношение равносильности недоопределённых алфавитов, обладая рядом свойств отношения эквивалентности, не является эквивалентностью на множестве недоопределённых алфавитов, поскольку зависит также от введённого соответствия. В заключение эта зависимость устраняется и рассматривается отношение эквивалентности недоопределённых алфавитов.
1. Недоопределённые алфавиты
Задан конечный алфавит А0 = {а : г Е М} основных символов. Каждому непустому Т С М сопоставлен символ ат, называемый недоопределённым. Доопределением символа ат считается всякий основной символ а^, г Е Т. Символ ам, доопределимый любым основным символом, называется неопределённым и обозначается *. Выделена система Т С 2м некоторых непустых подмножеств Т множества М и ей соответствует недоопределённый алфавит А = {ат : Т Е Т}. Считаем, что для любого г Е М найдётся Т Е Т, для которого г Е Т (иначе г можно удалить из М). Символы ат будем понимать также как множества доопределений ат = {а^ : г Е Т} и применительно к ним использовать теоретико-множественные операции и отношения. Скажем, что символ ат чётче символа ат/ (ат/ размытее ат), если ат С ат/. Под доопределением последовательности а = ат1 • • • атп недоопределённых символов понимается любая последовательность основных символов, полученная из исходной заменой каждого символа каким-либо его доопределением, а под частичным доопределением (размытием) последовательности а — результат замены её символов более чёткими (размытыми) символами.
Пусть наряду с алфавитом А задан недоопределённый алфавит В, для которого основным алфавитом является В0 = {Ь^ : ] Е Ь}, а недоопределённые символы Ьи соответствуют множествам и некоторой системы Ы С 2Ь. Считаем также, что задано соответствие Кае С А х В, область определения которого совпадает с А, область значений с В. В остальном соответствие произвольно, т. е. символы алфавита А могут иметь несколько образов, символы алфавита В — несколько прообразов. Наряду с записью (ат,Ьи) € Кае будем использовать атКаеЬи. Назовём
— алфавиты А и В с заданным для них соответствием Кае соответственными алфавитами;
— символы ат и Ьи, такие, что атКаеЬи, соответственными символами;
— последовательности а = аТ1 ... аТп и Ь = Ьи1 ... Ьип, для которых (а, Ь) € КПЕ (т. е. атКАЕЬиг, г = 1,... ,п), соответственными последовательностями. Операции над соответствиями выполняются обычным образом, а именно: под инверсией соответствия Кае понимается
Кеа = К—е = {(Ьи,ат) : (ат,Ьи) Е Кае},
и если помимо А и В задан недоопределённый алфавит С = {ву : V Е V}, связанный с В соответствием КЕС, то произведением (композицией) соответствий КАЕ и КЕС считается соответствие
Кае ◦ Кес = {(ат, ву) : ЭЬи (ат Кае Ьи А Ьи Кес ву)}.
2. Подходы к понятию равносильности недоопределённых алфавитов
Опишем несколько подходов к введению понятия равносильности для соответственных недоопределённых алфавитов. Первый из них — функциональный — основан на функциональной выразимости символов одного алфавита через символы другого. Следующие три подхода терминологически связаны с подходами к введению меры информации, представленными в работе А. Н. Колмогорова [1]. Это комбинаторный, вероятностный (статистический) и алгоритмический подходы.
2.1. Функциональный подход
Рассмотрим недоопределённые алфавиты А и В, связанные соответствием Кае . Пусть А0 и В0 — ассоциированные с А и В основные алфавиты. Всякую функцию Г : А0 ^ В0 можно распространить на А, положив Г(ат) = {Г(аг) : аг Е ат}. Скажем, что алфавит В функционально выразим через А, если существует функция Г : А0 ^ В0, такая, что для всех пар (аТ,Ьи) Е Кае имеет место Г(ат) С Ьи. Последнее означает, что символ Ьи может быть получен из ат функциональным преобразованием Г и размытием. Будем говорить, что алфавит А функционально сильнее В (В функционально слабее А), и записывать А ^$ В, если В функционально выразим через А. В случае А ^ $ В и В ^ $ А будем алфавиты А и В называть функционально равносильными и записывать А ~ $ В. Соотношение А ~ $ В означает в развёрнутой записи, что для некоторых функций Г : А0 ^ В0 и О : В0 ^ А0
ат Кае Ьи ^ Г (ат) С Ьи А О(Ьи) С ат. (1)
Равносильность алфавитов была определена через их соотношение по силе. Покажем теперь, как соотношение по силе может быть выражено через равносильность. Для соответственных алфавитов А и В введем алфавит АВ, символы ат Ьи которого ассоциированы с парами (ат,Ьи) Е Кае, и определим соответствие Кае,а = {(атЬи,ат) : (ат, Ьи) Е Кае}.
Лемма 1. Соотношение A ^ f B выполнено тогда и только тогда, когда AB ~ f A.
Доказательство. Если справедливо A ^ f B и это соотношение выполняется с функцией F : Ao — Bo, то для получения соотношения A ^ f AB достаточно взять в качестве F' : A0 — (A0 х B0) функцию F'(ai) = a^F(ai), а для соотношения AB ^ f A — функцию G' : (A0 х B0) — A0, где G'(aibj) = a^ В результате получаем AB ~ f A.
Обратно, если имеет место AB ~ f A и соотношение A ^ f AB установлено применением функции F : A0 — (A0 х B0), то функцию F' : A0 — B0 для A ^ f B можно получить, назначив F'(ai) = bj, где bj определяется значением F(ai) = aubj. ■
Соотношения A ^ f B и A ~ f B могут быть эквивалентно представлены в терминах соответственных последовательностей, а именно: A ^ f B имеет место тогда и только тогда, когда существует такая функция F : A0 — B0, что для всякой пары а = a^i ... атп, b = bu1 ... bun соответственных последовательностей и любого доопределения а0 = ai1 ... ain последовательности а последовательность F(а0) = = F(ai1)... F(ain) доопределяет b. Для соотношения A ~ f B дополнительно требуется существование функции G : B0 — A0, применение которой к любому доопределению b0 последовательности b даёт последовательность G(b0), доопределяющую а.
Другие понятия равносильности будут представлены в терминах соответственных последовательностей и по форме будут подобны лемме 1.
2.2. Комбинаторный подход
Для последовательности а в алфавите A обозначим через К(а) класс всех последовательностей а' в алфавите A, в которых каждый символ aT G A встречается такое же, как в а, число раз. Пусть N (а) —минимальная мощность множества последовательностей в основном алфавите A0, среди которых имеются доопределения всех последовательностей а' из К(а). Величина log N (а) называется комбинаторной энтропией класса К(а) [5] (всюду под log x понимается log2 x).
Пусть A и B — соответственные алфавиты. Пару последовательностей а = = aT1 ... aTn и b = bu1 ... bun одинаковой длины в алфавитах A и B будем воспринимать также как последовательность пар (aT, bu), i = 1,... , n. Обозначим через К(а, b) класс всех пар последовательностей (а', b'), в которых каждая пара (aT, bu) G A х B встречается столько же раз, сколько в (а, b). Отметим, что если пара (а, b) соответственна, то и каждая из пар (а', b') соответственна. Через N (а, b) обозначим минимальную мощность множества пар (u0, v0) полностью определённых последовательностей, среди которых имеются доопределения всех пар последовательностей из К(а, b).
Будем говорить, что алфавит A комбинаторно сильнее алфавита B, и записывать A ^ c B, если для любых соответственных последовательностей а и b выполнено N (а, b) = N (а). В случае A ^ c B и B ^ c A будем алфавиты A и B называть комбинаторно равносильными и записывать A ~ c B. Это означает, что для любых соответственных последовательностей а и b выполнено N (а) = N (b) = N (а, b).
2.3. Статистический подход
Рассмотрим недоопределённые источники X в алфавите A, порождающие независимо символы aT G A с некоторыми вероятностями рт . Положим P = (pt , T G T) и для источника будем использовать обозначение X = (A, P). Задавшись набором Q = (qi, i G M) вероятностей символов ai основного алфавита A0, введём функцию
H(P,Q) = - Е PT logE qi. (2)
т eT ieT
Величину
Н(Р) = Ш1П Н(Р,Я)
будем называть энтропией источника X и обозначать также Н(Х). Для недоопреде-лённых источников она играет ту же роль, какую энтропия Шеннона играет для всюду определённых источников (подробнее см. в [5]).
Пусть имеются алфавиты А и В, связанные соответствием Кае. Источники X и У в алфавитах А и В, заданные совместным распределением р(ат,Ьи), ат Е А, Ьи Е В, назовём соответственными, если р(ат,Ьи) > 0 только в случае атКАЕЬи.
Будем говорить, что алфавит А статистически сильнее алфавита В, и записывать А ^ з В, если для любых пар соответственных источников X и У выполнено Н(ХУ) = = Н(Х). В случае А ^з В и В ^з А будем алфавиты А и В называть статистически равносильными и записывать А ~ з В. Это означает, что для любых соответственных источников X и У выполнено Н(Х) = Н(У) = Н(ХУ).
2.4. Алгоритмический подход
Приведём некоторые результаты о сложности по Колмогорову [1] и распространим их на случай недоопределённых последовательностей.
Рассматриваются алгоритмы р(р) = х, переводящие слова в слова. Слово р предполагается двоичным и называется программой, х — слово в алфавите А0 = {аг : г Е М}. Сложность Кф(х) слова х по алгоритму р измеряется минимальной длиной программы р, для которой р(р) = х, и равна то, если такого р нет. По теореме оптимальности Колмогорова [1] существует алгоритм ф, такой, что для любого р найдется константа в = вф, при которой для всех х выполнено Кф(х) ^ Кф(х) + в. Алгоритм ф с таким свойством называется оптимальным. Под сложностью К(х) слова х понимается его сложность по любому фиксированному оптимальному алгоритму. При использовании разных оптимальных алгоритмов ф и ф' сложности К (х) и К'(х) связаны соотношением К(х) & К'(х), где f & д означает, что разность / — д ограничена. Под сложностью К (а) недоопределённой последовательности а в алфавите А будем понимать минимальную из сложностей К (а0) её доопределений а0. Эта величина также определена с точностью до &.
Пусть А и В — соответственные алфавиты. Будем говорить, что алфавит А алгоритмически сильнее алфавита В, и записывать А ^ а В, если для любых соответственных последовательностей а и Ь выполнено К (аЬ) & К (а). В случае А ^ а В и В ^ а А будем алфавиты А и В называть алгоритмически равносильными и записывать А ~ а В. Алгоритмическая равносильность означает, что для любых соответственных последовательностей а и Ь выполнено К (а) & К (Ь) & К (аЬ).
3. Доказательство эквивалентности подходов
Далее устанавливается, что все представленные выше подходы задают для недо-определённых алфавитов одинаковые соотношения по силе и, как следствие, одинаковые понятия равносильности.
Лемма 2. Из А ^ $ В следуют соотношения А ^ с В и А ^ а В.
Доказательство. Пусть справедливо А ^ $ В и это соотношение выполняется с функцией Г : А0 ^ В0. Рассмотрим соответственные последовательности а и Ь в алфавитах А и В.
Если имеется доопределяющее множество для класса К(а), то, заменив в этом множестве каждую последовательность и0 парой (и0,Г(и0)), получим доопределяющее множество для К(а, Ь). Обратно, из всякого доопределяющего множества для К(а, Ь),
взяв в каждой его паре (u0, v0) лишь u0, можно образовать доопределяющее множество для К(а). Отсюда следует равенство N (а, b) = N (а), приводящее к A ^ c B.
Пусть значение К(а) = Кф(а) достигается на программе p, т.е. совпадает с её длиной /(p). Можно также рассматривать p как программу алгоритма который сначала находит для а доопределение а0 = ^(p), а затем по а0 строит конкатенацию (а0), доопределяющую аК Это даёт
К fcb) ^ K^b) + Cip ^ /(p) + Cip ^ К (а) + cp.
Аналогично, рассмотрев программу, на которой достигается К(а^, и считая её программой алгоритма 0, который находит доопределение для а^ а затем выдаёт его половину, доопределяющую а, приходим к неравенству К (а) ^ К ^b) + .В результате получаем соотношение К (а^ к К (а), приводящее к A ^ a B. ■
Лемма 3. Из A ^ c B следует A ^ s B.
Доказательство. Рассмотрим некоторое кодирование последовательностей а
длины n, порождаемых недоопределённым источником X в алфавите A [5]. Пусть
р(а) —вероятность порождения а источником X; /а — длина кода для а. В [5] доказано,
2
что если кодирование разделимо , то
Е р(а)/а ^ nH(X). (3)
a eAn
Там же указано разделимое кодирование, для которого /а ^ log N (а) + ci log n и Е р(а)/а ^ Е р(а) log N (а) + ci log n ^ nH(X) + C2 log n.
aeAn aeAn
Объединяя эти факты, получаем
nH(X) - ci log n ^ E р(а) log N (а) ^ nH(X) + C2 log n. (4)
aeAn
Пусть имеет место A ^ c B и заданы соответственные источники X и Y. Применим к XY левое неравенство из (4), затем, подставив N (а, b) = N (а), воспользуемся для X правой частью (4):
nH(XY) - cs log n ^ E р(а, b) log N (а, b) = E Р(а, b) log N (а) =
(a,b )eRAB (a,b )eRnAB
= E Р(а) log N (а) ^ nH(X) + c2 log n.
aeAn
Разделив обе части на n и перейдя к пределу при n — то, получим H(XY) ^ H(X). Обратное соотношение H(XY) ^ H(X) справедливо всегда [5]. Равенство H(XY) = H(X) означает A ^s B. ■
Лемма 4. Из A ^ a B следует A ^ s B.
Доказательство. Если k — натуральное число, а a1a2 ... ar, r ^ log k + 1,— его двоичная запись, начинающаяся с 1, то через к будем обозначать двоичное слово a1a1... arar01. Для него /(к) ^ 2 log k + 4.
2Кодирование разделимо, если последовательность произвольно приписанных друг к другу кодовых слов однозначно разбивается на кодовые слова.
Пусть pa — программа построения доопределения последовательности a Е An оптимальным алгоритмом, на которой достигается K(а). Если кодами последовательностей а, порождаемых источником X, считать pa, кодирование может оказаться неразделимым. Чтобы превратить его в разделимое, в качестве кодов будем использовать слова Z(pa)pa. Их длина удовлетворяет оценке 1a ^ K(а) + с4 logn. Подставив её в (3), получаем
Е p(a)K(а) ^ nH(X) - C4 log n. (5)
aeAn
Пусть X и Y — соответственные источники в алфавитах A и B. Аналог для XY неравенства (5) и учёт соотношения K(ab) ~ K(а) дают
nH(XY) - С5 log n ^ E р(а, b)K(аЬ) =
(a>b)eRAB (6)
= E Р(а, b)K(а) + се = E p(a)K(а) + с*. ()
(a,b)eRAB aeAn
Оценим K(а). Пусть M = {0,1,... , m — 1}, T = {T1,... , Ts} и символы aTl,... , aTs входят в последовательность а соответственно ui,...,us раз. В работе [6] описан градиентный (жадный) алгоритм построения доопределяющего множества для K(a), согласно которому некоторым образом находится набор натуральных параметров (v0, v1,... , Vk-1) и доопределяющее множество образуется последовательностями, в которых символы aj, i = 0,1,... , k — 1, встречаются v раз. Оно строится последовательно. На каждом шаге добавляется последовательность, которая доопределяет наибольшее число последовательностей класса К(а), не получивших доопределений на предыдущих шагах, и расположена лексикографически раньше других последовательностей, обладающих этим свойством. С ней связывается номер шага, на котором она включена в множество. В [6] доказано, что мощность N построенного множества удовлетворяет оценке log N ^ log N (а) + с7 log n.
В качестве программы нахождения доопределения для а возьмём
pa = nmSUi . . . UsVo . . . Vm-1^,
где ^ — двоичная запись номера последовательности, доопределяющей а. Она позволяет однозначно указать параметры класса K(a) и параметры (v0, v1,..., v^-1) класса, из которого берутся доопределения, а затем применением градиентной процедуры вплоть до шага, двоичной записью которого является найти доопределение для а. Имеем
K (а) ^ l (pa) + Cg ^ log NV + C9 log n ^ log N (a) + cw log n.
Подставив эту оценку в (6), приходим к ситуации, имевшей место в предыдущей лемме, и завершаем доказательство, как там. ■
В дальнейшем понадобится следующий факт из [5].
Утверждение 1. Набор вероятностей Q минимизирует функцию H(P, Q) из (2) тогда и только тогда, когда при каждом j, j Е M, выполнено
Е ^- ^ 1, (7)
T: jeT Чк кет
где строгое неравенство может иметь место лишь при тех ], для которых qj• = 0.
Скажем, что символ аг мажорирует в алфавите А символ аз, если для всякого ат Е А принадлежность аз Е ат влечёт аг Е ат. Отношение мажорирования транзи-тивно и рефлексивно.
Лемма 5. Пусть в недоопределённом алфавите А отсутствуют мажорируемые символы и аг — произвольный фиксированный символ из А0. Тогда найдётся набор вероятностей Р = (рт, Т Е Т) со строго положительными рт, для которого компонента я всякого набора ф, минимизирующего функцию Н(Р,0), строго положительна.
Доказательство. Рассмотрим произвольный символ аг Е А0. Введём обозначения Т' = {Т : Т Е Т,г Е Т}, Т" = Т\Т', и = |Т'|, V = |Т''|. Зададимся параметрами р > 0 и е > 0, удовлетворяющими условию
ри + еv = 1, (8)
и назначим набор вероятностей Р = (рт, Т Е Т), положив
= Г р, Т ЕТ', рт = \ е, Т Е Т''.
Покажем, что при подходящем выборе параметров р и е он удовлетворяет условиям леммы.
Пусть набор ф минимизирует функцию Н(Р,ф). Для него справедливо утверждение 1. Рассмотрим произвольное ] Е М, ] = г. Дальше сумму из левой части (7) будем обозначать Б(Т | ] Е Т). Будем рассматривать также суммы Б(Т | в(Т)) более общего вида, где в(Т) —условия на множества Т, по которым ведётся суммирование.
а) Если Б (Т | ] Е Т) < 1, то ^ = 0 по утверждению 1.
б) Пусть Б (Т | ] Е Т) = 1. Запишем это равенство в виде
Б(Т | Т Е Т',з Е Т) + Б(Т | Т Е Т'',з Е Т) = 1. (9)
Поскольку аз не мажорируется символом аг, найдётся Т' Е Т', для которого ] ЕЕ Т'. Тогда
Б(Т | Т Е Т', Т = Т') + ^Г— = Б(Т | г Е Т) ^ 1.
Е Як
иет'
Отсюда, принимая во внимание соотношения ^ Як ^ 1 и рт' = р, получаем
кет'
Б(Т | Т Е Т', Т = Т') ^ 1 — ^Г— < 1 — рт' = 1 — р.
Е Як
кет'
С учётом этого находим
Б(Т | Т Е Т',з Е Т) ^ Б(Т | Т Е Т', Т = Т') ^ 1 — р. Это неравенство и (9) дают 1 — р + Б(Т | Т Е Т'',] Е Т) ^ 1, что приводит к
. V- рт ^ ^ рт
р < Е ^— ^ Е — •
т:тет'',зет Як т:тет'',зет Яз кет
£У £И
Подставив сюда |Т''1 = V и рт = £ для Т Е Т'', получаем — ^ р, т. е. дз ^ —. Учитывая
Яз Р
пункт (а), заключаем, что эта оценка справедлива для всех 3 = г. Поэтому
Яг =1 - Е Яз > 1--•
3,3=г Р
Отсюда и из (8) следует, что при достаточно малом £ выполнено дг > 0. ■
Пусть задан недоопределённый источник X = (А, Р) и символ аз Е А0 мажорируется в А символом аг, аг = аз. Введём операцию исключения мажорируемого символа аз из алфавита А и из источника X, при выполнении которой каждый символ ат Е А заменяется символом3 ат\з (поскольку аз мажорируется некоторым аг, множество Т' непусто). В результате операции получается алфавит А' = {ат' ■ Т' = Т \ з, ат Е А}, для которого основным алфавитом является = А0 \ аз. Источник X = (А, Р) преобразуется в X' = (А',Р'), где набор Р' образован вероятностями рРт, = рт' + рт'из. Здесь рт' и рт'из —вероятности символов ат' и ат'из источника X; при отсутствии какого-либо из этих символов в алфавите А соответствующая вероятность считается равной нулю.
Если наряду с X задан источник У с алфавитом В, то при устранении из А мажорируемого символа аз соответствие Кае переходит в
Рл'е = {(ат' ,Ьи) ■ 1Т(Т \ з = Т' Л (ат,Ьи) Е Кае)}• (10)
Совместное распределение Рху источников X и У образовано вероятностями рти = = р(ат, Ьи) для пар (ат,Ьи) Е Кае , а совместное распределение Рху источников X' и У — вероятностями р'т'и = рт'и + рт'из,и, где (ат', Ьи) Е Ка'е. Здесь вероятности ртщ и рт'из,и берутся из Рху, а если какой-либо из них в Рху нет, она полагается равной нулю. В случае соответственных источников X и У источники X' и У также соответственны.
Лемма 6. Если источник X' образован из X удалением мажорируемого символа, то Н^') = Н^) и Н(^У) = Н^У).
Доказательство. Докажем равенство Н^'У) = Н^У). Будем считать для определённости, что исключаемым из А символом является а1, и он мажорируется символом а2. Если в (ат,Ьи) Е Кае имеется символ (а1,Ьи), то там имеется и (а2,Ьи). Поэтому (а2 ,Ьи) мажорирует (а1,Ьи).
Функция Н(Рху, Я) для произведения XУ имеет вид
Н(РхУ ,Я) = - Е рти ^ Е Ягз • (11)
(т,и):ат яле Ьи гет,зеи
Легко понять, что функция Н(Рх'у, Я') для X'У может быть получена из неё подстановкой нуля вместо всех Яз. Поскольку минимум при отсутствии ограничений на Я не превосходит минимума по наборам Я с условием д1з = 0, выполнено Н(X'У) ^ Н^У).
Рассмотрим набор Я, на котором достигается минимум в (11) т. е. значение Н(X, У). Образуем из Я набор Я', удалив все компоненты д1з и заменив компоненты д2з на
д\з + д2з. Так как символ (а2, Ьз) мажорирует (а1} Ьз), значение каждой из сумм Е Яз
гет,зеи
3Правильнее было бы писать ат\{^}, но в целях простоты записей мы не различаем одноэлементные множества и элементы.
из (11) при отбрасывании qj и подстановке qj + q2j вместо q2j не уменьшится. Это даёт
H(XY) = H(Pxy,Q) ^ щРх'у,Q') ^ H(X'Y).
С учётом предшествующего неравенства получаем H(X'Y) = H(XY). Равенство H(X') = H(X) доказывается аналогично. ■
Обозначим через X = (A, Р) источник, полученный из X = (A, P) последовательным удалением мажорируемых символов, пока они есть.
Следствие 1. Имеют место равенства H(X) = H(X) и H(XY) = H(XY).
Лемма 7. Из A ^ s B следует A ^ f B.
Доказательство. Рассмотрим недоопределённые алфавиты A и B, удовлетворяющие условию A ^ s B.
а) Сначала будем полагать, что в алфавите A нет мажорируемых символов. Пусть ai — произвольный символ из Ao. В соответствии с леммой 5 возьмём набор P = (рт, T G T) положительных вероятностей, для которого в любом наборе Q, минимизирующем H(P, Q), компонента qi положительна. Рассмотрим источники X и Y в алфавитах A и B, заданные совместным распределением рти, T G T, U G U, удовлетворяющим условиям
рти > 0 ^ ат Rab bu, £рти = Рт,
и
где рт — компонента выбранного набора P. Источники X и Y соответственны, поэтому H(XY ) = H(X ).
Пусть H(XY) достигается на наборе Q = (qUj, u G M, j G L). Введём величины qU = £ quj и положим Q0 = (qU, u G M). Принимая во внимание равенство £ qU =
j u
= E qUj = 1, находим u,j
H(XY) = -£ рти log E quj > -£ Рти log £ qU =
т,и иет^еи т,и иет ( )
= -£рт log £ qU = H(P,Q0) ^ H(X). ( )
т uет
Значения левой и правой частей совпадают, поэтому все неравенства могут быть заменены равенствами. Одно из них имеет вид H(P, Q0) = H(X) и потому по выбору P выполнено q0 > 0. Следовательно, при некотором ji имеет место qiji > 0.
Рассмотрим произвольные T и U, такие, что i G T и (ат, Ьи) G Rab. Для них рти > 0. Воспользуемся равенством
рти log E qUj = рти log E qU,
uет,jеu пет
возникшим в (12) при замене неравенств равенствами. В силу определения qi0 из него вытекает
E quj = q0 = E quj.
jеu j
Так как qiji положительно, ji G U. Это означает, что для заданного ai G A0 имеется символ bji, такой, что если ai G ат и атRabЬи, то bji G Ьи.
Применим такие рассуждения ко всем символам аг Е А0 и для каждого из них найдем символ Ь^ с указанным свойством. Введём функцию Р : А0 ^ В0, положив Р(аг) = Ьji. Так определённая функция Р удовлетворяет условию
атРабЬи ^ /(ат) С Ьи. (13)
б) Пусть теперь алфавит А произволен и все пары соответственных источников X и У в алфавитах А и В удовлетворяют условию Н(ХУ) = Н(Х).
Рассмотрим одну из соответственных пар X и У. Путём последовательного удаления из X всех мажорируемых символов построим источник X = (А, Р). Пусть его основным алфавитом является А0 = {аг : г Е М}, тогда А = {ат = а^д^ : ат Е А}. По следствию 1 выполнено Н(ХУ) = Н^У) и Н(Х) = ). Поэтому Н(ХУ) = = Н^). Легко видеть, что, произвольно варьируя в источниках X вероятности символов алфавита А, можно в качестве А получить все возможные источники в алфавите А. Поэтому к алфавитам А и В применим результат пункта (а), в соответствии с которым существует функция Р : А0 ^ В0, удовлетворяющая условию атРабЬи ^ Р(а^) С Ьи. На её основе образуем функцию Р : А0 ^ В0, положив Р(аг) = Р(аг) для аг Е А0 и назначив для аг Е А0 \ А0 значение Р(аг) равным Р(аи), где аи — символ из А0, мажорирующий аг. Функция Р удовлетворяет условию (13), ибо для аг Е ат \ ат в ат имеется мажорирующий аг символ аи и Р(аг) = Р(аи) Е Ьи. ■
Объединяя результаты лемм 2, 3, 4 и 7, получаем следующий факт.
Теорема 1. Введённые соотношения недоопределённых алфавитов по силе эквивалентны, т. е.
А £, В ^ А £с В ^ А £ в В ^ А £„ В. Введённые понятия равносильности недоопределённых алфавитов эквивалентны, т. е.
А - { В ^ А
с
ВА
Б
ВА В.
С учётом теоремы дальше будем применять записи А £ В и А — В без уточнения, в каком смысле они понимаются.
4. Некоторые операции над алфавитами. Приведение
Функциональный подход к введению соотношений А £ В и А — В более удобен и конструктивен, чем другие подходы, поскольку имеет дело непосредственно с алфавитами А и В, а не с соответственными последовательностями в этих алфавитах. Дальше будем базироваться на функциональном подходе.
Напомним, что соотношение А £ В означает существование функции Р : А0 ^ В0, для которой ат Яаб Ьи ^ Р (ат) С Ьи, а соотношение А — В — одновременное выполнение соотношений А £ В и В £ А.
Пусть А = {ат : Т Е Т}, В = {Ьи : и Е и} и С = {су : V Е V} — недоопределённые алфавиты, Раб , Рвс
и Рас заданные для них соответствия.
Лемма 8. Пусть соответствия удовлетворяют условию
Рас С Раб ◦ Рвс. (14)
Тогда
А £ В, В £ С ^ А £ С, А - В, В - С ^ А - С.
Доказательство.
1. Пусть выполнены A t B и B t C и эти соотношения устанавливаются с использованием функций F : A0 ^ B0 и G : B0 ^ Co. Рассмотрим произвольную пару (aT,cv), такую, что aTRaccv. Из (14) следует, что при некотором bu имеют место aT Rab bu и bu RBC cv. Тогда F (aT) С bu, а потому G(F (aT)) С G(bu) С cv ив качестве функции A0 ^ C0 в соотношении A t C может быть взята G(F).
2. В случае A - B и B - C справедливы, в частности, соотношения A t B и B t C. Согласно п. 1 доказательства, из них следует A t C. Кроме того, включение (14) может быть эквивалентно переписано в виде Rca С Rcb ° Rba. Из него и соотношений C t B и B t A, вытекающих из B - C и A - B, в силу п. 1 следует C t A. В результате получаем A - C. ■
Согласно лемме 8, соотношения t и - транзитивны при условии (14).
Дальше будет встречаться ситуация, когда алфавит A преобразуется в B последовательно: A = A(0) ^ A(1) ^ ... ^ A(s) = B. При этом алфавиты A и B связаны соответствием Rab = Ra(°)a(s) и для каждого шага i, i = 1, . . . , s, имеется соответствие Rah-i)A(i). Произведение соответствий Ra(°)a(i) ° Ra(i)a(2) ° ■ ■ ■ ° Ra(s-i)aw понимается в обычном смысле:
a(0)(RA(°)A(i) ° RA(i)A(2) ° ■ ■ ■ ° RA(s-i)A(s))a(s) &
& 3a(1)... 3a(s-1)(a(0)RA(°)A(i) a(1) Л ... Л a(s-1)RA(s -i)A(s)a ').
Аналогично лемме 8 доказывается следующее её обобщение.
Лемма 9. Пусть соответствия удовлетворяют условию
RA(°)A(s) С RA(°)A(i) ° RA(i)A(2) ° ... ° RA(s-i)A(s). (15)
Тогда
A(0) t A(1) A(1) t A(2) ... A(s-1) t A(s) A(0) t A(*)
rsj ? rsj ) ? rsj r^j ">
A(0) - A(1),A(1) - A(2),...,A(s-1) - A« ^ A(0) - A«
Пусть заданы недоопределённый алфавит A и функция F : A0 ^ A0. Скажем, что алфавит A получен из A функциональным преобразованием F, если A1 = {F(aT) : aT е A}, Raa' = {(aT, F(aT)) : aT e A}.
Пусть недоопределённый алфавит A не содержит символа aT, совпадающего с aj. Тогда выполнима операция исключения символа aj, в результате которой возникает алфавит A' = {aT\j : aT е A}, связанный с A соответствием Raa' = {(aT,aT\j) : aT e A}. Отметим что операция исключения мажорируемого символа aj выполнима всегда, ибо всякий символ aT, содержащий aj, содержит и мажорирующий его символ aj.
Лемма 10. Если A' получен из A посредством а) функционального преобразования, б) исключения символа, в) исключения мажорируемого символа, то а) A t A', б) A' t A, в) A' - A.
Доказательство. Пункт (а) фактически следует из определения, пункт (б) —из того, что всякое доопределение символа aT\j доопределяет aT. Рассмотрим пункт (в). Пусть удаляемый символ aj мажорируется символом aj. Операцию удаления aj можно трактовать как функциональное преобразование F, при котором F(aj) = aj и F(au) = au для u = j. Поэтому, согласно (а), выполнено A t A'. С другой стороны, это операция удаления символа, и в соответствии с (б) имеет место A' t A. В итоге получаем A' - A. ■
Рассмотрим теперь случай последовательного исключения из алфавита A мажорируемых символов. Обозначим через J множество индексов j исключенных символов aj. Результат исключения даёт алфавит Aj = {ay\j : ат G A}, связанный с A соответствием RaAj = {(aT, aT\J) : aT G A}.
Лемма 11. Алфавит, полученный последовательным исключением мажорируемых символов, равносилен исходному.
Доказательство. Применим индукцию по процедуре исключения. Утверждение леммы для одноэлементного множества J вытекает из пункта (в) леммы 10. Предположим, что утверждение справедливо для множества J, и пусть из алфавита Aj исключается символ aj,. Положим J' = J U j' и рассмотрим произвольную пару (aT, aT\J') G RaAj, . Символ aTy возник из aT\J G AJ в результате исключения a^, а потому (ay, ay\j) G Raaj и (ay\j,ay\j,) G Rajaj, . Это означает (ay ,ay\j,) G Raaj ° Rajaj, и приводит к включению Raa^ С Raaj ◦ Raj, совпадающему для этих соответствий с условием (14). Из соотношений A ~ Aj и Aj ~ Aj,, первое из которых выполнено по предположению индукции, а второе — по лемме 10, в силу леммы 8 вытекает A ~ Aj, . ■
Недоопределённый алфавит, у которого отсутствуют мажорируемые символы, называется приведённым. Последовательно устраняя в произвольном порядке из алфавита A мажорируемые символы (пока это возможно), придём к некоторому приведённому алфавиту A. Если M С M — множество индексов неустранённых символов, то A = {aynMf : ay G A}, RaA = {(ay, aynM) : ay G A}. По лемме 11 A ~ A.
Устраняя из A мажорируемые символы в другом порядке, можно получить другой приведённый алфавит A, найти соответствие Raa, затем соответствие Raa = Raa °
о RAa, где RAa = R~Aa.
Соответственные алфавиты A и В назовем изоморфными, если существует биекция
п : Ao ^ Во, такая, что соответствие
Rn(A)B = {(n(ay),bu) : (ay,bu) G Rab}
является диагональю. Здесь п(aT) = {n(a^) : i G T}.
Лемма 12. Изоморфные алфавиты равносильны.
Доказательство. В качестве функции F в (1) может быть взята биекция п, а в качестве G — её обращение п-1. Поскольку Rn(A)B —диагональ, для (ay, bu) G Rab выполнено n(ay) = bu и n-1(bu) = ay. ■
Следующее утверждение показывает, что приведённый алфавит единственен с точностью до переименования основных символов.
Теорема 2. Все приведённые алфавиты, образованные из заданного алфавита A, изоморфны.
Доказательство. Символ aj алфавита A назовем строго мажорируемым, если в A существует такой символ a^, что a^ мажорирует aj и aj не мажорирует a^. Поскольку отношение мажорирования транзитивно, символы, не являющиеся строго мажорируемыми, разбиваются на классы эквивалентности, состоящие из символов au, индексы u которых входят в одну и ту же совокупность множеств T, T G T .В результате построения приведённого алфавита будут исключены все строго мажорируемые символы, а в каждом классе эквивалентности нестрого мажорируемых символов остаётся один. Если A и A — различные приведённые алфавиты и им соответствуют множества неис-ключённых символов A0 и A0, то можно задать биекцию п : A0 ^ A0, сопоставив
символу af Е A0 единственный символ af Е A0 из того же класса эквивалентности. В приведённых алфавитах A и A символу af Е A соответствуют символы af = af П A0 и af = af П A0, такие, что af = n(af). Поэтому соответствие Rn(A)A, образованное парами (n(af),af), является диагональю. ■
В качестве равносильных преобразований мы использовали удаления мажорируемых символов. Поскольку соотношение равносильности симметрично, в результате добавления мажорируемых символов также возникают равносильные алфавиты.
Если требуется решить некоторую прикладную задачу, то переход от исходного алфавита к равносильному может упростить её решение либо даже сделать нереша-емую задачу решаемой. Приведём два примера. Первый относится к задаче сжатия недоопределённых данных и использует сокращение основного алфавита за счёт удаления мажорируемых символов, второй относится к задаче (двоичного) разложения недоопределённого алфавита и сопровождается увеличением основного алфавита за счёт введения дополнительных мажорируемых символов.
Пример 1. Задача сжатия недоопределённых данных ставится как задача такого кодирования недоопределённых последовательностей, которое обеспечиват возможность восстановления какого-либо их доопределения [5]. Пусть имеются равносильные алфавиты A и B и соответственные последовательности а = af1 ... afn и b = bu1 ... bun в этих алфавитах. Всякое кодирование последовательности а может рассматриваться также как кодирование последовательности b. Действительно, применив функцию F к доопределению а0 = ail ... ain последовательности а, найденному по её коду, получим последовательность F(а0) = F(ail)... F(ain), которая в силу условий F(afi) С bUi доопределяет b. Подобным же образом код для b может рассматриваться как код для а. Если кодирование в одном из алфавитов оптимально (минимизирует среднюю длину кода), то оно оптимально и во втором.
В настоящее время не известно каких-либо эффективных методов кодирования недоопределённых данных. Для них применяется либо метод случайного кодирования, либо жадный (градиентный) алгоритм (первый не конструктивен, второй не эффективен). Не исключена возможность, что в результате приведения заданного недо-определённого алфавита возникнет всюду определённый алфавит. Тогда известные эффективные методы кодирования всюду определённых данных [7] обеспечат эффективное кодирование последовательностей в исходном недоопределённом алфавите. Приведём простейший пример этой ситуации. Пусть основным алфавитом является A0 = {a0,ai,a2,a3}, а недоопределённым — A = {a1, a23, a02}. Символы a0 и a3 мажорируются символом a2. В результате исключения мажорируемых символов придём к всюду определённому алфавиту A = {ai,a2}, оптимальное кодирование в котором обеспечит оптимальное кодирование в исходном недоопределённом алфавите.
Пример 2. Задача (двоичного) разложения недоопределённого алфавита состоит в том [3], чтобы каждому символу ai основного алфавита A0 сопоставить двоичное слово Ai = Ai(1) ... Ai(s) некоторой длины s, а каждому недоопределённому символу af Е A — двоичное слово Af = Af (1)... Af (s) длины s в алфавите {0,1, *} так, чтобы множество доопределений слова Af совпало с {Ai : i Е T}. Может оказаться, что такое разложение невыполнимо для заданного алфавита, но становится возможным при переходе к равносильному алфавиту. Проиллюстрируем это.
Пусть A0 = {a0,a1,a2,a3,a4} и требуется разложить недоопределённый алфавит A = {a01, a12, a23, a34, a40}. Предположим, что разложение существует и задаётся словами Ai и Ais(i), i = 0,..., 4, s(i) = (i +1) mod 5. Слово Ais(i), имеющее два доопределения,
содержит единственный символ *, а потому Aj и As(j) различаются в одной позиции. Последовательность А0А1А2А3А4А0 позволяет получить A0 из A0 за 5 шагов, на каждом из которых изменяется один символ, но для нечётного числа шагов это невозможно. Полученное противоречие показывает, что рассматриваемый алфавит неразложим.
Приведём разложение равносильного алфавита, найденное методом работы [3]. Основной алфавит разложения образован словами А0 = 100, А1 = 110, А2 = 011, А3 = 001, А4 = 000, А5 = 010, А6 = 111, а недоопределённый алфавит — словами А01 = 1*0, А12 = *1*, А23 = 0*1, А34 = 00*, А40 = *00. Все недоопределённые слова А^), исключая А12, имеют нужные доопределения А^ и А3(г), а у слова А12 имеются, помимо А1 и А2, доопределения А5 и А6. Но лишние доопределения А5 и А6 мажорируются каждым из слов А1 и А2 и могут быть удалены с сохранением равносильности.
5. Распознавание равносильности алфавитов
Выше рассмотрены равносильные преобразования заданного алфавита A, теперь поставим вопрос о равносильности двух исходно заданных соответственных алфавитов A = {ay : T G T С 2м} и В = {bu : U G U С 2L}. Путём исключения мажорируемых символов в алфавитах A и В перейдём к приведённым алфавитам A и В4. Они единственны с точностью до изоморфизма и равносильны исходным алфавитам. Приведённые алфавиты имеют вид A = {aynM : ay G A} и В4 = {bunL : bu G В}, где MM и L — множества индексов неисключённых символов в алфавитах A и В. Приведённые алфавиты связаны соответствием Rab = {(aynM,bunL) : ayRabbu}.
Теорема 3. Соответственные алфавиты A и В равносильны тогда и только тогда, когда построенные по ним приведённые алфавиты A и В4 изоморфны.
Доказательство.
1. Пусть приведённые алфавиты A и В4 изоморфны. В силу лемм 11 и 12 имеют место равносильности A ~ A, A ~ В4 и В4 ~ В. Рассмотрим произвольную пару (ay,bu) G Rab . Из ay RAAaynM, aynM RäBbunL и bunL Rbbbu следует включение Rab С Raa ° RäB ° Rbb, играющее роль (15). По лемме 9 заключаем, что A ~ В.
2. Пусть имеет место равносильность A ~ В. Наряду с ней по лемме 11 справедливы равносильности A ~ A и В ~ В4. Пары из Rab имеют вид (aynM , bunL), где (ay, bu) G Rab. С учётом aynMRA4Aay и buRbbbunL заключаем, что выполнено включение Rab С R^äa ° RaB ° RBB, играющее роль (15). Воспользовавшись леммой 9, приходим к равносильности A ~ В4. Из неё следует существование функций F : A0 ^ В0 и G : В0 ^ A0, таких, что для (aynM,bunu) G Rab выполнено F(aynM) С buny и G(bunL) С aynM.
Пусть символ aj G Al0 произволен, F(aj) = bj, G(bj) = au. Покажем, что au = aj.
Возьмём любой символ aynM G a4, содержащий aj, и рассмотрим произвольную пару Кпм, bunL) G RAB. Из F(aynJÜ) С bunL следует bj G bunL, и в силу G(bunL) С aynJÜ справедливо au G aynM. Так как символ aynM, содержащий aj, произволен, символ au
мажорирует aj и обязан совпасть с aj, поскольку приведённый алфавит A не содержит отличных от aj символов, мажорирующих aj. Одновременно установлено, что
F(aj) = bj ^ G(bj) = aj. (16)
Функция F инъективна, ибо в силу (16) равенства F(aj) = bj и F(aj,) = bj влекут aj = aj,. Аналогично (16) можно доказать, что G(bj) = au ^ F(au) = bj. Отсюда вытекает, что F сюръективна, поскольку всякий символ bj G В0 может быть получен как F(au), где au = G(bj). Таким образом, F биективна, а из (16) следует, что G = F-1.
Для произвольной пары (аТпм ,Ьип1) Е
РАБ выполнено Р (атпМ) — ЬипЬ И Р-1 (ЪиГ]1) = 0(ЪиГ]1) — аТпм • Применив к последнему соотношению функцию Р,
получаем Ьипр — Р (аТпм), что приводит к Р (аТпм) = Ьипр . Это означает, что соответствие ЯЕА)Б, образованное парами (Р(аТпм),ЬЦ), является диагональю и алфавиты А и В изоморфны. ■
Как обычно [8], эффективными будем считать алгоритмы, время работы которых ограничено полиномом от размера исходных данных.
Теорема 4. Для соответственных алфавитов А и В существуют эффективные алгоритмы проверки соотношений А ^ В и А ~ В.
Доказательство. Достаточно рассмотреть соотношение А ~ В, поскольку А ^ В сводится к нему применением леммы 1. В силу теоремы 3 равносильность алфавитов А и В имеет место тогда и только тогда, когда приведённые алфавиты А и В изоморфны.
По А, В и соответствию Раб построим (эффективно) А, В и Р^б- Произвольно занумеруем (аТ ,ЬцТ ), в = 1, 2,... , N, все пары (аф, Ъцт) соответствия Р^Б. Множества М = У Т8 и Ь = У из образованы индексами всех символов основных алфавитов А0
и В0. Для г Е М введём набор
Пг = (Пг1,Пг2, • • • ),
где пгв равны 1 и 0
в случаях г Е Т8 и г Е Т8. Поскольку в Ао мажорируемых символов нет, все наборы пг различны. Аналогично с каждым ] Е Ь свяжем набор
О = • • • ),
определяемый принадлежностью ] к множествам и8. Все наборы ^ также различны.
Легко видеть, что А и В изоморфны тогда и только тогда, когда мощности множеств М и Ь совпадают и для каждого г Е М имеется (единственное) ] Е Ь, при котором пг = О. Если для этих г и ] положить Ь^ = п(аг), получим биекцию п : М ^ Ь, участвующую в определении изоморфизма. Трудоёмкость описанной процедуры полиномиальна. ■
Из доказательства извлекается полиномиальный способ построения функций Р и О, присутствующих в определении равносильности (1). В качестве значения функции Р : А0 ^ В0 для аз Е А0 можно взять Р(аз) = п(аг), где аг — произвольный символ из Ао, мажорирующий в А символ аз. Функция О строится аналогично.
До сих пор рассматривалась равносильность соответственных алфавитов. Обсудим теперь понятие равносильности недоопределённых алфавитов без заданного для них соответствия.
Будем использовать запись А ~ В для обозначения того, что для недоопределённых алфавитов А и В существует соответствие Раб , при котором А ~ В .В отличие от соотношения А ~ В, которое нельзя рассматривать как отношение на множестве алфавитов, ибо оно зависит также от соответствия Раб , соотношение А ~ В представляет собой отношение.
Утверждение 2. Отношение А ~ В на множестве недоопределённых алфавитов является эквивалентностью.
Доказательство. Очевидно, что это отношение рефлексивно и симметрично. Докажем его транзитивность. Если имеют место равносильности А ~ В, В ~ С и соотношения А ~ В, В ~ С справедливы при соответствиях Кае , Ква, то по лемме 8 при К ас = Кае ◦ Ква выполнено А ~ С, а потому А ~ С. ■
Алфавиты А и В, для которых А ~ В, будем называть эквивалентными. Следствием теоремы 3 является следующий факт.
Утверждение 3. Алфавиты А и В эквивалентны тогда и только тогда, когда алфавиты А и В, полученные их приведением, изоморфны.
Алфавит А' называется минимальным для А, если А' ~ А и А' имеет наименьшую мощность |А'| и наименьшую мощность |А0| основного алфавита среди всех алфавитов, эквивалентных А.
Утверждение 4. Алфавит А, полученный из А приведением, минимален для А, и, таким образом, задача построения минимального алфавита решается эффективно.
Доказательство. Действительно, если имеется алфавит В, эквивалентный А и имеющий меньшую, чем у А, мощность либо мощность основного алфавита, то это же будет справедливо для алфавита В?, полученного приведением В. В этом случае алфавит В? не изоморфен А, и по предыдущей лемме алфавит В не может быть эквивалентен А. ■
Преобразование недоопределённого алфавита называется эквивалентным, если в применении к любому алфавиту оно даёт эквивалентный алфавит. Одним из эквивалентных преобразований является исключение мажорируемого символа (лемма 10). Поскольку отношение эквивалентности симметрично, эквивалентным является и обратное преобразование — добавление мажорируемого символа. Более подробно эта операция состоит в следующем. К основному алфавиту А0 добавляется новый символ а3. Выбирается какой-либо символ а^ Е А0, затем некоторым символам ат Е А, таким, что Т э г, сопоставляются и добавляются в алфавит А символы ат и«. При добавлении ат и« символ ат может быть оставлен в алфавите либо удалён из него. Эквивалентным преобразованием является также операция переименования символов. При её выполнении символы основного алфавита переименовываются некоторым образом (без отождествления) и символы ат = : г Е Т} алфавита А заменяются на (п(а^) : г Е Т}, где п(а^) —результат переименования символа а^. Система эквивалентных преобразований называется полной, если для любых двух эквивалентных алфавитов существует последовательность преобразований из этой системы, переводящая один алфавит в другой.
Утверждение 5. Операции исключения мажорируемого символа, добавления мажорируемого символа и переименования символов образуют полную систему эквивалентных преобразований недоопределённых алфавитов.
Доказательство. Действительно, если А ~ В, то приведённые алфавиты А и В? изоморфны (утверждение 3). Поэтому из алфавита А можно устранением мажорируемых символов получить А?, переименованием символов преобразовать его в В?, а затем добавлением мажорируемых символов перейти к В. ■
Задача распознавания равносильности алфавитов решается эффективно (теорема 4), а решение задачи распознавания эквивалентности алфавитов связано с трудностями, поскольку к её частному случаю, когда символы недоопределённого алфавита имеют по два доопределения, сводится задача об изоморфизме графов [8], являющая-
ся одной из наиболее известных комбинаторных задач, безуспешные попытки решения
которой продолжаются в течение нескольких десятков лет.
ЛИТЕРАТУРА
1. Колмогоров А. Н. Три подхода к определению понятия «количество информации» // Проблемы передачи информации. 1965. Т. 1. Вып. 1. С. 3-11.
2. Шоломов Л. А. Преобразование нечетких данных с сохранением информационных свойств // Дискретный анализ и исследование операций. 2005. Сер. 1. Т. 12. №3. С. 85-104.
3. Шоломов Л. А. Разложение недоопределенных данных // Дискретный анализ и исследование операций. 2012. Т. 19. №6. С. 72-98.
4. Галлагер Р. Теория информации и надежная связь. М.: Сов. радио, 1974. 720 с.
5. Шоломов Л. А. Элементы теории недоопредёленной информации // Прикладная дискретная математика. Приложение. 2009. №2. С. 18-42.
6. Шоломов Л. А. О функционалах, характеризующих сложность систем недоопределенных булевых функций // Проблемы кибернетики. Вып. 19. М.: Наука, 1967. С. 123-139.
7. Потапов В. Н. Обзор методов неискажающего кодирования дискретных источников // Дискретный анализ и исследование операций. 1999. Сер. 1. Т.6. №4. С.49-91.
8. Гэри М., Джонсон Д. Вычислительные машины и труднорешаемые задачи. М.: Мир, 1982. 416с.
