CC BY
29
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2015 Том 15 № 4 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS July-August 2015 Vol. 15 No 4 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 004.8
МАТРИЧНО-ВЕКТОРНЫЕ АЛГОРИТМЫ ЛОКАЛЬНОГО АПОСТЕРИОРНОГО ВЫВОДА В АЛГЕБРАИЧЕСКИХ БАЙЕСОВСКИХ СЕТЯХ НАД ПРОПОЗИЦИЯМИ-КВАНТАМИ
А.А. Золотин", А.Л. Тулупьев" ь, А.В. Сироткинь
а Санкт-Петербургский государственный университет, Санкт-Петербург, 198504, Российская Федерация ь СПИИРАН, Санкт-Петербург, 199178, Российская Федерация Адрес для переписки: [email protected] Информация о статье
Поступила в редакцию 16.04.15, принята к печати 21.05.15
doi:10.17586/2226-1494-2015-15-4-676-684
Язык статьи - русский
Ссылка для цитирования: Золотин А.А., Тулупьев А.Л., Сироткин А.В. Матрично-векторные алгоритмы локального апостериорного вывода в алгебраических байесовских сетях над пропозициями-квантами // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 4. С. 676-684.
Аннотация
В теории вероятностных графических моделей апостериорный вывод является одним из видов вывода, на котором базируется обработка фрагментов знаний с неопределенностью. В работе рассматривается задача описания локального апостериорного вывода в алгебраических байесовских сетях над фрагментами знаний с пропозициями-квантами с помощью матрично-векторных уравнений, которые существенно опираются на использование тензорного произведения матриц, степени Кронекера, а также произведения Адамара. Получены матричные уравнения для вычисления векторов апостериорных вероятностей в задаче апостериорного вывода над фрагментами знаний с пропозициями-квантами. Аналогичные уравнения того же типа уже рассматривались в рамках теории алгебраических байесовских сетей, однако они были построены только для случая апостериорного вывода во фрагментах знаний над идеалами конъюнктов. При обобщении и развитии матрично-векторного аппарата в части операций с векторами вероятностей пропозиций-квантов был, в частности, адаптирован ряд ранее полученных результатов, касающихся нормирующих множителей в апостериорном выводе и задания линейного проективного оператора с помощью вектора-селектора. Рассмотрены все три вида поступающих свидетельств - детерминированные, стохастические и неточные свидетельства - в сочетании со скалярными и интервальными оценками вероятности истинности пропозициональных формул во фрагментах знаний. Сформированы задачи линейного программирования, решение которых дает интервальные оценки искомых апостериорных вероятностей в случае неточного свидетельства или интервальных оценок во фрагменте знаний. Существование такого описания задачи апостериорного вывода позволяет пополнить набор типов фрагментов знаний, которыми мы можем оперировать в локальном и глобальном апостериорном выводе, а также упростить реализацию комплекса программ за счет возможности использования при программировании на Java, C++ или С# уже существующих сторонних библиотек, эффективно поддерживающих представление и обработку матриц и векторов. Ключевые слова
байесовские сети, апостериорный вывод, алгоритмы вывода, пропагация свидетельства, фрагмент знаний над
квантами.
Благодарности
Часть результатов, представленных в статье, была получена в рамках исследовательского проекта, поддержанного грантом РФФИ № 15-01-09001-а.
MATRIX-VECTOR ALGORITHMS OF LOCAL POSTERIORI INFERENCE IN ALGEBRAIC BAYESIAN NETWORKS ON QUANTA PROPOSITIONS A.A. Zolotina, A.L. Tulupyev a b, A.V. Sirotkinb
a Saint Petersburg State University, Saint Petersburg, 198504, Russian Federation b SPIIRAS, Saint Petersburg, 199178, Russian Federation Corresponding author: [email protected] Article info
Received 16.04.15, accepted 21.05.15 doi:10.17586/2226-1494-2015-15-4-676-684 Article in Russian
For citation: Zolotin A.A., Tulupyev A.L., Sirotkin A.V. Matrix-vector algorithms of local posteriori inference in algebraic bayesian networks on quanta propositions. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2015, vol.15, no. 4, pp. 676-684.
Abstract
Posteriori inference is one of the three kinds of probabilistic-logic inferences in the probabilistic graphical models theory and the base for processing of knowledge patterns with probabilistic uncertainty using Bayesian networks. The paper deals with a task of local posteriori inference description in algebraic Bayesian networks that represent a class of probabilistic graphical models by means of matrix-vector equations. The latter are essentially based on the use of tensor product of matrices, Kronecker degree and Hadamard product. Matrix equations for calculating posteriori probabilities vectors within posteriori inference in knowledge patterns with quanta propositions are obtained. Similar equations of the same type have already been discussed within the confines of the theory of algebraic Bayesian networks, but they were built only for the case of posteriori inference in the knowledge patterns on the ideals of conjuncts. During synthesis and development of matrix-vector equations on quanta propositions probability vectors, a number of earlier results concerning normalizing factors in posteriori inference and assignment of linear projective operator with a selector vector was adapted. We consider all three types of incoming evidences -deterministic, stochastic and inaccurate - combined with scalar and interval estimation of probability truth of propositional formulas in the knowledge patterns. Linear programming problems are formed. Their solution gives the desired interval values of posterior probabilities in the case of inaccurate evidence or interval estimates in a knowledge pattern. That sort of description of a posteriori inference gives the possibility to extend the set of knowledge pattern types that we can use in the local and global posteriori inference, as well as simplify complex software implementation by use of existing third-party libraries, effectively supporting submission and processing of matrices and vectors when programming in Java, C++ or C#. Keywords
Bayesian networks, posteriori inference, inference algorithms, evidence propagation, knowledge pattern over quanta-
propositions.
Acknowledgements
The research was partially supported by RFBR Grant No 15-01-09001-а.
Введение
Одним из активно развивающихся направлений информатики и информационных технологий является теория вероятностных графических моделей и разработка программного обеспечения, реализующего полученные результаты этой теории [1]. Байесовские сети, в том числе алгебраические байесовские сети (АБС) [2, 3] и связанные с ними конструкции, являются одним из видов вероятностных графических моделей. Байесовские сети все шире используются в системах распознавания образов [4, 5], системах моделирования поведения [6], системах моделирования рисков и обнаружения отказов [7-9], оценивания повреждений и мониторинга состояния здоровья [10-13], а также при анализе климата и окружающей среды [14, 15].
Успех в приложениях одних видов вероятностных графических моделей, стремление распространить накопленные достижения на решение новых задач, анализ возникающих затруднений, потребность в моделировании различных видов неопределенности данных и знаний приводят к появлению новых теоретических и алгоритмических задач, а также к рассмотрению новых (либо известных, но недостаточно исследованных) моделей указанного класса.
Так, в рамках теории алгебраических байесовских сетей в локальном апостериорном выводе (выводе на основе поступившего свидетельства), а также при попытках распространить влияние свидетельства на соседние фрагменты знаний (пропагировать свидетельство) зачастую возникает необходимость манипулировать не только традиционно рассматривающимися фрагментами знаний над пропозициями-конъюнктами (подходы описаны в [2, 16-18], матрично-векторные уравнения вывода получены там же), но и над фрагментами знаний с пропозициями-квантами. Оба вида фрагментов знаний обсуждались, например, в [19], но все возникающие задачи локального вывода оценок истинности, в том числе и задача локального апостериорного вывода, во фрагменте знаний с пропозициями-квантами (фрагменте знаний, построенном над пропозициями-квантами) были оставлены практически без рассмотрения, не говоря уже о вопросах описания алгоритмов решения таких задач.
Задача локального апостериорного вывода состоит в том, чтобы автоматически вычислить апостериорные вероятности всех элементов (будь то пропозиции-конъюнкты или пропозиции-кванты) фрагмента знаний при поступившем свидетельстве. С формальной точки зрения фрагмент знаний над квантами родственен традиционно рассматриваемому в теории АБС фрагменту знаний над идеалом конъюнктов с оценками вероятностей их истинности, однако требует иной системы накладываемых на оценки вероятности ограничений, что не позволяет непосредственно воспользоваться формулами апостериорного вывода, полученными ранее [2, 16, 17]. Таким образом, цель настоящей работы состоит в том, чтобы свести вывод апостериорных оценок во фрагменте знаний с пропозициями-квантами к матрично-векторным уравнениям и, в случае интервальных оценок, к использующим эти уравнения экстремальным задачам, на основе преобразования или адаптации уже известных матрично-векторных уравнений локального апостериорного вывода для фрагмента знаний АБС.
Говоря о задаче локального апостериорного вывода, мы, на самом деле, подразумеваем две подзадачи [20]. Первой подзадачей локального апостериорного вывода является оценка вероятности появления свидетельства или кортежа свидетельств над заданным фрагментом знаний. Второй подзадачей апостериорного вывода является оценка апостериорных вероятностей истинности элементов фрагмента знаний
при предположении, что во фрагмент знаний поступило свидетельство. Стоит отметить, что результатами первой подзадачи апостериорного вывода мы воспользуемся при решении второй.
Определения, обозначения и базовые результаты
Чтобы избежать повтора ранее опубликованного материала в заметных объемах, отметим, что в работе мы будем следовать системе терминов и обозначений, сложившихся в [2, 3, 18, 21], а в настоящем разделе постараемся ограничиться введением лишь ключевых для достижения поставленной цели объектов.
Зафиксируем конечное множество атомарных пропозициональных формул (атомов) - упорядоченный алфавит атомов А = {г^}^1. С содержательной точки зрения алфавит атомов представляет набор элементарных высказываний экспертов о предметной области. Определим два набора пропозиций над указанным алфавитом. Первый набор - идеал конъюнктов - < ¿х <12 <п —
1,0 <к< п}, где х>1х>1 ...х>1к означает конъюнкцию соответствующих атомов, а знак конъюнкции здесь и далее опускается. Таким образом, идеал конъюнктов содержит все возможные конъюнкции атомов, в том числе и вырожденные: пустую конъюнкцию и сами атомы. Литерал г^ означает, что на его месте в пропозициональной формуле может стоять либо ^, либо его отрицание р1. Тогда, наконец, определим второй набор - множество квантов Q = ...£„_ над алфавитом 7 = {г^}^1. Иными словами, квант - это конъюнкция, которая для любого атома из алфавита содержит либо его самого, либо его отрицание. С учетом заданного алфавита каждому из квантов вида можно сопоставить характеристический
вектор, а этому вектору, в свою очередь, двоичное число, которое рассматривается как номер кванта (индексирует квант) [2, 3]. Следует отметить, что рассматриваются именно пропозициональные формулы, а не их истинностные значения. Более того, в дальнейших выкладках рассматриваются классы эквивалентности пропозициональных формул; в частности, конъюнкции над одними и теми же формулами, но с разным порядком следования последних, не различаются [2, 3, 8, 12]. / 1 \ / Р(?о) \
Векторы Рс = | Р^1) | и Рч = | Р^Яг) | содержат вероятности конъюнктов и квантов соот-
\р(с2п_1у \р(я2п-г)'
ветственно. Например, для фрагмента знаний, построенного над двумя атомами {х1,х2} сЛ, векторы
1
вероятностей квантов и конъюнктов будут выглядеть следующим образом: Рс = | р(х~) I и Рч =
рОх) р02) \р(х2х1)/
Эти векторы выражаются друг через друга с помощью соотношений Р„ = 1„РС, Рс = ]пР,
Ч'
/р(х2х1)\^ р(х2х1) р(х2х1) \р(х2Х1)/
где 1„ = = 1 ]п = ^0 1) согласно [2, 3, 22]. Показатель [п] используется для
обозначения степени Кронекера матриц, а ниже символ ® - для обозначения тензорного (прямого) произведения матриц [23]. В случае, когда вероятностные оценки заданы над квантами, мы будем работать либо с фрагментом знаний со скалярными оценками (С, Рч), либо с фрагментом знаний с интервальными оценками (С, где С - это носитель фрагмента знаний, т.е. множество квантов, упорядоченных
согласно принятой индексации. В случае фрагмента знаний с интервальными оценками допустимое значение РЧИ лежит в границах [Р^И^цИ]. С помощью [¿] рядом с вектором мы указываем на /-ю его компоненту. Следует обратить внимание, что индексация компонент начинается с 0.
Под свидетельством мы содержательно понимаем новые «обусловливающие» данные, которые поступили во фрагмент знаний и с учетом которых нам требуется пересмотреть все (или некоторые) оценки [3, 22]. Далее мы с разной степенью детализации рассмотрим все три вида поступающих свидетельств: детерминированное, стохастическое и интервальное [22], вместе с формализацией их вида и содержания.
Фрагмент знаний со скалярными оценками и детерминированное свидетельство
Начнем рассмотрение с пропагации детерминированного свидетельства во фрагменте знаний со скалярными оценками и с носителем С.
Мы говорим, что на вход поступило детерминированное свидетельство, если новые сведения представимы в виде конъюнкции атомов и их отрицаний.
Детерминированное свидетельство можно разбить на положительный и отрицательный конъюнкты и представить в виде пары чисел, в которой одно число указывает на отрицательно означенные, а второе - на положительно означенные атомарные переменные [2, 16]. Как пример рассмотрим свидетельство
= <у0,у2у1> = <0012,1102> = (1,6). Таким образом, допустим, что во фрагмент знаний поступило детерминированное свидетельство (¿;у> (иначе можно обозначить как (с;;с/>). Ранее [21] уже были получены и обоснованы результаты для уравнений апостериорного вывода в случае пропагации детерминированного свидетельства во фрагмент знаний со скалярными оценками, поэтому просто приведем здесь соответствующие формулы. Для этого нам понадобятся следующие матрицы: Н(^> ® н(,и>, где
!Н+, если рк входит в с¿, Н", если ук входит в Н°, иначе;
причем Н+ = (0 = (о 0), = (о согласно [16]. Также введем [21] вектор-селектор
в^. Данный вектор интересен тем, что его можно интерпретировать как характеристический вектор, позволяющий отобрать те кванты, которые не противоречат данному свидетельству. С точки зрения программной реализации интересно то, что любой компонент вектора может быть выражен напрямую через индексы свидетельства (¿;у). Воспользовавшись вектором в^, запишем решение первой задачи апостериорного вывода: р((сг;с;->) = ^5<1'7'>,Рч^, где 5<1,7'> =®£=о_1 з^, где
если ук входит в С;, если ук входит в Су, иначе;
причем = = (|°), б" = (1). Здесь и далее запись двух векторов в круглых скобках через запя-
тую обозначает скалярное произведение.
Обозначим искомые апостериорные вероятности квантов за Тогда [2, 21] решение второй задачи апостериорного вывода сводится, в конце концов, к расчету условных вероятностей, при этом вычисления, как и требовалось, при использовании уже введенных обозначений и построенных объектов сведутся к матрично-векторному уравнению
р^ -_I__н(и)р
где ^5(1'7>,РЧ) - скалярное произведение векторов.
Фактически матрица Н(1,7> задает линейный проективный оператор, который приравнивает нулю вероятности тех квантов, которые логически несовместны с поступившим свидетельством, т.е. конъюнкция каждого из таких квантов и свидетельства является тождественной ложью. Воспользовавшись произведением Адамара (операция покомпонентного произведения векторов одинаковой размерности), этот же линейный проективный оператор можно задать и с использованием вектора-селектора в^. Для наглядности рассмотрим пример построения матрицы и вектора в случае пропагации свидетельства из одного атома, означенного отрицательно (-^0), во фрагмент знаний над множеством атомов {^д,^}. Тогда
оо
5(о,1) _5- 05° _1 О 1, а н(од> =Н" ®Н° = 1 д ® 1 ® I. Можно заметить, что главная диагональ
\0/ \0 0 0 0/ матрицы Н(0,1> совпадает с вектором 5(0Д>, т.е. diagH(0Д> = 5(0Д>, что следует из построения каждого из них, поэтому матрично-векторное уравнение можно переписать следующим образом: ^ = °Ря, где символ ° использован для обозначения произведения Адамара. С техноло-
гической точки зрения применение вектора-селектора облегчает формализацию задачи в системах, ориентированных на работу с векторами и матрицами, например, в системе МЛТЬЛБ и системе Я.
Экстремальные задачи в локальном апостериорном выводе
Итак, перед нами стоит следующая задача: выразить на матрично-векторном языке вероятность поступившего свидетельства р((с1;с])) для различных видов свидетельств, а также составить и обосновать задачу линейного программирования, решением которой будут интервальные оценки апостериорных вероятностей для фрагмента знаний над квантами. Воспользовавшись результатами, полученными для фрагментов знаний над идеалом конъюнктов [17, 18], мы хотим решить поставленные задачи по аналогии с [2, 16].
В настоящем разделе мы рассматриваем задачу, когда оценки вероятностей во фрагменте знаний с квантами - интервальные, т.е. задан непротиворечивый фрагмент знаний с интервальными оценками вероятностей (С,Рд,Рд >. По аналогии с предыдущим случаем предположим, что поступило детерминиро-
ванное свидетельство (i; у). Как и в случае с фрагментом знаний со скалярными оценками, вероятность поступившего свидетельства можно вычислить по следующей формуле: p((q;c/)) = ^s(l'j),Pq^. Однако вследствие того, что значение каждой из компонент вектора Pq лежит в интервале [Pq [i],Pq [¿]], решение первой задачи апостериорного вывода в случае детерминированного свидетельства и фрагмента знаний с интервальными оценками сводится к решению задач линейного программирования по нахождению максимума и минимума значения ^s(l'j),Pq^. Стоит также отметить, что на вектор переменных Pq накладываются линейные ограничения для поддержания непротиворечивости фрагмента знаний: ограничения, вытекающие из аксиоматики теории вероятностей (£), и ограничения, вытекающие из предметной области (Т)). Ограничение £ в случае фрагмента знаний над квантами состоит из двух условий, записываемых на матрично-векторном языке: {Pq >0, (l, Pq) = l}, а ограничение Т) может быть записано как совокупность условий: Vi £ [0. .п — 1]Pq[i] <Pq[i] < Pq[i], либо, как это принято в математических дисциплинах, посвященных экстремальным задачам, Р^ <Pq ^Pq, где п - это мощность множества квантов, над которым построен данный фрагмент знаний, т.е. множество ограничений rD = {Pq <Pq <Pq}. Таким образом, решением первой задачи апостериорного вывода является замкнутый промежуток, ограниченный следующими значениями:
(minBU£(s(u),Pq)^(maxBU£(s(u),Pq)).
Указанные минимум и максимум находятся как результаты решения задач линейного программирования.
Так как во фрагменте знаний с квантами нам заданы интервальные оценки вероятности их истинности, мы имеем дело с семейством распределений вероятностей; следовательно, искомые во второй подзадаче апостериорные вероятности могут быть оценены лишь интервально. Поиск верхней и нижней границы Р<^>сводится к поиску минимума и максимума выражения Pq',j) = Tijj)—г •s(l,7') °Pq при ограничениях DU£. Стоит отметить, что здесь и далее задача о поиске минимума и максимума решается независимо и отдельно для каждой целевой функции - компоненты вектора Pq',j) - относительно переменных вектора Pq.
Экстремальные задачи по нахождению минимума и максимума указанных целевых функций относятся к известному классу задач дробно-линейного программирования. Для сведения ее к задаче линейного программирования нам нужно избавиться от множителя y-nj,—г. Воспользовавшись тем же приемом
(sW',Pq)
и обоснованием, что и в [2, 3, 16], зададим новый вектор переменных (и, таким образом, произведем замену переменных) D = XPq, тогда ^ (J) р ^ •s(t,7') °Pq = ^ ^ •s(t,7') ° XPq = ^ •s(t,J') °D. Теперь
положим , (Д . =1. При новых переменных и введенных ограничениях исходные экстремальные задачи
(s( ,D I
сведутся к задачам линейного программирования - поиску минимума и максимума компонент вектора s(iJ> oD при условиях VUS' U{(s(i,^>,D) = l}.
Причем V = {XPq" <D}U{XPq+ >D}, £' = {D>0} U {X >0} U {(D, 1) = X}. Как и в решении первой задачи апостериорного вывода, данная совокупность линейных ограничений обеспечивает непротиворечивость фрагмента знаний над пропозициями-квантами с новыми, т.е. апостериорными, оценками вероятностей. Здесь, аналогично предыдущему случаю, в качестве переменных выступают компоненты вектора D и X.
Перед рассмотрением следующего случая дадим определение второго вида свидетельств - стохастического.
Изначально, в рамках теории АБС, стохастическое свидетельство - это предположение о том, что на подыдеале С ' носителя фрагмента знаний С задан непротиворечивый фрагмент знаний со скалярными оценками, который определяет вероятности истинности элементов соответствующего подыдеала. По аналогии, рассматривая стохастическое свидетельство над пропозициями-квантами, вероятность пропозиций-квантов свидетельства обозначим как Pq.
Теперь предположим, что во фрагмент знаний со скалярными оценками поступило стохастическое свидетельство с вероятностями пропозиций-квантов Pq. Рассмотрение пропагации стохастического свидетельства сведем к рассмотрению пропагации серии детерминированных свидетельств, на которые его можно «разбить» [22]. Если вероятность какого-то детерминированного свидетельства равна 0, но при этом оценки, задаваемые стохастическим свидетельством для данного детерминированного свидетельства, нулю не равны, то такое свидетельство называется невероятным.
Отметим, что поступившему стохастическому свидетельству можно однозначно сопоставить вектор вероятностей конъюнктов Р" (а ему, в свою очередь, однозначно соответствует вектор Pq, такой, что
Р" = 1„Рча). Пропагация свидетельства, построенного над идеалом конъюнктов, рассматривалась нами ранее и по своей сути сводится к свидетельству над пропозициями-квантами. Это можно легко заметить, приняв во внимание то, что для формирования конечного результата апостериорного вывода мы умножаем результат пропагации каждого из детерминированных свидетельств на соответствующий элемент вектора Рд, а затем складываем полученные произведения и, окончательно, формируем таким образом результат апостериорного вывода [22]. Также для сопоставления индексов детерминированных свидетельств с индексами множества квантов поступившего свидетельства введем функцию GInd(¿, т) [2, 16], где I - индекс кванта в алфавите, над которым построено свидетельство, а т - индекс наибольшего элемента в исходном алфавите. Тогда, обозначив мощность алфавита, над которым построен данный фрагмент знаний, за п, мы можем составить матрично-векторное уравнение для решения первой задачи апостериорного вывода. Вероятность поступившего свидетельства оценивается следующим значением: £2По-1^5<СМ(1,т),СМ(2п'-1-1,т)) р ^раЩ
В решении второй задачи апостериорного вывода воспользуемся тем же приемом и рассмотрим стохастическое свидетельство как совокупность детерминированных. Пользуясь формулами [2, 16, 21], полученными при решении второй задачи апостериорного вывода в случае детерминированного свидетельства, решением указанной задачи в рамках фрагмента знаний со скалярными оценками будет следующая сумма:
р^ = У 7-'-^-РЧ"Ш.
4 ¿—1 / <СМ(1,т),СМ(2п -1-1,т)) „ \ 4
¿=0 ,РЧ1
В случае интервальных оценок во фрагменте знаний мы аналогичным образом представляем стохастическое свидетельство в качестве серии детерминированных, однако в данном случае решениями первой и второй задач апостериорного вывода будут интервальные накрывающие оценки вероятностей. Они получатся как линейная комбинация интервальных оценок, появляющихся при разложении стохастического свидетельства на детерминированные свидетельства и их последующее пропагирование. Проделав вышеуказанные операции, мы получим следующие уравнения для решения задач апостериорного вывода. Решением первой задачи будет интервал, ограниченный данными значениями:
штви£ ^¿Г1 (5<С1п'адт),С1п'1(2П'-1-^)>,Р(1) Р-И и
Для решения второй задачи потребуется решить задачу линейного программирования, покомпонентно найдя минимум и максимум данного выражения для каждого из детерминированных свидетельств, а затем просуммировать по всем индексам.
р(и) =5<СМ(1,т),СМ(2п-1-1,т)) о р
при условии К' = ©'и е ^ = 1}. Причем Т> ' = {ХРЧ" <0}и{ХРч+ >0}, а
£' = {О>0} и {X >0} и {(0,1) = X}.
Таким образом, конечное решение второй задачи апостериорного вывода в случае стохастического свидетельства будет выглядеть следующим образом:
р<и>,тт = (з<С1пй(г'т)'С1пй(2П'-1-г'т)> о о)р£И,
р^Дтах = ^^ шах^' ^С1"^^1^2"'-1"^ ° 0) .
Наконец, рассмотрим третий вид свидетельства - интервальное (неточное).
Неточное свидетельство представляет собой фрагмент знаний над квантами с интервальными оценками <С, Рд'~,Рд'+). Содержательно пропагация интервального свидетельства во фрагменты знаний со скалярными и интервальными оценками сводится к решению задачи линейного программирования для поиска интервальных оценок. Обработка интервального свидетельства в случае фрагмента знаний над идеалом конъюнктов описана в [2, 16], при этом обработка пропагации интервальных свидетельств во фрагмент знаний над квантами будет аналогична. К сожалению, при решении первой задачи апостериорного вывода в случае неточных свидетельств и фрагмента знаний с интервальными оценками (как и в случае стохастического свидетельства) мы сталкиваемся с выходом за пределы задач линейного программирования; решение же последних приводит лишь к накрывающим оценкам [2, 16].
Пример
В предыдущих разделах нами был подробно рассмотрен локальный апостериорный вывод для фрагмента знаний над пропозициями-квантами с интервальными оценками вероятностей и даны форму-
лы для решения обеих задач апостериорного вывода для различных видов поступающих свидетельств. Ниже будут предложены примеры использования описанного ранее вектора-селектора и проведено сравнение объемов вычислений с и без его использования.
Для большей наглядности рассмотрим пропагацию детерминированного свидетельства, построенного над двумя атомами А = {р0,р2}, во фрагмент знаний (С, Рч> со скалярными оценками вероятности истинности пропозиций-квантов, построенный над тремя атомами А = {^0,р1,р2}. Пусть вероятности оценок истинности множества пропозиций-квантов являются непротиворечивыми и равны следующим значениям: /0,3х 0,12 0,07
0*15 , а поступившее свидетельство записывается как (у2у0> = (100,001> = (4,1>. Вычислим век-
0,01 0,1 ч0,15/
0 0
РЧ =
тор-селектор s
<4;i>
= S
I =
матрицу Н<4Д> =Н" ®Н°
Н+ =
0 0 1 0
о о о о о о о 0
и соответствующую данному свидетельству диагональную
Тогда р<4,1> = (1, H<4,1>Pq) = (s<4,1>,Pq) = 0,25, а решением второй задачи апостериорного вывода
0
будет вектор Р(
<4Д>
0 0 0 0 0,15 0 0,1 0
Очевидно, что конечные результаты при использовании вектора-селектора
Г«/
и без его использования эквивалентны, однако при использовании вектора-селектора не приходится прибегать к особым приемам работы с сильно разреженными матрицами: вектор содержит все необходимые сведения. Говоря об объеме требуемой памяти и вычислений, можно привести пример из родственных АБС байесовских сетей доверия: пусть имеется сеть локаторов с 1 миллионом узлов, тогда свидетельства, поступающие с локаторов, могут достигать размера в 100 000 элементов. Таким образом, используя вектор-селектор вместо матрицы 100 000*100 000, нам требуется вычислить лишь вектор 1*100 000.
Заключение
В настоящей работе был рассмотрен локальный апостериорный логико-вероятностный вывод во фрагментах знаний, построенных над квантами. Алгоритмизация этого вида логико-вероятностного вывода осуществляется с помощью матрично-векторных уравнений, которые существенно опираются на использование тензорного произведения матриц, степени Кронекера, а также произведение Адамара. Наличие такого описания существенно упрощает программную реализацию алгоритмов вывода и подбор структур данных. Более того, эффективность сведения решения задач к матрично-векторным операциям наиболее ярко проявляется при разработке кода в системах R и MATLAB, ориентированных именно на оптимизацию представления и обработки данных в матричной форме. Наконец, матрично-векторное представление дает нам новые подходы к решению задач, связанных с пропагацией свидетельства, а особенность записи всех результатов в матрично-векторной форме упрощает реализацию алгоритмов за счет возможности использования при программировании на Java, C++ или С# уже существующих сторонних библиотек, эффективно поддерживающих представление и обработку матриц и векторов. Следует отме-
тить, что в настоящей работе оставлены без рассмотрения свойства полученных результатов (например, входят или не входят границы в интервальную оценку апостериорных вероятностей; нет ли лакун в самом интервале-оценке; как должно интерпретироваться и обрабатываться невероятное свидетельство и т.д.). Мы полагаем, что в силу того, что, в конце концов, операции ведутся над выпуклыми множествами, эти свойства будут совпадать с соответствующими им свойствами алгоритмов и результатов локального апостериорного вывода в случае традиционного фрагмента знаний над конъюнктами [2, 3, 22], а строгое полномасштабное обоснование своей точки зрения не приводим, стремясь ограничить объем изложения и сохранить концентрацию на заданной цели, при этом оставляя само обоснование для изложения в последующих работах.
Литература
1. Arsene O., Dumitrache L., Mihu I. Expert system for medicine diagnosis using software agents // Expert Systems with Applications. 2015. V. 42. N 4. P. 1825-1834. doi: 10.1016/j.eswa.2014.10.026
2. Тулупьев А.Л., Сироткин А.В., Николенко С.И. Байесовские сети доверия: логико-вероятностный вывод в ациклических направленных графах. СПб.: СПбГУ, 2009. 400 с.
3. Тулупьев А.Л., Николенко С.И., Сироткин А.В. Байесовские сети: логико-вероятностный подход. СПб.: Наука, 2006. 607 с.
4. Shang J.D., Wang Z.L., Huang Q. A robust algorithm for joint sparse recovery in presence of impulsive noise // IEEE Signal Processing Letters. 2015. V. 22. N 8. P. 1166-1170. doi: 10.1109/LSP.2014.2387435
5. Peng P., Tian Y., Wang Y., Li J., Huang T. Robust multiple cameras pedestrian detection with multi-view Bayesian network // Pattern Recognition. 2015. N 48. N 5. P. 1760-1772. doi: 10.1016/j.patcog.2014.12.004
6. Dabrowski J.J., Villiers J.P. Maritime piracy situation modelling with dynamic Bayesian networks // Information Fusion. 2015. V. 23. P. 116-130. doi: 10.1016/j.inffus.2014.07.001
7. Leu S.S., Chang C.M. Bayesian-network-based fall risk evaluation of steel construction projects by fault tree transformation // Journal of Civil Engineering and Management. 2015. V. 21. P. 334-342.
8. Mahboob Q., Schone E., Maschek U., Trinckauf J. Investment into human risks in railways and decision optimization // Human and Ecological Risk Assessment. 2015. V. 21. N 5. P. 1299-1313. doi: 10.1080/10807039.2014.958375
9. Shin J., Son H., Khalil Ur R., Heo G. Development of a cyber security risk model using Bayesian networks // Reliability Engineering System Safety. 2015. V. 134. P. 208-217. doi: 10.1016/j.ress.2014.10.006
10. Arangio S., Bontempi F. Structural health monitoring of a cable-stayed bridge with Bayesian neural networks // Structure and Infrastructure Engineering. 2015. V. 11. N 4. P. 575-587. doi: 10.1080/15732479.2014.951867
11. Dawson P., Gailis R., Meehan A. Detecting disease outbreaks using a combined Bayesian network and particle filter approach // Journal of Theoretical Biology. 2015. V. 370. P. 171-183. doi: 10.1016/j.jtbi.2015.01.023
12. Chang Y.-S., Fan C.-T., Lo W.-T., Hung W.-C., Yuan S.-M. Mobile cloud-based depression diagnosis using an ontology and a Bayesian network // Future Generation Computer Systems. 2015. V. 43-44. P. 87-98. doi: 10.1016/j.future.2014.05.004
13. Rafiq M.I., Chryssanthopoulos M.K., Sathananthan S. Bridge condition modelling and prediction using dynamic Bayesian belief networks // Structure and Infrastructure Engineering. 2015. V. 11. N 1. P. 38-50. doi: 10.1080/15732479.2013.879319
14. Hamilton S.H., Pollino C.A., Jakeman A.J. Habitat suitability modelling of rare species using Bayesian networks: model evaluation under limited data // Ecological Modelling. 2015. V. 299. P. 64-78. doi: 10.1016/j.ecolmodel.2014.12.004
15. Liu K.F.-R., Kuo J.-Y., Yeh K., Chen C.-W., Liang H.-H., Sun Y.-H. Using fuzzy logic to generate conditional probabilities in Bayesian belief networks: a case study of ecological assessment // International Journal of Environmental Science and Technology. 2015. V. 12. N 3. P. 871-884. doi: 10.1007/s13762-013-0459-x
16. Сироткин А.В. Алгебраические байесовские сети: вычислительная сложность алгоритмов логико-вероятностного вывода в условиях неопределенности: дис. ... канд. физ.-мат. наук. СПб.: СПбГУ, 2011. 218 с.
17. Тулупьев А. Л. Алгебраические байесовские сети: логико-вероятностная графическая модель баз фрагментов знаний с неопределенностью: дис. ... д-р. физ.-мат. наук. СПб.: СПбГУ, 2009. 670 с.
18. Тулупьев А.Л., Сироткин А.В. Матричные уравнения локального логико-вероятностного вывода оценок истинности элементов в алгебраических байесовских сетях // Вестник Санкт-Петербургского университета. Серия 1: Математика. Механика. Астрономия. 2012. № 3. С. 63-72.
19. Тулупьев А.Л. Байесовские сети: логико-вероятностный вывод в циклах. СПб.: СПбГУ, 2008. 140 с.
20. Тулупьев А.Л. Апостериорные оценки вероятностей в алгебраических байесовских сетях // Вестник Санкт-Петербургского университета. Серия 10: Прикладная математика. Информатика. Процессы управления. 2012. № 2. С. 51-59.
21. Золотин А.А., Тулупьев А.Л., Сироткин А.В. Матрично-векторные алгоритмы нормировки для локального апостериорного вывода в алгебраических байесовских сетях // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 1. С. 78-85.
22. Тулупьев А.Л. Алгебраические байесовские сети: локальный логико-вероятностный вывод: Учеб.пособие. СПб.: СПбГУ-Анатолия, 2007. 80 с.
23. Беллман Р. Введение в теорию матриц. М.: Наука, 1969. 375 с.
Золотин Андрей Александрович — студент, Санкт-Петербургский государственный университет,
Санкт-Петербург, 198504, Российская Федерация,
доктор физико-математических наук, доцент, заведующий лабораторией, СПИИРАН, Санкт-Петербург, 199178, Российская Федерация; профессор, Санкт-Петербургский государственный университет, Санкт-Петербург, 198504, Российская Федерация, [email protected]
кандидат физико-математических наук, старший научный сотрудник, СПИИРАН, Санкт-Петербург, 199178, Российская Федерация, alexander. [email protected]
Тулупьев Александр Львович
Сироткин Александр Владимирович
Andrey A Zolotin Alexander L. Tulupyev
Alexander V. Sirotkin
student, Saint Petersburg State University, Saint Petersburg, 198504, Russian Federation, [email protected]
D.Sc., Associate professor, Laboratory head, SPIIRAS, Saint Petersburg, 199178, Russian Federation; Professor, Saint Petersburg State University, Saint Petersburg, 198504, Russian Federation, [email protected]
PhD, senior scientific researcher, SPIIRAS, Saint Petersburg, 199178, Russian Federation, [email protected]
