CC BY
117
Компьютерные инструменты в образовании, 2017 № 3: 5-19 УДК: 004.8
http://ipo.spb.ru/journal
РАЗВИТИЕ ЛОГИКО-ВЕРОЯТНОСТНОГО ВЫВОДА В АЛГЕБРАИЧЕСКИХ БАЙЕСОВСКИХ СЕТЯХ
1 Санкт-Петербургский государственный универсистет, Санкт-Петербург, Россия 2Санкт-Петербургский институт информатики и автоматизации РАН, Санкт-Петербург, Россия
В работе представлена краткая история становления вероятностных графических моделей, рассмотрены посылы к их возникновению. Особое внимание уделено байесовским сетям доверия и родственным им алгебраическим байесовсим сетям, являющимся представлением баз знаний с неопределенностью. Приведены ключевые достижения в развитии логико-вероятностного аппарата алгебраических байесовских сетей и аппарата байесовских сетей доверия, дополненные примерами использования байесовских сетей доверия в программных продуктах. Обзор развития аппарата логико-вероятностного вывода продолжен формулировкой и доказательством решения первой задачи апостериорного вывода на матрично-векторном языке. Кроме того, перечислены задачи, стоящие в настоящий момент перед исследователями в области алгебраических байесовских сетей. Данная работа может быть полезна преподавателям дисциплин из области искусственного интеллекта, студентам, специализирующимся в области информатики и информационных технологий, рассматривающим перспективные темы для курсовых, выпускных квалификационных, научно-исследовательских работ и сотрудникам ИТ-команий, исследующим возможности применения математических моделей в бизнес процессах.
Ключевые слова: вероятностные графические модели, алгебраические байесовские сети, байесовские сети доверия, логико-вероятностный вывод, экспертные системыI.
Цитирование: Золотин А.А. Развитие логико-вероятностного подхода в алгебраических байесовских сетях // Компьютерные инструменты в образовании. 2017. № 3.
Благодарности: Статья содержит материалы исследований, частично поддержанных грантом РФФИ 15-01-09001 — «Комбинированный логико-вероятностный графический подход к представлению и обработке систем знаний с неопределенностью: алгебраические байесовские сети и родственные модели».
За последнее столетие развитие средств коммуникации, интернета и техники вкупе с глобализацией делают доступными существенные объемы данных, которые продолжают расти и требуют больших затрат на обработку. Среди прочих данных стоит отметить данные с неопределенностью, выражаемой как недостатком или потерей данных, так
Золотин А.А.1,2
Аннотация
С. 5-19.
1. ВВЕДЕНИЕ
и неточностью в данных, выраженной, например, человеческим фактором. Как пример таких данных можно привести интервальную оценку, данную экспертом в каком-либо вопросе. Вероятностные графические модели (ВГМ) призваны сделать обработку таких данных за приемлемое время возможной. Все классы ВГМ фактически являются представлением баз фрагментов знаний (ФЗ) с неопределенностью, причем предполагается, что предметная область допускает декомпозицию на небольшие ФЗ — совокупности локально тесно связанных объектов (например, утверждений или переменных), а ФЗ на глобальном уровне имеют разреженные связи между собой [1]. Такое разделение на локальный и глобальный уровень влечет потребность в обеспечении двух видов вывода: локального и глобального. Преимущество ВГМ состоит в том, что алгоритмы, реализующие локальные выводы, могут быть вычислительно сложными, что, однако, компенсируется малыми объемами данных, к которым такие алгоритмы применяются. Однако вероятностная логика в целом дает более богатый и гибкий аппарат для представления связи между утверждениями, например, скалярные и интервальные оценки вероятностей истинности пропозициональных формул [2-4].
В работе дано краткое описание того, как формировался вероятностный подход к манипулированию оценками истинности утверждений, а также к рассмотрению систем таких утверждений. Целью данной работы является, с одной стороны, изложение истории появления и развития байесовских сетей доверия и родственных им ВГМ, обзор области их применения и рассмотрение примеров использования в современной информатике, с другой стороны, — рассмотрение последних результатов в области матрично-векторных уравнений логико-вероятностного вывода в алгебраических байесовских сетях. Кроме того, в тексте проводится сравнение и краткий анализ двух подходов к решению первой задачи апостериорного вывода. Решение данной задачи приводится в работе с целью иллюстрации удобства применения матрично-векторного подхода к задачам логико-вероятностного вывода (ЛВВ), требующим упрощения математической составляющей для дальнейшей программной реализации.
Материал, представленный в работе, может быть использован как преподавателями при подготовке к дисциплинам из области искусственного интеллекта и смежных областей, так и студентами, рассматривающими возможные области для выполнения курсовых, квалификационных и научно-исследовательских работ. Кроме того, математические модели и методы, а также их применение, описанное в данной работе, может быть использовано сотрудниками ИТ-компаний, изучающими возможности улучшения и автоматизации бизнес-процессов.
2. БАЙЕСОВСКАЯ ВЕРОЯТНОСТЬ В ВЕРОЯТНОСТНЫХ ГРАФИЧЕСКИХ МОДЕЛЯХ
Образ мышления и запоминания, свойственный многим живым существам, в частности, человеку, базируется во многом на причинно-следственной связи, и зачастую рассуждения человека базируются на связи, которую схематично можно записать так: объект X влияет на объект Y с помощью объекта Ъ. Причинно-следственная связь в теории вероятностей моделируется с помощью условной вероятности, определяющей степень доверия в истинности некоторого аргумента при поступлении новой (обуславливающей) информации, и базируется на некоторой информации, полученной ранее.
Развитие информационных технологий и ЭВМ в последние годы позволяет переложить все большую часть работы на автоматическую систему, выполняющую рутинную работу, что в большинстве случаев ускоряет процесс производства и снижает стоимость продукта. Однако до сих пор требуется вмешательство человека в процесс в тот момент,
когда нужно принять решение, проанализировав небольшой объем данных. Данное обстоятельство делает очевидным необходимость развития математических моделей, моделирующих вероятностные и причинно-следственные рассуждения.
2.1. Байесовская вероятность
Впервые формула для вычисления условной вероятности была предложена Томасом Байесом, а позже Пьер-Симон Лаплас доказал общий случай ее использования. Кроме того развитию теории вероятностей способствовал трактат по математической логике Джорджа Буля [5]. Формула условной вероятности быстро нашла применение, а в XIX веке были предприняты попытки применить формулу к некоторым природным явлениям (например, Лаплас пытался, пользуясь теоремой Байеса, вычислить вероятность восхода Солнца [6], а Пуассон, опережая свою эпоху, применял теорию вероятностей для определения правдивости показания свидетелей), но ни одна из них не увенчалась успехом. Интересно, что термин «байесовский» начал набирать популярность в 50-х годах XX века и большая часть математических объектов и методов, называемых сегодня «байесовскими», не имеет прямого отношения к Томасу Байесу.
2.2. Байесовские сети доверия
Желание сконструировать интуитивно понятную модель, на которую можно было бы спроецировать образ мышления человека, приводит нас к необходимости визуализации зависимостей между случайными элементами, характеризующими некоторые утверждения, с помощью направленного пути в графе, где вершинами являются элементы, а ребра представляют прямые зависимости между ними. Отметим, что если два элемента X и Y зависят не напрямую, а через еще один элемент Ъ, то очевидно, что в нашей модели они также будут связаны не напрямую, а через элемент Ъ. Добавляя узел Ъ, мы избавляемся от условной зависимости между X и Y, что дает возможность создавать ситуацию условной независимости X и Y при некоторых условиях. К таким моделям относится и байесовская сеть доверия (рис. 1). Как было сказано ранее, название «байесовские» связано напрямую не с байесовскими методами, а, скорее, с байесовским правилом вероятностного вывода.
С другой стороны, развитие вычислительной техники требует удобного представления знаний для компьютерной обработки. Здесь возникает проблема вычислительной сложности алгоритмов, требующих больших затрат времени и памяти, решаемая вероятностными графическими моделями.
Х4) Р(х4|х2)
Рис. 1. Байесовская сеть доверия
Первые шаги в развитии байесовских сетей доверия сделал американский ученый израильского происхождения, лауреат Премии Тьюринга 2011 года «за фундаментальный вклад в искусственный интеллект посредством разработки исчисления для проведения вероятностных и причинно-следственных рассуждений», Джуда Перл. Перл начал свой исследовательский путь в области физики и электротехники, но интерес к логическим методам в 1969 году побудил его перейти в Калифорнийский университет в Лос-Анджелесе на только что созданный факультет информатики, где через девять лет он получил должность профессора и еще через два года основал лабораторию когнитивных систем, впоследствии проводившую исследования в области искусственного интеллекта, вероятностных рассуждений и причинно-следственных рассуждений. На базе лаборатории в 1984 году была опубликована книга «Эвристики: интеллектуальные поисковые стратегии для автоматизированного решения проблем» ("Heuristics: intelligent search strategies for computer problem solving"), в которой были собраны результаты исследований в области алгоритмов поиска, поднявшие исследования в этом направлении на новый виток.
Настоящим прорывом для искусственного интеллекта стала публикация в 1988 году фундаментального труда «Вероятностные рассуждения в интеллектуальных системах» ("Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference"), собравшего в себе многолетние исследования и основанного более чем на 50 публикациях. В этом труде Перлом был предложен [7] новый подход к построению вероятностных моделей, основанный на использовании ациклических направленных графов, ставших впоследствии называться ВГМ. В дополнение к этому Перлом был предложен новый алгоритм «распростанения свидетельства» (belief propagation), используемый для вычисления апостериорных вероятностей при условии поступления новых обуславливающих данных (свидетельств, от англ. evidence). Данный алгоритм впоследствии лег в основу каскадного кода, способного исправлять ошибки в сообщениях, возникающие при передаче цифровой информации. Кроме того, к важным исследованиям Перла стоит отнести применение метода Монте-Карло в марковских цепях, также являющихся одним из классов ВГМ, свойства условной независимости и алгоритмы обучения.
Через 12 лет после публикации труда по байесовским сетям доверия выходит в свет работа «Причинность: модели, рассуждения и вывод», удостоенная премии Лакатоса как новаторское произведение в области философии наук. В работе предложен строгий математический аппарат для определения казуальных связей в данных, а также для проведения казуальных рассуждений. Джуда Перл является яркой фигурой в математическом сообществе. Он награжден медалями Аллена Ньюэлла и Бенджамина Франклина, лауреат премий Тьюринга, Харви и Румельхарта (2011).
Другим исследователем, внесшим большой вклад в развитие байесовских сетей доверия, является Финн Вернес Йенсен. В его книге [8] рассматриваются байесовские сети доверия, алгоритмы обновления вероятностей и обучения в них и графы принятия решений, также являющиеся языком моделирования знаний для принятия решений в условиях неопределенности. Кроме того, Йенсен описывает новое разработанное программное обеспечение для построения и проведения вывода в байесовских сетях доверия.
2.3. Алгебраические байесовские сети
Алгебраические байесовские сети (АБС) являются одной из самых молодых вероятностных графических моделей. АБС относятся к особому подклассу вероятностных гра-
фических моделей [9]. Знания, лежащие в основе таких моделей, формируются экспертами в предметной области и создают базу для построения дальнейших суждений и получения недостающих знаний. На основании базы знаний строится система утверждений, где моделью утверждения является пропозициональная формула.
Рассуждая о некотором объекте или области, мы базируем свои суждения на знаниях, полученных ранее, и, исходя из этой информации, можем делать некоторые выводы и принимать решения. Неопределенность знаний в модели является следствием того, что каждому утверждению, а также ассоциированной с ним пропозициональной формуле, приписана некоторая оценка вероятности. Разработанные профессором В.И. Городецким АБС являются еще одним возможным представлением баз знаний с неопределенностью [10]. Введенные В.И. Городецким в 1993 году АБС стали итогом многолетних исследований в области экспертных систем и искусственного интеллекта. АБС направлены на устранение дефицита двух видов: дефицит моделей для представления знаний с неопределенностью и дефицит самих знаний [11-13]. Рассуждения, касающиеся дефицита первого вида, сводятся к тому, что от системы требуется возможность работать в условиях нехватки данных, в которых может работать и строить суждения человек, дополненные фактом того, что не всегда есть возможность получить полные данные за разумное время. Дефицит второго вида, как правило, связан с человеческим фактором и способом получения данных. Зачастую выборка данных, созданная на основании мнений экспертов, может быть неполной как по причине недостатка экспертных знаний, так и вследствие нежелания делиться информацией. Кроме прочего неопределенность в знаниях может быть усугублена в процессе сбора и обработки данных.
2.3.1. Логико-вероятностный вывод
Другой проблемой, связанной с работой с большими объемами данных, является физическая невозможность полностью описать «область», в которой мы работаем. Для небольшого количества переменных размер описания не будет носить критический характер, однако уже для 50 бинарных переменных потребуется 250 оценок вероятностей. В работе над данной проблемой профессором А.Л. Тулупьевым на протяжении нескольких лет была развита и формализована идея декомпозиции данных на ФЗ ограниченного размера (пример ФЗ приведен на рис. 2), а также описана верятностная семантика этих объектов [1, 3]. Под ФЗ в теории АБС подразумевается множество утверждений, достаточно тесно связанных между собой, при этом сами фрагменты могут быть довольно слабо связаны. Высказывая мнение, эксперты в предметной области обычно задают зависимости между парами-тройками атомарных утверждений, именно
х1 Хз
Рис. 2. Фрагмент знаний, построенный над [х\, х2, х3}
поэтому для уменьшения количества вычисляемых вероятностей используется разбиение на ФЗ.
Однако, работа с моделью не ограничивается ее созданием, а требует дальнейшего поддержания согласованности (непротиворечивости) оценок. Для этого в теории АБС был разработан аппарат ЛВВ, включающий как проверку и поддержание непротиворечивости, так и априорный и апостериорный вывод. В работах сотрудников лаборатории теоретических и междисциплинарных проблем информатики СПИИРАН (ТиМ-ПИ СПИИРАН) были формализованы понятия непротиворечивости для ФЗ с бинарными, скалярными и интервальными оценками вероятностей [14,15], разработаны методы проверки и поддержания непротиворечивости как на локальном, так и на глобальном уровне [16, 17]. Кроме того были формализованы локальный априорный ЛВВ для формулы в СДНФ [18], локальный апостериорный вывод для детерминированного, стохастического и интервального свидетельств [3, 19, 20], а также глобальный апостериорный вывод в случае ациклической АБС [21]. Родственность АБС байесовским сетям доверия подтверждает и тот факт, что были проведены успешные исследования, направленные на преобразования БСД-цикла в АБС [22]. Все вышеупомянутые теоретические изыскания подкреплены зарегистрированным программным комплексом, реализующим хранение, представление и процедуры логико-вероятностного вывода в АБС [23, 24].
Приблизительно в это же время исследованием АБС занимался сотрудник лаборатории ТиМПИ СПИИРАН А. В. Сироткин. В своих работах он предложил матрично-векторное представление линейного оператора ненормированного локального апостериорного вывода и дал оценки сложности алгоритмов локального ЛВВ и алгоритмов поддержания непротиворечивости, что позволило численно охарактеризовать эффективность АБС [25]. Также были представлены результаты, касающиеся глобальной и локальной непротиворечивости систем. Все полученные результаты были реализованы в программном комплексе на C++ [26] с использованием матрично-векторных операций, что позволило увеличить производительность ЛВВ.
В работах, описанных выше, начиная с 2004 года развивался математический аппарат ЛВВ. Одной из важных задач ЛВВ является пропагация детерминированного свидетельства (С{, в]) в рассматриваемый ФЗ (С, Рс), где С — идеал конъюнктов, а Рс — вектор оценок вероятностей его элементов, и дальнейшая переоценка вероятностей элементов идеала конъюнктов. В записи (вг, в]) конъюнкция включает все атомы, вошедшие в свидетельство с положительным означиванием, а в] все, вошедшие с отрицательным означиванием. В частности, первая задача апостериорного вывода состоит в том, чтобы определить вероятность появления свидетельства над ФЗ. Эта задача является удобной почвой для иллюстрации одного из случаев того, как локальный логико-вероятностный вывод в АБС удается формализовать с помощью матрично-векторных вычислений. Ниже мы приведем саму формализацию и для облегчения понимания снабдим ее примером и пояснениями. Ранее было получено матрично-векторное описание пропагации детерминированного свидетельства, содержащее операцию взятия элемента вектора по его индексу [25].
рС, С]) = (т(г'']>Рс)[0],
причем Г = (0 ¡).Т- = (0 > = (0 1
Отметим также, что элементы вектора оценок вероятностей элементов идеала конъюнктов Рс упорядочены в соответствии с нумерацией, введенной на множествах конъюнктов и квантов [21], а запись [0] обозначает первый элемент результирующего вектора. Однако особую роль в решении задач ЛВВ занимает форма записи уравнений и алгоритмическая сложность предлагаемого решения. В данном случае можно заметить, что из всей матрицы Т(г'1> используется лишь первая строчка, что делает ее полное построение избыточным. Решение, предложенное ниже, является улучшением первого варианта за счет рафинирования матрично-векторной записи, а также перехода от построения матрицы к построению вектора г(г'1>, эквивалентного первой строке матрицы Т(г'1>. В контексте данной статьи опустим математические выкладки, включающие доказательство, полученное ранее [27], а лишь приведем окончательный результат.
РС, С]> = (г<г'' 1 >, Рс) ,
где г('"'1 >=®к=п-1 г^''1 >, г^'1 > =
г+, если х к входит в С1; г-, если Хк входит в су; г°, иначе;
- - = йН г° = (0)
Для более глубокого понимания изложенного выше теоретического материала рассмотрим пример, иллюстрирующий объем необходимых вычислений.
Пусть в ФЗ (С, Рс>, сформированный над алфавитом А = [хь х0} поступило детерминированное свидетельство х0. Тогда матрица
Т(г, ]> = т(х0,е> - т+ ® Т° =
<8>
а вектор г(г'1 > = г(х0,е> = г+
(3 • (3 = (0 1 0 0)т
1' [0)
Легко заметить, что транспонированный вектор г(г'^ соответствует первой строке матрицы Т(г'1 >, выделенной полужирным шрифтом. Данный пример дает представление об экономии ресурсов и времени за счет построения и использования вектора вместо матрицы, так как если в случае небольшого фрагмента знаний разница в количестве необходимых операций невелика, то при увеличении мощности алфавита, разница в количестве операций будет возрастать экспоненциально.
2.3.2. Глобальные структуры
Неотъемлемую часть АБС составляют глобальные структуры, а также алгоритмы их синтеза и обучения. Эта проблематика рассмотрена в работе А.А. Фильченкова [28]. Одной из рассматриваемых им задач является синтез вторичной структуры АБС на базе первичной структуры [29], необходимой для реализации алгоритмов глобального апостериорного вывода [30] и поддержания глобальной непротиворечивости, а также визуализации структуры АБС. А.А. Фильченковым был также разработан программный комплекс, направленный на построение глобальной структуры АБС и ее визуализацию [31].
Последние годы на базе лаборатории СПИИРАН продолжаются исследования алгебраических байесовских сетей и возможности их применения в современной
информатике. За 2014-2016 годы были получены улучшенные матрично-векторные уравнения локального апостериорного и априорного вывода для всех трех типов ФЗ и свидетельств [32-34]. Особенности структуры векторов, которые участвуют в вычислениях, позволяют не строить их в процессе вычислений целиком, а генерировать их компоненты по мере их потребности в вычислениях. Наличие такого описания существенно упрощает программную реализацию алгоритмов вывода и подбор структур данных [35]. Более того, эффективность сведения решения задач к матрично-векторным операциям наиболее ярко проявляется при разработке кода в системах R и Matlab, ориентированных именно на оптимизацию представления и обработки данных в матричной форме. Наконец, матрично-векторное представление дает нам новые подходы к решению задач, связанных с пропагацией свидетельства, а особенность записи всех результатов в матрично-векторной форме упрощает реализацию алгоритмов за счет возможности использования при программировании на С# уже существующих сторонних библиотек, эффективно поддерживающих представление и обработку матриц и векторов.
Кроме того, был выполнен сравнительный анализ производительности реализаций прямого и жадного алгоритмов синтеза вторичной [36] структуры АБС — (минимального графа смежности), получены и опубликованы соответствующие статистические оценки относительной вычислительной сложности [39]. Были разработаны алгоритмы для генерации случайной выборки наборов нагрузок, на элементах которой была измерена производительность программных реализаций сравниваемых алгоритмов. Полученные результаты использованы в разработке и модернизации прототипа комплекса программ на C# для проведения вычислительных экспериментов. В рамках исследований родственных моделей были предложены подходы к диагностике и оценке согласованности данных в модели поведения, основанной на байесовских сетях доверия, разработаны способы оценки рода показателей защищенности пользователей и групп пользователей информационных систем от социоинженерных атак.
Среди задач, стоящих перед исследователями на данный момент, можно выделить задачу описания аппарата глобального ЛВВ на матрично-векторном языке, а именно пропагацию стохастического свидетельства, представляемого в виде линейной комбинации детерминированных свидетельств (рис. 3 схематически изображает алгоритм пропагации стохастического свидетельства). Такое описание упростит анализ чувствительности и устойчивости построенных моделей. Кроме того, интерес вызывае и исследование уравнений ЛВВ в альтернативных моделях фрагментов знаний над пропозициями-квантами и идеалом дизъюнктов, использование которых порой может быть удобнее из-за строения данных в предметной области. Говоря о глобальных структурах, нельзя не упомянуть актуальную задачу улучшения алгоритмов синтеза вторичной и третичной структур, а также множества минимальных графов смежности, находящих применение в таких областях как базы данных и коммуникационные сети. Кроме того, перспективной является задача слияния результатов ЛВВ и глобальных структур для реализации алгоритмов ЛВВ над третичной структурой.
Таким образом, аппарат вероятностных графических моделей, разработанный во многом уже к концу XX века, стал одним из наиболее впечатляющих прорывов с использованием байесовского формализма для описания задач обработки, представления данных и машинного обучения. Вероятностные графические модели позволили кардинально пересмотреть области машинного обучения и анализа данных за счет отказа от требования независимости скрытых переменных у различных объектов. Семейство
Ра </,/> с
Рис. 3. Пропагация стохастического свидетельства
вероятностных графических моделей не ограничивается примерами, рассмотренными в данной работе, а заинтересованность ученых всего мира в развитии и исследовании ВГМ подтверждает как на уровне лабораторий и университетов, так и в промышленной отрасли тот факт, что данная область обладает широкими перспективами развития. Успех в приложениях одних видов вероятностных графических моделей, стремление распространить накопленные достижения на решение новых задач, анализ возникающих затруднений, потребность в моделировании различных видов неопределенности данных и знаний приводят к появлению новых теоретических и алгоритмических задач, а также к рассмотрению новых (либо известных, но недостаточно исследованных) моделей указанного класса.
3. ПРИМЕНЕНИЕ ВЕРОЯТНОСТНЫХ ГРАФИЧЕСКИХ МОДЕЛЕЙ
С появлением больших объемов данных в общей доступности и достижением скорости Интернет величины, позволяющей передавать достаточные объемы информации, встал вопрос перенасыщения информационного пространства. В данной задаче нашли свое применение ВГМ, используемые в экспертных системах, осуществляющих поддержку в принятии решения.
3.1. Байесовские сети доверия в задачах классификации
Попробовав проследить за циклом действий эксперта в предметной области, мы получим следующий алгоритм действий: получение данных о состоянии системы, принятие некоторых решений на основании полученных ранее данных об ожидаемом результате, сопоставление ожидаемого результата с полученным и внесение коррективов в базу знаний. На данной модели действий были основаны первые экспертные системы, целью которых было моделирование рассуждений человека. В дальнейшем было добавлено применение теории вероятностей вместо рассуждений с учетом неопределенности в правилах, а также процедура «обучения» экспертной системы вместо полной ее реконструкции. На сегодняшний день байесовские сети доверия находят применние в распознавании образов [40, 41], интеллектуальных системах поддержки принятия решений и рекомендательных системах [42-44], системах моделирования рисков и обнаружения отказов [45-47], оценки повреждений и мониторинга состояния здоровья [48-50] и систе-
мах моделирования отклика экологических систем на различные изменения и воздействия [51, 52].
Одним из наглядных примеров использования байесовских сетей доверия является интернет-сервис Surfingbird. Данный сервис предлагает пользователю новые материалы для чтения на основании уже просмотренных и отмеченных им ранее материалов. Задачу в данном случае можно сформулировать так: найти материалы, имеющие тематику, родственную уже просмотренным/отмеченным материалам. Данную задачу можно решать с помощью алгоритмов, использующих TF-IDF (term frequency — частота слова, inverse document frequency — обратная частота документа), однако количество документов, их размер и постоянно динамически меняющиеся условия (пользователь просматривает и отмечает новые статьи) делают такой объем вычислений невозможным для большого числа пользователей. Подход с использованием максимизации функции условной вероятности кажется наиболее очевидным и удобным в данной задаче — все, что требуется, — это максимизировать функцию «похожести» текстов, что является в терминах байесовской вероятности максимизацией апостериорной гипотезы. Минусом данного подхода, делающим его использование также невозможным, является высокая сложность максимизируемых распределений и большое количество тесно связанных между собой переменных в них. Данную структуру зависимостей можно обратить в положительный момент, наложив на нее байесовскую сеть и используя принципы независимости в байесовских сетях доверия, что позволит избавиться от вычисления большого количества условных вероятностей и ускорит вычисления. Паттернов «последовательной», «сходящейся» и «расходящейся» связей оказывается достаточно, чтобы рассмотреть направленный ациклический граф и провести в нем апостериорный вывод.
3.2. Программная реализация алгебраических байесовских сетей
На данный момент АБС развиваются как теоретическая модель и пока что не были опробованы в разработке промышленных продуктов, однако положительным моментом теории АБС является наглядность, что дает возможность использовать их для ознакомления с искусственным интеллектом, машинным обучением и ВГМ в частности. Под руководством А.Л. Тулупьева было разработано несколько программных комплексов на Java, C++ и C#, реализующих алгоритмы локального и глобального ЛВВ, алгоритмы построения и обработки глобальной структуры АБС, а также хранение ФЗ. Данные программные комплексы продолжают развиваться и совершенствоваться вслед за развитием теории АБС и могут в дальнейшем быть адаптированы для проведения экспериментов по вычислению устойчивости результата ЛВВ.
4. ЗАКЛЮЧЕНИЕ
Анализ публикаций в области вероятностных графических моделей показывает, что популярность и востребованность указанных моделей в сфере информатики и информационных технологий на сегодняшний день продолжает расти и еще не достигла своего пика. Теория байесовских сетей продолжает развиваться и сегодня, что, несомненно, дает вклад в развитие области искусственного интеллекта в целом. В работе проведен обзор не только устоявшихся ВГМ, таких как БСД, но и модели АБС, являющихся сравнительно «молодыми», но уже активно развивающимися. Рассмотренные примеры ис-
пользования ВГМ показывают широту возможностей их применения, что таюке является аргументом в пользу дальнейшего развития ВГМ.
Список литературы
1. Тулупьев А.Л., Николенко С.И., Сироткин А.В. Байесовские сети: логико-вероятностный подход. СПб.: Наука, 2006.
2. Nilsson N.J. Probabilistic Logic // Artificial Intelligence. 1986. Vol. 47. Amsterdam: Elsevier Science Publishers B.V., 1986. P. 71-87.
3. Тулупьев А.Л., Сироткин А.В., Николенко С.И. Байесовские сети доверия: логико-вероятностный вывод в ациклических направленных графах. СПб.: Изд-во С.-Петерб. ун-та, 2009.
4. Тулупьев А.Л., Николенко С.И., Сироткин А.В. Байесовские сети: логико-вероятностный подход. СПб.: Наука, 2006.
5. Bool G. An Investigation of the Laws of Thought, on Which Are Founded the Mathematical Theories of Logic and Probabilities. Cambridge: Macmillan / London: Walton & Maberly, 1854. (Reprinted in 1951, Dover Publications, New York.)
6. Юшкевич А.П. История математики. Т. III. Математика XVIII столетия М.: Наука, 1972.
7. Pearl J. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. N.Y.: Morgan Kaufman Publ. 1991.
8. Jensen F.V. Bayesian Networks and Decision Graphs // Springer-Verlag. 2002.
9. Городецкий В.И. Алгебраические байесовские сети — новая парадигма экспертных систем // Юбилейный сборник трудов институтов Отделения информатики, вычислительной техники и автоматизации РАН. Т. 2. М.: РАН. 1993. С. 120-141.
10. Городецкий В.И., Тулупьев А.Л. Формирование непротиворечивых баз знаний с неопределенностью // Изв. РАН. Сер. Теория и системы управления. 1997. Т. 5. С. 33-42.
11. Тулупьев А.Л., Сироткин А.В. Алгебраические байесовские сети: принцип декомпозиции и логико-вероятностный вывод в условиях неопределенности // Информационно-измерительные и управляющие системы. 2008. Т. 6. № 10. С. 85-87.
12. Тулупьев А.Л. Вероятностные сети: логико-вероятностная парадигма в искусственном интеллекте // Нечеткие системы и мягкие вычисления (НСМВ-2008): Сборник научных трудов Второй Всероссийской научной конференции с международным участием (г. Ульяновск, 27-29 октября 2008 г.). В 2 т. Т. 1. Ульяновск: УлГТУ, 2008. С. 56-78.
13. Тулупьев А.Л. Вероятностная логика и вероятностные графические модели в базах фрагментов знаний с неопределенностью // Интегрированные модели, мягкие вычисления, вероятностные системы и комплексы программ в искусственном интеллекте. Научно-практическая конференция студентов, аспирантов, молодых ученых и специалистов (Коломна, 26-27 мая 2009 г.). Научные доклады. В 2-х т. Т. 1. М.: Физматлит, 2009. С. 26-46.
14. Тулупьев А.Л. Поддержание непротиворечивости фрагмента знаний с интервальной нечеткой мерой оценки неопределенности // Теоретические основы и прикладные задачи интеллектуальных информационных технологий: Сб. трудов СПИИРАН. СПб.: СПИИРАН, 1998. С. 82-92.
15. Тулупьев А.Л. Поддержание непротиворечивости фрагментов знаний с оценками доверия и правдоподобия // Информационные технологии и интеллектуальные методы: Сб. трудов СПИИРАН. 1999. Вып. 3. СПб.: СПИИРАН, 1999. С. 72-97.
16. Сироткин А.В., Тулупьев А.Л. Матрично-векторные операции с неточными вероятностями // Научная сессия МИФИ-2009. Аннотации докладов. В 3 т. Т. 3: Информационно-телекоммуникационные системы. Проблемы информационной безопасности в системе высшей школы. Экономика, инновации и управление. М.: МИФИ, 2009. С. 85.
17. Сироткин А.В., Тулупьев А.Л., Николенко С.И. Устойчивость и множественная устойчивость глобальной непротиворечивости алгебраических байесовских сетей // Труды СПИИРАН. 2005. Вып. 2. Т. 2. СПб.: Наука, 2005. C. 86-93.
18. Тулупьев А .Л., Никитин Д.А., Ромашова М.Н., Лакомое Д.П., Тишков А .5. Априорный и апостериорный вывод на элементе структурированной сети фрагментов знаний, геометрическое представление фрагментов знаний // VII Санкт-Петербургская международная конференция «Региональная информатика-2000 (РИ-2000)», Санкт-Петербург, 5-8 декабря 2000 г.: Труды конференции. СПб., 2001. C. 112-116.
19. Никитин Д.А., Тулупьев А.Л. Сведение задачи апостериорного вывода во фрагменте знаний к задаче линейного программирования (в случае детерминированного свидетельства) // VIII Санкт-Петербургская международная конференция «Региональная информатика-2002 (РИ-2002)», Санкт-Петербург, 26-28 ноября 2002 г.: Материалы. СПб., 2002. C. 46.
20. Никитин Д.А., Тулупьев А.Л. Сведение задачи апостериорного вывода во фрагменте знаний к задаче линейного программирования // VIII Санкт-Петербургская международная конференция «Региональная информатика-2002 (РИ-2002)», Санкт-Петербург, 26-28 ноября 2002 г.: Труды. СПб., 2003. C. 85-89.
21. Тулупьев А.Л. Алгебраические байесовские сети: глобальный логико-вероятностный вывод в деревьях смежности: Учеб. пособие. СПб.: СПбГУ, ООО Издательство «Анатолия», 2007.
22. Тулупьев А.Л. Преобразование ациклических байесовских сетей доверия в алгебраические байесовские сети // Известия высших учебных заведений: Приборостроение. 2009. № 3. С. 21-23.
23. Тулупьев А.Л. Система представления алгебраических байесовских сетей и их фрагментов Algebraic Bayesian Networks Modeler, Version 01 for Java (AlgBN Modeler j.v.01) (Свидетельство). Свид. о гос. рег. прогр. для ЭВМ. Рег. № 2009613802 (16.07.2009). Роспатент. Бюлл. «Прогр. для ЭВМ, БД, топол. инт. микросх.». 2009. № 4. С. 64-65.
24. Тулупьев А.Л., Столяров Д.М., Ментюков М.В. Представление локальной и глобальной структуры алгебраической байесовской сети в Java-приложениях // Труды СПИИРАН. 2007. № 5. С. 71-99.
25. Тулупьев А.Л., Сироткин А.В. Матричные уравнения локального логико-вероятностного вывода оценок истинности элементов в алгебраических байесовских сетях // Вестник Санкт-Петербургского университета. Серия 1. Математика. Механика. Астрономия. 2012. № 3. C. 63-72.
26. Сироткин А.В. Комплекс программ логико-вероятностного вывода в базах фрагментов знаний: реализация фрагмента знаний // Труды СПИИРАН, 2013. Т. 25. С. 204-220.
27. Тулупьев А.Л., Сироткин А.В., Золотин А.А. Матричные уравнения нормирующих множителей в локальном апостериорном выводе оценок истинности в алгебраических байесовских сетях // Вестник Санкт-Петербургского университета. Серия 1. Математика. Механика. Астрономия. 2015 Т. 2. № 3. С 379-386.
28. Фильченков А.А., Тулупьев А.Л. Связность и ацикличность первичной структуры алгебраической байесовской сети // Вестник Санкт-Петербургского университета. Серия 1. Математика. Механика. Астрономия. 2013. № 1.
29. Фильченков А.А., Тулупьев А.Л., Сироткин А.В. Минимальные графы смежности алгебраической байесовской сети: формализация основ синтеза и автоматического обучения // Нечеткие системы и мягкие вычисления. 2011. Т. 6. № 2. С. 145-163.
30. ФроленковК.В., Фильченков А.А., Тулупьев А.Л. Апостериорный вывод в третичной полиструктуре алгебраической байесовской сети // Труды СПИИРАН. 2012. Т. 4. № 23. С. 343-356.
31. Фильченков А.А. Визуальная инструментальная платформа для работы с алгебраическими байесовскими сетями // Международная конференция по мягким вычислениям и измерениям. СПБГЭТУ «ЛЭТИ». 2012. Т. 1. С. 195-199.
32. Tulupyev A.L., SirotkinA.V., ZolotinA.A. Matrix equations for normalizing factors in local a posteriori inference of truth estimates in algebraic Bayesian networks // Vestnik St. Petersburg University: Mathematics July 2015. Vol. 48. Iss. 3. P. 168-174.
33. Золотин А.А., Тулупьев А.Л., Сироткин А.В. Матрично-векторные алгоритмы локального апостериорного вывода в алгебраических байесовских сетях над пропозициями квантами // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 4. С. 676-684.
34. Золотин А.А., Мальчевская Е.А.Матрично-векторные алгоритмы локального апостериорного вывода в алгебраических байесовских сетях над идеалами дизъюнктов // XIX Международная конференция по мягким вычислениям и измерениям (SCM-2016). Сборник докладов в 2-х томах. Санкт-Петербург. 25-27 мая 2016. Т. 1. С. 79-82.
35. Золотин А.А., ЛевенецД.Г., Зотов М.А., Бирилло А.И., Березин А.И., Иванова А.В., Тулупьев А.Л. Алгоритмы обработки и визуализации алгебраических байесовских сетей // Образовательные технологии и общество. 2017. № 1 С. 446-457.
36. Malchevskaya E.A., Berezin A.I., Zolotin A.A., Tulupyev A.L. Algebraic Bayesian Networks: Local Probabilistic-Logic Inference Machine Architecture and Set of Minimal Joint Graphs // Proceedings of the First International Scientific Conference "Intelligent Information Technologies for Industry" (IITI'16), Volume 451 of the series Advances in Intelligent Systems and Computing. P. 69-79
37. Романов А.В., ЛевенецД.Г., Золотин А. А., Тулупьев А.Л. Инкрементальный синтез третичной структуры алгебраических байесовских сетей // XIX Международная конференция по мягким вычислениям и измерениям (SCM-2016). Сборник докладов в 2-х томах. Санкт-Петербург. 2527 мая 2016. Т. 1. P. 27-29.
38. Романов А.В., Золотин А.А., Тулупьев А.Л. Синтез четвертичной структуры алгебраических байесовских сетей: инкрементальный и декрементальный алгоритмы // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 5. P. 917-927.
39. Зотов М.А., ЛевенецД.Г., Тулупьев А.Л., Золотин А.А. Синтез вторичной структуры алгебраических байесовских сетей: инкрементальный алгоритм и статистическая оценка его сложности // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 1. С. 122-132.
40. Shang J.D., Wang Z.L., Huang Q. A Robust Algorithm for Joint Sparse Recovery in Presence of Impulsive Noise // IEEE Signal Processing Letters. 2015. № 22. P. 1166-1170.
41. Peng P.X., Tian Y.H., Wang Y.W., Li J., Huang T.J. Robust multiple cameras pedestrian detection with multi-view Bayesian network // Pattern Recognition. 2015. № 42. P. 1760-1772.
42. Constantinou A.C., Fenton N.E., Neil M. Pi-football: A Bayesian network model for forecasting Association Football match outcomes // Knowledge-Based Systems, 2012. Vol. 36. P. 322-339.
43. Kim J.S., Jun C.H. Ranking evaluation of institutions based on a Bayesian network having a latent variable // Knowledge-Based Systems. 2013. Vol. 50. P. 87-99.
44. Bobadilla J., Ortega F., Hernando A., Gutierrez A. Recommender systems survey // Knowledge-Based Systems. 2013. Vol. 46. P. 109-132.
45. Dabrowski J.J., Villiers J.P. Maritime piracy situation modelling with dynamic Bayesian networks // Information Fusion. 2015. № 23. P. 116-130.
46. Shin J., Son H., UrR.K., Heo G. Development of a cyber-security risk model using Bayesian networks // Reliability Engineering System Safety. 2015. № 134. P. 208-217.
47. Leu S.S., Chang C.M. Bayesian-network-based fall risk evaluation of steel construction projects by fault tree transformation // Journal of Civil Engineering and Management. 2015. № 21. P. 334-342.
48. Arangio S., Bontempi F. Structural health monitoring of a cable-stayed bridge with Bayesian neural networks. // Structure and Infrastructure Engineering, 2015. № 11. P. 575-587.
49. Chang Y.S., Fan C.T., Lo W.T., HungW.C., Yuan S.M. Mobile cloud-based depression diagnosis using an ontology and a Bayesian network // Future Generation Computer Systems. 2015. № 43. P. 87-98.
50. Rafiq M.I., Chryssanthopoulos M.K, Sathananthan S. Bridge condition modelling and prediction using dynamic Bayesian belief networks // Structure and Infrastructure Engineering. 2015. № 11. P. 38-50.
51. Hamilton S.H., Pollino C.A., Jakeman A.J. Habitat suitability modelling of rare species using Bayesian networks: Model evaluation under limited data // Ecological Modelling. 2015. № 299. P. 64-78.
52. Liu K.F.R., Kuo J.Y., Yeh K., Chen C.W., Liang H.H., Sun Y.H. Using fuzzy logic to generate conditional probabilities in Bayesian belief networks: a case study of ecological assessment // International Journal of Environmental Science and Technology. 2015. № 12. P. 871-884.
Поступила в редакцию 19.05.2017, окончательный вариант — 20.06.2017.
Computer tools in education, 2017 № 3: 5-19
http://ipo.spb.ru/journal
DEVELOPMENT OF PROBABILISTIC-LOGIC INFERENCE IN ALGEBRAIC BAYESIAN NETWORKS
Zolotin A.A.1,2
1SPSU, Saint-Petersburg, Russia 2SPIIRAS, Saint-Petersburg, Russia
Abstract
The paper presents a brief history of the probabilistic graphic models formation and examines the reasons for their appearance. Special attention is given to Bayesian trust networks and related algebraic Bayesian networks, which are a representation of knowledge bases with uncertainty. Key achievements in the development of probabilistic-logic appartus in algebraic Bayesian networks and Bayesian trust networks are presented along with examples of the Bayesian trust networks using cases in software products. The review of the probabilistic-logic inference apparatus development is continued with the matrix-vector formulation and proof of the solution of the first task posterior inference. In addition, the problems in algebraic Bayesian networks currently being faced by researchers are listed. This paper might be useful to lecturers of disciplines on modern research in the field of artificial intelligence, to students specializing in information technologies, who are considering promising topics for their term papers, final or research papers and to the staff of it companies, exploring the possibilities of applying mathematical models in business processes.
Keywords: probabilistic graphical models, algebraic Bayesian networks, Bayesian trust networks, probabilistic logic inference, expert systems.
Citation: A. A. Zolotin, "Razvitie logiko-veroyatnostnogo podkhoda v algebraicheskikh baiesovskikh setyakh" [Development of Probabilistic-Logic Inference in Algebraic Bayesian Networks], Computer tools in education, no. 3, pp. 5-19, 2017 (in Russian).
Acknowledgements: The paper presents results of the project partially supported with RFBR grant 15-01-09001-a "Combined Probabilistic-Logic Graphical Approach to Representation and Processing of Unsertain Knowledge Systems: Algebraical Bayesian Networks and Related Models".
Received 19.05.2017, the Anal version: 20.06.2017.
Andrey A. Zolotin, Department of Computer Science, Mathematics & Mechanics Faculty, St. Petersburg State University, post graduate student; Laboratory of Theoretical and Interdisciplinary Computer Science (TICS Lab) St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS), trainee researcher; 198504, Saint Petersburg, Universitetsky prospekt, 28, SPbSU, Department of Computer Science, Mathematics & Mechanics Faculty, [email protected]
Золотин Андрей Алексеевич, аспирант кафедры информатики математико-механического факультета Санкт-Петербургского государственного университета; стажер-исследователь лаборатории теоретических и междисциплинарных проблем информатики Санкт-Петербургского института информатики и автоматизации РАН; 198504, Россия, Санкт-Петербург, Старый Петергоф, Университетский пр., д. 28, математико-механический факультет, кафедра информатики [email protected]
© Наши авторы, 2017. Our authors, 2017.
