CC BY
256
УДК 004.891.3
Ю. Г. Емельянова, В. П. Фраленко
Методы когнитивно-графического представления информации для эффективного мониторинга сложных технических систем
Аннотация. Рассмотрены методы когнитивно-графического представления телеметрической информации. Выполнен анализ применимости существующих методов визуализации многомерных данных для мониторинга динамических систем реального времени со сложной иерархической структурой. В заключительной части работы представлена таблица, обобщающая результаты анализа исследуемых методов.
Ключевые слова и фразы: когнитивный образ, представление информации, мониторинг, оператор, динамическая система.
Введение
Современный уровень технологического прогресса позволяет почти полностью автоматизировать рабочие места операторов, контролирующих состояние сложных технических систем с динамически меняющимся состоянием в реальном режиме времени. При контроле состояния динамической системы реального времени (ДС РВ) лицо, принимающее решение (ЛПР), вынуждено длительное время наблюдать за большим количеством одновременно меняющихся параметров, что приводит к высокой степени утомляемости и высоким психическим нагрузкам. Установлено [1], что нагрузка на оператора существенно снижается, если информация об отклонениях и аномальных ситуациях дается в графическом виде и в виде анимационных диаграмм. В отличие от текстового представления данных, графический способ визуализации предлагает более эффективный и простой подход к анализу многочисленных записей в журнале телеметрии.
Работа выполнена при финансовой поддержке РФФИ (проекты № 18—07—00014—а и 18-37-00037-мол_а).
© Ю. Г. Емельянова, В. П. Фраленко, 2018
© Институт программных систем имени А. К. Айламазяна РАН, 2018 © Программные системы: теория и приложения (дизайн), 2018
При мониторинге больших объемов многомерных телеметрических данных графические методы помогают немедленно определить нештатные ситуации и выявить общие тенденции в динамике различных параметров. Все большее распространение и применение получает когнитивная графика (КГ) — совокупность методов обработки и визуализации многомерной информации в виде компактных изображений, предназначенных для ускорения понимания текущей ситуации. Когнитивный подход к отображению параметров позволяет формировать интуитивное представление о состоянии наблюдаемых объектов и систем, минуя трудоемкий анализ информации, представленной в статистическом виде (графики, диаграммы, таблицы, тексты и
др.) [2,3].
В зарубежной литературе к когнитивным образам применяют термин «экологический интерфейс» [4-8] и «визуальная аналитика» [9-14]. Назначение графического интерфейса для ДС РВ, снабженного когнитивными образами, аналогично назначению интегрально-абстрактной информационной модели, являющейся условным отображением, кодовой визуальной информацией о состоянии объекта воздействия системы «человек-машина» [15-20]. КГ приближает систему «человек-машина» к наивысшим показателям эффективности. Визуальная информация о контролируемом объекте в форме когнитивного образа не только соответствует истинному состоянию контролируемой системы, но и представляется в виде, удобном для ЛПР. Рассмотрим далее различные типы графических представлений, предложенные исследователями для мониторинга сложных объектов.
1. Способы визуализации и классификации п-мерного объекта
Самым распространенным вариантом представления п-мерного объекта является точка, спроецированная в двумерное или трехмерное пространство так, как это выполнено в работах [21-26]. Например, в диссертационном исследовании [21] предложен способ диагностики состояния сердечно-сосудистой системы путем формирования и визуализации многомерного образа.
Состояние пациента можно представить как Ж-мерное пространство. Используется два класса состояния пациента: «здоров» и «нездоров». Двумерные модели болезней формируются путем отображения на плоскость точек из пространства заболевания. Цвет двумерной области соответствует определенному виду заболевания, а степень патологии характеризуется величиной, обратно пропорциональной
длине волны соответствующего диапазона. По результатам выполнения алгоритмов анализа данных отображаются области заболеваний и точка, описывающая состояние пациента по заданному набору симптомов (см. рис. 1). Результаты принадлежности точки, означающей состояние пациента, к каждому из заболеваний предоставляются в процентном виде.
Для отображения параметров исследуемых процессов и сравнения их между собой предложен образ «мишень» [22] в виде круговой диаграммы, разбитой на сектора (см. рис. 2). Применение этого образа позволяет 1) наглядно представлять динамику изменения наблюдаемых параметров во времени; 2) упорядочивать наблюдаемые объекты и производить их кластеризацию по тем или иным критериям; 3) отображать дополнительные зависимости для каждого изучаемого объекта. Образ предназначен для научного анализа и не применим для систем с быстро меняющимися значениями параметров в режиме реального времени.
В работах [22,23] описан логико-вероятностный подход к формированию когнитивного образа, который позволяет визуально определить близость ситуации к аномальной. Посредством математического аппарата распознающей системы вычисляются коэффициенты сходства-различия 0х, 02,..., 0п+1. Коэффициенты сходства (близости к образам) отображаются с использованием п-симплекса [27], граням которого сопоставляются образы (классы), а каждому образу ставится в соответствие определенный цвет (см. рис. 3).
Рис. 3. Когнитивные образы семейства п-симплексов
Круги большего радиуса представляют исследуемые объекты, а круги меньшего радиуса—объекты обучающей выборки. Линии, соединяющие точки, отображают динамику исследуемых процессов. Преимущества п-симплекса в быстрой визуальной оценке категории состояния и возможности увидеть процесс изменения состояния объекта. Метод годится для экспресс-анализа и не рассчитан на длительный мониторинг объекта.
Мощным исследовательским инструментом наблюдений являются пиктографики — многомерные графические объекты, в которых значениям контролируемых переменных соответствуют определенные характеристики или параметры этих объектов. Главная идея такого метода анализа основана на человеческой способности интуитивно фиксировать сложные связи между многими переменными, если они проявляются в последовательности пиктограмм. Конкретную природу проявившихся взаимосвязей между переменными позволяет выявить уже последующий анализ данных, основанный на изучении этого интуитивно обнаруженного сходства [28].
Рис. 4. Пиктографики «лица Чернова»
Рис. 5. Когнитивный образ «звезда»
Существует большое разнообразие пиктографиков: круговые диаграммы, лучи, многоугольники, профили, столбцы и другие [29]. Наиболее когнитивным типом пиктографиков являются «лица Чернова» [30] (см. рис. 4). Иногда такой способ графического представления позволяет выявить скрытые картины взаимосвязей между данными, которые не могут быть обнаружены другими методами [31]. Анализ пиктографиков целесообразно проводить в пять этапов, он требует правильного сопоставления исследуемых переменных с частями графического объекта, весьма непрост в применении и требует большого опыта.
«Интегральное контурное представление» — взаимно-однозначное отображение вектора в односвязный контур, при котором положение большинства его точек определяется значениями всех координат этого вектора [32]. Один из вариантов такого представления реализуется следующим образом:
Р(ф) =
о
хк йш кф
к=1
где р и ф — полярные координаты точек контура, Хк — координаты отображаемого вектора, Б — размерность признакового пространства. Согласно указанной формуле формируется односвязный контур, называемый «звезда», все точки которого видны из начала координат (см. рис. 5). Каждая точка когнитивного образа представляет линейную комбинацию всех или части Хк [33].
(а) на основе првобра- (б) на основе полинома (в) с использованием зования Фурье Чебышева вейвлетов Хаара
Рис. 6. Кривые Эндрюса для «ирисов Фишера»
«Звезда» позволяет представить одновременно достаточно много векторов. В случае промежуточных ориентаций участков границ классов возможна адаптация представления с помощью перехода к новому отображению координат на контуре.
Удобным способом визуализации многомерных данных, предназначенным для визуальной классификации, являются диаграммы Эндрюса [34]. Каждая точка x = (x1, ...,xm) может быть представлена функцией в виде ряда Фурье
fx (t) = x12-1 + x2 sin t + x3 cos t + x4 sin 2t + x5 cos 2t + ...,
которая выводится графически на интервале — п < t < п. Построение кривых Эндрюса на основе преобразования Фурье, полиномиальных функций, а также вейвлетов дает сходные результаты, позволяющие говорить о том, что кривые Эндрюса можно применять для анализа самых разнообразных данных высокой размерности [35] (см. рис. 6). Диаграммы Эндрюса дают понятное и легко читаемое представление данных, позволяющее визуально классифицировать набор исследуемых многомерных данных.
Согласно методике представления информации о техническом состоянии космических средств, изложенной в работе [24], выбираются наиболее «ценные» диагностические признаки, снижается размерность признакового пространства методом главных компонент и выполняется преобразование р-мерного пространства в трехмерный когнитивный
Рис. 7. Образ состояния космических средств
Рис. 8. Визуализация многомерных данных в виде когнитивного облака точек
образ. ЛПР предоставляются проекции соответствующих кластеров или многомерных поверхностей, стимулирующие интуитивное понимание исследуемых объектов (см. рис. 7). Подход позволяет осуществлять контроль за изменениями в состоянии анализируемого объекта. При этом оператор вынужден подбирать наилучшее положение плоскости проекции в многомерном пространстве, что не всегда возможно в быстро меняющейся обстановке.
Динамическое проектирование многомерных данных, предложенное в работе [25], позволяет осуществлять двумерную проекцию многомерных данных на произвольную заданную оператором-исследователем плоскость в фазовом пространстве (см. рис. 8). Многомерные данные описываются исходной матрицей данных X {г,]}, г = 1,..., п, ] = 1, ...,р, где п —количество объектов наблюдения, р —количество измеряемых параметров. Изучаемые объекты отображаются в виде облака точек в многомерном пространстве признаков. Осуществляется проецирование облака на гиперплоскость Q. Плоскость Q задается направляющими косинусами вектора нормали к гиперплоскости Q. Организация проецирования на плоскость Q состоит в том, что строится система координат, привязанная к этой плоскости. Задается проекция радиус-вектора ]-й точки облака Т на Q. Изменение ориентации плоскости Q выражается через значения направляющих косинусов aj. Таким образом, можно
I.) и.МАРгп с) рсдго
Рис. 9. Визуализация многомерных данных методом упругих карт
«рассматривать» многомерное облако с любого возможного направления в многомерном пространстве признаков. Зрелищный образ стимулирует интуитивное понимание исследуемых объектов, что полезно при анализе статистических связей, факторном анализе, обнаружении целей и при их распознавании. В то же время, многомерность образа вынуждает оператора активно влиять на ориентацию плоскости проекции. Подобные манипуляции усложнили бы деятельность ЛПР, осуществляющего мониторинг ДС РВ.
Метод «упругая карта» [26] служит для нелинейного сокращения размерности данных. В многомерном пространстве данных располагается поверхность, на которую проецируются данные и отображаются на ней как на карте (см. рис. 9). Основой для построения упругой карты является двумерная прямоугольная сетка С, вложенная в многомерное пространство. Расположение узлов сетки вычисляется в результате нахождения минимума функционала:
Бл Д> Б3
Б = —— + А--+ ц--> Ш1П,
|Х | т т
где X — конечное множество точек, |Х| — число точек в X; т — число узлов сетки; А, ц — коэффициенты упругости, отвечающие за
Рис. 10. «Ботаническое дерево»
растяжение и изогнутость сетки соответственно; Б — мера близости расположения узлов сетки к данным, Б — мера растянутости сетки, Бз — мера изогнутости сетки. После проектирования данных на сетку расстояния между образами и их скоплениями на карте отражают соответствующие особенности распределения данных в многомерном пространстве. Метод полезен при исследовании множества многомерных объектов, но не пригоден при мониторинге ДС РВ.
Подходы в работах [21, 25,26] не применимы к ДС РВ, так как требуют от оператора существенных временных затрат для понимания ситуации. Методы визуализации, предложенные в работах [21,32,34, 35], обладают достаточной выразительностью, позволяющей понять состояние отдельного объекта. Однако, они не предназначены для отображения состояний комплексной системы в целом и отдельных ее подсистем в динамике. Следовательно, рассмотренные когнитивные образы не применимы для визуализации состояний сложной ДС РВ.
2. Визуализация иерархических представлений данных
Для визуализации многоуровневых иерархий используют корневые деревья, круговые диаграммы и фракталы. В работе [36] использован ЭО-метод для изображения дерева (см. рис. 10). Замена высокого числа листьев на «фрукты» избавляет от эффекта загромождения. «Ботаническое дерево» можно адаптировать для визуализации структуры в ДС РВ. Например, пятнами на фруктах отображать значения контролируемых параметров, а размером и цветовым кодом «фруктов» — состояние подсистем. Однако, трехмерная модель дерева
Рис. 11. «Дерево Пифагора»
будет вынуждать оператора манипулировать образом вручную, чтобы увидеть полную картину происходящих в системе изменений. Другой недостаток этого образа—отсутствие возможности визуализировать динамику в изменениях системы.
«Дерево Пифагора», представленное в работе [37], является одновременно корневым деревом и фракталом (см. рис. 11). Каждая вершина в иерархии визуализируется как прямоугольник, соразмерный уровню иерархии.
Анализируется несколько визуальных параметров, таких как длина, ширина, порядок и цвет узла. Размер прямоугольников в узлах может содержать в себе закодированную информацию, такую как число листов в узле и число уровней под иерархии. Цвет области у прямоугольных узлов можно использовать для кодирования любой дополнительной информации.
Модель иерархии представляет собой граф H = (V, E), где V = {vi, ...,Vk} обозначает конечный набор из k вершин и E С V х V — конечный набор связей, реализующий отношение родитель-потомок. Максимальная степень ветвления в графе H обозначается как n Е N. Каждой вершине присваивается вес с помощью функции wx : V ^ R+, где w (n) Е R+ — это сумма его потомков.
Для обобщенного дерева Пифагора ширина i-го прямоугольника xi зависит от ширины его родителя и количества братьев: Axi := Ax sin (ai/2), где Ax — это ширина родительского узла,
:= Wx (Vi)
ai : П v^ n ( \ .
¿2j=i wx (vj)
Рис. 12. Мониторинг целевых концептов
Для развития метода «дерево Пифагора» предлагается каждый фрактал охарактеризовать его размерностью D G R, которая зависит от уровня ветвления n:
Dn =--l0g " ,.
log sin (п/2n)
«Дерево Пифагора» применимо для сложных систем, если задать цветовой код его узлов в соответствии с классом ситуации. Однако, это представление сложно адаптировать для представления динамики изменений в состоянии системы.
Образы [36,37] загромождены мелкими деталями, не отображают приближение контролируемых параметров к границам допустимого рабочего диапазона, сложны для понимания текущей ситуации.
3. Когнитивные образы для обучения и поддержки принятия решений аналитика
Когнитивные образы получили широкое распространение в экономических исследованиях. Примером такого исследования является работа [54], в которой обоснованы методы и алгоритмы интеллектуальной поддержки принятия решений на основе нечетких когнитивных карт (НКК) (см. рис. 12). В общем случае когнитивная карта представляет собой причинно-следственную сеть, отражающую какую-либо область знаний и допускающую следующее формальное представле-
(а) кодирование цветом (б) кодирование цветом и яркостью
Рис. 13. Спиральная визуализация временных рядов
ние: С = (Е, W), где Е = {ел, ,..., en} — множество концептов, W — бинарное отношение на множестве E, задающее связи между ними.
Для формализации оценок используется шкала, состоящая из четырех цветовых интерпретаций (зеленый, желтый, оранжевый, красный). По результатам функций принадлежности формируется когнитивная матрица, содержащая усредненные оценки интенсивности влияний, на основе которой строится НКК. На следующем этапе к построенной карте применяются методы аналитической обработки, ориентированные на исследование структуры системы и получение прогнозов ее поведения при различных управляющих воздействиях.
Для изменения значений концептов предлагается интерактивный интерфейс с возможностью непосредственного изменения цветографических изображений. Срезы когнитивного графа представляются в виде графиков, на каждом из которых можно при помощи изменения положения шкалированных индикаторов изменить значение выбранного концепта. При каждом изменении значений управляемых концептов система пересчитывается. Можно наблюдать непосредственное изменение каждого из целевых концептов, в том числе и концептов необходимых для принятия решения.
Используя предложенный когнитивный интерфейс возможно отслеживание прямого влияния управляемых концептов на целевые с учетом того, что они не имеют прямой взаимосвязи. Предложенный способ подходит для научного анализа и не применим для ДС РВ.
В работе [14] предложен способ визуализации аномалий в электросети. В качестве когнитивного образа предлагается «спиральная визуализация», показывающая серийные данные с фиксированной
Рис. 14. Пространственное представление когнитивной модели в виде «когнитивного облака»
периодичностью. На левой спирали (см. рис. 13а) отображены фактические данные временного ряда. На правой спирали (см. рис. 13б) отображены данные временного ряда с яркостью и степенью насыщенности, адаптированные к количеству аномалий, произошедших в соответствующем временном промежутке. Каждый виток спирали используется, чтобы отобразить данные, полученные за один день.
В статье [56] предлагается модель «когнитивное облако», позволяющая представить сложную социально-экономическую систему в виде когнитивной карты в пространстве. По принципу «когнитивное облако» построена модель комплексного анализа деятельности предприятия. Визуальное представление структуры карты в трехмерном пространстве в большей степени удовлетворяет критерию когнитивной ясности и облегчает понимание когнитивной модели при ее чтении (см. рис. 14).
Основные понятия для описания принципов построения «когнитивного облака»: ядро, дочерние факторы, скопление факторов. Ядро — фактор, вокруг которого концентрируются связи. Ядра задаются через минимальное пороговое число связей с другими факторами (например, п = 5). Дочерние факторы — факторы, непосредственно связанные с ядром. Скопление факторов—совокупность ядра и сгруппированных вокруг него дочерних факторов, расположенных на расстоянии единичного радиуса Д. «Когнитивное облако» позволяет визуализировать взаимоотношение факторов, просматривать цепочки
Рис.15. Байесовская сеть доверия
причинно-следственных связей, выявлять факторы, оказывающие наибольшее влияние на систему.
Подсистемы можно изобразить в виде ядер, а их параметры —в виде дочерних факторов. Состояния подсистем и параметров кодируются соответственно цветом ядер и дочерних параметров. Полученный образ для многопараметрического объекта будет загроможден и сложен для контроля за быстро меняющимися значениями параметров.
В работе [58] описывается инструмент байесовских сетей доверия. Предлагается использование описываемого инструмента для моделирования угроз энергетической безопасности. Этот инструмент основывается на теореме Байеса для определения апостериорной вероятности события А при условии, что имеет место событие В по их априорным вероятностям. На рис. 15 изображена сеть, дополненная индикаторами, которые показывают изменения основных показателей в ответ на реализацию описанных в модели событий. В общем случае формула Байеса имеет следующий вид для группы несовместных событий А1, А2,..., Ап при условии, что произошло событие В:
Р (А-|В)- Р (Аг) Р (В!Л)
Р (А |В) ЕП=1 Р (А») Р (В|А).
Общей задачей является определение вероятностного состояния объекта А по набору признаков {В1, В2,..., Вт}. Достоинством инструмента байесовских сетей является простота его использования и наглядность представления знаний об исследуемых процессах.
Одной из актуальных областей применения форм и методов когнитивной графики является динамика космического полета [52].
Рис. 16. Годограмма Рис. 17. Пример цветового кодирования для
обобщенных орбитальных форматов отображения на основе оценочной
скоростей в произвольной функции точке поля тяготения
В динамике космического полета формы и методы КГ нашли применение и развитие в виде специально разработанной отрасли теории годографов — системы обобщенных взаимно адекватных графических и аналитических форм представления предмета этой области знаний (см. рис. 16). Теория годографов пригодна в учебном процессе подготовки космонавтов и применяется при отсутствии дефицита времени, поэтому ее не следует использовать для визуализации состояний в ДС РВ.
В исследовании [40] рассмотрен пример цветового кодирования для отображения контролируемого параметра телеметрической информации на основе оценочной функции. Оценочная функция р (р) показывает степень отклонения параметра от состояния «норма» и приближение его к состоянию «аномалия». Представлен пример нелинейной оценочной функции для температуры на контролируемом блоке (см. рис. 17). Показано, что при изменении температуры на одну и ту же величину значимости ситуаций и величины изменений оценочных функций могут существенно отличаться. Такой способ позволяет визуально прогнозировать влияние изменений параметра на состояние системы.
Рис. 18. Визуализация модифицированной модели баланса
Однако, цветовое кодирование на основе оценочной функции не предусмотрено для предоставления информации о состоянии на более высоких уровнях иерархии сложного объекта.
В диссертационной работе [53] предлагается инструмент для анализа и отображения состояния технологических процессов, представляющий собой модифицированную модель баланса, построенную на основе интеграла Шоке 2-го порядка. Метод рекомендуется использовать для формирования ограничений на параметры нечеткого оператора агрегирования взаимосвязанных критериев. Автор предлагает помещать на воображаемом рычаге грузы, соответствующие относительной важности отдельно взятых критериев ф (»), и грузы, соответствующие индексам взаимодействия I (у) для каждой пары критериев » и j (см. рис. 18).
Угол отклонения рычага от горизонтальной линии отображает общую важность критерия во всех комбинациях критериев. Дополнительные ограничения, накладываемые экспертом, отображаются с помощью оператора агрегирования на основе интеграла Шоке 2-го порядка. Визуализация интеграла Шоке предназначена для помощи аналитику при выявлении ограничений на пороги безразличия. Данный способ графического представления не является способом отображения текущей ситуации в сложных ДС РВ.
В работе [55] предложен метод визуализации зависимостей телеметрических параметров, основанный на построении «решеток
Рис. 19. Визуализация зависимостей телеметрических параметров
понятий». Описана вычислительная модель и соответствующая ей решетка применительно к решению задачи визуализации зависимостей телеметрических параметров, приведены методы упрощения модели. Алгоритм сегментации сигнала включает вычисление выборочных значений оцененной спектральной плотности, проведение процедуры кластерного анализа вычисленных значений спектральной плотности. Для оценки спектральной плотности используется периодограмма
2
I к ) 1
2 пТ
т-1 ¿=0
где ^ = 2пу/Т — это Фурье-частоты, у = [-Т/2 + 1,..., -1,0,1, ...,Т/2]. На шаге кластерного анализа делается предположение о том, что все множество векторов коэффициентов П, полученных на первом шаге, может быть представлено в виде П = {ш1,ш2, ...,ш„}, где ш¿ — кластеры. Плотность вероятности распределения, соответствующая П, имеет вид
N
Ф(х) = ^ (хК),
где f¿ (х|^) — условная плотность распределения, соответствующая кластеру ш¿, P¿ — априорная вероятность появления объектов из подкласса Для анализа зависимостей телеметрических параметров предлагается использовать формальный контекст К = (Т, I), где Т — множество параметров объекта, 5 — множество шаблонов, соответствующих телеметрическим параметрам, поступающим с объекта, I — отношение инцидентности Ив, имеющее место для £ € Т, в € 5 тогда и только тогда, когда параметр £ не соответствует шаблону в. Метод позволяет наглядно представить зависимости в поведении параметров по результатам нескольких экспериментов (см. рис. 19).
Способы, предложенные в работах [11,14,53-55], подходят для научного анализа данных, но не применимы для ДС РВ.
На основе анализа, проведенного в работе [57], показано, что функциональное моделирование позволяет наиболее полно реализовать обучающие свойства тренажера. В работе рассматривается использование И-сетей в качестве аппарата формализованного описания процесса функционирования бортовых цифровых вычислительных комплексов (БЦВК).
И-сети являются модифицированными сетями Петри, которые объединяют преимущества наглядности и удобства отображения модели, присущие сетям Петри, с гибкостью и универсальностью систем моделирования, основанных на языках программирования, и одновременно сводят к минимуму концептуальную дистанцию между моделью и реальной системой.
И-сети позволяют моделировать не только процесс функционирования программно-аппаратной платформы, но и выполнение алгоритмов рабочих программ полета БЦВК. На рис. 20 проиллюстрирована возможность применения И-сетей для формализованного описания процесса функционирования БЦВК на примере моделирования дискретного контура управления ориентацией пилотируемого космического аппарата.
Применение инструмента сетевой модели позволяет реализовать возможности учета причинно-следственных связей между факторами. Модели, построенные с использованием сетей, могут служить для обучения специалистов, поддержки принятия решений экспертами, выявления причинно-следственных отношений и взаимовлияния между значимыми факторами.
Когнитивная визуализация, предложенная в работе [47], является эффективным методом для мониторинга и анализа сетевого трафика. Когнитивный образ (см. рис. 21) представляет собой радиальный глиф, агрегирующий данные брандмауэра и системы обнаружения атак. Это радиальное представление разделено на сектора.
Каждому сектору соответствует определенное количество категорий. Сетевой узел визуализируется как ячейка с оболочкой. Поступающие с брандмауэра записи журнала распределены вокруг оболочки и представляют собой атаки различных категорий. Оболочка меняется
Рис. 20. И-сетевая модель дискретного Рис.21. Когнитив-контура управления ориентацией КА ное представление
сетевого узла
Рис.22. Когнитивный образ «фрактал Новоселова»
под действием реакции на нагрузку, причем каждый сектор оболочки уменьшается в зависимости от количества событий брандмауэра, влияющих на соответствующую категорию.
4. Методы визуализации аномальных событий в работе сложных динамических систем реального времени
Фрактальный метод удобен для сигнализации об аномалиях, которые можно отображать цветовым кодом в узлах и листьях графа, как это сделано в работе [38]. Автором создан когнитивный образ для диагностики систем энергетического реактора (см. рис. 22). Метод формирования цветового режима распределяет все возможные состояния сегментов когнитивного образа по четырем цветовым катего-
Пода
ДОС!
От«
Пр<
Рис. 23. Когнитивный образ для барабана-сепаратора
риям: к зеленой категории относятся штатные состояния, к желтой — штатные состояния с незначительными отклонениями, к оранжевой — близкие к аварийным состояния, к четвертой — аварийные состояния. Для значения параметра вычисляется степень его принадлежности к определенной цветовой категории:
где хо — середина отрезка между значениями нижним и верхним значениями (уставками), хт^п — значение нижней уставки, хтах — значение верхней уставки. Сформированный цветовой режим когнитивного образа позволяет понять ЛПР, в каком состоянии находится рассматриваемый технологический объект и его сегменты. Образ подходит для иерархии с размерностью, кратной четырем, поэтому он не применим для отображения подсистем с большей степенью вложений. Для просмотра динамики изменений предлагается вручную выбирать слайд образа, сформированный в определенный момент времени, что является преимуществом данного подхода.
д(х)
да,
Рис. 24. Образ для состояния подсистемы ракеты-носителя
В когнитивном образе барабана-сепаратора на атомной электростанции (см. рис. 23) основными элементами являются перпендикуляр, опущенный на шкалу расхода воды, и линия, соединяющая рекомендуемые и текущие показания [41]. Несовпадение этих двух линий отображает величину и знак дебаланса. Такое представление обеспечивает быструю оценку расхода питательной воды и избавляет от необходимости складывать показания нескольких расходометров.
На шкале уровня показаны уставки формирования двух режимов — снижения мощности и полной остановки реактора. Линейная экстраполяция уровня, выполняемая на основе анализа величины дебаланса, позволяет оценить время, имеющееся в распоряжении оператора для предотвращения срабатывания защиты. В левой половине символа БС показан временной график уровня. Толщина кривой в каждой точке соответствует «разбежке» датчиков уровня. Прогноз повышения уровня строится от показания датчика с самым высоким текущим значением, и наоборот. Рассмотренный когнитивный образ не является универсальным и применим только к одной ДС РВ.
В работе [39] предложен алгоритм интерактивного анализа телеметрии и представления данных системы нечеткого вывода, применение
Рис. 25. Состоя- Рис.26. Образ для контроля балансных соотношений ние зоны реактора энергоблока АЭС с реактором ВВЭР-1000 в виде глобуса
которого позволяет получить интегральный образ для состояния подсистемы ракеты-носителя в виде лепестковой диаграммы (см. рис. 24). Значения параметров телеметрических данных преобразуются в характеристики отклонения. Состояние параметра отображается в виде круглого «маркера» на одной из трех концентрических окружностей, соответствующих понятиям «ненорма сверху», «норма», «ненорма снизу». Цветом маркера и числовой информацией на нем отображается значение степени принадлежности параметра областям «ненорма сверху» или «ненорма снизу».
Предлагаемый алгоритм позволяет оперативно обнаруживать новые нештатные ситуации и производить визуальный мониторинг правильности работы контролируемой системы. Однако, представленный метод не применим для систем со сложной иерархической структурой. Второй недостаток — это трудоемкость и сложность наблюдения за надписями на маленьких маркерах в различных частях оценочного образа.
В работе [42] представлен набор графических динамических компонент и правил, описывающих их технологическое взаимовлияние в различных ситуациях. Когнитивный образ электростанции в целом представляет собой вращающийся глобус (см. рис. 25).
Переменными состояния глобуса являются параллели, меридианы, оси по полюсам и экватору, скорость вращения глобуса относительно
3.3% и с профилированием
Рис. 27. Когнитивный образ активной зоны энергоблока с реактором ВВЭР-1000
Рис. 28. Когнитивный образ активной зоны энергоблока с реактором типа РБМК
осей и маркировки на глобусе. Когнитивный образ энергоблока при нормальном режиме работы состоит из зеленого креста и четырех зеленых кругов. При аномальных явлениях происходит изменение размеров и цвета креста и соответствующих секторов (см. рис. 26).
Когнитивный образ активной зоны энергоблока с реактором ВВЭР-1000 представлен на рис. 27. Когнитивный образ активной зоны энергоблока с реактором типа РБМК представлен на рис. 28.
Рассмотрим пример трехуровневой системы представления информации на диспетчерском пульте крупного энергоблока [46]. Основной тип изображения соответствует уровню системы (объекта) или процесса в целом и имеет вид ядра с отходящими от него лучами, соответствующими подсистемам (или обобщенным параметрам процесса) верхнего уровня (см. рис. 29).
Изображение второго типа соответствует уровню подсистемы и характеризует ее состояние. Если подсистема (обобщенный параметр), в свою очередь, является сложной системой, то процесс «раскрытия» образа может быть рекурсивно продолжен.
Если наблюдаемая подсистема характеризуется совокупностью измеряемых параметров, то возникает кольцевое изображение третьего типа, соответствующее уровню параметров и динамике их изменения. Пример полиэкрана на диспетчерском пульте энергоблока с использованием средств когнитивной графики приведен на рис. 30.
Система когнитивных образов является универсальной и может быть применена к ДС РВ, что является ее преимуществом. Тем не менее, несколько недостатков снижают ее эргономические качества.
а) нормальное б) аварийное в) параметры
Рис. 29. Образное трехуровневое представление состояния системы (объекта) и ее подсистем
Рис.30. Образное представление Рис.31. Трехоконный интерфейс состояний подсистемы и параметров для диспетчера электросети
Используется один и тот же цвет для заниженных и завышенных значений параметров. В образах применяются очень яркие цвета, что вызывает у оператора быструю усталость зрительного аппарата.
В интерфейсе [5] предлагается когнитивное представление ситуации на контролируемых трансформаторах. Состояние каждого трансформатора динамически отображается в отдельном окне наблюдения (см. рис. 31). В целом, структура интерфейса соответствует трехуровневому способу представления информации о состоянии сложных систем: уровень линий электропередачи, уровень шин и уровень трансформатора.
Предлагаемая в работе [48] трехуровневая система представления информации о контролируемом объекте включает уровень системы,
(а) уровень системы (б) сегментное пред- (в) уровень параметров ставление уровня подсистемы
Рис. 32. Образ для системы поддержания избыточного давления в баке
уровень подсистемы и уровень параметров. Обобщенный динамический образ, соответствующий уровню системы, представляет собой круговую диаграмму, разбитую на сектора, в которой каждый сектор соответствует отдельному процессу (см. рис. 32а). Для отображения состояния подсистем предлагается использовать сегментное представление (см. рис. 32б). Для отображения уровня параметров — интегральный контурный метод (см. рис. 32в).
Диапазон допустимых значений параметров задает ограничивающее кольцо. Здесь ,... ,р8 — компоненты входного вектора параметров. Текущее состояние отображается красной линией. Выход за край ограничивающего кольца свидетельствует о выходе параметра за пределы допустимого диапазона значений.
В работе [49] решается задача когнитивного отображения состояний динамических систем со сложной иерархической структурой, предназначенного для поддержки принятия решений человека-оператора, осуществляющего мониторинг и управление в режиме реального времени. Разработан когнитивный образ, основанный на методе трехуровневого интегрального контурного представления информации, и рассмотрен пример его практического применения в задаче обнаружения аномального поведения датчиков космических аппаратов (КА).
Предложена трехуровневая система универсальных когнитивных образов. Первый уровень представляет собой образ для группировки космических аппаратов. На втором уровне отображается состояние
Полезная нагрузка
КАб
«Юбилейный»
КА 1
Лег, А = 0 ТаЬ, С = -1
Прнемо-передача
КА2
(а)
(б)
(в)
Рис. 33. Трехуровневая система универсальных циклоидальных когнитивных образов
отдельного аппарата, а на третьем — параметры рассматриваемого аппарата, сгруппированные в подсистемы.
Рассмотрим когнитивный образ, на котором визуализируется состояние параметров какой-либо подсистемы. Пример образа третьего уровня представлен на рис. 33а. Значения параметров отображаются в виде фигур, расположенных в секторах когнитивного образа. Размер фигур соответствует величине отклонения параметра от среднего значения на допустимом рабочем диапазоне. Диапазон допустимых значений параметров представлен графически как белое кольцо.
Если параметры принимают значения из допустимого диапазона, то в ограничивающем кольце когнитивного образа располагаются лепестки, заполненные зеленым цветом. Если какой-либо параметр достиг нижнего допустимого значения, то соответствующий ему лепесток окрашивается в голубой цвет, если верхнего — в желтый. Верхние отклонения параметров от нормы кодируются красным цветом, нижние —синим. На рис. 33б находится образ второго уровня, на котором представлено состояние отдельного КА. Сектора в этом изображении символизируют состояния подсистем.
Для каждой подсистемы отображается информация о максимальном и минимальном значениях параметров, относящихся к этой подсистеме. В образе первого уровня каждый сектор отображает состояние отдельного КА. На рис. 33в видно, что один из КА, входящих в наблюдаемую группу, работает в нештатном режиме. В секторах когнитивных образов предлагается показывать несколько предыдущих состояний соответствующей части системы. Количество предыдущих состояний выбирает оператор.
(а) нормальное состояние
(б) индикация аномалий
Рис. 34. Интерфейс НС КИС с когнитивным дополнением
Например, на рис. 33а видно, что за предыдущие 20 временных отчетов сила тока на первой и второй панели солнечной батареи совершила скачки, превышающие заданное максимальное допустимое значение.
В статье [50] рассмотрены решения по созданию интеллектуального интерфейса для наземных станций командно-измерительных систем (НС КИС), в котором ведущее место отводится методам когнитивного отображения информации. На рис. 34а показан вид интерфейса перспективной НС КИС с когнитивным дополнением. Когнитивное дополнение представляет собой двухуровневую систему образов. На образе первого уровня цветовым кодом отображаются состояния подсистем наземной станции.
Когнитивное дополнение позволяет просматривать состояние параметров выбранной подсистемы. В качестве примера на рис. 34б рассмотрена ситуация, при которой наведение антенной системы нуждается в поправке из-за больших отклонений в положении.
Метод графического представления «калейдоскоп» (см. рис. 35) предназначен для организации управления технологическими участками магистрального нефтепровода [43]. Он основывается на сочетании когнитивного образа «линия гидроуклона» [44] и диаграммы Кивиата [45].
ТУ 1 ТУ 2
Рис. 35. Обобщенное представление технологических участков магистрального нефтепровода
«Линия гидроуклона» образно характеризует распределение давлений в стационарных и нестационарных режимах функционирования нефтепровода.
Диаграмма Кивиата показывает в едином образе состояние множества контролируемых технологических участков одного или нескольких нефтепроводов и наличие в них нештатных ситуаций и сообщений об отклонениях от режима эксплуатации магистрального нефтепровода.
Когнитивные образы, представленные в работах [5,42,43,47,51], привязаны к конкретным системам, поэтому их достаточно сложно адаптировать для других ДС РВ.
5. Сравнительные характеристики когнитивных образов
Полученные результаты проведенного аналитического исследования имеющихся методов когнитивного представления ситуаций сведены в таблице 1. Под универсальностью понимается возможность применения метода не к одной конкретной системе, а к состоянию любого многомерного объекта.
Методы когнитивно-графического представления для мониторинга 145 Таблица 1. Методы когнитивного представления ситуаций
№, Название, возможности применения (ДС РВ, Сложные иерархии, контроль уровня Отклонения, Универсальность)
Способы визуализации и классификации п-мерного объекта
— для распознавания образов
1. Многомерный образ сердечно-сосудистой системы [21]
2. Мишень [22]
3. п-симплекс [22,23]
4. Лица Чернова [30]
5. Звезда [32]
6. Диаграмма Эндрюса [34]
7. Кривые Эндрюса на основе полиномов и вейвлетов [35]
— для анализа изменения объектов
8. Образ состояния космических средств [24]
д с о у ---+ -
- + + -
- + + +
+----+
+----+
+----+
д с о у
+----+
— для статистического многомерного анализа
9. Облако точек [25]
10. Упругая сетка [26]
Визуализация сложных иерархий
11. Ботаническое дерево [36]
12. Дерево Пифагора [37]
Когнитивные образы для обучения и принятия решений
— для поддержки принятия решений аналитика
13. Нечеткие когнитивные карты [54]
14. Визуализация аномалий в потреблении энергии [14]
15. Когнитивное облако [56]
— для обучения специалистов и поддержки принятия решений д
16. Байесовская сеть доверия [58] -
— для контроля и управления космическим аппаратом д
17. Годограф [52] +
18. Цветовое кодирование на основе оценочной функции [41] +
— для ограничения параметров нечеткого оператора агрегирования взаимосвязанных критериев д
19. Интеграл Шоке [53] -
— для анализа зависимостей телеметрических параметров д
20. Решетка понятий [55] +
— для реализации обучающих свойств тренажера д
21. И-сеть [57] +
с о у
---+
+
- +---+
д с о у
- +---+
- +---+
с о у
+---+
с о у
+ + -
- + -
с о у с о у
с о у
+---+
Таблица 1. Методы когнитивного представления ситуаций (продолжение)
№, Название, возможности применения (ДС РВ, Сложные иерархии, контроль уровня Отклонения, "Универоальность)
Методы визуализации аномальных событий в работе сложных
динамических систем реального времени
— для анализа аномалий в компьютерной сети д с о у
23. Кольцо [48] + + - +
— для отображения аномалий и текущей ситуации при работе сложного объекта д с о у
24. Фрактал Новоселова [38] + + - +
25. Образ барабана-сепаратора [42] + - + -
26. Лепестковая диаграмма из трех концентрических окружностей и «маркера» [39] + - + +
27. Образ для операторов атомных электростанций [43] + + + -
28. Ядро с отходящими от него лучами [47] + + ± +
29. Образ электрической сети большого размера [5] + + + -
30. Образ для системы поддержания избыточного давления в баке [49] + + + -
31. Циклоидальный образ [50] + + + +
32. Образы для НС КИС [51] + + ± -
— для поддержки деятельности диспетчерского персонала д с о у
33. Калейдоскоп [44] + + + -
Для мониторинга сложных систем наиболее эффективны многоуровневые (иерархические) способы представления информации. Как правило, используются три уровня представления [29,59], причем дальнейшее увеличение числа уровней усложняет восприятие и снижает оперативность анализа состояний. На первом уровне оператору предоставляется обобщенная оценка состояния контролируемого объекта. На втором уровне отображается состояние отдельной технологической подсистемы, находящейся в составе объекта наблюдения. На третьем уровне отображается информация о состоянии каждого контролируемого параметра в количественной и качественной форме. Системы с иерархической структурой обладают следующими преимуществами: возможность согласования большого потока информации с пропускной способностью оператора; значительное сокращение объема ненужной информации; существенное снижение необходимости в априорных сведениях об изучаемом объекте; компактность в отношении занимаемой площади экрана; широкие возможности перестройки для обслуживания объектов различного назначения.
Наиболее быстро и целостно оператор воспринимает такие когнитивные образы, которые интегрируют наблюдаемые параметры в единую простую геометрическую фигуру. Свойство целостности графического образа проявляется в правильных формах, таких как круг или правильный многоугольник [29]. Нарушение целостности, искажение и деформация простой геометрической фигуры воспринимаются ЛПР как нарушения условий безопасности наблюдаемой динамической системы. Использование цветового кодирования динамической информации дополнительно обеспечивает повышение качества и быстроту восприятия контролируемой ситуации.
Заключение
Существующие математические методы анализа и визуализации многомерных данных плохо применимы к динамическим системам реального времени со сложной иерархической структурой и не обладают достаточной универсальностью, что препятствует их внедрению в рассматриваемой прикладной области. Как правило, когнитивные образы создаются индивидуально, с учетом конкретной прикладной области и интерпретируются экспертом на основе накопленных знаний. Самым универсальным способом следует признать когнитивное представление информации с помощью фракталов и ядер с отходящими от них лучами. Тем не менее, и они имеют недостатки, снижающие их эргономические качества. В ходе настоящего исследования сформированы следующие требования к когнитивно-графическим образам: наличие математического аппарата преобразования пространства признаков в пространство образов; выразительность образов, ускоряющая понимание оператором текущей ситуации; однозначное и точное отображение класса ситуации; возможность отображения состояния системы в целом и состояний отдельных ее подсистем на всех уровнях иерархии; возможность отображения значений параметров с указанием аномальных и критических отклонений показаний датчиков; наличие единого формализма описания решений в признаковом пространстве большой размерности.
Список литературы
[1] М. Н. Бурдаев, В. М. Хачумов. «Использование методов когнитивной
графики в учебном процессе космонавтов», Материалы XXXII об-
щественно-научных чтений, посвященных памяти Ю.А. Гагарина (Гагаринский сборник) (Гагарин, 9-12 марта 2005 г.), 2005, с. 218-225. 117
[2] А. А. Зенкин. Когнитивная компьютерная графика, Наука, М., 1991, 192 с. tn8
[3] Д. А. Поспелов. «Когнитивная графика—окно в новый мир», Программные продукты и системы, 1992, №2, с. 4-6. им)' 118
[4] А. Н. Анохин, А. С. Ивкин. «Визуальная поддержка когнитивной деятельности оператора», Тринадцатая Национальная конференция по искусственному интеллекту с международным участием, Труды конференции. Т. 1, КИИ 2012 (Белгород, 16-20 октября 2012 г.), 2012, с. 343-350.E3tii8
[5] N. Marmaras, S. Drivalou. Design and evaluation of ecological interfaces, THALES basic research program. Project results demonstration, 2005, 6 p.
URL' 118 140 144 146
[6] V. A. Bijsterbosch, C. Borst, M. Mulder, M. M. van Paassen. "Ecological interface design: sensor failure diagnosis in air traffic control", IFAC-PapersOnLine, 49:19 (2016), pp. 307-312. I tn8
[7] Sang Ho Kim, Jose Fernando Sabando, Woo Hyun Kim. "An ecological interface design approach for developing integrated and advanced in-vehicle information system", Indian Journal of Science and Technology, 9:16 (2016), 18 p.
[8] I. Yakubu. "Development of a flight collision avoidance system for a free flight environment: an ecological interface design approach", International
.Journal of Multidisciplinary and Current Research, 2013, Nov.-Dec., pp. 120133.® 118
[9] Л. В. Массель, А. Г. Массель, Р. А. Иванов. «Когнитивная графика и семантическое моделирование для геопространственных решений в энергетике» (Краснодар, 11-20 ноября 2015 г.), Устойчивое развитие территорий: картографо-геоинформационное обеспечение, 21, Материалы Международной конференции «ИнтерКарто/ИнтерГИС» (2015), с. 496-503. D 5ji @ 118
[10] Ю. С. Кашницкий. «Визуальная аналитика в задаче трикластеризации многомерных данных», Труды Московского физико-технического института, 2014, №3, с. 43-56. 118
[11] F. Fischer. Visual analytics for situational awareness in cyber security, Doctoral Dissertation, Germany, 2016, 220 p. :ur|)'|4118 134
[12] T. Hollt. Visual workflows for oil and gas exploration, Ph.D. Thesis, Kingdom of Saudi Arabia, 2013, 153 p. url; 118
[13] C. Zhang, M. Caan, T. Hollt, E. Eisemann, A. Vilanova. "Overview + detail visualization for ensembles of diffusion tensors", Materials of the Eurographics Conference on Visualization (Euro Vis) (Spain, June 12-16, 2017), 2017, 12 p. d § 118
[14] H. Janetzko, F.Stoffel, S. Mittelstadt, D. A. Keim. "Anomaly detection for visual analytics of power consumption data", Computers & Graphics, 38 (2014), pp. 27-37. i ' 118 128 134 146
[15] ГОСТ 26387-84■ Система «человек-машина». Термины и определения, Издательство стандартов, М., 1986, 5 с. 1118
[16] С. Ф. Сергеев. Введение в инженерную психологию и эргономику иммерсивных сред, Учебное пособие, Изд-во СПбГУ ИТМО, СПб., 2011, 258 с. tue
[17] В. П. Савиных. «Информационные модели в дистанционных исследованиях Земли», Образовательные ресурсы и технологии, 2016, №1, с. 109-
mJatii8
[18] В. Т. Матчин. «Информационная модель в человеко-машинной системе», Перспективы науки и образования, 2014, №6, с. 14-18. Р^»1118
[19] М. К. Тутушкина. Психологические основы кодирования зрительной информации для человека-оператора, Автореферат диссертации на соискание ученой степени доктора педагогических наук, Л., 1982, 33 с. 1118
[20] Л. Н. Горюнова. Опе'раторская деятельность в человекотехнических системах, Учебное пособие, СПбГУ, СПб., 2006, 68 с. 1118
[21] И. А. Кочеткова. Способы и алгоритмы обработки информации и принятия решений о сердечно-сосудистой патологии на основе механизмов визуализации и теории нечетких множеств, Автореферат диссертации на соискание ученой степени кандидата технических наук, Курск, 2014,
18 с.ЕЭ1118,125,145
[22] А. Е. Янковская, А. В. Ямшанов. «Интеллектуальные обучающе-тестирующие системы с применением когнитивных технологий», XII Всероссийское совещание по проблемам управления ВСПУ-2014 (Москва, 16-19 июня 2014 г.), с. 4183-4191. url 118 119 146
[23] А. В. Ямшанов. Модели и методы параллельных вычислений для построения отказоустойчивых диагностических тестов в интеллектуальных системах с когнитивной компонентой, Диссертация на соискание ученой степени кандидата технических наук, Томск, 2017,
167 с. 1118,119,145
[24] О. Г. Лазутин. «Методика доведения информации о техническом состоянии космических средств с использованием алгоритмов сжатия данных и когнитивного графического представления», Труды Военно-
космической академии имени А.Ф. Можайского, 650 (2016), с. 11-17. url
t118,122,145
[25] В. Л. Горохов. «Возможности когнитивных компьютерных технологий при мониторинге опасных факторов и охране труда в строительстве и других отраслях», Научный журнал НИУ ИТМО. Серия «Экономика и экологический менеджмент», 2013, №1, 8 с. 118 123 125 145
[26] А. Ю. Зиновьев. Визуализация многомерных данных, Издательство Красноярского государственного технического университета, Красноярск, 2000, 180 с. 1-118,124,125,1«
[27] П. С. Александров. Комбинаторная -топология, ГИТТЛ, М., 1947, 672 с.
1119
[28] Графические методы анализа данных, Statsoft. Электронный учебник по статистике. >urlS1120
[29] А. А. Башлыков. Компьютерные информационные системы для интеллектуальной поддержки операторов АЭС, ОАО «ВНИИОЭНГ», М., 2016, 520 с. 1121,146,147
[30] H. Chernoff. "The use of faces to represent points in k-dimensional space graphically", Journal of the American Statistical Association, 68:342 (1973), pp. 361-368.
[31] И. А. Осадчая, О. Г. Берестнева, Е. В. Немеров. «Анализ многомерных медицинских данных с помощью пиктографиков «лица Чернова»», Бюллетень сибирской медицины, 2014, №4, с. 89-93. jjH»1121
[32] В. Г. Гришин. Образный анализ экспериментальных данных, Наука, М.,
1982, 237 С. 121 125 145
[33] Ю. Г. Емельянова, Н. Е. Теплоухова. «Моделирование и когнитивно-графическое представление радиотехнических сигналов в системах обучения эксплуатирующего персонала», Авиакосмическое приборостроение, 2011, №9, с. 21-30.Еа1121
[34] D. F. Andrews. "Plots of high-dimensional data", International Biometrie Society, 18:1 (1972), pp. 125-136.
[35] С. В. Грошев, Н. В. Пивоварова. «Использование кривых Эндрюса для визуализации многомерных данных в задачах многокритериальной оптимизации», Наука и образование: научное издание МГТУ им. Н.Э. Баумана, 2015, №12, с. 197-214.|[л1122 125 145
[36] E. Kleiberg, H. van de Wetering, J. J. van Wijk. "Botanical visualization of huge hierarchies", Proceedings of the Symposium on Information Visualization, InfoViz'01 (USA, October 22-23, 2001), 2001, pp. 87-94. 1126 127 146
[37] F. Beck, M. Burch, T. Munz, L. Silvestro, D. Weiskopf. "Generalized pythagoras trees for visualizing hierarchies", Proceedings of the 5th International Conference on Information Visualization Theory and Applications. V. 1 (Portugal, January 5-8, 2014), 2014, pp. 17-28. 126 127 146
[38] Ю. В. Новоселов. Методы и программные средства когнитивной графики для интеллектуальных систем поддержки принятия решений, Автореферат диссертации на соискание ученой степени кандидата технических наук, М., 2013, 20 с. SjHM135 146
[39] С. А. Тихомиров. Алгоритмы анализа телеметрической информации и поддержки принятия решений в системах автоматизации испытаний космических ракет-носителей, Автореферат диссертации на соискание ученой степени кандидата технических наук, Рязань, 2014, 20 с.IRS
t137,146
[40] М. М. Матюшин, Х. В. Саркисян. «Построение оценочной функции для поддержки принятия оперативных решений при контроле параметров состояния космического аппарата», Наука и образование: научное издание МГТУ им. Н.Э. Баумана, 2011, №4, 15 с. Bat 131
[41] А. Н. Анохин, А. С. Ивкин. «Визуальная поддержка когнитивной деятельности оператора», Тринадцатая Национальная конференция по искусственному интеллекту с международным участием, Труды конференции. Т. 1, КИИ 2012 (Белгород, 16-20 октября 2012 г.), 2012, с. 343-350. ¡pi 137 145
[42] А. А. Башлыков. Когнитивная графика как средство образного представления состояния энергоблоков атомных электростанций, 2014, 19 с. turn) 138 144 146
[43] А. А. Башлыков. «Когнитивное управление как новая парадигма построения интеллектуальных систем человеко-машинного управления сложными и экологически опасными объектами и технологиями», Автоматизация, телемеханизация и связь в нефтяной промышленности,, 2013, №2, с. 15-21^^143,144,146
[44] А. А. Башлыков. ««Линия гидроуклона» как когнитивный образ для организации директорного управления магистральными нефтепроводами», Автоматизация, телемеханизация и связь в нефтяной промышленности, 2015, №3, с. 4-11. ¡p^t 143 146
[45] M. Pinzger, H. Gall, M. Fischer, M. Lanza. "Visualizing multiple evolution metrics", Proceedings of the 2005 ACM symposium on Software Visualization Visualization of the software development process (USA, May 14-15, 2005), 2005, pp. 67-75. 143
[46] В.Н. Вагин, А.П. Еремеев. «Базовые принципы конструирования интеллектуальных систем поддержки принятия решений реального времени для мониторинга и управления сложными техническими объектами», Труды Третьего расширенного семинара «Использование методов искусственного интеллекта и высокопроизводительных вычислений в аэрокосмических исследованиях» (Переславль-Залесский, 26-27 ноября 2003 г.), 2003, с. 79-97. 139
[47] H. Song, Chr. W. Muelder, Kwan-Liu Ma. "Crucial nodes centric visual monitoring and analysis of computer networks", Proceedings of International Conference on Cyber Security (USA, December 14-16, 2012), 2012, pp. 1623.
134,144,146
[48] В. М. Хачумов, Е. В. Ксенофонтова. «Образный анализ и диагностика сложных процессов», Доклады 11-й Всероссийской конференции «Математические методы распознавания образов» (Пущино, 23-29 ноября 2003 г.), 2003, с. 201-204.1140,146
[49] Ю. Г. Емельянова. «Разработка методов когнитивного отображения состояний динамических систем реального времени», Искусственный интеллект и принятие решений, 2016, №3, с. 21-30. ¡р^' 141 146
[50] Ю.Г. Емельянова. «Графический анализ информации в системах космического назначения», Программные продукты и системы, 2009, №2, с. 45-49.|Щ1143,146
[51] А. А. Башлыков. «Принципы построения когнитивного образа типа «калейдоскоп» для оперативной интеллектуальной поддержки оперативного диспетчера нефтепроводных систем», Автоматизация, телемеханизация и связь в нефтяной промышленности, 2015, №5, с. 9-
16.ЕЭ1144,146
[52] М. Н. Бурдаев. «Годографы и уравнение перелета в центральном поле тяготения», Программные системы: теория и приложения, 2012, №3, с. 77-9°. 130 145
[53] С. А. Сакулин. Анализ состояния технологических процессов на основе нечетких экспертных знаний, Диссертация на соискание ученой степени кандидата технических наук, М., 2009, 169 с.ЕД'132 134 145
[54] М. М. Путято. Раз-работка методов и алгоритмов интеллектуальной поддержки принятия решений на основе нечетких когнитивных карт, Автореферат диссертации на соискание ученой степени кандидата технических наук, Краснодар, 2011, 24 с.ЕЯ'127,134,145
[55] Н. А. Жукова. Методы и модели оперативного контроля состояния сложных динамических объектов на основе измерительной информации с использованием алгоритмов интеллектуального анализа данных, Автореферат диссертации на соискание ученой степени кандидата технических наук, Санкт-Петербург, 2008, 16 с. ¡рС' 132 134 145
[56] Е. В. Феррейра Опасо, П. В. Терелянский. «Представление когнитивных карт в трехмерном пространстве», XII Всероссийское совещание по проблемам управления ВСПУ-2014 (Москва, 16-19 июня 2014 г.),
2014, с. 6149-6154.Е31129,145
[57] Е. В. Полунина. Методология разработки и создания моделей бортовых вычислительных комплексов для тренажеров пилотируемых космических аппаратов, Диссертация на соискание ученой степени доктора технических наук, Переславль-Залесский, 2011, 175 с. 134 145
[58] Л. В. Массель, Е. В. Пяткова. «Применение байесовских сетей доверия для интеллектуальной поддержки исследований проблем энергетической безопасности», Вестник ИрГТУ, 2012, №2, с. 8-13. ¡рС' 130 145
[59] Б. Ф. Ломов. Справочник по инженерной психологии, Машиностроение, М., 1982, 368 с. ti46
Поступила в редакцию 17.04.2018 Переработана 12.09.2018
Опубликована 14.11.2018
Рекомендовал к публикации
:.т.н. С. А. Амелькин
Пример ссылки на эту публикацию:
Ю. Г. Емельянова, В. П. Фраленко. «Методы когнитивно-графического представления информации для эффективного мониторинга сложных технических систем». Программные системы: теория и приложения, 2018, 9:4(39), с. 117-158. 10.25209/2079-3316-2018-9-4-117-158
@ http://psta.psiras.ru/read/psta2018_4_117-158.pdf
Об авторах:
Юлия Геннадиевна Емельянова
Научный сотрудник ИЦМС ИПС им. А.К. Айламазяна РАН. Область научных интересов: человеко-машинные интерфейсы, когнитивно-графическое отображение информации.
e-mail:
0000-0001-7735-6820
Виталий Петрович Фраленко К.т.н., ведущий научный сотрудник ИЦМС ИПС им. А.К. Айламазяна РАН. Область научных интересов: интеллектуальный анализ данных и распознавание образов, искусственный интеллект и принятие решений, параллельно-конвейерные вычисления, сетевая безопасность, диагностика сложных технических систем, графические интерфейсы, блокчейн-технологии.
¡Гй 0000-0003-0123-3773 e-mail: [email protected]
UDC 004.891.3
Yulia Emelyanova, Vitaly Fralenko. Methods of cognitive-graphical representation of information for effective monitoring of complex technical systems.
Abstract. The methods of cognitive-graphical representation of telemetric information are considered. The analysis of existing methods applicability of multidimensional data visualization for dynamic real-time systems monitoring with a complex hierarchical structure is performed. The final part of the paper presents a table summarizing the results of the methods studied analysis. (In Russian).
Key words and phrases: cognitive image, information presentation, monitoring, operator, dynamic system.
References
[1] M. N. Burdaev, V. M. Khachumov. "Use of Methods of Cognitive Graphics in the Astronauts' Training Process", Materialy XXXII obshhestvenno-nauchnyh chtenij, posvjashhennyh pamjati Ju.A.Gagarina (Gagarinskij sbornik) (Gagarin, March 9-12, 2005), 2005, pp. 218-225 (in Russian).f117
[2] A. A. Zenkin. Cognitive Computer Graphics, Nauka, M., 1991 (in Russian), 192 p. tl18
[3] D. A. Pospelov. "Cognitive Graphics — a Window Into a New World", Programmnye Produkty i Sistemy (Software & Systems), 1992, no.2, pp. 4-6 (in Russian).f11g
[4] A.N. Anohin, A. S. Ivkin. "Visual Support of Cognitive Activity of the Operator", Trinadcataja Nacionalnaja konferencija po iskusstvennomu intellektu s mezhdunar-odnym uchastiem, Trudy konferencii. V. 1, KII 2012 (Belgorod, October 16-20, 2012), 2012, pp. 343-350 (in Russian).f118
[5] N. Marmaras, S. Drivalou. Design and Evaluation of Ecological Interfaces, THALES Basic Research Program. Project Results Demonstration, 2005, 6 p. jjrl
^118,140,144,146
[6] V. A. Bijsterbosch, C. Borst, M. Mulder, M.M. van Paassen. "Ecological Interface Design: Sensor Failure Diagnosis in Air Traffic Control", IFAC-PapersOnLine, 49:19 (2016), pp. 307-312. 118
[7] Sang Ho Kim, Jose Fernando Sabando, Woo Hyun Kim. "An Ecological Interface Design Approach for Developing Integrated and Advanced In-Vehicle Information System", Indian Journal of Science and, Technology, 9:16 (2016), 18 p. I f118
© Y. G. Emelyanova, V. P. Fralenko, 2018 © Ailamazyan Program Systems Institute of RAS, 2018 © Program Systems: Theory and Applications (design), 2018
[8] I. Yakubu. "Development of a Flight Collision Avoidance System for a Free Flight Environment: an Ecological Interface Design Approach", International Journal of Multidisciplinary and, Current Research, 2013, Nov .-Dec., pp. 120—133. url 118
[9] L. V. Massel, A. G. Massel, R. A. Ivanov. "Cognitive Graphics and Semantic Modeling for Geospatial Solutions in the Energy Sector" (Krasnodar, November 11-20, 2015), Ustojchivoe razvitie territorij: kartografo-geoinformacionnoe obespechenie, 21, Materialy Mezhdunarodnoj konferencii "InterKarto/InterGIS' (2015), pp. 496-503 (in Russian). 118
10] Yu. S. Kashnitsky. "Visual Analytics in the Problem of Triclasterization of Multidimensional Data", Trudy Moskovskogo Fiziko-Tehnicheskogo Instituta, 2014, no.3, pp. 43-56 (in Russian).f118
11] F. Fischer. Visual Analytics for Situational Awareness in Cyber Security, Doctoral Dissertation, Germany, 2016, 220 p. .(™)t118 134
12] T. Höllt. Visual Workflows for Oil and Gas Exploration, Ph.D. Thesis, Kingdom of Saudi Arabia, 2013, 153 p. urn, 118
13] C. Zhang, M. Caan, T. Höllt, E. Eisemann, A. Vilanova. "Overview + Detail Visualization for Ensembles of Diffusion Tensors", Materials of the Eurographics Conference on Visualization (EuroVis) (Spain, June 12-16, 2017), 2017, 12 p.
URL: 118
14] H. Janetzko, F. Stoffel, S. Mittelstadt, D.A. Keim. "Anomaly Detection for Visual Analytics of Power Consumption Data", Computers & Graphics, 38 (2014), pp. 27-
lls 128 134 145
15] GOST 26387-84- The System "Person-Machine". Terms and Definitions, Izdatelstvo standartov, M., 1986 (in Russian), 5 p.f118
16] S. F. Sergeev. Introduction to Engineering Psychology and Ergonomics of Immersive Environments. Tutorial, Izd-vo SPbGU ITMO, St. Petersburg, 2011 (in Russian), 258 p.fn8
17] V. P. Savinyh. "Information Models by Remote Sensing of Eath", Educational Resources and Technologies, 2016, no.1, pp. 109-121 (in Russian).f118
18] V.T. Matchin. "The Information Model in Man-Machine System", Perspectives of Science and Education, 2014, no.6, pp. 14-18 (in Russian).f118
19] M. K. Tutushkina. Psychological Bases of Encoding Visual Information for Human-Operator, Avtoreferat dissertacii na soiskanie uchenoj stepeni doktora pedagogicheskih nauk, L., 1982 (in Russian), 33 p.f118
20] L.N. Gorjunova. Operator Activity in Human Systems: Tutorial, SPbGU, St. Petersburg, 2006 (in Russian), 68 p.1118
21] I.A. Kochetkova. Methods and Algorithms of Information Processing and Decision Making About Cardiovascular Pathology on the Basis of Visualization Mechanisms and the Theory of Fuzzy Sets, Avtoreferat dissertacii na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, Kursk, 2014 (in Russian), 18 p.1118 125 145
[22] V. L. Gorohov. "Cognitive Capabilities of Computer Technology for Monitoring Hazards and Health and Safety in Construction and Other Industries", Scientific Journal of NIITMO. Series 'Economics and Environmental Management", 2013, no.1 (in Russian^ 8 p. 1-118,123,125,145
[23] A.Yu. Zinoviev. Visualization of Multidimensional Data, Izdatelstvo Krasnojarskogo gosudarstvennogo tehnicheskogo universiteta, Krasnoyarsk, 2000 (in Russian),
180 p. ^118,124,125,145
[24] A. E. Yankovskaya, A. V. Yamshanov. "Intelligent Learning-Testing Systems Using Cognitive Technologies", XII Vserossijskoe soveshhanie po problemam upravlenija VSPU-2014: Trudy (Moscow, 16-19 June, 2014), 2014, pp. 4183-4191 (in Russian).
^118,119,145
[25] A. V. Yamshanov. Parallel Computing Models and Methods for Building Fault-Tolerant Diagnostic Tests in Intelligent Systems With a Cognitive Component, Dissertacija na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, Tomsk, 2017
(in Russian) l67 p. tn8,119,145
[26] O. G. Lazutin. "Technique of Communicating Information About the Technical State of Space Vehicles Using Data Compression Algorithms and Cognitive Graphical Representation", Trudy Voenno-kosmicheskoj akademii imeni A.F. Mozhajskogo, 650 (2016), pp. 11-17 (in Russian). 118 122 145
[27] P.S. Alexandrov. Combinatorial Topology, GITTL, M., 1947 (in Russian), 672 p.
t119
[28] Graphical Methods of Data Analysis, Statsoft. Electronic Textbook on Statistics (in Russian). URL 120
[29] A. A. Bashlykov. Computer Information Systems for Intellectual Support of Operators of Nuclear Power Plants, OAO "VNIIOJeNG", M., 2016 (in Russian),
520 p. t121, 146, 147
[30] H. Chernoff. "The Use of Faces to Represent Points in k-Dimensional Space Graphically", Journal of the American Statistical Association, 68:342 (1973), pp. 361-368. 121 146
[31] I.A. Osadchaja, O.G. Berestneva, E.V. Nemerov. "Analysis of Multidimensional Medical Data Using Pictographics "Chernoff Faces"", Bulletin of Siberian Medicine, 2014, no.4, pp. 89-93 (in Russian).t121
[32] B. G. Grishin. An Imaginative Analysis of Experimental Data, Nauka, M., 1982
(in Russian^ 237 p. t121,125,145
[33] Ju. G. Emelaynova, N. E. Teploukhova. "The Modeling and Cognitive-Graphic Representation of Radio Engineering Signals in Exploiting Personnel Teaching System", Aerospace Instrument-Making, 2011, no.9, pp. 21-30 (in Russian). 121
[34] D. F. Andrews. "Plots of High-Dimensional Data", International Biometric Society, 18:1 (1972), pp. 125-136. I f122 126 146
[35] S. V. Groshev, N. V. Pivovarova. "Using the Andrews Plotss to Visualize Multidimensional Data in Multi-Criteria Optimization", Scientific Edition of Bauman MSTU. Science & Education, 2015, no.12, pp. 197-214 (in Russian). 122 125 145
[36] E. Kleiberg, H. van de Wetering, J.J. van Wijk. "Botanical Visualization of Huge Hierarchies", Proceedings of the Symposium on Information Visualization, InfoViz'01 (USA, October 22-23, 2001), 2001, pp. 87-94. i f126 127 146
[37] F. Beck, M. Burch, T. Munz, L. Silvestro, D. Weiskopf. "Generalized Pythagoras Trees for Visualizing Hierarchies", Proceedings of the 5th International Conference on Information Visualization Theory and Applications. V. 1 (Portugal, January 5-8, 2014), 2014, pp. 17-28. J f126 127 146
[38] Ju. V. Novoselov. Methods and Software for Cognitive Graphics for Intelligent Decision Support Systems, Avtoreferat dissertacii na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, M., 2013 (in Russian), 20 p. t135 146
[39] S.A. Tihomirov. Algorithms for the Analysis of Telemetrie Information and Decision Support in the Systems for Testing Space Rockets-Carriers, Avtoreferat dissertacii na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, Ryazan, 2014 (in Russian), 20 p.t137,14e
[40] M. M. Matjushin, H. V. Sarkisjan. "Construction of an Evaluation Function to Support the Adoption of Operational Decisions when Monitoring the Parameters of the State of the Spacecraft", Scientific Edition of Bauman MSTU. Science & Education, 2011, no.4 (in Russian), 15 p.t131
[41] A.N. Anohin, A. S. Ivkin. "Visual Support of Cognitive Activity of the Operator", Trinadcataja Nacionalnaja konferencija po iskusstvennomu intellektu s mezhdunar-odnym uchastiem KII 2012, Trudy konferencii. V. 1 (Belgorod, 16-20 October 2012), 2012, pp. 343-350 (in Russian). 137 145
[42] A. A. Bashlykov. Cognitive Graphics as a Means of Imaginative Representation of the State of Power Units of Nuclear Power Plants, 2014 (in Russian), 19 p. ajrl
t138,144,146
[43] A.A. Bashlykov. "Cognitive Management as a New Paradigm for Creation of Intellectual Systems of Human-Machine Management of Complicated and Ecologically Dangerous Objects and Technologies", Automation, Telemechanization and Communication in the Oil Industry, 2013, no.2, pp. 15-21 (in Russian).
t143,144,146
[44] A. A. Bashlykov. ""The Line of the Hydrobias" as the Cognitive Image for the Organization of Director Control of the Main Oil Pipelines", Automation, Telemechanization and Communication in the Oil Industry, 2015, no.3, pp. 4-11
(in Russian). t143,146
[45] M. Pinzger, H. Gall, M. Fischer, M. Lanza. "Visualizing Multiple Evolution Metrics", Proceedings of the 2005 ACM symposium on Software Visualization Visualization of the software development process (USA, May 14-15, 2005), 2005, pp. 67—75.
t143
[46] V. N. Vagin, A. P. Eremeev. "Basic Principles of Designing Intelligent Real-Time Decision Support Systems for Monitoring and Managing Complex Technical Objects", Trudy Tretego rasshirennogo .seminara "Ispolzovanie metodov iskusstvennogo intellekta i vysokoproizvoditelnyh vychislenij v ajerokosmicheskih issledovanijah" (Pereslavl-Zalessky, November 26-27, 2003), 2003, pp. 79-97 (in Russian).t139
[47] H. Song, Chr. W. Muelder, Kwan-Liu Ma. "Crucial Nodes Centric Visual Monitoring and Analysis of Computer Networks", Proceedings of International Conference on Cyber Security (USA, 14-16 December, 2012), 2012, pp. 16-23. i f134 144 146
[48] V. M. Khachumov, E. V. Ksenofontova. "Image Analysis and Diagnostics of Complex Processes", Doklady 11-j Vserossijskoj konferencii "MatematicheskÁe metody raspoznavanija obrazov" (Pushchino, November 23-29, 2003), 2003, pp. 201-204
(in Russian). t140,146
[49] Ju.G. Emelyanova. "Development of Cognitive Representation Methods for Real Time Dynamic Systems", Artificial Intelligence and Decision Making, 2016, no.3, pp. 21-30 (in Russian). 141 146
[50] Ju. G. Emelyanova. "Graphical Analysis of Information in Space Systems", Software & Systems, 2009, no.2, pp. 45-49 (in Russian). 143 146
[51] A. A. Bashlykov. "Principles of Creation of Some Cognitive Image Like "Kaleidoscope" for First-Line Intellectual Support of an On-Line Dispatcher of Oil Pipeline systems", Automation, Telemechanization and Communication in the Oil Industry, 2015, no.5, pp. 9-16 (in Russian).1144,146
[52] M. N. Burdaev. "Hodographs and the Equation of Flight in a Central Gravitational Field", Program Systems: Theory and Applications, 2012, no.3, pp. 77-90
(in Russian). 1*130,145
[53] S. A. Sakulin. Analysis of the State of Technological Processes on the Basis of Fuzzy Expertise, Dissertacija na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, M., 2009 (in Russian), 169 p. 132 134 145
[54] M. M. Putyato. Development of Methods and Algorithms for Intellectual Decision Support Based on Fuzzy Cognitive Maps, Avtoreferat dissertacii na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, Krasnodar, 2011 (in Russian), 24 p. 1127,134,145
[55] N. A. Zhukova. Methods and Models of Operational Control of the State of Complex Dynamic Objects on the Basis of Measurement Information Using Data Mining Algorithms, Avtoreferat dissertacii na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, St. Petersburg, 2008 (in Russian), 16 p. 132 134 145
[56] E. V. Ferrejra Opaso, P. V. Tereljanskij. "The Representation of Cognitive Maps in Three-Dimensional Space", XII Vserossijskoe soveshhanie po problemam upravlenija VSPU-2014 (Moscow, June 16-19, 2014), 2014, pp. 6149-6154 (in Russian). 129 145
[57] E. V. Polunina. The Methodology of Developing and Creating Models of On-Board Computer Systems for Simulators of Manned Spacecraft, Dissertacija na soiskanie uchenoj stepeni doktora tehnicheskih nauk, Pereslavl-Zalessky, 2011 (in Russian),
175 p. 134,145
[58] L. V. Massel, E. V. Pyatkova. "Application of Bayesian Belief Networks for the Intelligent Support of Energy Security Problem Researches", Vestnik IrGTU, 2012, no.2, pp. 8-13 (in Russian). 1130145
[59] B.F. Lomov. Handbook of Engineering Psychology, Mashinostroenie, M., 1982 (in Russian), 368 p. 146
Sample citation of this publication:
Yulia Emelyanova, Vitaly Fralenko. "Methods of cognitive-graphical representation of information for effective monitoring of complex technical systems". Program Systems: Theory and Applications, 2018, 9:4(39), pp. 117-158. (In Russian).
10.25209/2079-3316-2018-9-4-117-158 URL http://psta.psiras.ru/read/psta2018_4_117-158.pdf
