Методы комплексного оценивания когнитивных графических образов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.891.3

Ю. Г. Емельянова, В. П. Фраленко, В. М. Хачумов

Методы комплексного оценивания когнитивных графических образов

Аннотация. В работе исследуются методы оценки качества когнитивных графических образов, применяемых в технических системах контроля и управления для поддержки принятия решений человека-оператора. Впервые предложена комплексная оценка когнитивных графических образов в составе интерфейсов наземных станций командно-измерительных систем авиакосмического назначения. Выполнена сравнительная оценка качества когнитивных образов.

Ключевые слова и фразы: когнитивный образ, интерфейс, наземная станция, принятие

решений, рабочее место, интеллектуальная система.

Введение

На перспективные наземные станции командно-измерительных систем (НС КИС) возлагаются функции автоматического контроля и диагностики, которые необходимы для повышения надежности и увеличения сроков жизненного цикла космических аппаратов (КА). Выполнение требований по надежности и долговечности связывается с использованием технологий искусственного интеллекта и когнитивной графики для поддержки принятия решений человеком-оператором [1].

Специально для НС КИС разрабатываются интеллектуальные интерфейсы, способные отражать числовую информацию, поступающую от различных источников, не только в виде графиков и таблиц, но и интегральных обобщающих когнитивных образов. Когнитивно-графические образы аккумулируют все данные и визуализируют на экране информацию о ситуации в понятной для оператора форме. Именно такой графический образ, с помощью которого можно решить

Работа выполнена при финансовой поддержке РФФИ (проекты № 15-29-06945-офи_м, № 18-07-00014-а).

© Ю. Г. Емельянова! , В. П. Фраленко< , В. М. Хлчумов!, 2018 © Институт программных систем имени А. К. Айламазяна РАН(1,2, , 2018 © Институт системного анализа ФИЦ "Информатика и управление" РАН, 2018 © Программные системы: теория и приложения (дизайн), 2018

ПЯ 10.25209/2079-3316-2018-9-3-49-63^^^^^^^^^^^^^^^^^^^^^! НОЖ!

задачу, называют когнитивным, т.е. способствующим пониманию. Он позволяет оператору выявить общие тенденции динамики параметров и прогнозировать возникновение нештатных ситуаций. Поскольку существует большое количество способов представления информации в когнитивной форме, важно уметь оценивать их эффективность с целью выработки рекомендаций по применению или созданию новых принципов построения интерфейсов.

В настоящей статье делается попытка формализовать способы оценки когнитивных образов, сделав некоторое обобщение известных методов и подходов. Чтобы информация о предметной области была полной, возможные способы количественной оценки когнитивных образов собраны из различных источников и приведены в тексте статьи в компактном виде.

1. Общая постановка задачи оценивания образов

Задача объективного оценивания когнитивных образов требует комплексного подхода ввиду множественности характеристик, используемых различными экспертами. Эффективность когнитивно-графических образов предлагается оценивать с помощью аддитивного критерия качества

где О — когнитивно-графический образ, Ф^ (О) — числовые оценки показателей качества образа (нормированные частные критерии), \ — весовые коэффициенты критериев, устанавливаемые экспертами в соответствии с их предпочтениями, Л^ > 0 и ^¿=1 Л» = 1. Для повышения объективности работы экспертов служат специальные методы рейтинговой оценки критериев качества: метод ранжирования и метод парных сравнений [2], учитывающие мнения большинства. Числовые значения показателей качества когнитивно-графического образа можно получить, применив методы формализованного анализа графических пользовательских интерфейсов и информационных панелей. Далее описываются важнейшие характеристики когнитивных графических образов, предлагаемые для включения в аддитивный критерий (1), собранные из различных источников и наиболее адекватно отражающие функциональное назначение интерфейсов НС КИС авиакосмического назначения.

т

(1)

г=1

2. Показатели качества когнитивно-графических образов 2.1. Информационные характеристики

Информационные параметры когнитивно-графического образа косвенно определяют время, которое будет затрачено на взаимодействие оператора с системой и восприятие отображаемой информации [3]. Оценка информационных параметров позволяет предотвратить условия, вызывающие информационную перегрузку оператора. Рассмотрим основные свойства и характеристики информации как числовые значения показателей качества образа:

1. Количество перерабатываемой оператором информации, Шеннон [4].

N

(2) Н1 = ^ Р Ри

г=1

здесь и далее:

N = тп — число отображаемых состояний когнитивного образа

(количество кодовых комбинаций); т — общее количество индикаторов (количество символов в алфавите);

п — количество индикаторов в когнитивном образе; Р^ — вероятность появления г-го сигнала. В когнитивном образе информация о состоянии объекта кодируется индикаторами.

2. Количество перерабатываемой оператором информации при равновероятном поступлении сигналов, Хартли [5].

(3) Н2 = N = п т.

3. Количество информации, переработанной в процессе поиска на информационном поле заранее заданных элементов, Фаткин [6].

(4)

V, V (Л V\1 / V

Ж1о^ Ж + 1 - Ж 1о& 1 - W

где

Nv — среднее число поисковых шагов, затрачиваемых на поиск V элементов,

Ж — общее число элементов информационного поля. Верхняя и нижняя оценки Nv находятся из предположения относительно двух тактик поиска — хаотического поиска и построчного

I = ~ Nv

сканирования. Для хаотического поиска при условии, что наблюдатель знает число элементов в оперативном объеме отображения и запоминает местоположение каждого найденного элемента: Ж- = Ш Х=1 к. Для построчного поиска при том же условии предлагается принять

Г V V ( V \ ( V'"

1 = 0ОТ [ш ^ Ш +11 - Ъ) 1оёЧ1 - Ш

4. Ценность информации, содержащейся в когнитивно-графическом образе, Харкевич [7].

(5) 1ц = 1оё2 тг>

Ро

где Ро и Рг — соответственно вероятность достижения цели до и после получения сообщения, в том числе и в виде когнитивного образа.

5. Избыточность информации в когнитивно-графическом образе, Парк [8].

ТТ

(6) г =1 - —Ц

нтах

в этой формуле

Нг — полученное по формуле (2) количество перерабатываемой

оператором информации; Нтах = 1og2 т —максимальная энтропия.

6. Информативность, Горячкин [9].

п

(7) I = Е Ек,

к= 1

здесь

Ек — частота воспроизведения к-го элемента алфавита; т — количество элементов алфавита.

7. Насыщенность, Горячкин [9].

(8) Ф = I/Б,

где Б —площадь «полезной» поверхности экрана.

2.2. Характеристики воспринимаемости

Рассмотрим предлагаемые для включения в критерий (1) характеристики воспринимаемости когнитивных образов (как оригинальные, так и адаптированные Емельяновой Ю.Г. в рамках настоящего исследования).

1. Наглядность — выделение из объекта наиболее существенных сторон и отношений, необходимое для успешного решения задачи, Диковицкий [10].

В формуле

ь

(9) ФoЬv = £ p(l),

1=1

Ь — количество уровней навигационной структуры интерфейса; р(1) — функция, задающая числовую оценку степени уверенности пользователя в какой из групп информационных элементов на уровне 1 навигационной структуры находится искомый элемент, р(1) : Г1 ^ (0,1], где

Г1 = {0[} — множество групп информационных элементов 1-го

уровня навигационной структуры; 0\ — г-я группа информационных элементов 1-го уровня навигационной структуры;

р(1) = р(С\) = тахт(а), где

аЕР1

а —идентифицирующий атрибут;

т(а) € [0,1] — нормированный вес атрибута а;

Р1 = {р\} — множество классификационных признаков, используемых для формирования групп информационных элементов на 1-м уровне навигационной структуры.

2. Оелективностъ — эффективность обнаружения сигнала опасности — преимущественное выделение сигнала опасности по сравнению с другими.

В предлагаемой формуле

(10) Фяег = ттах(1 inf (Ь, в)) = тах(/в(Ь, в) - 21а (Ь, в)), где

Iinf — значение функции информативности Вичевской [11] в

пределах сигнала опасности, Ь, в — смещение относительно центра; IA(t, в) = //А(М) Г(х - Ь,у - в) dxdy; 1в(Ь, в) = //В(М) Г(х - Ь,у - в) ¿х<1у; Г — исходное изображение; А — площадь стандартного изображения; В — площадь окна; х, у — координаты центра окна.

3. Визуальная простота (вариант 1).

В предлагаемой формуле

(11) Фа1 = се, где

C = —N^2n=i Pi log2 Pi — сложность Комбер-Мэлтби взаимного

расположения элементов образа [12], N — общее количество характеристик объектов (горизонтальные или вертикальные размеры, расстояние от верхнего или бокового края окна);

n — количество классов (количество уникальных размеров или расстояний);

ni — количество характеристик объектов г-го класса; Pi = ni/n —пропорция г-го класса.

4. Визуальная простота (вариант 2).

(12) ФЯ2 = X, где

X = AOS —сложность Стикела-Эбнера-Холзингера [13], A — количество функциональных элементов (кнопки, чекбоксы и

т.д.);

O — количество групп, в которые можно организовать отдельные элементы;

S —суммарная энтропия RGB (размер сжатого JPEG-файла).

5. Ситуационная интерпретируемость (очевидность состояния системы) означает, что в когнитивно-графическом образе содержится информация, позволяющая интерпретировать состояния параметров, подсистем и всего объекта наблюдения в целом.

В предлагаемой формуле

(13) Фыг = 1 — |R|, где

D Е7-1 (hY-hy )(HL-Hl) ,,

R = 1, r - — коэффициент корреляции

л/Е?=1 (Hy-Hy E?-I(Hl-H L)2 ^^ ^

Кузнецова [14], n — количество сегментов;

HY, HL — энтропия г-го сегмента эталона и идентифицируемого

образа соответственно;

HY, HL — средняя энтропия эталона и идентифицируемого образа;

Hi = — П Pi l°g2 Pi — энтропии сегментов изображения;

Ek-1 Rj +Ek-1 Gj+Ek-1 Bj Pi = ути—Rim—Gjm—— взвешенная цветовая емкость г-го

Z^ j-i j j-1 j + j-1 j

сегмента,

Щ, О*, В* — значения цветовых интенсивностей точек г-го сегмента; к — количество точек в сегменте графического объекта; М — общее количество точек, содержащихся в графическом объекте; эталонные образы—когнитивные образы при нормальном состоянии объекта;

идентифицируемые образы—образы, содержащие нештатные ситуации.

6. Лаконичность — это свойство когнитивно-графического образа, означающее, что изображение отражает существенные свойства объекта управления, а остальные параметры не представлены или предоставляются по требованию, Шеннон [15].

<14> г = £ •

где

1и — количество полезной информации; Vs — объем предоставляемых данных.

7. Структурность — свойство когнитивно-графического образа, позволяющее воспринимать объект наблюдения в качестве совокупности его подсистем и параметров, Звенигородский-Коломыйцев [16].

(15) Wstr = к1В + k2Z + кзЬ + кАБ,

в этой формуле

к * — весовые коэффициенты, определяющие приоритетность соответствующего принципа при оценке эффективности восприятия, при этом ^4=1 к = 1; В = N^N0, где

N — количество визуальных элементов, скомпонованных по

принципу «близости»; N0 — общее количество визуальных элементов; Z = N./N0, где

Nz — количество визуальных элементов, скомпонованных по принципу «общей зоны»; Ь = Nь/No, где

Nь — количество визуальных элементов, скомпонованных по принципу «связи»; 5 = N5/N0, где

N3 — количество визуальных элементов, скомпонованных по принципу «схожести».

8. Целостность — когнитивно-графические образы должны представлять собой целостные, законченные, предметно оформленные структуры. В предлагаемой формуле

(16) = к1Р + к2С + к3Б + кАТ,

к* — весовые коэффициенты, определяющие приоритетность соответствующего принципа при оценке эффективности восприятия, при этом ^4=1 к* = 1; Р = N^N0, где

^ — количество индикаторов, включенных в сложный целостный

когнитивно-графический образ; N0 — общее количество индикаторов;

С = ж+ж, где

Nc — количество индикаторов, скомпонованных в сложный

целостный образ, имеющий замкнутый контур; Nf — количество сложных целостных образов; Nd — количество индикаторов, скомпонованных в сложный целостный образ; 5 = N«/N0, где

Ns — количество индикаторов, скомпонованных по принципу «симметрии»; Т = N^N0, где

N1 — количество визуальных элементов, скомпонованных по принципу «продолжения» [17].

3. Экспериментальная оценка характеристик когнитивных графических образов

Предложенная совокупность оценок может быть практически использована для сравнения качества различных когнитивных образов с целью выбора наиболее подходящих для применения в составе НС КИС. Ограничимся шестью наиболее важными характеристиками, а именно: ситуационной интерпретируемостью аномалии, ситуационной интерпретируемостью критического состояния, структурностью, наглядностью, селективностью аномалии и селективностью критического состояния. В табл. 1 приведены сравнительные оценки качества образов [18-21].

Таблица 1. Сравнительные характеристики когнитивно-графических образов

Источник

Образ штатного состояния

Образ критического состояния

Фрактал, Новоселов [18]

Ядро с исходящими лучами, Еремеев [19]

Циклоидальный образ,

Емельянова [20]

Образы для НС КИС, Емельянова [21]

Наглядность

Структурность

Ситуационная

интерпретируемость

аномалии

Ситуационная

интерпретируемость

критического

состояния

Селективность

аномалии

Селективность

критического

состояния

0.428 0.997

0.000093

0.000926

0.953875 0.990506

0.604 0.800

0.008941

0.103604

0.873757 0.963373

0.642 0.912

0.622042

0.182984

0.843092 0.850937

0.428 0.908

0.048729

0.134504

0.847874 0.844733

Аддитивный критерий

0.389043

0.394835

0.607478

0.400767

На основе выявления и обобщения мнений ряда исследователей-экспертов из ФИЦ ИУ РАН и ИПС им. А.К. Айламазяна РАН, занимающихся вопросами визуализации, установлена следующая приоритетность качественных показателей когнитивно-графических образов аддитивного критерия (1):

• ситуационная интерпретируемость аномалии (А1 = 0.286);

• ситуационная интерпретируемость критического состояния (А2 = 0.238);

• структурность (А3 = 0.19);

• наглядность (А4 = 0.143);

• селективность аномалии (А5 = 0.095);

• селективность критического состояния (Аб = 0.048).

Из таблицы видно, что образы, предложенные в работах [18,19], по некоторым характеристикам уступают когнитивным образам из работ [20, 21], что позволяет рекомендовать последние для непосредственного применения в качестве когнитивного дополнения к интерфейсам НС КИС. В комплексной оценке качества образов не были учтены темпоральные характеристики, связанные с длительностью создания и восприятия образов. Этот аспект опущен в предположении, что технические средства позволяют строить образы практически незаметно для глаза человека, а оператор способен достаточно быстро оценивать образ после специального обучения. Указанные характеристики, при необходимости, могут быть дополнительно учтены в виде накладываемых ограничений.

Заключение

Назначение настоящей работы—применение множества используемых в различных источниках разрозненных оценок к комплексному оцениванию образов, рекомендуемому авторами для учета качества создаваемых когнитивных образов в интерфейсах контроля и диагностики сложных динамических систем, функционирующих в режиме реального времени. С этой целью выявлены и формализованы показатели качества когнитивных изображений, дана интегральная комплексная оценка образов такого типа. Предполагается, что разработанный подход найдет

применение в интерфейсах наземных станций командно-измерительных систем.

Список литературы

[1] Н. С. Абрамов, А. А. Ардентов, Ю.Г. Емельянова, А. А. Талалаев, В. П. Фраленко, О. Г. Шишкин. «Архитектура системы мониторинга и прогнозирования состояния космического аппарата», Программные системы: теория и приложения, 2015, №2, с. 85-99. url »¡С149

[2] В.Б. Яковлев (ред.). Автоматизированное управление технологическими процессами, Учебное пособие, Издательство Ленинградского Университета, Л., 1988, 224 с. f50

[3] И. А. Пономарев. Разработка моделей и алгоритмов для многокритериальной оценки качества графического пользовательского интерфейса, Диссертация на соискание ученой степени кандидата технических наук, М., 2006, 185 с.Н|51

[4] C. E. Shannon. «A mathematical theory of communication», Bell System Technical Journal, 27:3 (1948), c. 379-423. 61

[5] R. V. L. Hartley. «Transmission of information», Bell System Technical Journal, 7:3 (1928), c. 535-563. 61

[6] Л. В. Фаткин. Количественные оценки деятельности оператора системы централизованного контроля и управления, Автореферат диссертации на соискание ученой степени кандидата технических наук, М., 1966, 13 с. t51

[7] А. А. Харкевич, Проблемы кибернетики, т. 4, Физматгиз, М., 1960, с. 5357. t52

[8] K. S. Park. Human Reliability: Analysis, Prediction, and Prevention of Human Errors, Elsevier, New York, 1987, 340 с. t52

[9] Б.С. Горячкин. «Оценка выходных экранных форм автоматизированной системы обработки информации и управления», Международный научно-исследовательский журнал, 2016, №10, с. 24-27. «¡С (URL d 52

[10] М. Г. Шишаев, П. А. Ломов, В. В. Диковицкий. «Формализация задачи построения когнитивных пользовательских интерфейсов мультипредмет-ных информационных ресурсов», Труды Кольского научного центра РАН. Информационные технологии, 2013, №5, с. 90-97. pjc @ 53

[11] Ю. А. Вичевская, А. И. Мурынов. «Структурный анализ изображений на основе использования функции информативности», Альманах современной науки и образования, 2010, №4, с. 53-55. UR 53

[12] T. Comber, J.R. Maltby. "Investigating layout complexity", Design, specification, and verification of interactive systems, Proceedings of the Eurographics Workshop in Namur (Belgium, Namur, 5-7 June 1996),

1996.© 64

[13] C. Stickel, M. Ebner, A. Holzinger. "The XAOS metric — understanding visual complexity as measure of usability", 6th Symposium of the Workgroup Human-Computer Interaction and Usability Engineering on HCI in Work and Learning, Life and Leisure (Austria, Klagenfurt, 4-5 November 2010), 2010.

[14] Л. А. Кузнецов, Д. А. Бугаков. «Разработка меры оценки информационного расстояния между графическими объектами», Информационно-управляющие системы, 2013, №1, с. 74-79. 54

[15] Д. Раскин. Интерфейс: новые направления в проектировании компьютерных систем, Символ-Плюс, СПб., 2005, 277 с. t55

[16] А. С. Звенигородский, О. А. Коломыйцев. «Оценка визуальной информации в технических системах», Искусственный интеллект, 2011, №4, с. 19-23. @ 66

[17] М. Вертгеймер. Продуктивное мышление, Прогресс, М., 1987, 336 с. t56

[18] Ю. В. Новоселов. Методы и программные средства когнитивной графики для интеллектуальных систем поддержки принятия решений, Автореферат диссертации на соискание ученой степени кандидата технических наук, М., 2013, 20 с. ^56 57 58

[19] В.Н. Вагин, А.П. Еремеев. «Базовые принципы конструирования интеллектуальных систем поддержки принятия решений реального времени для мониторинга и управления сложными техническими объектами», Труды Третьего расширенного семинара «Использование методов искусственного интеллекта и высокопроизводительных вычислений в аэрокосмических исследованиях» (Переславль-Залесский, 26-27 ноября 2003 г.), 2003, с. 79-97. 56 57 58

[20] Ю. Г. Емельянова. «Разработка методов когнитивного отображения состояний динамических систем реального времени», Искусственный интеллект и принятие решений, 2016, №3, с. 21-30. «¡С <lirlL 56 57 58

[21] Ю.Г. Емельянова. «Графический анализ информации в системах космического назначения», Программные продукты и системы, 2009, №2, с. 45-49.Иг56 , 57 , 58

Рекомендовал к публикации

к.т.н. Е. П. Куршев

Пример ссылки на эту публикацию:

Ю. Г. Емельянова, В. П. Фраленко, В. М. Хачумов. «Методы комплексного оценивания когнитивных графических образов». Программные системы: теория и приложения, 2018, 9:3(38), с. 49-63. d 10.25209/2079-3316-2018-9-3-49-63

@ http://psta.psiras.ru//read/psta2018_3_49-63.pdf

Об авторах:

Юлия Геннадиевна Емельянова

Научный сотрудник ИЦМС ИПС им. А.К. Айламазяна РАН. Область научных интересов: человеко-машинные интерфейсы, когнитивно-графическое отображение информации.

¡Dh 0000-0001-7735-6820

e-mail: [email protected]

Виталий Петрович Фраленко К.т.н., ведущий научный сотрудник ИЦМС ИПС им. А.К. Айламазяна РАН. Область научных интересов: интеллектуальный анализ данных и распознавание образов, искусственный интеллект и принятие решений, параллельно-конвейерные вычисления, сетевая безопасность, диагностика сложных технических систем, графические интерфейсы, блокчейн-технологии.

¡Ги 0000-0003-0123-3773 e-mail: [email protected]

Вячеслав Михайлович Хачумов Д.т.н., г.н.с., зав. Лабораторией интеллектуального управления ИПС им. А.К. Айламазяна РАН, г.н.с. отдела 71 ФИЦ ИУ РАН, автор более 200 публикаций, действительный член Академии космонавтики им. К.Э. Циолковского.

¡Ги 0000-0001-9577-1438 e-mail: [email protected]

UDC 004.891.3

Yulia Emelyanova, Vitaly Fralenko, Vyacheslav Khachumov. Methods of complex estimation of cognitive graphic images.

Abstract. Methods for evaluating the quality of cognitive graphic images that used in technical control and management systems to support the decision-making of the human operator are explored in the paper. For the first time, a complex assessment of cognitive graphic images as part of interfaces of ground stations of command and measurement systems for aerospace applications was proposed. A comparative assessment of a quality is made for the cognitive images. (In Russian).

Key words and phrases: cognitive image, interface, ground station, decision making, workplace, intellectual system.

References

[1] N. S. Abramov, A. A. Ardentov, Ju.G. Emelyanova, A. A. Talalaev, V. P. Fralenko, O. G. Shishkin. "The architecture of the system for spacecraft state monitoring and forecasting", Program Systems: Theory and Applications, 6:2 (2015), pp. 85—99 (in Russian). URL 49

[2] V.B.Yakovlev (ed.). Automated control of technological processes, Tutorial, Izdatelstvo Leningradskogo Universiteta, L., 1988 (in Russian), 224 p.f50

[3] I. A. Ponomarev. Development of models and algorithms for multi-criteria evaluation of the quality of the graphical user interface, Dissertacija na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, M., 2006 (in Russian), 185 p.f51

[4] C. E. Shannon. "A mathematical theory of communication", Bell System Technical .Journal, 27:3 (1948), pp. 379-423. 61

[5] R. V. L. Hartley. "Transmission of information", Bell System Technical Journal, 7:3 (1928), pp. 535-563. d 61

[6] L. V. Fatkin. Quantitative assessments of the activity of the operator of the centralized control and management system, Avtoreferat dissertacii na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, M., 1966 (in Russian), 13 p.f51

[7] A. A. Kharkevich, Problems of Cybernetics, vol. 4, Fizmatgiz, M., 1960, pp. 53—57 (in Russian).f52

[8] K. S. Park. Human Reliability: Analysis, Prediction, and Prevention of Human Errors, Elsevier, New York, 1987, 340 p. f52

[9] B. S. Goryachkin. "Evaluation output screen forms of automated information

processing and management", International Research Journal, 2016, no.10, pp. 24— 27 (in Russian), url d - 62

© Y. G. Emelyanova ( , V. P. Fralenko« , V. M. Khachumov« , 2018

© Ailamazyan Program Systems Institute of RAS(1'2' , 2018

© Institute for Systems Analysis, FRC "Computer Science and Control" of RAS(, 2018

© Program Systems: Theory and Applications (design), 2018

DO 10.25209/2079-3316-2018-9-3-49-63^^^^^^^^^^^^^^^^^^^^^! lY-Rj

10] M.G. Shishaev, P. A. Lomov, V. V. Dikovicky. "Formalization problem of constructing cognitive user interfaces for multidomain information resources", Proceedings of the KSC RAS. Information technology, 2013, no.5, pp. 90—97 (in Russian).f53

11] Ju.A. Vichevskaya, A.I. Murynov. "Structural analysis of images based on the use of the informative function", Almanah Sovremennoj Nauki i Obrazovanija, 2010, no.4, pp. 53—55 (in Russian).f53

12] T. Comber, J. R. Maltby. "Investigating layout complexity", Design, specification, and verification of interactive systems, Proceedings of the Eurographics Workshop in Namur (Belgium, Namur, 5—7 June 1996), 1996. @f64

13] C. Stickel, M. Ebner, A. Holzinger. "The XAOS metric — understanding visual complexity as measure of usability", 6th Symposium of the Workgroup HumanComputer Interaction and Usability Engineering on HCI in Work and Learning, Life and Leisure (Austria, Klagenfurt, 4-5 November 2010), 2010. 64

14] L. A. Kuznecov, D. A. Bugakov. "Development of measures of assessing information distance between graphical objects", Information and Control Systems, 2013, no.1, pp. 74-79 (in Russian).f54

15] D. Raskin. Interface: new directions in the design of computer systems, Simvol-Plus, St. Petersburg, 2005 (in Russian), 277 p.f55

16] A. S. Zvenigorodsky, O. A. Kolomyytsev. "The calculation of the numerical criterion of comfort perception of the information of the electronic textbook", Artificial Intelligence, 2011, no.4, pp. 19—23 (in Russian), url 66

17] M. Wertheimer. Productive thinking, Harper, New York-London, 1959, 302 p.f56

18] Ju. V. Novoselov. Methods and software for cognitive graphics for intelligent decision support systems, Avtoreferat dissertacii na soiskanie uchenoj stepeni kandidata tehnicheskih nauk, M., 2013 (in Russian), 20 p.f56 57 58

19] V. N. Vagin, A. P. Eremeev. "Basic principles of designing intelligent real-time decision support systems for monitoring and managing complex technical objects", Trudy Tretego rasshirennogo seminara "Ispolzovanie metodov iskusstvennogo intellekta i vysokoproizvoditelnyh vychislenij v ajerokosmicheskih issledovanijah" (Pereslavl-Zalessky, 26-27 November, 2003), 2003, pp. 79-97 (in Russian). 56 57 58

20] Ju. G. Emelyanova. "Development of cognitive representation methods for real time dynamic systems", Artificial Intelligence and Decision Making, 2016, no.3, pp. 2130 (in Russian). f56 , 57 , 58

21] Ju. G. Emelyanova. "Graphical analysis of information in space systems", Pro-grammnye Produkty i Sistemy, 2009, no.2, pp. 45-49 (in Russian).f56 57 58

Sample citation of this publication:

Yulia Emelyanova, Vitaly Fralenko, Vyacheslav Khachumov. "Methods of

complex estimation of cognitive graphic images". Program Systems: Theory and Applications, 2018, 9:3(38), pp. 49-63. (In Russian). 10.25209/2079-3316-2018-9-3-49-63

urC http://psta.psiras.ru//read/psta2018_3_49-63.pdf