Научная статья на тему 'ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ НА ОСНОВЕ ЧЕЛОВЕКО-МАШИННОГО КОЛЛЕКТИВНОГО ИНТЕЛЛЕКТА: СОВРЕМЕННОЕ СОСТОЯНИЕ И КОНЦЕПТУАЛЬНАЯ МОДЕЛЬ'

ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ НА ОСНОВЕ ЧЕЛОВЕКО-МАШИННОГО КОЛЛЕКТИВНОГО ИНТЕЛЛЕКТА: СОВРЕМЕННОЕ СОСТОЯНИЕ И КОНЦЕПТУАЛЬНАЯ МОДЕЛЬ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
149
32
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ / ЧЕЛОВЕКО-МАШИННЫЙ КОЛЛЕКТИВНЫЙ ИНТЕЛЛЕКТ / МЕТОДОЛОГИЯ / КОНЦЕПТУАЛЬНАЯ МОДЕЛЬ / DECISION SUPPORT / HUMAN-COMPUTER COLLECTIVE INTELLIGENCE / METHODOLOGY / CONCEPTUAL MODEL

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Смирнов А. В., Левашова Т. В., Пономарев А. В.

Введение: в настоящее время благодаря развитию информационно-коммуникационных технологий и искусственного интеллекта все более широкое применение находят системы человеко-машинных вычислений, однако в подавляющем большинстве разработок в этой области человек, по сути, играет роль «вычислительного устройства», которое может обрабатывать запросы определенного вида. Таким образом, творческий потенциал и способности к самоорганизации людей в значительной степени игнорируются. Цель: разработка систем поддержки принятия решений, основанных на применении человеко-машинного коллективного интеллекта. Результаты: проведен анализ существующего состояния проблемы в области построения гибких человеко-машинных систем и предожена концептуальная модель среды, на базе которой могут создаваться системы поддержки принятия решений. Центральными понятиями разработанной концептуальной модели являются: а) проблема, на решение которой направлена деятельность человеко-машинного коллектива; б) коллектив машин и людей, взаимодействующих посредством среды в целях решения проблемы; в) модель процесса, описывающая процедуру поддержки принятия решений в части сбора информации, разработки и оценки альтернатив. Практическая значимость: предполагается, что применение разработанной модели позволит создавать системы поддержки принятия решений нового класса, используя потенциал самоорганизации человеко-машинных коллективов.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Decision support based on human-machine collective intelligence: state-of-the-art and conceptual model

Introduction: Due to the development of information and communication technologies and artificial intelligence, human-machine computing systems are becoming more widely used. However, in the vast majority of developments in this area, a human, in fact, plays the role of a “computing device”, who can only handle requests of a certain kind. Thus, human creativity and the ability to (self-)organize are largely discarded. Purpose: Developing a decision support concept based on the use of human-machine collective intelligence. Analyzing the current state of the problem in the field of constructing flexible human-machine systems. Proposing a conceptual model of the environment based on which decision support systems can be created. Results: A conceptual model of decision support is proposed based on human-machine collective intelligence. Its central concepts are: a) the problem at whose solution the human-machine collective activity is aimed, b) the collective of machines and people interacting through the environment to solve the problem, c) the process model which describes the decision support process in terms of information collection development and evaluation of alternatives. Practical relevance: The developed model can be a base to create a new class of decision support systems leveraging the self-organization potential of human-machine collectives.

Текст научной работы на тему «ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ НА ОСНОВЕ ЧЕЛОВЕКО-МАШИННОГО КОЛЛЕКТИВНОГО ИНТЕЛЛЕКТА: СОВРЕМЕННОЕ СОСТОЯНИЕ И КОНЦЕПТУАЛЬНАЯ МОДЕЛЬ»

СИСТЕМНЫЙ АНАЛИЗ /

удк 004.891:004.822:007.51 Научные статьи

doi:10.31799/1684-8853-2020-2-60-70 Articles

Поддержка принятия решений на основе человеко-машинного коллективного интеллекта: современное состояние и концептуальная модель

А. В. Смирнова, доктор техн. наук, профессор, orcid.org/0000-0001-8364-073X, [email protected] Т. В. Левашоваа, канд. техн. наук, старший научный сотрудник, orcid.org/0000-0002-1962-7044 А. В. Пономарева канд. техн. наук, старший научный сотрудник, orcid.org/0000-0002-9380-5064 аСанкт-Петербургский институт информатики и автоматизации РАН, 14-я линия В. О., 39, Санкт-Петербург, 199178, РФ

Введение: в настоящее время благодаря развитию информационно-коммуникационных технологий и искусственного интеллекта все более широкое применение находят системы человеко-машинных вычислений, однако в подавляющем большинстве разработок в этой области человек, по сути, играет роль «вычислительного устройства», которое может обрабатывать запросы определенного вида. Таким образом, творческий потенциал и способности к самоорганизации людей в значительной степени игнорируются. Цель: разработка систем поддержки принятия решений, основанных на применении человеко-машинного коллективного интеллекта. Результаты: проведен анализ существующего состояния проблемы в области построения гибких человеко-машинных систем и предожена концептуальная модель среды, на базе которой могут создаваться системы поддержки принятия решений. Центральными понятиями разработанной концептуальной модели являются: а) проблема, на решение которой направлена деятельность человеко-машинного коллектива; б) коллектив машин и людей, взаимодействующих посредством среды в целях решения проблемы; в) модель процесса, описывающая процедуру поддержки принятия решений в части сбора информации, разработки и оценки альтернатив. Практическая значимость: предполагается, что применение разработанной модели позволит создавать системы поддержки принятия решений нового класса, используя потенциал самоорганизации человеко-машинных коллективов.

Ключевые слова — поддержка принятия решений, человеко-машинный коллективный интеллект, методология, концептуальная модель.

Для цитирования: Смирнов А. В., Левашова Т. В., Пономарев А. В. Поддержка принятия решений на основе человеко-машинного коллективного интеллекта: современное состояние и концептуальная модель. Информационно-управляющие системы, 2020, № 2, с. 60-70. doi:10.31799/1684-8853-2020-2-60-70

For citation: Smirnov A. V., Levashova T. V., Ponomarev A. V. Decision support based on human-machine collective intelligence: state-of-the-art and conceptual model. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 2, pp. 60-70 (In Russian). doi:10.31799/1684-8853-2020-2-60-70

Введение

В широком смысле под коллективным интеллектом понимается способность группы (команды) находить решения задач [1]. Исторически исследования в области коллективного интеллекта были посвящены разработке методов и процедур, повышающих данную способность коллективов, состоящих из людей. Однако в настоящее время благодаря развитию информационно-коммуникационных технологий и искусственного интеллекта (ИИ) все более широкое применение находят человеко-машинные системы. Ярким примером подобных систем являются системы человеко-машинных вычислений (см. например, [2-4]), в которых наряду с операциями, выполняемыми программными компонентами, в цикл обработки информации включаются и операции, требующие применения интеллектуальных усилий людей.

Подавляющая часть исследований в области систем человеко-машинных вычислений (краудсор-

синга, крауд-вычислений) позиционирует человека как вид «вычислительного устройства», которое может обрабатывать запросы определенного вида (например, распознавать образ). Функция человека-участника сводится к выполнению конкретного задания посредством взаимодействия с системой способом, жестко ограниченным формой отображения подробностей задания и ввода результата. Отчасти это связано с тем, что включение человека рассматривается просто как адаптация существующих принципов построения вычислительных систем. Особенно это хорошо заметно на примере сервис-ориентированной архитектуры (ЯОЛ), изначально предназначенной для создания программных систем, но сформулированной с помощью достаточно высокоуровневых положений, допускающих различные способы реализации сервисов, из которых конструируется система. В частности, существует ряд адаптаций ЯОЛ для представления сервисов, реализуемых людьми [5, 6]. Таким образом, творческий потенциал и способности к самоорганизации людей игнорируются подобными системами.

Вместе с тем использование этого потенциала и построение систем человеко-машинного коллективного интеллекта (ЧМКИ) и дополненного интеллекта (augmented intelligence), основанного на взаимодействии людей и современных систем ИИ, по мнению многих аналитиков, является одним из наиболее перспективных направлений развития в области информатики и информационных технологий [7].

Следует отметить при этом, что ЧМКИ оказывается наиболее востребованным в системах поддержки принятия решений, так как такие системы, с одной стороны, предполагают гибкость потока работ, поскольку зачастую предусматривают итеративное исследование проблемы, с другой стороны, активно используют элементы ИИ.

Исследования авторов статьи посвящены созданию механизмов организации поддержки принятия решений (ППР), основанных на применении ЧМКИ. В частности, в настоящей статье проводится анализ существующего состояния проблемы в области построения человеко-машинных систем (с учетом возможности самоорганизации их участников) и предлагается концептуальная модель среды, на базе которой могут создаваться системы поддержки принятия решений (СППР).

Обзор современного состояния проблемы

Во многих исследованиях как в области организационного управления, так и в области человеко-машинных систем показывается, что при решении сложных задач возможностей фиксированных потоков работ оказывается недостаточно [8]. Преимущество применения элементов самоорганизации при функционировании малых команд также подчеркивается в многочисленных практических публикациях (например, по разработке программного обеспечения в рамках Agile-методик [9, 10] или по наукоемкой деятельности [11]). Следовательно, среда ППР, функционирующая на основе коллективного ЧМКИ, должна обеспечивать определенные механизмы самоорганизации.

Конкретные требования к среде должны опираться на существующие знания о процессах самоорганизации в человеческих и смешанных (человеко-машинных) коллективах. Для выявления таких требований было проведено исследование литературы, включавшее в себя анализ как общих вопросов самоорганизации в рассматриваемом классе коллективов, так и специфических вопросов построения систем человеко-машинных вычислений, предусматривающих элементы самоорганизации.

В рамках первого направления значительный интерес представляют междисциплинарные ис-

следования, раскрывающие структуру феноменов самоорганизации при совместной работе людей. В частности, можно отметить работу [12], в которой предлагается парадигма для объяснения и изучения того, как на основе локальных взаимодействий между агентами возникают такие общие паттерны, как распространение информации, возникновение и распространение норм, участие в совместных действиях. Основой этой парадигмы авторы видят агентный подход и агентное моделирование (agent-based models). В относительно независимую группу можно выделить работы, в которых разбираются механизмы самоорганизации на достаточно высоком уровне. Так, в работе [13] рассматриваются в общем виде взаимодействия между живыми организмами (от колоний бактерий до человеческих сообществ), а в [14] авторы исследуют роль возникновения социальных связей методами эволюционной теории игр. На схожем (междисциплинарном) уровне находится и работа [15], в которой выделяются основные механизмы и примитивы координации (использование разделяемого ресурса, назначение задания, передача артефакта и др.), являющиеся основой функционирования коллектива.

Наибольшую же актуальность с точки зрения исследуемой проблемы имеют работы по многоагентным технологиям, где затрагивается вопрос конструирования самоорганизующихся систем [16-18], а также работы по конструированию социальных робототехнических систем [19]. В частности, одной из актуальных задач является адаптация поведения искусственных агентов для их соответствия поведению людей (что необходимо для эффективной совместной работы). Перспективное решение данной задачи, предлагаемое в работах Ф. Дигнума (F. Dignum), опирается на понятие социальной практики (social practice) как на высокоуровневую спецификацию нормального (ожидаемого) поведения в данном социальном контексте [18, 20].

Термин «самоорганизация» широко применяется и в социальных науках [21]. Подавляющее большинство интерпретаций этого понятия включают четыре важнейших фактора: образование паттернов, автономность, устойчивость и динамику [22]. С точки зрения ППР наибольший интерес в данной области исследований представляют работы, в которых затрагиваются механизмы функционирования и динамика малых групп — выделение в них лидерства, механизм принятия решений (см., например, [23, 24]). В рамках теории организации (organization theory) выделяется также ряд «нестандартных» форм организаций — временных организаций (temporary organizations) и виртуальных организаций (virtual organizations), теоретические ис-

следования которых уже нашли применение при создании моделей крауд-систем [25, 26].

При рассмотрении специфических вопросов в центре исследования были системы социальных вычислений и человеко-машинные системы, в которых сценарий работы не фиксирован (не задан жестко конечным пользователем). В одной из наиболее ранних работ в этом направлении [27] предлагается алгоритм Price-Divide-Solve (PDS), определяющий правила совместной декомпозиции задачи до элементарных заданий, которые могут быть выполнены одним участником.

Одной из значимых попыток создания систем, обеспечивающих совместную работу людей и программных сервисов при решении разного класса задач, являются так называемые гибридные коллективные адаптивные системы (Hybrid Diversity-Aware Collective Adaptive Systems — HDACAS), вопросам создания которых посвящен, например, проект SmartSociety [28]. Разработанные в рамках этого проекта подходы и программные инструменты позволяют создавать гибридные системы, в функционировании которых участвуют как программные сервисы, так и люди. Однако этот проект имеет ряд недостатков:

— жизненный цикл проблемы достаточно жестко определяется платформой (сначала стадия переговоров, потом исполнения — возврат от исполнения к переговорам невозможен);

— программные сервисы не могут играть активную роль (в том числе участвовать в переговорах с людьми);

— несмотря на то что присутствует возможность адаптации к изменяющимся условиям, точки адаптации и ее алгоритмы должны быть заранее описаны разработчиком системы.

Концепция flash organizations [8, 26, 29] также нацелена на расширение возможности самоорганизации крауд-команд. Авторы определяют flash organization как крауд-сообщество, структурированное для достижения сложных целей. При построении таких сообществ предлагается применять подходы, схожие с теми, что используются в современных организациях, а именно: задействовать такие формальные структуры, как роли, иерархии и команды, определяющие обязанности, взаимосвязи и потоки информации без явной спецификации всех действий. Здесь: 1) участники не полагаются на наличие потока работ, предписывающих им выполнение конкретных действий; 2) за счет модели «pull request» организация может приспосабливаться и адаптироваться, не будучи ограниченной заданным набором заданий, ролей и зависимостей; 3) не обязательно нанимать всех исполнителей сразу, можно адаптировать структуру, добавляя новых исполнителей прямо в процессе достижения целей.

В результате проведенного обзора можно сделать следующие выводы.

1. Исследователи социальных систем и практики в области конструирования таких систем сходятся во мнении, что элементы самоорганизации оказываются критически важными, особенно при решении сложных задач. В настоящее время не существует решений, поддерживающих коллективный интеллект, образуемый искусственными интеллектуальными агентами и людьми.

2. Одну из важнейших ролей в функционировании самоорганизующихся коллективов, состоящих из людей, играют социальные нормы и адаптация политик поведения участников коллектива для следования этим нормам. Соответственно, при включении в состав коллектива программных сервисов следует обеспечить возможность считывания и интерпретации ими социальных норм, а также следования им. Причем, поскольку программные сервисы могут быть созданы различными пользователями среды, слой реализации социальных норм было бы рационально отделить от кода непосредственно программных сервисов, сделав его частью общей инфраструктуры среды.

3. Важной чертой самоорганизации в человеческих коллективах является координация на основе ролей [8, 26]. Концепция роли должна быть обеспечена средой, равно как и механизмы «переключения» программного агента между ролями (если это возможно) и уточнения конкретного содержания роли в рамках данного коллектива [17].

4. Проявление самоорганизации коллектива может быть упорядочено с помощью паттернов [22], структур и схем координации, к которым приходят участники в определенных условиях.

5. Необходимо формальное представление дискурса [30, 31], позволяющее отследить причину тех или иных аргументов или результатов (происхождение информации), «понимаемое» как людьми-участниками, так и программными агентами.

Полученные выводы были использованы при определении требований к среде ЧМКИ и учтены в концептуальной модели СППР на основе ЧМКИ.

Требования к среде поддержки принятия решений на основе ЧМКИ

В результате исследования был разработан набор требований к системам поддержки принятия решений на основе ЧМКИ. Во-первых, значительная часть требований к среде ЧМКИ опирается на исследования организационного поведения, в ко-

торых выделяются преграды для координации внутри команд (географическое распределение, взаимодействие посредством технологий, нестабильность состава команд), и предлагаются средства, направленные на преодоление данных преград (структурирование команд, распределение ответственности и пр.). Наличие таких средств, обеспечивающих координацию, становится требованием к системам ЧМКИ. Во-вторых, часть требований базируется на экспериментальных исследованиях систем краудсорсинга и крауд-вы-числений при решении сложных задач (см., например, [8]). В-третьих, ряд требований обусловлен гетерогенным составом среды, включением в нее как людей, так и программных сервисов. Можно выделить два уровня конвергенции коллективного интеллекта и ИИ — базовый и прикладной. При разработке универсальной среды целесообразно сконцентрироваться на базовом уровне, включающем в себя функции, имеющие место в самых разных системах, такие как использование ИИ для рациональной организации коллективов, занимающихся проблемой; обеспечение взаимодействия между системой ИИ, участниками коллектива и конечными пользователями.

Требования могут быть структурированы в две тематические группы.

1. Обеспечение взаимодействия и координации. Среда должна предоставлять возможность спецификации процесса ППР с различной степенью детализации — от «укрупненной» (роль) до подробной (последовательность действий). Необходимость этого требования вытекает из того, что подробная спецификация не всегда может быть составлена заранее, а составление ее может оказаться слишком трудоемким для лица, принимающего решения (ЛПР).

Конечный пользователь (ЛПР) должен иметь возможность отслеживать ход выполнения процесса и влиять на его реализацию на любом этапе. Необходимость этого требования связана с тем, что при отсутствии такого контроля шанс потерять исполнителями цели и контекст процесса оказывается достаточно большим [8]. Например, конечный пользователь может отслеживать прогресс, обеспечивать обратную связь, отвечать на вопросы в чате, а также ставить процесс на паузу, вносить изменения в структуру команды и продолжать выполнять требуемые действия [29].

Среда должна обеспечивать возможность повторно использовать фрагменты процесса ППР. Это существенно упростит планирование. Повторное использование может осуществляться в различной форме: как систематизированный каталог зарекомендовавших себя паттернов координации (из которого ЛПР или участник может самостоятельно выбрать решение, соответствую-

щее текущей проблеме) или как рекомендующая система, которая производит анализ ситуации и предлагает хорошо зарекомендовавший себя паттерн координации.

Среда должна иметь возможность обеспечивать формирование команд, состоящих из участников, с которыми (и у которых) есть положительный опыт взаимодействия. Что это важно, показано, например, в работе [32] и предложен способ этого достичь в среде, где присутствие участников не гарантировано (способ основан на формировании команды посредством решения оптимизационной задачи, в целевую функцию которой входят как характеристики полезности участника команды, оцененные на основе предыдущих взаимодействий, так и ожидаемая доступность участника). Для реализации этого требования должны быть разработаны модели анализа истории взаимодействий, предсказания будущей эффективности участников и формирования команд с учетом различных критериев.

2. Представление информации. Модель информации о процессе ППР, используемая в среде, во-первых, должна быть достаточно выразительной, чтобы с ее помощью можно было описать любые действия команды, а во-вторых, должна иметь визуальное представление, облегчающее взаимодействие и координацию внутри команды (создание и изменение плана действий, состава команды и пр.).

Информация о критериях и альтернативах должна представляться в виде, удобном для ЛПР (см., например, [33]).

Среда должна обеспечивать преобразование текущего состояния процесса ППР, описаний артефактов (и, возможно, содержимого некоторых артефактов) в машиночитаемую форму, чтобы сделать их доступными для программных агентов. Эта необходимость также определяется базовым уровнем конвергенции коллективного и искусственного интеллекта.

Концептуальная модель поддержки принятия решений на основе ЧМКИ

В результате проведенного обзора была разработана концептуальная модель ППР на основе ЧМКИ. Данная модель (рис. 1) задает содержательную интерпретацию всех специфических понятий, описывающих процесс ППР на основе ЧМКИ, и определяет взаимосвязи между ними, а также раскрывает суть основных процессов, важных с точки зрения функционирования информационной среды, построенной на базе предложенной модели.

Основные понятия концептуальной модели

■ Рис. 1. Концептуальная модель поддержки принятия решений на основе ЧМКИ

■ Fig. 1. Conceptual model of the decision-making based on human-machine collective intelligence

Среда — среда, поддерживающая ЧМКИ и предлагающая реализацию основных механизмов, которые являются критическими для существования коллективного интеллекта (способности коллектива решать задачи): семантической интероперабельности и координации. Таким образом, среда дает возможность коллективному интеллекту реализоваться. В частности, поскольку основной целью в рамках проекта является ППР, то эта среда предоставляет набор возможностей для организации групп/коллективов, выполняющих задачи по ППР. В первую очередь поддержку создания и изменения модели процесса, исполнение модели процесса (в том числе подбор участников для реализации элементов модели процесса), поддержку соответствия между машиночитаемым и человекочитаемым представлениями информации (формирование струк-

турированных артефактов с результатами работы участников, формализацию задач до уровня, доступного программным агентам).

Система поддержки принятия решений — система, созданная в соответствии с концептуальной моделью ППР на основе ЧМКИ. Предполагается, что СППР создается с использованием механизмов, реализованных средой.

Конечный пользователь/ЛПР — внешняя по отношению к СППР сущность (например, менеджер среднего/высшего звена какой-либо компании). Считается, что задачей СППР является предоставление ЛПР информации для принятия решения. ЛПР осуществляет первичное целепола-гание и контекст, формулирует проблему, предлагает исходную версию модели процесса (эскиз модели процесса), возможно, с помощью среды. В дальнейшем он наблюдает за ходом решения

проблемы участниками, может вмешиваться в процесс, предлагая «на лету» коррективы.

Проблема — вопрос, требующий разрешения в форме ответа на него или выполнения действий. Проблема задается конечным пользователем, а помощь (поддержка) в решении проблемы предоставляется СППР. Кроме того, этот же термин используется для обозначения всей совокупности информации (информации по проблеме), порожденной участниками среды при работе над проблемой, полученной от конечного пользователя.

Модель процесса (поддержки принятия решений) — модель, описывающая процессы сбора информации, разработки и оценки альтернатив и представляющая собой некоторую инструкцию к действию. Одной из особенностей модели процесса является то, что среда позволяет участникам влиять на нее (соответственно, участники могут предлагать дополнительные шаги, конкретизировать отдельные операции (см. процесс (ре)-организации модели поддержки принятия решений). Другой особенностью является поддержка нескольких уровней детализации этой модели процесса (так, при функционировании временных организаций хорошо показали себя ролевые модели координации, программным агентам сложно будет уточнять обязанности в рамках роли, поэтому часть процесса может быть описана в виде детализированной модели (конкретных операций с входами и выходами, которым может быть поставлен в соответствие сервис-исполнитель или композиция сервисов)). Модель процесса создается с помощью метамодели. При формировании модели могут использоваться паттерны — положительно

зарекомендовавшие себя решения типовых задач координации и самоорганизации. Исходная версия модели процесса (эскиз модели процесса) предлагается конечным пользователем. Она не содержит полную спецификацию всех действий, возможно, содержит только важные действия и (или) роли. Модель процесса уточняется в ходе выполнения (см. процесс (ре)организации модели процесса).

Метамодель процесса (поддержки принятия решений) — элементы, с помощью которых происходит построение конкретной модели процесса ППР, исполняемой коллективом участников в среде человеко-машинного коллективного интеллекта. Метамодель является многоуровневой и содержит, в частности, понятия задание, артефакт и роль.

Информация по проблеме — форма представления текущей информации по проблеме с той или иной степенью формализации. Информация по проблеме включает в себя контекст, всю информацию, сообщенную конечным пользователем, и всю информацию, порожденную коллективом при решении проблемы. В ходе функционирования среды одним из процессов является «взаимный» перевод этой информации из машиночитаемого представления в человекочитаемое и обратно. Структура формализованного представления информации по проблеме должна сохранять возможность отслеживать источник и основания получения каждого фрагмента информации. Для формального представления подобных отношений может быть использована онтологическая модель происхождения информации РИОУ-О [34] (рис. 2).

wasDerivedFrom

■ Рис. 2. Ядро онтологической модели PROV-O

■ Fig. 2. The core of the ontological provenance model PROV-O

Ядро онтологической модели происхождения информации (provenance) включает три концепта:

— сущность (Entity) — артефакт, документ, происхождение которого должно быть описано;

— деятельность (Activity) — процесс, в ходе которого могут порождаться и использоваться сущности;

— агент (Agent) — активный участник системы, играющий роль автора артефактов и участника процессов.

Сущности, в соответствии с моделью, могут создаваться в ходе различных деятель-ностей и использоваться в них (отношения «wasGeneratedBy» и «used» соответственно). Модель также предоставляет возможность описывать тот факт, что сущность является производной по отношению к другой сущности (отношение «wasDerivedFrom»). Для деятельности могут быть определены время начала и завершения («startedAtTime» и «endedAtTime» соответственно), а также факт использования одной деятельностью информации, порождаемой другой деятельностью (отношение «wasInformedBy»). Наконец, модель позволяет отметить факт вовлечения агента (Agent) в ту или иную деятельность (отношение «wasAssociatedWith»), участия в создании сущностей (отношение «wasAttributedTo») и действия одного агента от имени другого (отношение «actedOnBehalfOf»).

Артефакт — результат работы какого-либо участника; является частью понятия информации по проблеме.

Участник (агент) — эксперт либо программный сервис, который может принимать участие в реализации модели процесса (назначаться на роли, выполнять задания и пр.).

Программный сервис — агент, являющийся компьютерной программой.

Эксперт — агент-человек.

Коллектив (группа, команда) — множество участников, реализующих модель процесса поддержки принятия решений в рамках конкретной проблемы.

Процессы, обеспечиваемые средой

Основными процессами, параллельно осуществляемыми в ходе функционирования среды, являются: 1) процесс (ре)организации поддержки принятия решений и 2) процесс подготовки решения. Кроме того, важную роль играют вспомогательные процессы, в том числе обеспечивающие участие программных сервисов в работе коллектива.

Процесс (ре)организации поддержки принятия решения. В рамках этого процесса участники выдвигают различные предложения об организации ППР (используя элементы мета-модели и действуя с помощью интеллектуаль-

ных ассистентов, обладающих процессной базой знаний), обсуждают их и корректируют модель. Разработка методов функционирования подобных интеллектуальных ассистентов является одной из важнейших задач, поскольку представляет собой один из базовых способов конвергенции коллективного и искусственного интеллекта.

Процесс подготовки решения. Основной (продуктивный) процесс, в ходе которого участники порождают различные артефакты, так или иначе полезные для ЛПР (описание альтернатив, описание критериев и пр.). Артефакты имеют как человекочитаемое представление, так и машиночитаемое. Содержат элементы, кодирующие происхождение информации (с помощью онтологической модели РКОУ-О).

Вспомогательный процесс обеспечения участия программных сервисов в работе коллектива является двунаправленным, инициатором в нем может стать и эксперт, и программный сервис. Информация по проблеме не всегда представлена в достаточно формализованном виде (подходящем для машинной обработки). Для перевода между машинным представлением и человекочи-таемым используются:

1) из машиночитаемого представления в чело-векочитаемое: а) генерация структурного описания по онтологии (минимальные усилия), б) методы визуализации текущего множества альтернатив и их описаний (относительно небольшие усилия);

2) из человекочитаемого в машиночитаемое — интерактивные методы. Базовыми технологиями являются вычислительная лингвистика (родство ключевых слов и описаний), рассуждения на основе прецедентов и пр. Человек получает несколько вариантов, может выбрать, исправить, дополнить.

Способы участия программных сервисов в системе:

— программные сервисы могут быть простыми, «рассчитывающими» только на то, что они будут «обнаружены» средствами семантического поиска, предоставляемыми средой, и «назначены» для решения конкретной задачи, уже описанной в терминах понимаемой ими онтологии;

— программные сервисы могут обладать конфигуратором, который должен быть настроен человеком. Такой сервис требует, чтобы какой-то эксперт «пошел ему навстречу» и обеспечил конфигурацию для решения задачи (в частности, он может запрашивать ресурсы человека-конфигуратора). Например, агент-предиктор может «видеть» задачу предсказания чего-нибудь и создать запрос на то, чтобы другие участники закодировали для него параметры, на основе которых предсказание будет осуществляться, подготовили данные или совершили другие подготовитель-

ные операции (сформировали задачу для человека, что является напрямую одним из способов использования коллективного интеллекта для ИИ);

— программный сервис может обладать диалоговым конфигуратором. По сути, то же, что и предыдущий вариант, только алгоритм конфигурации заключается в ответе на вопросы. Например, такой диалоговый агент может задавать уточняющие вопросы, вопросы с выбором и прочие через среду взаимодействия, чтобы точно специфицировать задачу. В любом случае агент умеет сам себя конфигурировать, вопрос лишь в методах, которые для этого используются.

Базовый сценарий функционирования среды поддержки принятия решений на основе ЧМКИ

Лицо, принимающее решение (конечный пользователь), описывает проблемную ситуацию на естественном языке, рассчитывая получить набор альтернатив (возможно, ускользнувших от его внимания), а также анализ этих альтернатив по важным для себя критериям. Обращение ЛПР к СППР включает описание проблемной ситуации, эскиз модели процесса, временное ограничение. Описание проблемной ситуации, в свою очередь, включает текстовое описание ситуации, известные ЛПР альтернативы (или механизм их получения), важные для ЛПР критерии, ограничения. Эскиз модели процесса содержит основ-

ные элементы модели процесса (не обязательно полную ее спецификацию).

Описание проблемной ситуации становится доступно участникам среды, после чего происходит подбор участников на роли/задачи, определенные в действующем варианте модели процесса (с учетом истории совместной работы). Подбор может осуществляться в «строгой» форме (когда ЛПР все равно) или в «мягкой» (среда формирует рекомендации для ЛПР, а окончательное решение о назначении участников принимает уже ЛПР).

При таком первоначальном назначении, скорее всего, основными исполнителями будут люди, поскольку постановка задачи вряд ли будет настолько подробной, чтобы какие-то из программных агентов могли ей соответствовать.

Участники осуществляют деятельность двух видов: (ре)организацию модели поддержки принятия решения и подготовку решений.

Схематически базовый сценарий функционирования среды изображен на рис. 3, где блоки соответствуют основным действиям (совершаемым средой или ее пользователями различных категорий), сплошные стрелки — потокам информации, а пунктирные стрелки отображают факт ответственности пользователей той или иной категории за выполнение соответствующего вида деятельности. Основные процессы, обеспечиваемые средой, имеют циклическую структуру, которая позволя-

ЛПР

Формулировка задачи

JZ.

Определение/корректировка модели процесса

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Формирование предложений по модели процесса

Подбор участников и назначение заданий

Участники

f "4

Выполнение

заданий

С \

Обобщение результатов * (в соответствии с моделью

процесса) ^__.__/

Оценка

■ Рис. 3. Базовый сценарий функционирования среды

■ Fig. 3. Basic scenario implemented by the environment

ет адаптировать процесс ППР к изменениям текущей ситуации или требованиям ЛПР. Так, первый цикл (соответствующий процессу (ре)организа-ции решения) состоит из действий «Определение/ корректировка модели процесса»-«Формирование предложений по модели процесса»-«Обобщение результатов»-«Оценка». В ходе этого процесса происходит формирование предложений и уточнение самой модели процесса. Следует отметить, что действие «Обобщение результатов» включает в обработку (согласование) и выполненных заданий, и предложений по изменению модели процесса. Второй цикл, исполняемый независимо от первого и соответствующий процессу подготовки решения, включает действия «Определение/корректировка модели процесса»-«Подбор участников»-«Выполнение заданий»-«Обобщение результатов»-«Оценка».

Заключение

В работе предложена концептуальная модель поддержки принятия решений на основе человеко-машинного коллективного интеллекта.

Литература

1. Chikersal P., Tomprou M., Kim Y. J., Woolley A. W., Dabbish L. Deep structures of collaboration. Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing, 2017, pp. 873-888. doi:10.1145/2998181.2998250

2. Assis Neto F. R., Santos C. A. S. Understanding crowdsourcing projects: A systematic review of tendencies, workflow, and quality management. Information Processing and Management, 2018, vol. 54, no. 4, pp. 490-506. doi:10.1016/j.ipm.2018.03.006

3. Ramirez-Montoya M. S., Garcia-Penalvo F.-J. Co-creation and open innovation: Systematic literature review. Comunicar, 2018, vol. 26, no. 54, pp. 9-18. doi:10.3916/C54-2018-01

4. Hajibayova L., Latham K. F. Exploring museum crowdsourcing projects through Bourdieu's lens. Knowledge Organization, 2017, vol. 44, no. 7, pp. 506514. doi:10.5771/0943-7444-2017-7-506

5. Schall D. Service-Oriented Crowdsourcing: Architecture, Protocols and Algorithms. New York, Springer, 2012. doi:10.1007/978-1-4614-5956-9

6. Schall D. Service oriented protocols for human computation. Handbook of Human Computation. New York, Springer, 2013. Pp. 551-560. doi:10.1007/978-1-4614-8806-4_74

7. Wright B. From artificial intelligence to augmented intelligence. https://www.idgconnect.com/opin-ion/1502870/artificial-intelligence-augmented-intel-ligence (дата обращения: 27.01.2020).

Центральными понятиями разработанной концептуальной модели являются:

— проблема, на решение которой направлена деятельность человеко-машинного коллектива;

— коллектив машин и людей, взаимодействующих посредством среды в целях решения проблемы;

— модель процесса, описывающая процесс поддержки принятия решений в части сбора информации, разработки и оценки альтернатив. Для разработанной модели предложен базовый сценарий функционирования системы/среды поддержки принятия решений на основе человеко-машинного коллективного интеллекта.

Предполагается, что использование разработанной модели позволит создавать системы поддержки принятия решений нового класса, опираясь на потенциал самоорганизации человеко-машинных коллективов.

Финансовая поддержка

Работа выполнена при финансовой поддержке РНФ (проект № 19-11-00126).

8. Retelny D., Bernstein M. S., Valentine M. A. No workflow can ever be enough: How crowdsourcing workflows constrain complex work. Proceedings of the ACM on Human-Computer Interaction, 2017, vol. 1, no. 2, article 89. doi:10.1145/3134724

9. Kaltenecker S., Hundermark P. What are self-organizing teams. https://www.infoq.com/articles/what-are-self-organising-teams/ (дата обращения: 27.01.2020).

10. Lichtenberger A. Self-organized teams: where great things start. https://blog.itil.org/2015/01/self-organ-ized-teams-where-great-things-start/ (дата обращения: 27.01.2020).

11. Drucker P. Management Challenges for the 21st Century. Routledge, 2012. doi:10.4324/9780080942384

12. Macy M. W., Willer R. From factors to actors: Computational sociology and agent-based modeling. Annual Review of Sociology, 2002, vol. 28, no. 1, pp. 143-166. doi:10.1146/annurev.soc.28.110601.141117

13. Perc M., Gomez-Gardenes J., Szolnoki A., Floria L. M., Moreno Y. Evolutionary dynamics of group interactions on structured populations: a review. Journal of the Royal Society Interface, 2013, vol. 10, no. 80, pp. 20120997. doi:10.1098/rsif.2012.0997

14. Santos F. C., Pacheco J. M., Lenaerts T. Cooperation prevails when individuals adjust their social ties. PLoS Computational Biology, 2006, vol. 2, no. 10, pp. e140. doi:10.1371/journal.pcbi.0020140

15. Malone T. W., Crowston K. The Interdisciplinary study of coordination. ACM Computing Surveys (CSUR), 1994,vol.26, no. 1,pp. 87-119. doi:10.1145/174666.174668

16. Городецкий В. И. Самоорганизация и многоагент-ные системы. I. Модели многоагентной самоорганизации. Известия РАН. Теория и системы управления, 2012, no. 2, pp. 92-120.

17. Lhaksmana K. M., Murakami Y., Ishida T. Role-based modeling for designing agent behavior in self-organizing multi-agent systems. International Journal of Software Engineering and Knowledge Engineering, 2018, vol. 28, no. 1, pp. 79-96. doi:10.1142/ S0218194018500043

18. Dignum F. Interactions as social practices: towards a formalization. https://arxiv.org/abs/1809.08751 (дата обращения: 27.01.2020).

19. Карпов В. Э., Карпова И. П., Кулинич А. А. Социальные сообщества роботов. М., ЛЕНАНД, 2019. 352 с.

20. Cranefield S., Dignum F. Incorporating social practices in BDI agent systems. Proceedings of the 18th International Conference on Autonomous Agents and Multi-Agent Systems, 2019, pp. 1901-1903.

21. Fuchs C. Concepts of Social Self-Organisation Research Paper Intas Project 'Human Strategies in Complexity'. http://www.self-organization.org/results/papers/pdf/ hsicpaper4.pdf (дата обращения: 27.01.2020).

22. Gilbert N., Anzola D., Johnson P., Elsenbroich C., Bal-ke T., Dilaver Kalkan O. Self-organizing dynamical systems. International Encyclopedia of the Social & Behavioral Sciences. 2nd ed. Elsevier, 2015. Pp. 529534.

23. Smith C., Comer D. Self-organization in small groups: A study of group effectiveness within non-equilibrium conditions. Human Relations, 1994, vol. 47, no. 5, pp. 553-581. doi:10.1177/001872679404700505

24. Plowman D. A., Solansky S., Beck T. E., Baker L., Kulkarni M., Travis D. V. The role of leadership in emergent, self-organization. The Leadership Quarterly, 2007, vol. 18, no. 4, pp. 341-356. doi:10.1016/j.lea-qua.2007.04.004

25. Reinicke B. Creating a framework for research on virtual organizations. Journal of Information Systems Applied Research, 2011, vol. 4, iss. 1, pp. 49-56.

26. Valentine M. A., Retelny D., To A., Rahmati N., Doshi T., Bernstein M. S. Flash organizations. Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 2017, pp. 3523-3537. doi:10.1145/3025453.3025811

27. Kulkarni A., Can M., Hartmann B. Collaboratively crowdsourcing workflows with turkomatic. Proceedings of the ACM 2012 Conference on Computer Supported Cooperative Work, 2012, pp. 1003-1012. doi:10.1145/2145204.2145354

28. Scekic O., Schiavinotto T., Videnov S., Rovatsos M., Truong H.-L., Miorandi D., Dustdar S. A programming model for hybrid collaborative adaptive systems. IEEE Transactions on Emerging Topics in Computing, 2017, vol. 6750. doi:10.1109/tetc.2017.2702578

29. Retelny D., Robaszkiewicz S., To A., Lasecki W. S., Patel J., Rahmati N., Doshi T., Valentine M., Bernstein M. S. Expert crowdsourcing with flash teams. Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology, 2014, pp. 75-85. doi:10.1145/2642918.2647409

30. Mastering Data-Intensive Collaboration and Decision Making/Ed. N. Karacapilidis. Springer, 2014. 226 p. doi:10.1007/978-3-319-02612-1

31. Karacapilidis N., Tampakas V. On the exploitation of collaborative argumentation structures for inducing reasoning behavior. Proceedings of the 18th International Conference on IEEE/Internet, 2019, pp. 78-84. doi:10.33965/icwi2019_201913L010

32. Salehi N., McCabe A., Valentine M., Bernstein M. S. Huddler: Convening stable and familiar crowd teams despite unpredictable availability. Proceedings of the ACM Conference on Computer Supported Cooperative Work, 2017, pp. 1700-1713. doi:10.1145/2998181. 2998300

33. Lengler R., Eppler M. J. Towards a periodic table of visualization methods of management. Graphics and Visualization in Engineering, 2007, ACTA Press, Anaheim, pp. 83-88.

34. The PROVOntology. https://www.w3.org/TR/prov-o/ (дата обращения: 27.01.2020).

UDC 004.891:004.822:007.51 doi:10.31799/1684-8853-2020-2-60-70

Decision support based on human-machine collective intelligence: state-of-the-art and conceptual model

A. V. Smirnova, Dr. Sc., Tech., Professor, orcid.org/0000-0001-8364-073X, [email protected] T. V. Levashovaa, PhD, Tech., Senior Researcher, orcid.org/0000-0002-1962-7044 A. V. Ponomareva, PhD, Tech., Senior Researcher, orcid.org/ 0000-0002-9380-5064

aSaint-Petersburg Institute for Informatics and Automation of the RAS, 39, 14 Line, V. O., 199178, Saint-Petersburg, Russian Federation

Introduction: Due to the development of information and communication technologies and artificial intelligence, human-machine computing systems are becoming more widely used. However, in the vast majority of developments in this area, a human, in fact, plays the role of a "computing device", who can only handle requests of a certain kind. Thus, human creativity and the ability to (self-)organize are largely discarded. Purpose: Developing a decision support concept based on the use of human-machine collective intelligence. Analyzing the current state of the problem in the field of constructing flexible human-machine systems. Proposing a conceptual model of the environment based on which decision support systems can be created. Results: A conceptual model of decision support is proposed

based on human-machine collective intelligence. Its central concepts are: a) the problem at whose solution the human-machine collective activity is aimed, b) the collective of machines and people interacting through the environment to solve the problem, c) the process model which describes the decision support process in terms of information collection development and evaluation of alternatives. Practical relevance: The developed model can be a base to create a new class of decision support systems leveraging the self-organization potential of human-machine collectives.

Keywords — decision support, human-computer collective intelligence, methodology, conceptual model.

For citation: Smirnov A. V., Levashova T. V., Ponomarev A. V. Decision support based on human-machine collective intelligence: state-of-the-art and conceptual model. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 2, pp. 60-70 (In Russian). doi:10.31799/1684-8853-2020-2-60-70

References

1. Chikersal P., Tomprou M., Kim Y. J., Woolley A. W., Dabbish L. Deep structures of collaboration. Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing, 2017, pp. 873-888. doi:10.1145/ 2998181.2998250

2. Assis Neto F. R., Santos C. A. S. Understanding crowdsourc-ing projects: A systematic review of tendencies, workflow, and quality management. Information Processing and Management, 2018, vol. 54, no. 4, pp. 490-506. doi:10.1016/j. ipm.2018.03.006

3. Ramírez-Montoya M. S., García-Peñalvo F.-J. Co-creation and open innovation: Systematic literature review. Comunicar, 2018, vol. 26, no. 54, pp. 9-18. doi:10.3916/C54-2018-01

4. Hajibayova L., Latham K. F. Exploring museum crowd-sourcing projects through Bourdieu's lens. Knowledge Organization, 2017, vol. 44, no. 7, pp. 506-514. doi:10.5771/ 0943-7444-2017-7-506

5. Schall D. Service-Oriented Crowdsourcing: Architecture, Protocols and Algorithms. New York, Springer, 2012. doi:10.1007/978-1-4614-5956-9

6. Schall D. Service oriented protocols for human computation. In: Handbook of Human Computation. New York, Springer, 2013. Pp. 551-560. doi:10.1007/978-1-4614-8806-4_74

7. Wright B. From artificial intelligence to augmented intelligence. Available at: https://www.idgconnect.com/opin-ion/1502870/artificial-intelligence-augmented-intelligence (accessed 27 January 2020).

8. Retelny D., Bernstein M. S., Valentine M. A. No workflow can ever be enough: How crowdsourcing workflows constrain complex work. Proceedings of the ACM on Human-Computer Interaction, 2017, vol. 1, no. 2, article 89. doi:10.1145/3134724

9. Kaltenecker S., Hundermark P. What are self-organizing teams. Available at: https://www.infoq.com/articles/what-are-self-organising-teams/ (accessed 27 January 2020).

10. Lichtenberger A. Self-organized teams: where great things start. Available at: https://blog.itil.org/2015/01/self-organ-ized-teams-where-great-things-start/ (accessed 27 January 2020).

11. Drucker P. Management Challenges for the 21st Century. Routledge, 2012. doi:10.4324/9780080942384

12. Macy M. W., Willer R. From factors to actors: Computational sociology and agent-based modeling. Annual Review of Sociology, 2002, vol. 28, no. 1, pp. 143-166. doi:10.1146/ annurev.soc.28.110601.141117

13. Perc M., Gómez-Gardeñes J., Szolnoki A., Floría L. M., Moreno Y. Evolutionary dynamics of group interactions on structured populations: a review. Journal of the Royal Society Interface, 2013, vol. 10, no. 80, pp. 20120997. doi:10.1098/ rsif.2012.0997

14. Santos F. C., Pacheco J. M., Lenaerts T. Cooperation prevails when individuals adjust their social ties. PLoS Computational Biology, 2006, vol. 2, no. 10, pp. e140. doi:10.1371/ journal.pcbi.0020140

15. Malone T. W., Crowston K. The Interdisciplinary study of coordination. ACM Computing Surveys (CSUR), 1994, vol. 26, no. 1, pp. 87-119. doi:10.1145/174666.174668

16. Gorodetskii V. I. Self-organization and multiagent systems. I: Models of multiagent self-organization. Journal of Computer and Systems Sciences International, 2012, vol. 51, no. 2, pp. 256-281 (In Russian).

17. Lhaksmana K. M., Murakami Y., Ishida T. Role-based modeling for designing agent behavior in self-organizing multi-agent systems. International Journal of Software Engineering and Knowledge Engineering, 2018, vol. 28, no. 1, pp. 79-96. doi:10.1142/S0218194018500043

18. Dignum F. Interactions as social practices: Towards a formalization. Available at: https://arxiv.org/abs/1809.08751 (accessed 27 January 2020).

19. Karpov V. E., Karpova I. P., Kulinich A. A. Social'nye soob-shchestva robotov [Social communities of robots]. Moscow, LENAND Publ., 2019. 352 p. (In Russian).

20. Cranefield S., Dignum F. Incorporating social practices in BDI agent systems. Proceedings of the 18th International Conference on Autonomous Agents and Multi-Agent Systems, 2019, pp. 1901-1903.

21. Fuchs C. Concepts of Social Self-Organisation Research Paper Intas Project 'Human Strategies in Complexity'. Available at: http://www.self-organization.org/results/papers/ pdf/hsicpaper4.pdf (accessed 27 January 2020).

22. Gilbert N., Anzola D., Johnson P., Elsenbroich C., Balke T., Dilaver Kalkan O. Self-organizing dynamical systems. In: International Encyclopedia of the Social & Behavioral Sciences. 2nd ed. Elsevier, 2015. Pp. 529-534.

23. Smith C., Comer D. Self-organization in small groups: A study of group effectiveness within non-equilibrium conditions. Human Relations, 1994, vol. 47, no. 5, pp. 553-581. doi:10.1177/001872679404700505

24. Plowman D. A., Solansky S., Beck T. E., Baker L., Kulkarni M., Travis D. V. The role of leadership in emergent, self-organization. The Leadership Quarterly, 2007, vol. 18, no. 4, pp. 341-356. doi:10.1016/j.leaqua.2007.04.004

25. Reinicke B. Creating a framework for research on virtual organizations. Journal of Information Systems Applied Research, 2011, vol. 4, iss. 1, pp. 49-56.

26. Valentine M. A., Retelny D., To A., Rahmati N., Doshi T., Bernstein M. S. Flash organizations. Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 2017, pp. 3523-3537. doi:10.1145/3025453.3025811

27. Kulkarni A., Can M., Hartmann B. Collaboratively crowdsourcing workflows with turkomatic. Proceedings of the ACM 2012 Conference on Computer Supported Cooperative Work, 2012, pp. 1003-1012. doi:10.1145/2145204.2145354

28. Scekic O., Schiavinotto T., Videnov S., Rovatsos M., Truong H.-L., Miorandi D., Dustdar S. A programming model for hybrid collaborative adaptive systems. IEEE Transactions on Emerging Topics in Computing, 2017, vol. 6750. doi:10.1109/tetc.2017.2702578

29. Retelny D., Robaszkiewicz S., To A., Lasecki W. S., Patel J., Rahmati N., Doshi T., Valentine M., Bernstein M. S. Expert crowdsourcing with flash teams. Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology, 2014, pp. 75-85. doi:10.1145/2642918.2647409

30. Mastering Data-Intensive Collaboration and Decision Making. Karacapilidis N. (Ed.) Springer, 2014. 226 p. doi:10. 1007/978-3-319-02612-1

31. Karacapilidis N., Tampakas V. On the exploitation of collaborative argumentation structures for inducing reasoning behavior. Proceedings of the 18th International Conference on IEEE/Internet, 2019, pp. 78-84. doi:10.33965/icwi2019_ 201913L010

32. Salehi N., McCabe A., Valentine M., Bernstein M. S. Hud-dler: Convening stable and familiar crowd teams despite unpredictable availability. Proceedings of the ACM Conference on Computer Supported Cooperative Work, 2017, pp. 1700-1713. doi:10.1145/2998181.2998300

33. Lengler R., Eppler M. J. Towards a periodic table of visualization methods of management. Graphics and Visualization in Engineering, 2007, ACTA Press, Anaheim, pp. 8388.

34. The PROVOntology. Available at: https://www.w3.org/TR/ prov-o/ (accessed 27 January 2020).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.