CC BY
75
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2017 Том 17 № 5 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS September-October 2017 Vol. 17 No 5 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 004.8
КОЛЛЕКТИВНОЕ ИНФОРМАЦИОННОЕ ВЗАИМОДЕЙСТВИЕ УЧАСТНИКОВ ЭКСПЕРТНЫХ СЕТЕЙ: АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ
ИССЛЕДОВАНИЙ
П.И. Гугунова", А.М. Кашевник"*
a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация b СПИИРАН, Санкт-Петербург, 199178, Российская Федерация Адрес для переписки: [email protected] Информация о статье
Поступила в редакцию 28.04.17, принята к печати 23.07.17 doi: 10.17586/2226-1494-2017-17-5-859-871 Язык статьи - русский
Ссылка для цитирования: Гугунова П.И., Кашевник А.М. Коллективное информационное взаимодействие участников экспертных сетей: анализ современного состояния исследований // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17. № 5. С. 859-871. doi: 10.17586/2226-1494-2017-17-5-859-871
Аннотация
Предмет исследования. Выполнен обзор исследований и технологий реализации групповой работы экспертов для решения возникающих задач. Изучены возможности экспертных сетей для коллективного взаимодействия экспертов и создания новых знаний. Выделены отличительные характеристики современных экспертных сетей. Описаны принципы построения экспертной сети, алгоритмы подбора экспертов и маршрутизации запросов. Приведен сравнительный анализ экспертных сетей различных видов - общего профиля, специализированных, научно-образовательных;, выделяются их особенности и основные функции. На основе результатов анализа сформулированы требования, предъявляемые к современным экспертным сетям научно-технологической направленности. Метод. Для выявления требований к экспертной сети используется метод описания и сравнительного анализа соответствующих систем и технологий. Основные результаты. Выделены основные сценарии использования экспертных сетей экспертами и заказчиками. Сформулированы требования, предъявляемые к экспертной сети, которые позволят реализовать ее эффективное использование в соответствии с выделенными сценариями. Практическая значимость. Применение результатов исследования позволит разработать экспертную сеть для совместной работы и эффективного взаимодействия заказчиков и экспертов, которая удовлетворяет требованиям современных систем поддержки коллективной работы. Ключевые слова
экспертная сеть, коллективная работа, посткраудсорсинг, эксперты, знания Благодарности
Представленные результаты исследований являются частью проекта № 16-29-12866, финансируемого Российским фондом фундаментальных исследований, а также бюджетной темой 0073-2014-0005. Работа также выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации (субсидия 074-U01).
COOPERATIVE INTERACTION OF EXPERT NETWORKS PARTICIPANTS:
STATE-OF-THE ART ANALYSIS P.I. Gugunova3, A.M. Kashevnika,b
a ITMO University, Saint Petersburg, 197101, Russian Federation b SPIIRAS, Saint Petersburg, 199178, Russian Federation Corresponding author: [email protected]
Article info
Received 28.04.17, accepted 23.07.17 doi: 10.17586/2226-1494-2017-17-5-859-871 Article in Russian
For citation: Gugunova P.I., Kashevnik A.M. Cooperative interaction of expert networks participants: state-of-the art analysis. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2017, vol. 17, no. 5, pp. 859-871 (in Russian). doi: 10.17586/2226-14942017-17-5-859-871
Abstract
Subject of Research. The paper presents an overview of research in the area of experts' collaboration for solving given problems. The capabilities of expert networks for collective information consumption and the creation of new knowledge are
studied. Distinctive characteristics of modern expert networks are identified. The expert network building principles, expert search algorithms and query routing algorithms are described. A comparative analysis of expert networks of various types is given: general, specialized, scientific and educational ones. Main features of networks and basic functions are distinguished. Based on the analysis results, the requirements for modern expert networks of scientific and technological orientation are formulated. Method. Description and comparative analysis of related systems and technologies are used to identify expert network requirements. Main Results. The main scenarios for the expert networks utilization by experts and customers are identified. Expert network requirements are formulated that provide the effective use of the system in accordance with the scenarios. Practical Relevance. Application of the research results will help to develop expert network for collective work and efficient interaction of experts and their customers, so that the system meets requirements of the modern systems for expert collective work. Keywords
expert network, collective work, postcroudsourcing, experts, knowledge Acknowledgements
The presented results are part of the research carried out within the project funded by grant #16-29-12866 of the Russian Foundation for Basic Research and by the State Research no. 0073-2014-0005. This work is also carried out with the financial support of leading universities of the Russian Federation, Grant 074-U01.
Введение
Под термином «экспертная сеть» обычно понимается сообщество профессионалов в определенной области, объединенных информационной системой, в которой решаются следующие основные задачи: подбор экспертов с заданными компетенциями для проведения экспертизы; определение рейтинга экспертов в сети; поддержка профессиональной и научной деятельности эксперта с помощью дополнительных сервисов; поиск коллег и проектов по интересам. При этом выделяются экспертные сети общего профиля и отраслевые, коммерческие и научно-образовательные, региональные и глобальные. Существуют экспертные сети внутри компаний и сети, объединяющие множество организаций разного размера и специализации. В классической экспертной сети эксперты осуществляют консультации на возмездной основе в принятой в рамках используемой сети форме - с помощью средств онлайн-коммуникации, в письменном отчете, при личной встрече и т.д. Численность экспертных сетей тем больше, чем проще функциональность, которую они предоставляют [1]. Экспертные сети общего профиля, как правило, представляют собой коммуникационные площадки для поиска эксперта для задачи заказчика и оплаты его консультаций. Наиболее известными экспертными сетями такого типа являются GLG1, Guidepoint2, CRG3. Экспертные сети, в которых реализован более сложный функционал (например, сервисы коллективной работы), заточены на определенный круг профессионалов в узкой предметной области: медицинских работников (социальная сеть для докторов Sermo4), технологических специалистов (экспертная сеть Experfy5) и др.
В научно-исследовательских экспертных сетях основной целью участников является написание и подготовка к публикации научных работ, рецензирование статей по профессиональной тематике. В данных сетях экспертами являются представители научного сообщества, их побуждает к участию в сети, в первую очередь, обмен знаниями с коллегами, коллективная обработка информации, сервисы для совместной работы с широким кругом экспертов по всему миру. К таким сетям можно отнести сеть Mendeley6 и ResearchGate7.
Термин «экспертная сеть» также применяется к сообществу экспертов внутри определенной организации взаимодействующих между собой для совместного выполнения задач. Эксперты могут разрабатывать новые идеи (Idea Management [2]), обслуживать заявки потребителей (Service Desk) и т.д. В первом случае ключевым аспектом сети является поддержка креативности генерируемых идей и отбор из них наиболее значимых [3], а во втором - быстрое перенаправление заявки тому эксперту, который обладает необходимыми компетенциями для решения указанной в ней проблемы [4].
Понятие экспертных сетей также связывается с областью экспертных систем и искусственного интеллекта. В работах Lacher [5] под экспертной сетью понимается нейронная сеть, построенная над сформированными экспертами правилами вывода.
Существуют сети, которые комбинируют функциональность экспертных сетей различного типа. Их участниками могут являться представители индустрии, исследовательские институты, государственные организации, инвесторы. Преимущества такой сети - в том, что проводимые экспертами исследования могут сразу найти применение в прикладных проектах, а представители компаний имеют возможность обратиться за научной экспертизой или инициировать проект с высоким коммерческим потенциа-
1 Gerson Lehrman Group https://glg.it/
2 Guidepoint https://www.guidepoint.com/
3 Coleman Research Group https://www.colemanrg.com/
4 Sermo http://www.sermo.com/
5 Experfy https://www.experfy.com/
6 Mendeley https://www.mendeley.com/
7 ResearchGate https://www.researchgate.net/
лом, подобрав подходящих специалистов. В таких сетях, кроме поиска и подбора экспертов, необходимо управление компетенциями экспертов, поддержка совместной работы над документами и различных способов коммуникации экспертов друг с другом.
В данной работе проанализированы существующие экспертные сети и выделены основные требования к их построению. Рассматриваются только те экспертные сети, которые предоставляют автоматизированные инструменты поиска экспертов и сервисы для работы участников сети (часть существующих на сегодняшний день сетей не использует каких-либо инструментов автоматизации, все задачи по подбору экспертов выполняются сотрудниками сети вручную). Среди исследовательских работ по данной тематике рассматривались актуальные исследования, раскрывающие понятие экспертных сетей в одном из следующих направлений: коллективный интеллект и управление знаниями, технологии экспертных сетей и алгоритмы поиска экспертов, практика использования современных экспертных сетей, а также содержащие описание технологий, применяемых в реальных проектах по разработке как экспертных сетей, так и других систем коллективной работы.
Основной характеристикой эксперта служит набор его компетенций, который является достаточно уникальным и включает как функциональные аспекты, так и личностные качества (например, лидерство). По этой причине критически важной становится процедура подбора специалистов и их ранжирования [6].
Экспертные сети относятся к отдельному классу информационных систем в области коллективной работы и по своим характеристикам расположены между социальными сетями и корпоративными информационными системами (ИС) [2]. Сетевая платформа позволяет экспертам осуществлять коммуникацию как в социальной сети, а также четко регламентировать процессы своего взаимодействия, подобно корпоративным системам [2]. Однако технология краудсорсинга, используемая в социальных и профессиональных сетях (linkedin.com, professionali.ru), имеет ряд недостатков. Свободный доступ к решению задач подразумевает отсутствие обязательств и ведет к непрофессиональной активности в сети. Добровольное участие в сети делает возможным применение краудсорсинга для решения простых задач, вызывающих интерес, но не для работы над сложными наукоемкими проектами [2]. Экспертные сети, напротив, объединяют исключительно профессионалов, предполагают оплату их труда и исполнение ими взятых на себя обязательств по участию в работе сообщества. В связи с этим технология организации деятельности экспертного сообщества в рамках сетевых коллективных коммуникаций получила название посткраудсорсинговой технологии [7]. Кроме того, существенно отличаются назначение сетей и решаемые с их помощью задачи. Если в корпоративной сети (ИС предприятия) основной задачей является повышение эффективности и прозрачности бизнеса, в социальной сети - это свободный доступ к информации и повышение качества жизни, то в экспертной сети - это рост профессионализма участников и коллективное потребление информации, наряду с производством новых знаний и инноваций [2].
Обзор исследований в области экспертных сетей
В статье [6] автор уделяет особое внимание процессу развития информационных технологий для науки, бизнеса и государства, а также говорит о широких перспективах развития посткраудсорсинговых технологий в данном направлении. В статье вводятся такие понятия, как «ноосорсинг» и «Наука 3.0». Под ноосорсингом (где «поо» - разум, <«оига^» - использование чьих-либо ресурсов) понимается привлечение коллективного разума для решения задач и создания новых знаний и инноваций. Понятие «Наука 3.0» обозначает среду, которая позволяет организовать коллективную работу с информацией и знаниями, объединяя компетенции участников такой среды.
Автор говорит об экспертных сетях как об инструменте автоматизации научной и проектной деятельности и добавляет к их общепринятым функциям следующие:
- автоматическое распределение рецензирования материалов между участниками сети;
- единые информационные сервисы, необходимые для работы в данной конкретной области;
- сервис подготовки и публикации научных работ, предполагающий автоматическое оформление статьи или отчета в соответствии со стандартом, который может быть изменен для конкретного журнала или конференции;
- возможность выбора ссылок из общей информационной базы публикаций и, одновременно, возможность доступа к самим публикациям;
- расчет индекса цитируемости и определение необходимости перевода статей на другие языки;
- специфические профессиональные ресурсы: использование вычислительных мощностей для расчетов, электронные базы экспериментальных данных, статистика и т. д.
В [6] отмечается, что услуга рейтингования участников должна стать ключевой особенностью экспертной сети. Алгоритмы составления рейтингов также должны проходить экспертизу и развиваться совместными усилиями сообщества. Рейтинг является общественной оценкой уровня профессионализма эксперта, и поэтому он должен иметь официальный статус, что требует государственной принадлежности самих сетей. На основе сформулированных требований автором статьи [6] был разработан прототип экс-
пертной сети EXPINET1. Среди алгоритмов, применяемых для реализации EXPINET, упоминаются следующие:
- алгоритмы семантического поиска для подбора эксперта с нужными компетенциями, а также статей по заданной тематике;
- алгоритмы относительного рейтингования для определения уровня компетенций экспертов;
- методы иерархического анализа, моделирования коммуникаций для проведения коллективных экспертиз.
В статье [8] понятие экспертной сети рассматривается как одна из технологий менеджмента знаний в организации. Автор обращает внимание на необходимость обмена знаниями внутри организации, а также на эффективность привлечения внешних экспертов с целью организации коллективного интеллекта («открытая инновация»). В статье делается вывод о необходимости формирования виртуальной сети знаний и инноваций, объединяющей как отдельных экспертов из различных областей знаний, так и научные институты в целом, а также компании, являющиеся потребителями знания и инноваций.
В работе [9] детально исследуются особенности самоорганизации агентов сложных систем для решения поставленной задачи и, как результат этого процесса, возникновение коллективного интеллекта. Под коллективным интеллектом автор понимает интеллектуальные способности, распределенные между агентами системы (людьми, программами) и необходимые для решения задач. Автор разбивает механизм координации действий группы агентов на четыре составляющих: согласование понятий и целей, разделение труда, сам рабочий процесс и агрегация результатов. Далее автор приводит необходимые условия возникновения коллективного интеллекта (от англ. «wisdom of crowds») в группе людей, ссылаясь на работу [10]:
- разнообразие знаний и опыта членов группы;
- независимость мнения членов группы друг от друга;
- децентрализация, или разделение труда, т.е. возможность покрыть при параллельной работе максимальное количество аспектов;
- агрегация в форме голосования, усреднения или обсуждения, в результате которого группа формирует единый ответ.
При этом усреднение ответов работает только в случае, когда ответ можно измерить количественно, а открытое обсуждение не удовлетворяет требованию независимости мнений. Исходя из этого, для более сложных случаев принятия решения предлагается метод Дельфи [11]. Метод заключается в многократном опросе членов группы с анализом ответов после каждого этапа и корректировкой вопросов при необходимости. В результате должно быть сформировано обобщенное решение членов группы по заданному вопросу.
Далее в статье [9] автор приводит результаты практических экспериментов, в ходе которых проводился опрос группы студентов по сложным вопросам, не имеющим однозначного ответа. После проведения коллективного обсуждения результаты опроса в большинстве случаев были ближе к мнению эксперта, чем индивидуальные ответы студентов до обсуждения. Автор делает вывод о возникновении коллективного интеллекта в группе, а также утверждает, что реализация перечисленных выше условий в информационной системе может улучшить результаты работы. Например, независимости мнения экспертов можно достигнуть, если обеспечить их анонимность и удаленность друг от друга, а разнообразие компетенций в системе поддерживается при объединении большого количества экспертов.
Факторы, влияющие на успех совместной работы участников в онлайн-сообществе, исследуются в работе [12]. Авторы исследуют данные музыкального сообщества, в котором участники совместно создают песни (как правило, в парах). Проводится анализ данных об активности участников сообщества и опрос об их опыте работы в паре. В результате авторы выделяют следующие факторы, которые влияют на формирование групп и результаты их совместной работы.
- Частота коммуникаций в группе стимулирует генерацию идей, обмен мнениями и критикой.
- Общие интересы способствуют формированию группы, но разнообразие интересов положительно влияет на результаты работы.
- Статус в сообществе имеет значение: люди предпочитают работать с близкими по статусу людьми, но для эффективности группы в ней должны быть участники с различным статусом.
- Равный вклад участников в проект влияет на общий результат работы.
В ходе анализа результатов эксперимента были выявлены следующие закономерности.
- Частая коммуникация положительно влияет на итог работы.
- Различие стилей и методов работы может восприниматься участниками как позитивно, так и негативно.
- Баланс приложенных участниками усилий повышает удовлетворенность проделанной работой.
- Участники с более высоким статусом могут воспринимать совместную деятельность с меньшей ценностью.
1 http://www.expinet.ru/
Несмотря на эффективность краудсорсинга и коллективных инноваций (от англ. crowd innovation) для решения задач, авторы работы [3] говорят о низком качестве идей, которые формируются такими сообществами. Авторы рассматривают систему IdeaGens, предназначенную для управляемой генерации новых идей с помощью мозгового штурма в сообществе экспертов. Для того чтобы улучшить качество идей, авторы включают в систему несколько экспертов, которые направляют мыслительный процесс участников. Были проведены эксперименты, в ходе которых с участниками работали сначала эксперты без опыта, а затем эксперты с опытом в управлении сессиями мозгового штурма. В случае с привлечением опытных экспертов количество уникальных идей было более чем в два раза больше. Таким образом, была разработана система для коллективной генерации идей (от англ. crowd ideation system), позволяющая эффективно отслеживать и гибко руководить развивающимся процессом коллективного мышления. В работе продемонстрирована важность экспертного руководства в онлайн-сообществах. Для будущих исследований авторы предлагают улучшать инструменты взаимодействия экспертов и разработать новые способы применения экспертного руководства в коллективных инновациях.
Применение коллективного интеллекта к исследованиям в фундаментальной науке рассматривается в статье [13]. Авторы используют понятие «краудсорсинг» как одну из форм коллективного интеллекта и обобщающий термин для понятий «открытая инновация», «массовая инновация», «викиномика», «peer production» и т.п. В статье представлен процесс совместной работы научных сотрудников (рис. 1).
Г Л Определить Г Разработать г Разработать г— N Получить S Определить
вопрос методологию предложения финансирование команду
ч S сотрудников
/■ \ Проанализи- { \ Провести f \ Сформировать г \ Собрать /■ Установить
ровать данные эксперименты гипотезу информацию <- лабораторную
> J V. и ресурсы ч группу
1 А
¥ 1
( > Интерпрети- /" N Сформулиро- г > Опубликовать f N
ровать данные вать выводы и запатентовать Протестировать
к. л результаты >
Рис. 1. Схема работы научных сотрудников
Авторы разрабатывают концептуальную модель, которая позволит находить решения задач из области фундаментальной науки с помощью технологий краудсорсинга. В результате исследований были выделены следующие принципы разработки агентов в системе.
- При использовании технологии краудсорсинга для решения задачи необходимо учитывать все три фактора: социально-техническую среду, особенности агента и формулировку задачи.
- Частичное перекрытие функций агентов необходимо, чтобы построенная система была надежной и могла работать с новым и неизвестным.
- В биологических системах нужно исходить из организации локальной структуры, именно она определяет всю систему в целом.
В работе [14] авторы рассматривают использование коллективного интеллекта для решения задач в сфере инновационных проектов и фреймворк Open Computer Aided Innovation 2.0 (Open CAI 2.0). Принцип работы Open CAI 2.0 состоит в следующем:
1. появление новой идеи или проблемы;
2. систематическое взаимодействие участников для поиска решения и капитализация их знаний;
3. готовое решение.
Предложенный фреймворк организован на трех уровнях. На нижнем уровне происходит генерация и выбор идей. На среднем уровне создается среда для коллаборации, с использованием которой происходит обмен знаниями. На этом уровне предполагается использование механизма социальных сетей. На верхнем уровне появляются результаты работы коллективного интеллекта и извлечения знаний.
Для координации действий участников сети рассматриваются три основные архитектуры коллаборации [15]: централизованная, децентрализованная и распределенная (рис. 2).
- Централизованная архитектура характеризуется брокером, который контролирует взаимодействие участников. В качестве примеров приводятся платформы Innocentive1 и NineSigma2.
- При децентрализованной архитектуре задачи разделяются между участниками ключевой группы, а затем могут последовательно переназначаться подгруппам с меньшим числом участников.
1 InnoCentive network https://www.innocentive.com/
2 NineSigma network http://www.ninesigma.com
— Распределенная архитектура предполагает, что все участники сети взаимосвязаны между собой, равны и независимы (в качестве примера приводятся социальные сети).
Автор полагает, что наилучшим вариантом для организации коллективного интеллекта является именно распределенная архитектура. При ее использовании инициатор проекта может выбрать участников для совместной работы, и также есть возможность задействовать всех зарегистрированных пользователей.
В работе [16] исследуется работа экспертов в информационных системах компьютерной поддержки групповой работы (Computer Supported Cooperative Work), в частности, системах поддержки принятия решений. Автор предлагает математическую модель поддержки принятия консолидированного решения группой экспертов. Для этого автор использует сетевой метод эволюционного согласования решений (МЭС), разработанный на основе генетических алгоритмов и элементов мультиагентного подхода (рис. 3). МЭС применяется для организации коллективной работы интеллектуальных агентов различной природы (программ, людей или гибридных систем) над проектом с заранее заданной целью. Правила МЭС сформулированы в виде инструкций для организации работы участников проекта и их взаимодействия друг с другом.
Проводится несколько итераций описанного алгоритма. По правилам МЭС для конкретной задачи разрабатываются инструкции с учетом ее особенностей, коммуникационной среды и квалификации интеллектуальных агентов, а по окончании оценивается вклад каждого из агентов.
Рис. 2. Архитектуры коллаборации [15]: централизованная (а), децентрализованная (б),
распределенная (в)
Рис. 3. Правила метода эволюционного согласования [16]
В работе приводится ряд экспериментов, в которых ставится задача принять коллективное решение группе людей, группе программных продуктов или смешанных человеко-компьютерных систем. Во всех случаях с использованием МЭС решение было получено за меньшее количество итераций, чем при использовании классического генетического алгоритма. МЭС имеет много общего с методом Дельфи, но отличается от него отсутствием координатора агентов, вместо него выступают сформулированные правила работы группы. Математическая модель алгоритма разрабатывается при следующих предположениях:
- задача представляет собой совокупность слотов (ячеек), заполняемых агентами в соответствии с их знаниями;
- все агенты обладают равной компетентностью С и заполняют каждый слот правильным решением с вероятностью С;
- существует единственно правильно решение данной задачи.
В ходе исследования была получена математическая модель, описывающая зависимость компетентности К группы из М агентов со способностями С (вероятность правильного ответа, если агент обладает знаниями в данной области) и Е (вероятность правильного ответа, если агент не обладает знаниями в данной области) после окончания процедуры итеративного согласования решений. Под компетентностью К понимается отношение числа правильно заполненных слотов на определенной итерации к общему числу
слотов задачи. Полученная модель позволяет вычислить количество итераций, необходимое для получения согласованного решения определенной задачи (т.е. когда более 50% группы ответили правильно на данный вопрос). Исходя из этого, можно определить интеллектуальный потенциал группы, при котором она получает решение с компетентностью К=1 как функцию от количества агентов и их способностей.
В работе [17] исследуется феномен «тесного мира» (small world phenomenon), согласно которому между любыми двумя людьми можно построить путь в среднем не более чем через шесть знакомых. В работе [17] автор моделирует и анализирует данный феномен, используя алгоритмы децентрализованного поиска. В этом случае человек передает сообщение от источника к цели, оперируя только информацией о своих непосредственных контактах. Исследуется влияние структуры сети на способность децентрализованного алгоритма найти короткий (относительно диаметра сети) путь. Выявляется зависимость времени доставки сообщения от параметров сети, а также определяется бесконечное семейство моделей сети и доказывается существование такой модели, при которой с большой вероятностью децентрализованный поиск обеспечивает нахождение короткого пути (относительно диаметра сети). Делается общий вывод о том, что существует корреляция между локальной структурой сети и дальними контактами. Когда корреляция приближена к некоторому порогу, структура сети позволяет участнику эффективно передавать сообщения к пункту назначения, и наоборот, когда структура сети становится более гомогенной, эффективная передача сообщения затрудняется.
Применительно к экспертным сетям алгоритм децентрализованного поиска исследуется в работе [18]. Авторы утверждают, что децентрализованный поиск, основанный на информации о ближайших контактах эксперта, является основным и наиболее масштабируемым алгоритмом маршрутизации запросов в экспертной сети. Исследование основано на нескольких положениях о взаимодействии экспертов в экспертной сети, представленных ниже.
- В сети существует п экспертов, каждый из которых может решать задачи во множестве областей от 1 до т.
- Уровень компетенции эксперта u в каждой области оценивается неким положительным числом. Вектор компетенций eu представляет собой столбец mx1 с входными значениями e", которые эквивалентны навыкам эксперта u в области i.
- Экспертное расстояние от эксперта u до эксперта w обозначает превосходство навыков одного эксперта над навыками другого и определяется как d(u ^ w) := £¿max (e(w) — e(u), 0).
Авторы описывают понятия гомофилии и гетерофилии взаимосвязей экспертов в экспертных сетях. Термин «гомофилия» означает склонность эксперта иметь больше контактов со специалистами имеющих компетенции в схожих областях (ближние контакты). Формально гомофилия эксперта u означает наличие множества экспертов, расстояние до которых от этого эксперта меньше константы 5. Термин «гетерофилия» означает тенденцию эксперта иметь контакты со специалистами, имеющими компетенции в областях, отличных от компетенций данного эксперта (дальние контакты). Формально для моделирования гетерофилии сначала вычисляется множество кандидатов, расстояние до которых не менее 5, а затем определяется количество контактов эксперта k, и для каждого такого контакта рассчитывается вероятность его достижения.
Далее авторы рассматривают диверсифицированную модель взаимодействия экспертов, опираясь при этом на следующие утверждения.
- Пусть максимальный уровень компетенций в каждой конкретной области равен Я и для любого вектора компетенций e значение e¿ является целым числом между 1 и Я (т.е. [1,1..1]<e< [Я,Я, ..Я]). При этом каждое возможное значение вектора e соответствует одному эксперту. Тогда общее число экспертов n равняется Ят, где т - общее количество областей знаний экспертов.
- Каждый эксперт связан ближними контактами только с наиболее схожими по компетенциям экспертами (5 =1), так что образуется m-мерная сеть из локальных контактов. Затем на сеть экспертов накладываются те контакты эксперта, расстояние до которых превышает 5.
Задача, которая должна быть решена в экспертной сети, описывается кортежем (i, r), где i - требуемая компетенция, а r - требуемый уровень владения ею. Важным аспектом является предположение о том, что каждый эксперт знает уровень компетенций только своих контактов и не имеет представления о сети в целом. По этой причине задача, если она не может быть решена данным экспертом, передается эксперту с ближайшим к r уровнем компетенций в области i. Процесс поиска продолжается шаг за шагом, пока эксперт с необходимыми параметрами не будет найден. В результате было получено, что средняя длина пути при децентрализованном поиске возрастает при увеличении r.
В статье [4] исследуются механизмы маршрутизации задачи в сети группам экспертов для ее решения. Описаны две генеративные модели: модель разрешения (от англ. resolution model) и модель передачи (от англ. transfer model). В модели разрешения для каждой экспертной группы строится экспертный профиль, который представляет собой текстовые описания задач, решенных группой. В данной модели подсчи-тывается частота появления слов в описаниях задач, решенных ранее, и вероятность решения группой экспертов задач с тем же набором слов в описании. Модель передачи основана на замечании, что промежуточ-
ные группы экспертов также оказывают влияние на решение задачи, так как могут знать, какая из групп с большей вероятностью способна ее решить. По этой причине в модели передачи анализируется как описание задачи, так и последовательность ее перенаправления между группами экспертов. К ребрам между экспертными группами применяется модель разрешения: анализируется содержание задач, прошедших по данному ребру, и на основании этого строится профиль ребра передачи (от англ. transfer profile). Далее авторы предлагают модель оптимизации сети (optimized network model), которая комбинирует профили групп экспертов (узлов) с профилями ребер передачи задачи, тем самым обеспечивая полностью оптимизированное решение для экспертной сети. На основе перечисленных моделей рассмотрены три алгоритма маршрутизации: алгоритм ранжированного преобразования (от англ. ranked resolver), алгоритм жадной передачи (от англ. greedy transfer) и алгоритм целостной маршрутизации (от англ. holistic routing).
Алгоритм ранжированного преобразования [4] разработан для модели разрешения и нацелен на назначение рейтингов группам экспертов на основе вероятности решения задачи данной группой. Сначала на основе тестового набора задач для каждой группы экспертов вычисляется первичная вероятность решения случайной задачи. Затем на основе первичной вероятности и содержания поступившей задачи вычисляются новые вероятности, и алгоритм обрабатывает все группы экспертов. Проблема возникает в том случае, если задача содержит неизвестное ранее слово. В связи с этим используется смягчающее значение, которое гарантирует положительное значение вероятностей при расчетах.
В соответствии с алгоритмом жадной передачи [4] появившаяся в экспертной сети задача назначается первичной группе экспертов. Если после этого задача не решена, то она перенаправляется группе, которая предположительно сможет решить проблему или знает, кто сможет ее решить, и т. д. Если на одном из шагов задача решена, алгоритм останавливается; в противном случае на основе проделанного маршрута вычисляется рейтинг оставшихся групп, и инцидент передается группе с наибольшим рейтингом. Так происходит до тех пор, пока задача не будет решена или не будет констатирован тот факт, что она не может быть решена в данной экспертной сети.
Отличительной особенностью алгоритма целостной маршрутизации [4] является определение вероятности, что некоторая группа может решить задачу и при этом достижима за K шагов. Экспериментальные результаты применения этих алгоритмов показывают, что наиболее эффективной из моделей была оптимизационная сетевая модель (от англ. optimized network model). Среди алгоритмов ранжированного преобразования, жадной передачи и целостной маршрутизации последний показал наилучшую эффективность. Комбинация оптимизационной сетевой модели и алгоритма целостной маршрутизации показала стабильно хорошие результаты маршрутизации на различных выборках данных и разных категориях задач.
В работе [19] рассматривается задача поиска эксперта по заданной тематике. Для ее решения авторы предлагают две вероятностных генеративных модели: модель создания кандидата и модель создания темы. В обеих моделях происходит поиск экспертов по заданной тематике на основе ранжирования этих экспертов в соответствии с вероятностью, что их компетенции релевантны тематике. Для такого ранжирования используется список экспертов, список тематик и вспомогательная коллекция документов. В модели создания кандидата оцениваются вероятности соответствия заданной тематики документу и появления определенного автора (эксперта) в этом документе. В модели создания темы сначала происходит оценка вероятности, что эксперт компетентен в одних темах и не компетентен в других. Для этого используется один из следующих методов: метод оценки на основе профиля и метод оценки на основе темы. Их различие состоит в том, что первый оценивает эксперта на основе языковой модели его профиля, а второй - на основе документов, в которых он упоминается как автор. При этом первый способ является менее точным, поэтому в работе [19] применяется метод оценки на основе темы.
В работе [20] рассматривается задача организации обслуживания (service desk), при котором поступивший запрос необходимо направить соответствующей группе экспертов в компании. Авторы анализируют недостатки существующих алгоритмов маршрутизации запросов и предлагают новый подход на основе двухуровневой модели классификации поступивших запросов. Классификатор верхнего уровня анализирует содержание запроса и помечает его флагом R (routine) или NR (non-routine). На нижнем уровне запросы с флагом R отправляются группе экспертов с помощью заранее обученного алгоритма. Для решения о передачи запросов с флагом NR требуемой группе экспертов привлекаются ответственные лица. Решение о пометке R или NR принимается на верхнем уровне в зависимости от частоты возникновения проблемы, описанной в запросе.
В работе [21] описываются две системы: Expert Finder и XperNet, в которых накапливаются области интереса и компетенции сотрудников компании на основе информации об их публикациях, использовании программных средств, ролях в проектах и письменной коммуникации друг с другом. Источниками информации в этом случае служат корпоративные информационные системы или базы данных, а также открытые данные из сети Интернет. Система Expert Finder осуществляет поиск экспертов, которые наиболее соответствуют запросу (ключевому слову или фразе). ExperNet осуществляет поиск групп экспертов на основе информации о совместных проектах, публикациях и веб-страницах. После этого оценива-
ется уровень компетенции каждого сотрудника из группы на основе экспертных показателей (цитируемо-сти, рейтинга группы в сети) и формальных показателей (должности сотрудника). Далее в работе [21] оценивались результаты применения обеих систем. В ходе эксперимента поиск экспертов осуществлялся двумя способами: вручную и автоматически. В сравнении с подбором экспертов человеком список экспертов Expert Finder и XperNet был точен на 60% и 70% соответственно.
Сравнительный анализ существующих экспертных сетей
Экспертная сеть Expinet предлагает проведение экспертиз по тематике информационных технологий и управления. Система построена на базе свободного распространяемого программного обеспечения Alfresco и решает следующие основные задачи.
- Поиск эксперта в сети. Пользователь загружает документ, система его анализирует и выявляет значимые термины. Затем термины документа сопоставляются с терминами и компетенциями экспертов сети. Система формирует список из экспертов, имеющих те же компетенции, что и в документе, и ранжирует их по уровню совпадений терминов.
- Дополнение компетенций эксперта. Эксперт либо выбирает нужную компетенцию из списка, либо создает заявку на добавление новой компетенции. После обработки администратором новая компетенция либо остается в списке у эксперта, либо удаляется из его списка.
- Включение эксперта в экспертную сеть. Претендент на участие в сети формирует свой профиль: выбирает из списка компетенций те, где он считает себя экспертом, добавляет свое резюме, примеры работ и документы, доказывающие его квалификацию. Данный профиль отсылается существующим экспертам сети со сходными компетенциями, которые принимают решение о включении эксперта в сеть (при подтверждении хотя бы одной из выбранных компетенций). При этом компетенции каждого эксперта подтверждаются периодически.
- Рейтингование экспертов. Эксперты одной из групп выставляют по 5-балльной шкале оценки экспертам других группы. Абсолютные оценки преобразуются в отношения предпочтения («лучше», «хуже»), и подводится результат рейтинга по общему количеству «лучше», «хуже».
При разработке системы Expinet учитывались вопросы управления статусами документов, работа с бизнес-процессами и наполнение базы знаний, а также внедрено решение «Логика ECM. Бизнес-платформа»1, содержащее масштабируемые ECM- и BPM-модули. В результате в системе были реализованы следующие функциональные блоки:
- модуль семантического поиска экспертов (анализ материалов и подбор экспертов);
- модуль определения коллективного мнения (алгоритм формирования консолидированной оценки);
- модуль управления компетенциями (рейтингование экспертов на этапе регистрации и в процессе работы);
- модуль присвоения дополнительных компетенций (анализ контента, генерируемого экспертом, и уточнение его компетенций);
- облачный сервис (доступ из любой точки мира в любое время).
Решение для проведения экспертиз также предлагает компания Presans2. Для поиска эксперта и проведения экспертизы используется система управления экспертами Sofia, которая состоит из двух основных модулей: X-Search и X-Call. Модуль X-Search обеспечивает поиск эксперта с заданными характеристиками по ключевой фразе и вспомогательным словам. К результатам поиска можно применять фильтры по стране и континенту, а также выводить не только отдельных экспертов, но и группы экспертов или компании. Модуль X-Call обеспечивает связь пользователей с экспертами. Ранжирование экспертов по технологии X-Search происходит в три этапа. На первом этапе по ключевой фразе с помощью протокола OAI-PMH [22] из репозитория публикаций извлекаются данные о публикациях, соответствующих ключевой фразе. При помощи функции ранжирования BM25 [23] отбираются 50 публикаций, наиболее соответствующих запросу. На втором этапе эксперты ассоциируются с отобранными публикациями, где каждая публикация связана с каждым из авторов. На третьем этапе для каждого эксперта рассчитывается рейтинг на основе связанных с ним публикаций с помощью алгоритма CombSum [24].
Экспертная сеть Maven3 объединяет экспертов из множества областей и не содержит специализированных профессиональных сервисов. В сети есть возможности как для микроконсультирования (телефонный звонок, опросы экспертов), так и для расширенного консультирования (проведение семинаров, подготовка исследовательских отчетов, совместное ведение проектов). Для более результативного поиска эксперта с определенными знаниями в сети используется подход STMS (semantics and temporal information based maven search) [25]. Он позволяет выявить скрытые группы слов, связанных с экспертом и его областями знаний, на основе публикаций конференций, журналов и т.д. Преимущество данного подхода
1 Логика ECM. Бизнес-платформа http://ecm.blogic20.ru/logikaecm/business-platform
2 Presans network https://presans.com/
3 Maven professional network https://www.maven.co/
состоит в том, что издания с высоким рейтингом проводят тщательный отбор работ на соответствие заявленной теме и публикуют только актуальные работы, что также позволяет ранжировать экспертов с учетом параметра времени.
Компания МеМе1еу предоставляет комплекс сервисов со следующим функционалом для работы экспертов.
- Сервис управления ссылками, предоставляющий возможности выбора стилей оформления списка литературы, добавления аннотаций в процессе чтения документа (с возможностью совместной работы над документом нескольких экспертов), организации текстового и графического контента пользователя, семантического анализа файлов на выявление автора, издательства и т.д., быстрый поиск по публикациям.
- Сервисы экспертной сети, включающие в себя работу с профилями экспертов, возможности создания групп экспертов по интересам, возможности поиска экспертов со сходными интересами, возможность подписки на деятельность интересующих экспертов в рамках сети, а также рекомендации интересных публикаций и исследователей по схожим тематикам.
- Сервис работы с документами, включающий в себя возможность безопасно делиться документами с коллегами и соавторами (с поддержкой версий), а также долгосрочное хранение документов в облачном хранилище.
- Сервис поиска вакансий, предоставляющий экспертам информацию об открытых позициях в институтах и университетах.
Экспертная сеть 8егшо является узкоспециализированной социальной сетью для медицинских работников, объединяющая врачей более 90 специализаций. Сеть предоставляет возможности поиска нужных специалистов и общение с коллегами независимо от территориального положения, совместное принятие решение несколькими специалистами в сложных случаях, постановка диагноза с помощью опроса участников сети, получение актуальных новостей из профессиональной сферы, проведение совместных оплачиваемых исследований.
Сети общего профиля (Ехрше!, РгеБалБ, вЬв, Мауеп) сфокусированы на поиске подходящих экспертов для заказчиков, поэтому их функционал достаточно ограничен. В крупных научно-образовательных сетях появляются такие средства для коммуникации, как аудио- и видеоконференцсвязь, совместное редактирование документов, открытые интерфейсы программирования для интеграции с другими сервисами. Узкоспециализированные сети предоставляют функции с учетом особенностей профессиональной деятельности экспертов. Например, в сети Ехрейу реализовано управление проектами, а в социальной сети докторов 8егшо предоставляется возможность участвовать анонимно, чтобы сохранить врачебную тайну. В сетях общего профиля общение экспертов с заказчиками, как правило, происходит вне сети. Некоторые из них не предоставляют явно механизм автоматизированного поиска экспертов, а направляют запросы заказчиков в отдел работы с клиентами. В таблице представлен сводный анализ технологий экспертных сетей.
Сети общего профиля Научно-образовательные сети Специализированные / профессиональные сети
Expinet Presans GLG Maven Mendeley Research Gate Experfy Sermo
Поддержка профилей экспертов + + + + + + + +
Механизмы совместной работы экспертов в системе - - + - + + + +
Способы доступа к системе (В -Веб-интерфейс, Д - десктопное приложение, М - мобильное приложение) В В В В В / Д/ М В В В
Использование для реализации сети облачных технологий + + + + + + + +
Наличие Open API - + - - - - + -
Сервисы работы с экспертами, реализованные в системе (О -отчет, Т - телефон, ОП - опрос, В - виртуальная дискуссия, С -сообщения, ВКС -видеоконференцсвязь) О О Т / О Т / О / ОП/ВКС Т / О / ОП / В С / В С / ВКС С / В
Возможность поиска сообществ по интересам - - - - + + + +
Автоматизированный поиск экспертов на основе их компетенций + + + + + - - -
Таблица. Сводный анализ технологий экспертных сетей
Основные сценарии использования и требования к экспертным сетям
На основе анализа существующих исследований по экспертным сетям были выделены основные сценарии работы экспертов и заказчиков, которые реализуются разными сетями в той или иной степени (рис. 4). Для заказчика экспертизы основным сценарием является подбор экспертов с заданными компетенциями (для работы над проектами, проведения экспертизы или рецензирования литературы). Также заказчик может осуществлять поиск коллег или проектов по интересам и участвовать в генерации инновационных идей вместе с другими экспертами. Эксперт, в свою очередь, редактирует личный профиль, проводит экспертизы, работает над публикациями и рецензирует профессиональную литературу. Эти процессы требуют поддержки инструментов коллективной работы в экспертной сети, таких как телефония, чат и видеоконференцсвязь.
В ходе анализа функционала существующих экспертных сетей был выделен комплекс требований, которым отвечают современные экспертные сети в той или иной степени. Также на основе изученных исследовательских работ в комплекс требований были включены специфические сервисы, предлагаемые для реализации в научно-технологических экспертных сетях. Были выделены четыре основные подсистемы для экспертной сети: подсистема работы с документами, подсистема профилирования, подсистема поиска и подбора экспертов, подсистема коммуникаций экспертов.
Для подсистемы работы с документами были сформулированы следующие требования:
- предоставить возможность загрузки документа в систему;
- обеспечить доступ к общей базе документов;
- предоставить возможность создания документа в системе и форматирования в соответствии со стандартами научных изданий;
- обеспечить возможность выбора документа из общей базы для цитирования;
- обеспечить возможность совместной работы над документом группой экспертов;
- организовать автоматическое распределение рецензирования публикаций по профессиональной тематике;
- реализовать автоматический расчет индекса цитируемости экспертов и их научных статей;
- обеспечить определение необходимости перевода успешных статей на другие языки.
Рис. 4. Основные сценарии использования экспертной сети
Для подсистемы профилирования были сформулированы следующие требования:
- предоставить эксперту возможность добавления новой компетенции в базу компетенций;
- реализовать валидацию администратором системы новых компетенций, утверждение или удаление добавленной компетенции из базы;
- обеспечить выявление новых компетенций и интересов на основе анализа публикаций эксперта;
- реализовать возможность редактирования и удаления экспертом собственных компетенций.
Для подсистемы поиска и подбора экспертов были сформулированы следующие требования:
- реализовать функционал отбора экспертов, претендующих на участие в сети, на основе оценки их профилей, публикаций и выполненных проектов экспертами экспертной сети со сходными компетенциями;
- реализовать возможность определения рейтинга эксперта на основе оценки его профиля другими экспертами;
- реализовать возможность автоматического подбора экспертов для участия в проекте или рецензировании документов в зависимости от уровня компетенций и стоимости.
Для подсистемы коммуникаций экспертов были сформулированы следующие требования:
- реализовать функционал обмена текстовыми сообщениями;
- обеспечить возможность проведения аудио и видеоконференций группой экспертов.
Общими требованиями к платформе, реализующей функционал экспертной сети, являются следующие:
- обеспечить доступ к системе экспертов и заказчиков из разных регионов;
- обеспечить доступ к системе при помощи разных устройств (веб-интерфейс, приложение для смартфона).
Заключение
В работе представлен обзор современных исследований в области экспертных сетей и технологий реализации групповой работы экспертов над решением поставленной задачи. Рассмотрено понятие экспертной сети в различных областях знаний, описаны отличия данного вида информационных систем от корпоративных информационных систем, социальных сетей и сетей профессионалов. Уделяется внимание условиям возникновения коллективного интеллекта в группе и его применения для решения трудно формализуемых задач. Проанализированы модели и алгоритмы, используемые для поиска эксперта в сети (децентрализованный поиск, candidate generation model и topic generation model), маршрутизации запросов нужному эксперту (ranked resolver, greedy transfer, holistic routing), принятия консолидированного решения (метод Дельфи, метод сетевого эволюционного согласования решений). Также проведен анализ современных экспертных сетей различных видов - общего профиля, научно-образовательных и специализированных. Выделены их общие функции и отличительные особенности, характерные для данных сетей. На основе результатов анализа сформулированы основные требования к экспертным сетям для коллективной работы экспертов. Реализация описанных требований предлагается в рамках четырех подсистем экспертной сети: подсистема работы с документами, подсистема профилирования, подсистема поиска и подбора экспертов, подсистема коммуникаций экспертов.
Литература
1. Славин Б.Б. Современные экспертные сети // Открытые системы. СУБД. 2014. №7. C. 30-33.
2. Славин Б.Б. Посткраудсорсинг как архитектура экспертных сетей // Программная инженерия. 2012. № 5. С. 42-47.
3. Chan J., Dang S., Dow S.P. Improving crowd innovation with expert facilitation // Proc. 19th ACM Conference on Computer-Supported Cooperative Work and Social Computing. San Francisco, USA, 2016. P. 1223-1235. doi: 10.1145/2818048.2820023
4. Miao G., Moser L.E., Yan X., Tao S., Chen Y., Anerousis N. Generative models for ticket resolution in expert networks // Proc. 16th ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining. Washington, USA, 2010. P. 733-742. doi: 10.1145/1835804.1835897
5. Lacher R.C. Expert networks: paradigmatic conflict, technological rapprochement // Minds and Machines. 1993. V. 3. N 1. P. 53-71. doi: 10.1007/bf00974305
6. Славин Б.Б. Ноосорсинг - путь к «Науке 3.0» // Совет ректоров. 2012. №10. С. 74-85.
7. Славин Б.Б. Ноосфера и коллективный разум / В кн. В.И. Вернадский и ноосферная парадигма развития общества, науки, культуры, образования и экономики в XXI веке. Том 1. СПб.: Астерион, 2013. 574 с.
8. Шевченко О.П. Применение технологий менеджмента знаний в целях повышения эффективности деятельности организации // Общество и право. 2014. № 4. C. 295-298.
9. Heylighen F. Self-organization in communicating groups: the emergence of coordination, shared references and collective intelligence / In: Complexity Perspectives on Language, Communication and Society / Eds A. Massip-Bonet, A.
References
1. Slavin B.B. Modern expert networks. Open Systems Journal, 2014, no. 7, pp. 30-33. (In Russian)
2. Slavin B.B. Postcrowdsourcing as a architecture of expert networks. Programmnaya Inzheneriya, 2012, no. 5, pp. 42-47. (In Russian)
3. Chan J., Dang S., Dow S.P. Improving crowd innovation with expert facilitation. Proc. 19h ACM Conference on Computer-Supported Cooperative Work and Social Computing. San Francisco, USA, 2016, pp. 1223-1235. doi: 10.1145/2818048.2820023
4. Miao G., Moser L.E., Yan X., Tao S., Chen Y., Anerousis N. Generative models for ticket resolution in expert networks. Proc. 16h ACM SIGKDD Int. Conf on Knowledge Discovery and Data Mining. Washington, USA, 2010, pp. 733-742. doi: 10.1145/1835804.1835897
5. Lacher R.C. Expert networks: paradigmatic conflict, technological rapprochement. Minds and Machines, 1993, vol. 3, no. 1, pp. 53-71. doi: 10.1007/bf00974305
6. Slavin B.B. Noosorsing - put' k «Nauke 3.0». Sovet Rektorov, 2010, no. 10, pp. 74-85. (In Russian)
7. Slavin B.B. Noosphere and the collective mind. In V.I. Vernadsky and Noosphere Paradigm of Development of a Society, Science, Culture, Formation and Economy in the 21st Century. St. Petersburg, Asterion Publ., 2013, vol. 1, 574 p.
8. Shevchenko O.P. The use of technology knowledge management in order to improve the efficiency the activities of the organization. Obshhestvo i Pravo, 2014, no. 4, pp. 295298. (In Russian)
9. Heylighen F. Self-organization in communicating groups: the emergence of coordination, shared references and collective
Bastardas-Boada. Berlin: Springer, 2013. P. 117-149. doi: 10.1007/978-3-642-32817-6_10
10. Surowiecki J. The Wisdom of Crowds. NY: Anchor Books, 2005. 336 p.
11. Linstone H.A., Turoff M. The Delphi Method: Techniques and Applications. Addison-Wesley, 1975. 620 p.
12. Settles B., Dow S. Let's get together: the formation and success of online creative collaborations // Proc. SIGCHI Conference on Human Factors in Computing Systems. Paris, France, 2013. P. 2009-2018. doi: 10.1145/2470654.2466266
13. Buecheler T., Sieg J.H., Fûchslin R.M., Pfeifer R. Crowdsourcing, open innovation and collective intelligence in the scientific method: a research agenda and operational framework // Proc. ALIFE XII Conference. Odense, Denmark,
2010. P. 679-686.
14. Flores R.L., Belaud J.P., Le Lann J.M., Negny S. Using the collective intelligence for inventive problem solving: a contribution for open computer aided innovation // Expert Systems with Applications. 2015. V. 42. N 23. P. 9340-9352. doi: 10.1016/j.eswa.2015.08.024
15. Nguyen Q.U., Duong T.H., Kang S. Solving conflict on collaborative knowledge via social networking using consensus choice // Lecture Notes in Computer Science. 2012. V. 7653. P. 21-30. doi: 10.1007/978-3-642-34630-9_3
16. Протасов В.И. Метод эволюционного согласования решений. Компьютерная и математическая модели // Горный информационно-аналитический бюллетень. 2011. №1. С. 360-379.
17. Kleinberg J. The small-world phenomenon: an algorithmic perspective // Proc. 32nd ACM Symposium on the Theory of Computing. Portland, USA, 2000. P. 163-170. doi: 10.1145/335305.335325
18. Ma L., Srivatsa M., Cansever D., Yan X., Kase S., Vanni M. On the efficiency of decentralized search in expert networks // Proc. 36th Int. Conf. In Distributed Computing Systems. Nara, Japan, 2016. P. 733-734. doi: 10.1109/icdcs.2016.22
19. Fang H., Zhai C.X. Probabilistic models for expert finding // Lecture Notes in Computer Science. 2007. V. 4425. P. 418-430. doi: 10.1007/978-3-540-71496-5_38
20. Moharreri K., Ramanathan J., Ramnath R. Probabilistic sequence modeling for trustworthy IT servicing by collective expert networks // IEEE 40th Annual Computer Software and Applications Conference. Atlanta, USA, 2016. V. 1. P. 379-389. doi: 10.1109/compsac.2016.170
21. Maybury M., D'Amore R., House D. Expert finding for collaborative virtual environments // Communications of the ACM. 2001. V. 44. N 12. P. 55-56. doi: 10.1145/501317.501343
22. Sompel H.V.D., Nelson M.L., Lagoze C., Warner S. Resource harvesting within the OAI-PMH framework // D-Lib Magazine. 2004. V. 10. N 12. doi: 10.1045/december2004-vandesompel
23. Robertson S., Zaragoza H. The probabilistic relevance framework: BM25 and beyond // Foundations and Trends in Information Retrieval. 2009. V. 3. N 4. P. 333-389. doi: 10.1561/1500000019
24. Plachouras V. Diversity in expert search // Proc. of the Workshop on Diversity in Document Retrieval. Dublin, Ireland,
2011. P. 63-67.
25. Daud A., Li J., Zhou L., Muhammad F. A generalized topic modeling approach for maven search // Lecture Notes in Computer Science. 2009. V. 5446. P. 138-149. doi: 10.1007/978-3-642-00672-2 14
Авторы
Гугунова Полина Игоревна - студент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, [email protected]
Кашевник Алексей Михайлович - кандидат технических наук, старший научный сотрудник, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация; старший научный сотрудник, СПИИРАН, Санкт-Петербург, 199178, Российская Федерация, [email protected]
intelligence. In: Complexity Perspectives on Language, Communication and Society / Eds A. Massip-Bonet, A. Bastardas-Boada. Berlin, Springer, 2013, pp. 117-149. doi: 10.1007/978-3-642-32817-6_10
10. Surowiecki J. The Wisdom of Crowds. NY, Anchor Books, 2005, 336 p.
11. Linstone H.A., Turoff M. The Delphi Method: Techniques and Applications. Addison-Wesley, 1975, 620 p.
12. Settles B., Dow S. Let's get together: the formation and success of online creative collaborations. Proc. SIGCHI Conference on Human Factors in Computing Systems. Paris, France, 2013, pp. 2009-2018. doi: 10.1145/2470654.2466266
13. Buecheler T., Sieg J.H., Fuchslin R.M., Pfeifer R. Crowdsourcing, open innovation and collective intelligence in the scientific method: a research agenda and operational framework. Proc. ALIFE XII Conference. Odense, Denmark, 2010, pp. 679-686.
14. Flores R.L., Belaud J.P., Le Lann J.M., Negny S. Using the collective intelligence for inventive problem solving: a contribution for open computer aided innovation. Expert Systems with Applications, 2015, vol. 42, no. 23, pp. 93409352. doi: 10.1016/j.eswa.2015.08.024
15. Nguyen Q.U., Duong T.H., Kang S. Solving conflict on collaborative knowledge via social networking using consensus choice. Lecture Notes in Computer Science, 2012, vol. 7653, pp. 21-30. doi: 10.1007/978-3-642-34630-9_3
16. Protasov V.I. Method of evolutionary coordination of solutions. Computer and mathematical models. Gorny Informatsionno-Analiticheskiy Byulleten, 2011, no. 1, pp. 360379. (In Russian)
17. Kleinberg J. The small-world phenomenon: an algorithmic perspective. Proc. 32nd ACM Symposium on the Theory of Computing. Portland, USA, 2000, pp. 163-170. doi: 10.1145/335305.335325
18. Ma L., Srivatsa M., Cansever D., Yan X., Kase S., Vanni M. On the efficiency of decentralized search in expert networks. Proc. 36h Int. Conf. In Distributed Computing Systems. Nara, Japan, 2016, pp. 733-734. doi: 10.1109/icdcs.2016.22
19. Fang H., Zhai C.X. Probabilistic models for expert finding. Lecture Notes in Computer Science, 2007, vol. 4425, pp. 418430. doi: 10.1007/978-3-540-71496-5_38
20. Moharreri K., Ramanathan J., Ramnath R. Probabilistic sequence modeling for trustworthy IT servicing by collective expert networks. IEEE 40h Annual Computer Software and Applications Conference. Atlanta, USA, 2016, vol. 1, pp. 379389. doi: 10.1109/compsac.2016.170
21. Maybury M., D'Amore R., House D. Expert finding for collaborative virtual environments. Communications of the ACM, 2001, vol. 44, no. 12, pp. 55-56. doi: 10.1145/501317.501343
22. Sompel H.V.D., Nelson M.L., Lagoze C., Warner S. Resource harvesting within the OAI-PMH framework. D-Lib Magazine, 2004, vol. 10, no. 12. doi: 10.1045/december2004-vandesompel
23. Robertson S., Zaragoza H. The probabilistic relevance framework: BM25 and beyond. Foundations and Trends in Information Retrieval, 2009, vol. 3, no. 4, pp. 333-389. doi: 10.1561/1500000019
24. Plachouras V. Diversity in expert search. Proc. of the Workshop on Diversity in Document Retrieval. Dublin, Ireland, 2011, pp. 63-67.
25. Daud A., Li J., Zhou L., Muhammad F. A generalized topic modeling approach for maven search. Lecture Notes in Computer Science, 2009, vol. 5446, pp. 138-149. doi: 10.1007/978-3-642-00672-2_14
Authors
Polina I. Gugunova - student, ITMO University, Saint Petersburg,
197101, Russian Federation, [email protected]
Alexey M. Kashevnik - PhD, Senior Researcher, ITMO
University, Saint Petersburg, 197101, Russian Federation; Senior
Researcher, SPIIRAS, Saint Petersburg, 199178,
