CC BY
30
КОГНИТИВНЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В СИСТЕМАХ УПРАВЛЕНИЯ
УДК: 004.891.3
DOI: 10.25559^ШТО.15.201903.682-692
Система сбора и анализа данных для решения управленческих задач с использованием компьютерных игр (на примере симулятора GT-R:Space)
Е. И. Егоров1, Е. В. Юркина2*, А. А. Иванов3, А. А. Поликарпов
1 Московский авиационный институт (национальный исследовательский университет), г. Москва, Россия
125993, Россия, г. Москва, Волоколамское шоссе, д. 4
2 ИП Юркина Е. В., г. Москва, Россия * [email protected]
3 АНО «Школа 21», г. Москва, Россия
127015, Россия, г. Москва, ул. Вятская, д. 27, стр. 42
Аннотация
Один из постулатов цифровой экономики состоит в ценности данных и важности их интерпретации. Разнообразие источников сбора данных обеспечивает комплексность взгляда на объект и его поведение, однако также создает барьеры при создании моделей, совмещающих разные типы данных для целей анализа. Развитию таких сложных моделей способствует развитие конвергентных инфраструктур. Для целей исследования был выбран пример конвергентной инфраструктуры - си-мулятор, с помощью которого были смоделированы условия для реального взаимодействия людей в команде и собраны данные из разных источников для создания ее цифрового профиля. В ходе исследования был проведен эксперимент, направленный на изучение границ использования разных источников данных о командном взаимодействии в игровой ситуации с помощью симулятора: игровая миссия по защите общего объекта - космического корабля, пульсометры для сбора биометрических данных, видео- и аудиопотоки о поведении игроков во время прохождении миссии. В статье подробно описывается подход к организации эксперимента, методов, критериев оценки и полученные результаты (всего в эксперименте приняло участие свыше 750 человек). Данные, собранные из указанных источников, использовались для оценки командного взаимодействия и формирования цифрового командного профиля по трем агрегированным показателям: командная эффективность в игре (итоговый игровой результат), командное взаимодействие («плотность» взаимодействия игроков), командная готовность к изменениям (оценка стрессоустойчивости и проактивности). По результатам эксперимента были сформулированы ограничения и дальнейшие направления развития исследования командного взаимодействия с использованием игровых тренажеров и систем анализа данных, собираемых в процессе их игрового взаимодействия.
Ключевые слова: симулятор, анализ данных, GT-R, компьютерные игры, команды, цифровой профиль команды.
Для цитирования: Егоров Е. И., Юркина Е. В., Иванов А. А., Поликарпов А. А. Система сбора и анализа данных для решения управленческих задач с использованием компьютерных игр (на примере симулятора GT-R:Space) // Современные информационные технологии и ИТ-образование. 2019. Т. 15, № 3. С. 682-692. DOI: 10.25559^ГПТО.15.201903.682-692
|© Егоров Е. И., Юркина Е. В., Иванов А. А., Поликарпов А. А., 2019|
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019
ISSN 2411-1473
sitito.cs.msu.ru
COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS
A System to Collect and Analyze Data for Problem-solving Challenges Using Computer Games (Example of GT-R: Simulator)
E. N. Egorov1, E. V. Yurkina2*, A. A. Ivanov3, A. A. Polikarpov
1 Moscow Aviation Institute (National Research University), Moscow, Russia 4 Volokolamskoe shosse, Moscow 125993, Russia
2 Individual Entrepreneur Yurkina E. V., Moscow, Russia * [email protected]
3 Autonomous non-commercial organisation "School 21", Moscow, Russia 27/42 Vyatskaya Str., Moscow 127015, Russia
Abstract
The value of data and the importance of interpreting these data is one of the tenets of the digital economy. A variety of data collection sources provides a holistic view of the object and its behavior, but it also creates barriers in creating models that combine different types of data for analysis. The development of converged infrastructures facilitates the development of such complex models. For research purposes a simulator was chosen as an example of converged infrastructures. This simulator creates conditions for teamwork and helps to gather data from different sources for team's digital profile. During the research we held an experiment to examine limits of the use of various data sources on teamwork in game situation using simulator: the game mission to protect the team's common object -the spaceship, heart rate monitors for biometric data collection, video- and audio streams with players behavior during the game. An article sets out in greater detail an approach to the experiment organization, methods, assessment criteria and the results (more than 750 people participated). Data gathered from these sources were used for evaluation of teamwork and for team's digital profiling based on three parameters: net team effectiveness (total game result), team interaction (density of interaction), team willingness to change (stress resistance and proactivity rate). Basing on the results of experiment, restrictions and further directions for teamwork research (with the use of game simulator and data analysis systems) were formulated.
Keywords: simulator, big data, data analysis, GT-R, computer games, teams, digital team profile
For citation: Egorov E.N., Yurkina E.V., Ivanov A.A., Polikarpov A.A. A System to Collect and Analyze Data for Problem-solving Challenges Using Computer Games (Example of GT-R: Simulator). Sovremen-nye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):682-692. DOI: 10.25559/SITITO.15.201903.682-692
Modern Information Technologies and IT-Education
Введение
Каждый день общество сталкивается с новыми управленческими вызовами, которые возникают в ответ на изменяющиеся условия и на саму скорость изменения этих условий. Эти вызовы становятся все более комплексными, и поиск решений выходит далеко за рамки ответов теоретической и прикладной науки. Любое решение при этом имеет свои издержки внедрения, которые общество стремится минимизировать. В результате растет запрос на такие системы, которые могут моделировать любую деятельность и которые могут становиться полигонами для тестирования тех или иных управленческих решений и гипотез.
Такие системы - игровые - получили широкое распространение в предпринимательской и образовательной среде. Игровые симуляторы играют важную роль в диагностике и оценке управленческих компетенций, корпоративной культуры, институциональной среды, а также управленческих действий в трудовых коллективах. В процессе диагностики, построенной с использованием игровых симуляторов, конструируется пространство, обладающие теми же (или похожими) свойствами, что и пространство деятельности, однако в меньших масштабах и в формате упрощенной модели, в которой можно проверять гипотезы. В том числе воссоздаются сложные коммуникационные пространства, в которых взаимодействует большое число индивидуальных и коллективных субъектов и в которых такие компетенции, как способность работать в команде и способность вести за собой команду (лидерство), играют важную роль.
В игровой индустрии особое место занимают компьютерные игры. Будучи продуктом развлекательного сектора экономики (сфера услуг), они имеют значимое влияние и на управленческую среду, поскольку, во-первых, формируют особую культуру и тип мышления в коллективе, а во-вторых, развиваются с использованием последних технологических тенденций. Способность использовать достижения компьютерной индустрии в сфере массовых развлечений становится важным конкурентным преимуществом при поиске ответов на современные вызовы.
Частью любой компьютерной игры выступает его лог -запись об игровых действиях, о действиях игроков и об изменяющейся ситуации в игре в каждый момент времени. Таким образом, лог игры является важным источником данных об игровом поведении, аппроксимируя которое можно сделать вывод о поведенческих паттернах игроков в жизни. Играя в компьютерную игру, человек оставляет «цифровой след», характеризующий действия игрока, его приоритеты, ограничения, игровые выборы. Задавая в игре специальные условия, например условия, требующие его высокой активности, вовлеченности, азарта, можно смоделировать среду, в которой игрок-участник сможет продемонстрировать паттерны своего мышления и поведения, в частности, сложившиеся паттерны взаимодействия, стиля управления и коммуникации в команде. Этому способствует также то, что большинство компьютерных игр имеют командный характер, то есть предполагают явное конструирование среды для взаимодействия игроков друг с другом.
Однако использование единственного источника данных в любой диагностике ведет к узости взгляда и ограниченности анализа и, как следствие, ограниченности выводов (решений)
на основе этого анализа. Цифровая экономика строится на предположении о ценности данных, которые можно собрать и проанализировать. А значит, при создании любых пространств (в том числе игровых) необходимо исходить из гипотезы об эффективности разных источников данных. В игровых системах это в первую очередь те источники, которые могут быть использованы в моделях оценки игрового командного поведения, в том числе данные с видео-наблюдений поведения игроков, голосовые сообщения, а также биометрические данные.
Цель исследования - изучить границы использования разных источников данных об игровом командном поведении в игровой ситуации.
Задачи исследования:
Сформулировать гипотезы о направлениях использования разных источников данных в моделях оценки игрового командного поведения
Описать структуру данных, получаемых из выбранных источников
Сформулировать гипотезу о подходах к оценке командного взаимодействия с использованием этих данных
Сконструировать и провести эксперимент с использованием игрового симулятора на базе компьютерной игры для проверки модели
Сформулировать ограничения выбранной модели и дальнейшие направления развития исследования.
Источники данных в исследовании
Ввиду того, что основной источник данных об игровом поведении - сама компьютерная игра, эксперимент начался с формулирования требований к ней. Поскольку игра должна по условиям эксперимента позволять создавать состояние неопределенности для игроков, была выбрана игра с открытым кодом, чтобы иметь возможность добавить необходимые элементы в код игры самостоятельно (например, влиять на сложность/управляемость в игре, адаптировать ее под выбранную под эксперимент аудиторию и др.) [1]. Среди игр с открытым кодом была выбрана игра, которая одновременно удовлетворяла следующим характеристикам:
Наличие разных ролей, а также взаимозависимый ролевой функционал. Требование обусловлено необходимостью погружения игроков в ситуацию постоянного взаимодействия друг с другом и создания ситуации зависимости их друг от друга, чтобы воссоздать специфику деятельности в новых экономических реалиях (высокая степень неопределенности, ускоренная смена технологических циклов и др.)
Наличие отдельной управленческой лидерской позиции [2, 3, 4]. Требование обусловлено проблематикой исследования - возможностью использования игровых симуляторов для поиска решений и ответов на новые управленческие вызовы
[5].
Возможность/необходимость работать командой. Требование обусловлено повышением роли команды в новых экономических реалиях в связи с высокой скоростью изменений и ценностью конвергентного знания [6, 7].
Нацеленность на общий результат: не победа отдельного игрока, а общая победа или общее поражение. Игроки долж-
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ^ 2411-1473 sitito.cs.msu.ru
ны были работать на общий результат, а не на индивидуальный зачет, чтобы воссоздать условия их экономической роли (роль участника/представителя группы людей, работающей на общий показатель эффективности).
Плотно сжатое игровое время, множество факторов, активных действий, быстро меняющих игровую ситуацию. Требование обусловлено проблематикой исследования - управленческие вызовы в новых экономических реалиях.
Наличие большого вариативного пространства игры. Чем больше возможностей игровых действий, предусмотренных в игре, тем больше возможных вариантов выборов игроков и, как следствие, игровых ситуаций с цифровым следом и материала для анализа.
Открытость кода позволила повлиять на настройки различных компонент игры, таких как сложность партии, генерация игровых объектов методом случайного выбора, баланс статичных и динамичных объектов в игре и др. Пример различия игровых характеристик по уровню сложности приведен в таблице 1. Таким образом было обеспечено еще одно условие, которому должна была удовлетворять игра - игровой мир должен содержать множество факторов неопределенности.
Выбранная игра посвящена космическим боям и предполагала управление космическим кораблем силами распределенной команды (от шести человек). Для проведения исследования была выбрана и адаптирована одна игровая миссия, нацеленная на защиту игровой (космической) станции. Адаптация игровой миссии состояла в добавлении возможности подключить к играющей команде неограниченное число единичных кораблей, чтобы воссоздать условия распределенного управления сложным объектом (когда задача выполняется не ограниченным числом людей под управлением одного капитана, а когда есть разные объекты управления, связанные друг с другом, и находящиеся под координацией капитана). Адаптированная миссия (код игры с ее логом) стала первой компонентой игрового симулятора командного взаимодействия, использующегося в эксперименте [8].
Вторая компонента симулятора - биометрические данные игроков, собираемые с целью замера вариабельности сердечного ритма для расчета уровня стресса с помощью индекса Баевского12. Мы считали состоянием стресса у игроков состояние, отличное от покоя. [9, 10] Цель использования данных об уровне стресса игроков - определить границы приспособляемости организма в условиях неопределенности (в рамках эксперимента - в игровой ситуации). Индекс Баевского - индекс напряжения регуляторных систем - характеризует состояние центров, регулирующих сердечно-сосудистую систему, т.е. как общее функциональное состояние организма, так и бароре-цепторный аппарат, особенно при проведении ортостатиче-ских проб (изменение положения тела).
Третья компонента симулятора - видеопоток, фиксирующий изменения состояния мимики и использующийся для оценки эмоционального состояния игроков [11, 12, 13]. Требование, которому должна была удовлетворять система сбора видеоданных, состояло в том, чтобы она могла обеспечить в каждый момент времени сбор информации об эмоциях от наибольшего числа игроков, попадающих в кадр.
Четвертая компонента симулятора - аудиопоток с фиксацией и оценка характеристик звука голоса игроков в каждый момент времени [14]. Требование, которому должна была удовлетворять система сбора аудиоданных, состояло в том, чтобы она давала такие данные, которые можно было освободить от шумов для повышения точности анализа (фиксация звука каждого игрока в отдельности) [11].
Пятая - основная - компонента симулятора - система анализа собранных данных из всех источников. В ней агрегировались все данные и происходил расчет в соответствии с выбранным подходом. Требование, которому должна была соответствовать система - расчет и калькуляция должны были занимать не более 5 минут сверх игрового времени [15, 16].
Структура данных
Каждая компонента симулятора давала свой набор данных, который использовался в анализе. Данные делились на первичные (непосредственно собираемые сырые данные) и вторичные (обработанные данные, а также данные, объединенные в показатели с помощью весов).
Пример первичных данных игры:
• количество маневров уклонения без урона - считается в единицах;
• количество неуспешных маневров уклонения - считается в единицах;
• количество столкновений с астероидами и минными полями - считается в единицах;
• выстрелов лазером по кораблю игроков - считается в единицах;
• принятые репутационные решения - считается в единицах;
• индекс уклонения от статичных объектов - считается в процентах;
• индекс уклонения от ракет - считается в процентах;
Таблица 1. Пример игровых характеристик по уровню сложности игровой миссии Table 1. An example of game characteristics by the game mission's difficulty level
Упрощенный уровень Базовый уровень Сложный уровень Экстремальный уровень
Количество точек генерации противников 3 5 8 20
Индекс общей сложности противников, min 21 35 56 140
Индекс общей сложности противников, mean 44,397 73,995 118,392 295,98
Индекс общей сложности противников, max 65,4 109 174,4 436
1 Apykhtin K. Introduction into heart rate variability analysis and some words about CardioMood [Электронный ресурс]. - Режим доступа: https://www.englishpatient.org/ english-patient-files/35a3aa2c-bae4-445c-986a-5a072fafddad.pdf (дата обращения 07.09.2019).
2 Вариабельность сердечного ритма. Стандарты измерения [Электронный ресурс]. - Режим доступа: https://www.englishpatient.org/english-patient-files/0832371e-6241-4806-9ea6-4eb0a557b039.pdf (дата обращения 06.09.2019).
Modern Information Technologies and IT-Education
КОГНИТИВНЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ Е. И. Егоров, Е. В. Юркина,
В СИСТЕМАХ УПРАВЛЕНИЯ А. А. Иванов, А. А. Поликарпов
индекс мощности систем корабля - считается в процентах;
индекс перегретости систем корабля - считается в процентах;
индекс эффективности систем корабля - считается в процентах;
потраченная репутация - считается в процентах; взаимодействие при выстреле лазером кораблем игроков - считается в баллах;
взаимодействие при расширенном сканировании -считается в баллах;
взаимодействие при передаче зондов - считается в баллах.
Приведем пример показателя категории «вторичные данные», агрегирующего первичные данные первой компоненты симулятора. Была сделана гипотеза, что в качестве метрики для оценки действий команды в условиях неопределенности (подробнее интегральные характеристики описаны в разделе «Модель оценки») может быть использован показатель «Использование игровых возможностей». Игровые возможности - каталог возможных действий, которые могут совершать игроки в пределах своих ролей. Команды с разной активностью осваивали игровые возможности и использовали разные стратегии (одни команды с первых минут стремились узнавать игровой мир и пробовали искать новое в игре, другие действовали строго в рамках освоенного базового функционала роли и с трудом расширяли новые возможности). Поскольку стратегии «использовать, что знаю» и «изучать новое» характеризуют объект с точки зрения его ригидности или, напротив, готовность к изменениям, доля использования командой в игре от полного каталога возможностей была одной из характеристик и складывалась из следующих первичных данных:
использование прыжкового двигателя - бинарная переменная;
использование маневренного двигателя - бинарная переменная;
увеличение мощности систем - считается в процентах; производилась ли починка сломанных систем - бинарная переменная;
указание боевой цели - бинарная переменная; изменение частоты щитов - считается в процентах; изменение частоты лучевых орудий - считается в процентах;
запуск зонда - бинарная переменная; использование игровой репутации - считается в процентах.
Обработка первичных данных второй компоненты симулятора - видеонаблюдений - включала задачу распознавания уникальных лиц (128 x FP32) и поиск дубликатов, затем выбор лучшей фронтальной проекции и распознавание эмоций игроков. В качестве ориентира для модели использовалась система кодирования лицевых движений П.Экмана и УФризена (англ. Facial Action Coding System (FACS)) [17, 18]. После детектирования лиц в кадре и выбора лучшей фронтальной проекции с помощью специально разработанной нейросети происходил анализ профиля эмоций3. Модуль обработки отдавал
вектор из 7 позиций: гнев, страх, отвращение/презрение, грусть, спокойствие, удивление, радость. Точность распознавания для разных эмоций была различна: наибольшая точность и полнота распознавания зафиксирована для эмоции «радость» (98,9%), что подтверждается исследованиями самого Пола Экмана.
Первичные биометрические данные включали замеры по частоте сердечных сокращений игроков в каждый момент игрового времени [19]. Расчет индекса Баевского происходил в режиме реального игрового времени (на рис.1 показаны данные с команды в момент ее игрового времени), установка пороговых показателей (таблица 2) позволила использовать в качестве вторичных данных диапазоны стрессовых состояний, таких как красная зона - высокий уровень стресса, желтая зона - средний уровень стресса, зеленая зона - низкий уровень стресса.
3 k-.гГ... rs 1
j ilWiAV I ----
Р и с. 1. Пример визуализации показателей игроков на основе анализа биометрических данных F i g. 1. An example of player indicators visualization based on the biometric data
analysis
Таблица 2. Пороговые оценки значений уровня стресса, использованные в эксперименте
Table 2. Threshold estimates of stress levels used in the experiment
Диапазон значений Интерпретация
50-150 Норма
150-500 Физическая нагрузка, усталость
500-900 Психофизиологическое переутомление, существенный психологический и эмоциональный стресс
>900 Существенное нарушение регуляторных механизмов, наблюдается в предынфарктном состоянии
Подходы к оценке (игрового командного поведения)
В эксперименте была выбрана простая агрегированная модель оценки, формирующая цифровой профиль команды, в которой сформированные показатели из разных источников данных, были отнесены к одной из трех категорий: показатели, характеризующие командную эффективность в игре; показатели, характеризующие командное взаимодействие; показатели, характеризующие командную готовность к изменениям [20, 21, 22]. Показатели этих трех категорий не суммировались между собой, а формировали самостоятельную оценку по соответствующей категории. Итоговый профиль команды пред-
3 Описание решения по распознаванию эмоций на сайте компании «Нейрокорпус» измерения [Электронный ресурс]. - Режим доступа: http://www. neurocorp.ru/ (дата обращения 07.09.2019).
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019
ISSN 2411-1473
sitito.cs.msu.ru
ставлял собой координаты в трехмерном пространстве, где по осям были отложены шкалы трех категорий, которые интерпретировались как три управленческие характеристики - эффективность, взаимодействие, готовность к изменениям.
Первая шкала - шкала категории «Командная эффективность в игре». Категория оценивалась по таким параметрам, как итоговый игровой результат (проигрыш/победа), уничтожение вражеских кораблей, выживание союзных станций, выживаемость в игре и др. Шкала измерения приводилась к балльной системе [23].
Вторая шкала - шкала категории «Командное взаимодействие». Категория отображала частоту и «плотность» взаимодействия игроков в ходе выполнения игровой миссии. Оценивалась по показателям взаимодействия при использовании ресурсов, показателям взаимодействия в боевых сражениях, показателям коммуникативной активности в ходе игры. Шкала измерения приводилась к балльной системе [24].
Третья шкала - шкала категории «Командная готовность к изменениям». Категория отображала стрессоустойчивое и проактивное (опережающее) использование игроками и командой в целом тех возможностей, которые предоставляет игровое пространство. Оценивалась по времени нахождения в высокой (красной) и низкий (зеленой) зоне стресса, показателям использования игровых возможностей, проактивности игроков.
Формирование подходов к оценке осуществлялось исходя из следующих принципов: игровые данные использовались во всех трех категориях, биометрические данные использовались для оценки командного взаимодействия и командной готовности к изменениям, голосовые данные использовались для оценки командного взаимодействия, видеоряд использовался для оценки командного взаимодействия и командной готовности к изменениям [25, 26]. Эксперимент проводился для первичной оценки жизнеспособности модели.
Проведение эксперимента
Эксперимент проводился на образовательной программе для управленческих команд вузов в июле 2019 года. В течение двенадцати дней было сыграно более 140 игровых партий, участие в эксперименте приняло более 750 игроков. Каждый из игроков принял участие в эксперименте в составе команды, общее количество уникальных команд - 81. Основные типы команд, по которым проходили замеры:
• слаженные управленческие команды, игроки знакомы друг с другом и имеют опыт взаимодействия в рамках одного стиля управления;
• новые команды, игроки не знакомы друг с другом и не имеют опыта взаимодействия;
• слаженные управленческие команды, игроки знакомы друг с другом и имеют опыт взаимодействия в рамках разных стилей управления (авторитарный и демократический);
• команды, игроки которых знакомы друг с другом и имеют небольшой опыт взаимодействия; в незнакомой ситуации (игре) действуют хаотично без стратегии;
• команды, игроки которых знакомы друг с другом и имеют небольшой опыт взаимодействия; в незнакомой ситуации (игре) действуют по выбранной стра-
тегии и продумывая последствия различных вариантов поведения;
• команды, игроки которых знакомы друг с другом и имеют небольшой опыт взаимодействия; в незнакомой ситуации (игре) корректируют стиль взаимодействия и коммуникации в зависимости от игровой ситуации;
• команды школьников и студентов;
• смешанные команды (игроки разных возрастов, включая школьников);
• команды, экспериментально меняющие роли участников.
Каждая команда проходила последовательно три этапа. Первый этап - обучение - длился примерно 40 минут и состоял из постановки задачи и погружения (10 минут), просмотра обучающих материалов (10 минут), проведения тестовой игры (20 минут). Цель тестовой игры - проверить корректность действия оборудования, осуществляющего фиксацию и передачу данных о команде. Второй этап - проведение игровой сессии - длился около 20 минут, в ходе которого данные передавались в режиме реального времени в аналитическую систему Третий этап - разбор результатов - длился около 40 минут, в хоте которого игроки верифицировали свой полученный в ходе анализа профиль команды. Данный этап носил рефлексивный характер: дополнительная задача этапа - помочь участникам осознать игровой опыт и присвоить выводы на основе данных для управления и взаимодействия в реальной практике. Разбор проводился в отдельном помещении непосредственно после игры при поддержке - фасилитации командного консультанта - на основе вербализованных эмоциональных переживаний участников и сгенерированного профиля команды по итогам игры.
Ключевые темы, разбиравшиеся на основе данных о команде в ходе игровой сессии: факторы, стимулирующие и разрушающие взаимодействие в стрессовой ситуации и в ситуации высокой неопределенности, уровень понимания общей стратегии взаимодействия, роль и проблема различных управленческих картин мира (с каждой ролевой управленческой позиции одна и та же ситуация выглядит по-разному; в игре этот феномен констатировался через наличие у каждого игрока своего персонального функционального монитора с ограниченной видимостью), роль и функции лидера-капитана.
С точки зрения оснащенности датчиками для сбора данных симулятор включал следующий набор оборудования:
• 10 интерактивных сенсорных столов, под управлением ОС Windows10;
• 6 видеокамер с широкоугольными объективами (объем входных данных составлял 40Мбит/с), после декодирования обеспечивающий в кадры для обработки поток видеоданных (300 Мбайт/сек). Схема расположения рассчитывалась с учетом угловых расстояний, для появления максимального количества игроков в кадре. Полный цикл от захвата до расчета всех данных занимал менее 0,8 секунды;
• 10 кардио-браслетов HRV and CardioMood для замеров вариабельности сердечного ритма каждого участника и определения уровня стресса по методу Баевского. Технические характеристики браслетов: Mio Fuse (59P), mioglobal, Bluetooth 4.0, ANT+, WR2;
• 10 гарнитур фиксации голосовых сообщений для ре-
Modern Information Technologies and IT-Education
гистрации звуковой активности как отдельных игроков, так и команды в целом. Технические характеристики гарнитур: Jabra EVOLVE 20 UC Mono, частотный диапазон микрофона - 150Hz~7kHz.
Результаты эксперимента
Эксперимент не позволил выявить значимые корреляции, однако в процессе его проведения были зафиксированы следующие неявные эффекты:
Эффект взаимообучения. Некоторые команды, которые провели несколько игр, в среднем показали более высокий результат, чем команды, сыгравшие одну игру.
Эффект обучения. Некоторые команды, которые участвовали в эксперименте впервые ближе к его завершению (последние из 12-ти дней), в среднем показывали более высокие результаты, чем команды, игравшие в начале.
Эффект сыгранности. Некоторые команды, которые были сформированы из игроков, имевших опыт взаимодействия друг с другом, в среднем показывали более высокие результаты, чем команды, состоявшие из игроков и не имевшие такого опыта.
Эффект сложносочиненности. Показатели, которые агрегировали данные из разных источников, верифицировались (присваивались) командами лучше, чем показатели, агрегировавшие данные из одного источника. Например, если показатель агрегировал данные и из видеопотока, и с самой игры, такой показатель верифицировался (присваивался) командами лучше, чем показатель, агрегировавший данные только с самой игры.
Эффект переноса. Команды, в профиле которых были замечены существенные отклонения, более легко верифицировали эти данные и осуществляли перенос выводов на реальную деятельность (сложности выхода на новые задачи, на новый уровень, работа с неопределенностью).
Данные эффекты говорят о том, что сам подход к оценке и к использованию источников данных для ее формирования оказался верным, поскольку не было замечено явных противоречий модели (например, что новые команды показывали более высокий результат, чем слаженные). Иными словами, эксперимент не позволил сделать однозначный вывод о значимости модели, но позволил сказать о ее непротиворечивости. Вместе с тем в ходе эксперимента были зафиксированы следующие ограничения:
Физическое размещение участников эксперимента в игровой комнате может влиять на границы использования такого источника данных, как видеопоток. Эксперимент проводился в закрытом помещении (12 кв.метров), схема расположения игроков показана на рисунке 2. Такое расположение выделяло отдельное игровое место капитану, который видел все мониторы игроков. Другие игроки при этом смотрели только в свой монитор и имели ограниченную возможность менять свое расположение в пространстве. Это позволило достигнуть высокой точности прогноза распознавания лиц, однако не позволило использовать данные о поворотах игроков друг к другу как источник данных, которые могли бы быть интерпретированы как проактивность игроков (коммуникационная проактивность игроков).
Р и с. 2. Схема размещения игроков в игровой комнате в ходе эксперимента F i g. 2. The layout of players in the game room during the experiment
Лог игры дает значительно больший объем данных, чем любые другие источники. Это ограничение может влиять на математический расчет весов показателей, поэтому требуется уделять особое внимание вопросам балансировки в модели.
Игровые данные и способы их интерпретации будут меняться в зависимости от игровой миссии (в условиях данного эксперимента использовалась миссия, целью которой была защита союзных станций и уничтожение вражеских кораблей).
Биометрические данные требуют дополнительных замеров норм по каждому игроку, поскольку усредненные показатели могут давать значимую ошибку и быть неверно интерпретированы. Иными словами, оценку необходимо проводить не в сравнении со средними пороговыми значениями, а с пороговым значением для каждого игрока. При этом такие замеры значительно увеличивают продолжительность эксперимента.
Использование большого числа источников данных ограничивает возможность использования такого инструмента, как рейтингование (команд), поскольку спецификация части источников - диагностическая, а не оценочная. В этой связи использование рейтингов ограничено теми источниками, которые позволяют однозначно проранжировать результаты друг относительно друга.
Заключение
В исследовании был поставлен вопрос о границах использования разных источников данных об игровом командном поведении в игровой ситуации. Важность игровых симу-ляторов в решении управленческих задач объяснена через новые управленческие вызовы в условиях цифровизации,
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS
ускорения обновления технологических циклов и запрос общества на минимизацию издержек внедрения решений [27,28].
В качестве примера в исследовании использовались компьютерные игры, составляющие значимую долю рынка индустрии игр в мире. Была выбрана компьютерная игра, которая отвечала требованиям, позволяющим поместить команду в условия высокой неопределенности и осуществить замеры ее различных состояний в каждый момент времени. На основании этих замеров были сделаны выводы о поведенческих паттернах игроков в игровой и реальной деятельности [29].
Были сформулированы следующие гипотезы о направлениях использования разных источников данных в моделях оценки игрового командного взаимодействия: игровые данные (лог игры) может использоваться в для расчета любых показателей, поскольку эти данные составляют наиболее значимую долю всего потока собираемых о командах данных; биометрические данные могут использоваться для оценки способности адаптироваться к ситуации (в качестве показателя был выбран индекс Баевского), голосовые данные и видеоряд могут использоваться для оценки коммуникаций в команде. По каждому из указанных источников приведена краткая информация о структуре получаемых данных с примерами.
В ходе исследования был сформулирован подход к оценке игрового командного взаимодействия с использованием данных из 4-х источников: игровой лог, пульсометры, видео и аудиопотоки. Согласно подходу, оценка игрового командного взаимодействия осуществлялась по трем категориям: командная эффективность в игре, командное взаимодействие и командная готовность к изменениям. Каждая категория включала свои показатели, агрегирующие данные из 4-х источников, причем у каждого источника была своя приоритетная категория, в которой данные из этого источники были более релевантными: видео и аудиопоток использовался в основном для оценки командного взаимодействия, биометрические данные - для оценки командной готовности к изменениям, игровой лог использовался во всех трех категориях.
Был проведен эксперимент с участием управленческих команд вузов (81 команда, 750 игроков, 140 игровых партий). Эксперимент состоял в проверке на реальных командах гипотезы о направлениях использования различных источников данных для их оценки, а также проверке самого подхода к оценке совместно с этими командами (команды верифицировали оценку на этапе разбора). Игровой опыт действующих команд вузов послужил основой для обсуждения реальных умений и навыков коммуникации, сложившихся паттернов и ограничений командного взаимодействия.
По результатам эксперимента были сформулированы ограничения и дальнейшие направления развития исследования командного взаимодействия с использованием игровых тренажеров и систем анализа данных, собираемых в процессе их игрового взаимодействия.
Список использованных источников
[1] Hu Z., Mahadevan S. Uncertainty quantification and management in additive manufacturing: current status, needs, and opportunities // The International Journal of Advanced Manufacturing Technology. 2017. Vol. 93, Issue 5-8. Pp. 2855-2874. DOI: 10.1007/s00170-017-0703-5
[2] Park H.-R, Kim C.-J, ParkJ.-W., Park E. Effects of team-based learning on perceived teamwork and academic performance in a health assessment subject // Collegian. 2015. Vol. 22, Issue 3. Pp. 299-305. DOI: 10.1016/j.co-legn.2014.05.001
[3] March P. L. Playing with clay and the uncertainty of agency. A Material Engagement Theory perspective // Phenomenology and the Cognitive Sciences. 2019. Vol. 18, Issue 1. Pp. 133-151. DOI: 10.1007/s11097-017-9552-9
[4] Madani K., Pierce T. W, Mirchi A. Serious games on environmental management // Sustainable Cities and Society. 2017. Vol. 29. Pp. 1-11. DOI: 10.1016/j.scs.2016.11.007
[5] Coordinating a Team Response to Behavioral Emergencies in the Emergency Department: A Simulation-Enhanced Interprofessional Curriculum / A. H. Wong, L. Wing, B. Weiss, M. Gang // Western Journal of Emergency Medicine: Integrating Emergency Care with Population Health. 2015. Vol. 16, Issue 6. Pp. 859-865. DOI: 10.5811/west-jem.2015.8.26220
[6] Converged wired and wireless services in next generation optical access networks / C. Browning, A. Farhang, A. Sal-joghei, N. Marchetti, V. Vujicic, L. E. Doyle, L. P. Barry // 2017 19th International Conference on Transparent Optical Networks (ICTON). Girona, 2017. Pp. 1-3. DOI: 10.1109/ic-ton.2017.8025032
[7] Emotionally Intense Science Activities / D. King, S. Ritchie, M. Sandhu, S. Henderson // International Journal of Science Education. 2015. Vol. 37, Issue 12. Pp. 1886-1914. DOI: 10.1080/09500693.2015.1055850
[8] Bolodurina I., Parfenov D. Development and Research of Models of Organization Distributed Cloud Computing Based on the Software-defined Infrastructure // Procedia Computer Science. 2017. Vol. 103. Pp. 569-576. DOI: 10.1016/j. procs.2017.01.064
[9] Improved Clinical Performance and Teamwork of Pediatric Interprofessional Resuscitation Teams With a Simulation-Based Educational Intervention / E. Gilfoyle, D. A. Koot, J. C. Annear, F. Bhanji, A. Cheng, J.P. Duff, V. Grant, C. St. George-Hyslop, N. Delaloye, A. Kotsakis, C. McCoy, C. Ramsay, M. Weiss, R. Gottesman // Pediatric Critical Care Medicine. 2017. Vol. 18, Issue 2. P. e62-e69. DOI: 10.1097/ pcc.0000000000001025
[10] Erol B., Gurbuz S. Z. A kinect-based human micro-doppler simulator // IEEE Aerospace and Electronic Systems Magazine. 2015. Vol. 30, Issue 5. Pp. 6-17. DOI: 10.1109/ MAES.2015.7119820
[11] Ko B. C. Brief Review of Facial Emotion Recognition Based on Visual Information // Sensors. 2018. Vol. 18, Issue 2. Pp. 401. DOI: 10.3390/s18020401
[12] Deshmukh S., Patwardhan M., Mahajan A. Survey on real-time facial expression recognition techniques // IET Biometrics. 2016. Vol. 5, Issue 3. Pp. 155-163. DOI: 10.1049/ iet-bmt.2014.0104
[13] Universals and cultural variations in 22 emotional expressions across five cultures / D. T. Cordaro, R. Sun, D. Keltner, S. Kamble, N. Huddar, G. McNeil // Emotion. 2018. Vol. 18, Issue 1. Pp. 75-93. DOI: 10.1037/emo0000302
[14] AkhtarZ, Falk T. H. Audio-Visual Multimedia Quality Assessment: A Comprehensive Survey // IEEE Access. 2017. Vol. 5. Pp. 21090-21117. DOI: 10.1109/access.2017.2750918
Modern Information Technologies and IT-Education
[15] Разработка технологии распознавания и мониторинга состояний внимания на базе нейронных сетей / И. М. Артамонов, Я. Н. Артамонова, А. О. Ефиторов, В. Р. Широкий // XVII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М: МГППУ, 2019. C. 471. URL: https://elibrary. ru/item.asp?id=41208295 (дата обращения: 02.07.2019).
[16] Проблемы анализа эмоциональных состояний на основе big data в связи с геолокацией / И. М. Артамонов, Я. Н. Артамонова, А. А. Прозоров // Актуальные вопросы нейрофилософии - 2015. Ежегодник. Материалы международного междисциплинарного семинара «Нейрофилософия» / Под ред. А. Ю. Алексеева, Д. И. Дубровского, В. Г. Кузнецова. М.: ИИнтелл, 2016. С. 232240.
[17] Экман П. Психология эмоций. С.-Пб.: Изд-во «Питер», 2014. 240 с.
[18] Psychological targeting as an effective approach to digital mass persuasion / S. C. Matz, M. Kosinski, G. Nave, D. J. Stillwell // Proceedings of the National Academy of Sciences. 2017. Vol. 114, Issue 48. Pp. 12714-12719. DOI: 10.1073/ pnas.1710966114
[19] Experimental Study of Statistical Stability of Cardiointerval Samples / V. G. Zilov, A. A. Khadartsev, V. V. Eskov, V. M. Eskov // Bulletin of Experimental Biology and Medicine. 2017. Vol. 164, Issue 2. Pp. 115-117. DOI: 10.1007/s10517-017-3937-1
[20] Müller B. C., Reise C., Seliger G. Gamification in Factory Management Education - A Case Study with Lego Mindstorms // Procedia CIRP. 2015. Vol. 26. Pp. 121-126. DOI: 10.1016/j. procir.2014.07.056
[21] Using Learning Analytics to improve teamwork assessment / A. Fidalgo-Blanco, M. L. Sein-Echaluce, F. J. García-Peñalvo, M. Á. Conde // Computers in Human Behavior 2015. Vol. 47. Pp. 149-156. DOI: 10.1016/j.chb.2014.11.050
[22] Leadership and organizational change for implementation (LOCI): a randomized mixed method pilot study of a leadership and organization development intervention for evidence-based practice implementation / G. A. Aarons, M. G. Ehrhart, L. R. Farahnak, M. S. Hurlburt // Implementation Science. 2015. Vol. 10. Article number: 11. DOI: 10.1186/ s13012-014-0192-y
[23] An overview of methods to evaluate uncertainty of deterministic models in decision support / L. Uusitalo, A. Lehi-koinen, I. Helle, K. Myrberg // Environmental Modelling & Software. 2015. Vol. 63. Pp. 24-31. DOI: 10.1016/j.env-soft.2014.09.017
[24] Lizar A. A., Mangundjaya W. L., Rachmawan A. The Role of Psychological Capital and Psychological Empowerment on Individual Readiness for Change // The Journal of Developing Areas. 2015. Vol. 49, No. 5. Pp. 343-352. DOI: 10.1353/ jda.2015.0063
[25] From cleaner production to sustainable development: the role of academia / N. R. Khalili, S. Duecker, W. Ashton, F. Chavez // Journal of Cleaner Production. 2015. Vol. 96. Pp. 30-43. DOI: 10.1016/j.jclepro.2014.01.099
[26] Leighton P. Professional self-employment, new power and the sharing economy: Some cautionary tales from Uber // Journal of Management & Organization. 2016. Vol. 22, Issue 06. Pp. 859-874. DOI: 10.1017/jmo.2016.30
[27] Nambisan S. Digital Entrepreneurship: Toward a Digital Technology Perspective of Entrepreneurship // Entrepreneurship Theory and Practice. 2017. Vol. 41, Issue 6. Pp. 1029-1055. DOI: 10.1111/etap.12254
[28] Typology of Human Capital Development in EU Countries / S. Vaitkevicius, R. Ciutiene, E. Meiliene, A. Savaneviciene // Procedia Economics and Finance. 2015. Vol. 23. Pp. 16411648. DOI: 10.1016/s2212-5671(15)00520-1
[29] Vogl T. S. Differential Fertility, Human Capital, and Development // The Review of Economic Studies. 2015. Vol. 83, Issue 1. Pp. 365-401. DOI: 10.1093/restud/rdv026
Поступила 02.07.2019; принята к публикации 21.08.2019; опубликована онлайн 30.09.2019.
|Об авторах:|
Егоров Евгений Николаевич, доцент кафедры технологии производства авиационных двигателей, Ступинский филиал, Московский авиационный институт (национальный исследовательский университет) (142803, Россия, Московская область, г. Ступино, ул. Пристанционная, д. 4), научный консультант GT-R, кандидат технических наук, ORCID: http://orcid. org/0000-0002-5134-1708, [email protected] Юркина Елена Владимировна, разработчик и автор модели анализа данных GT-R, профессиональный консультант в области командного взаимодействия и развития команд, ИП Юркина Е. В. (г. Москва, Россия), ORCID: http://orcid.org/0000-0002-0421-9662, [email protected]
Иванов Андрей Александрович, разработчик игрового комплекса GT-R, студент, АНО «Школа 21» (127015, Россия, г. Москва, ул. Вятская, д. 27, стр. 42), ORCID: http://orcid.org/0000-0003-1884-5020, [email protected] Поликарпов Александр Альбертович, разработчик и автор модели сбора данных GT-R, программист, ORCID: http://orcid. org/0000-0002-7586-9347, [email protected]
Все авторы прочитали и одобрили окончательный вариант рукописи.
References
[1] Hu Z., Mahadevan S. Uncertainty quantification and management in additive manufacturing: current status, needs, and opportunities. The International Journal of Advanced Manufacturing Technology. 2017; 93(5-8):2855-2874. (In Eng.) DOI: 10.1007/s00170-017-0703-5
[2] Park H.-R., Kim C.-J., Park J.-W., Park E. Effects of team-based learning on perceived teamwork and academic performance in a health assessment subject. Collegian. 2015; 22(3):299-305. (In Eng.) DOI: 10.1016/j.colegn.2014.05.001
[3] March P.L. Playing with clay and the uncertainty of agency. A Material Engagement Theory perspective. Phenomenology and the Cognitive Sciences. 2019; 18(1):133-151. (In Eng.) DOI: 10.1007/s11097-017-9552-9
[4] Madani K., Pierce T.W., Mirchi A. Serious games on environmental management. Sustainable Cities and Society. 2017; 29:1-11. (In Eng.) DOI: 10.1016/j.scs.2016.11.007
[5] Wong A.H., Wing L., Weiss B., Gang M. Coordinating a Team Response to Behavioral Emergencies in the Emergency De-
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
partment: A Simulation-Enhanced Interprofessional Curriculum. Western Journal of Emergency Medicine: Integrating Emergency Care with Population Health. 2015; 16(6):859-865. (In Eng.) DOI: 10.5811/westjem.2015.8.26220
[6] Browning C., Farhang A., Saljoghei A., Marchetti N., Vujicic V., Doyle L.E., Barry L.P. Converged wired and wireless services in next generation optical access networks. In: 2017 19th International Conference on Transparent Optical Networks (ICTON), Girona, 2017, pp. 1-3. (In Eng.) DOI: 10.1109/ICTON.2017.8025032
[7] King D., Ritchie S., Sandhu M., Henderson S. Emotionally Intense Science Activities. International Journal of Science Education. 2015; 37(12):1886-1914. (In Eng.) DOI: 10.1080/09500693.2015.1055850
[8] Bolodurina I., Parfenov D. Development and Research of Models of Organization Distributed Cloud Computing Based on the Software-defined Infrastructure. Procedia Computer Science. 2017; 103:569-576. (In Eng.) DOI: 10.1016/j. procs.2017.01.064
[9] Gilfoyle E., Koot D. A., Annear J. C., Bhanji F., Cheng A., Duff J.P., Grant V., George-Hyslop C. St., Delaloye N., Kotsakis A., McCoy C., Ramsay C., Weiss M., Gottesman R. Improved Clinical Performance and Teamwork of Pediatric Interprofessional Resuscitation Teams With a Simulation-Based Educational Intervention. Pediatric Critical Care Medicine. 2017; 18(2):e62-e69. (In Eng.) DOI: 10.1097/ pcc.0000000000001025
[10] Erol B., Gurbuz S.Z. A kinect-based human micro-doppler simulator. IEEE Aerospace and Electronic Systems Magazine. 2015; 30(5):6-17. (In Eng.) DOI: 10.1109/ MAES.2015.7119820
[11] Ko B.C. Brief Review of Facial Emotion Recognition Based on Visual Information. Sensors. 2018; 18(2):401. (In Eng.) DOI: 10.3390/s18020401
[12] Deshmukh S., Patwardhan M., Mahajan A. Survey on real-time facial expression recognition techniques. IET Biometrics. 2016; 5(3):155-163. (In Eng.) DOI: 10.1049/iet-bmt.2014.0104
[13] Cordaro D.T., Sun R., Keltner D., Kamble S., Huddar N., McNeil G. Universals and cultural variations in 22 emotional expressions across five cultures. Emotion. 2018; 18(1):75-93. (In Eng.) DOI: 10.1037/emo0000302
[14] Akhtar Z., Falk T.H. Audio-Visual Multimedia Quality Assessment: A Comprehensive Survey. IEEE Access. 2017; 5:2109021117. (In Eng.) DOI: 10.1109/access.2017.2750918
[15] Artamonov I.M., Artamonova Y.N., Efitorov A.O., Shirokiy V.R. Development of technology for recognition and monitoring of attention states based on neural networks. In: Proceedings of the XVII Russian Scientific Conference "Neurocomputers and their Application", MGPPU, Moscow, 2019, pp. 471. Available at: https://elibrary.ru/item.as-p?id=41208295 (accessed 02.07.2019). (In Russ.)
[16] Artamonov I.M., Artamonova Y.N., Prozorov A.A. Problems of analysis of emotional states based on big data in connection with geolocation. In: Alekseev A.Y., Dubrovsky D.I., Kuznetsov V.G. (eds.) Actual issues of neurophilosophy -2015. Yearbook. Materials of the international interdisciplinary seminar "Neurophilosophy", IIntell, Moscow, 2016, pp. 232-240. (In Russ.)
[17] Ekman P. Emotions Revealed: Recognizing Faces and Feelings
to Improve Communication and Emotional Life. New York: Times Books, 1st edition, 2003. (In Eng.)
[18] Matz S.C., Kosinski M., Nave G., Stillwell D. J. Psychological targeting as an effective approach to digital mass persuasion. In: Proceedings of the National Academy of Sciences. 2017; 114(48):12714-12719. (In Eng.) DOI: 10.1073/ pnas.1710966114
[19] Zilov V.G., Khadartsev A.A., Eskov V.V., Eskov V.M. Experimental Study of Statistical Stability of Cardiointerval Samples. Bulletin of Experimental Biology and Medicine. 2017; 164(2):115-117. (In Eng.) DOI: 10.1007/s10517-017-3937-1
[20] Müller B.C., Reise C., Seliger G. Gamification in Factory Management Education - A Case Study with Lego Mindstorms. Procedia CIRP. 2015; 26:121-126. (In Eng.) DOI: 10.1016/j. procir.2014.07.056
[21] Fidalgo-Blanco A., Sein-Echaluce M.L., García-Peñalvo F.J., Conde M.Á. Using Learning Analytics to improve teamwork assessment. Computers in Human Behavior. 2015; 47:149156. (In Eng.) DOI: 10.1016/j.chb.2014.11.050
[22] Aarons G.A., Ehrhart M.G., Farahnak L.R., Hurlburt M.S. Leadership and organizational change for implementation (LOCI): a randomized mixed method pilot study of a leadership and organization development intervention for evidence-based practice implementation. Implementation Science. 2015; 10:11. (In Eng.) DOI: 10.1186/ s13012-014-0192-y
[23] Uusitalo L., Lehikoinen A., Helle I., Myrberg K. An overview of methods to evaluate uncertainty of deterministic models in decision support. Environmental Modelling & Software. 2015; 63:24-31. (In Eng.) DOI: 10.1016/j.env-soft.2014.09.017
[24] Lizar A.A., Mangundjaya W.L., Rachmawan A. The Role of Psychological Capital and Psychological Empowerment on Individual Readiness for Change. The Journal of Developing Areas. 2015; 49(5):343-352. (In Eng.) DOI: 10.1353/ jda.2015.0063
[25] Khalili N.R., Duecker S., Ashton W., Chavez F. From cleaner production to sustainable development: the role of academia. Journal of Cleaner Production. 2015; 96:30-43. (In Eng.) DOI: 10.1016/j.jclepro.2014.01.099
[26] Leighton P. Professional self-employment, new power and the sharing economy: Some cautionary tales from Uber. Journal of Management & Organization. 2016; 22(06):859-874. (In Eng.) DOI: 10.1017/jmo.2016.30
[27] Nambisan S. Digital Entrepreneurship: Toward a Digital Technology Perspective of Entrepreneurship. Entrepreneur-ship Theory and Practice. 2017; 41(6):1029-1055. (In Eng.) DOI: 10.1111/etap.12254
[28] Vaitkevicius S., Ciutienè R., Meilienè E., Savanevicienè A. Typology of Human Capital Development in EU Countries. Procedia Economics and Finance. 2015; 23:1641-1648. (In Eng.) DOI: 10.1016/s2212-5671(15)00520-1
[29] Vogl T.S. Differential Fertility, Human Capital, and Development. The Review of Economic Studies. 2015; 83(1):365-401. (In Eng.) DOI: 10.1093/restud/rdv026
Submitted 02.07.2019; revised 21.08.2019; published online 30.09.2019.
Modern Information Technologies and IT-Education
Evgeny N. Egorov, Associate Professor of the Department "Production Technology of Aircraft Engines", Stupinsky branch of the Moscow Aviation Institute (National Research University) (4 Pristan-cionnaya Str., Stupino 142803, Moscow region, Russia), supervisor of GT-R, Ph.D. (Engineering), ORCID: http://orcid.org/0000-0002-5134-1708, [email protected]
Elena V. Yurkina, Author of the GT-R Data Analysis Model, Consultant in the Field of Team Development and Team Efficiency, Individual Entrepreneur Yurkina E. V. (Moscow, Russia), http://orcid. org/0000-0002-0421-9662, [email protected] Andrey A. Ivanov, Author of the GT-R Game Complex, student, Autonomous non-commercial organisation "School 21" (27/42 Vyats-kaya Str., Moscow 127015, Russia), ORCID: http://orcid.org/0000-0003-1884-5020, [email protected] Alexander A. Polikarpov, Author of the Data Collection Model GT-R, Software Developer, ORCID: http://orcid.org/0000-0002-7586-9347, [email protected]
All authors have read and approved the final manuscript.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
