Научная статья на тему 'Разработка иммерсивного виртуального тренажера с биологической обратной связью на основе декларативной модели'

Разработка иммерсивного виртуального тренажера с биологической обратной связью на основе декларативной модели Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
34
10
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
комплекс онтологий / виртуальная реальность / виртуальные тренажеры / биологическая обратная связь / инструментальный комплекс / виртуальная среда / ontology complex / virtual reality / virtual simulators / biofeedback / instrumental complex / virtual environment

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Стрекалёв Вячеслав Олегович, Грибова Валерия Викторовна

В работе предложена модель иммерсивного виртуального тренажера с биологической обратной связью, которая лежит в основе инструментального комплекса для создания, воспроизведения и сопровождения иммерсивных виртуальных тренажеров (ИВТ) с биологической обратной связью (БОС). Модель предназначена для формирования информационного представления виртуального тренажёра. Показаны состав и взаимодействие между компонентами модели, позволяющими осуществить проектирование, создание, сопровождение и воспроизведение ИВТ с БОС. Рассмотрены этапы создания ИВТ с БОС и используемые инструменты. Продемонстрировано применение инструментального комплекса на примере разработки виртуального тренажера. В настоящее время продолжаются работы по описанию сценариев для различных методов исследования на основе представленной модели и их реализации.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Стрекалёв Вячеслав Олегович, Грибова Валерия Викторовна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Development of an immersive virtual simulator with biofeedback based on a declarative model

The paper proposes a model of an immersive virtual simulator with biofeedback, which underlies the instrumental complex for creating, reproducing and maintaining immersive virtual simulators with biofeedback (IVT with BFB). The model is designed to form an information representation of a virtual simulator. The composition and interaction between the components of the model are shown, which make it possible to design, create, maintain and reproduce ICT with biofeedback. The stages of creation of ICT with biofeedback and the tools used are considered. The use of the instrumental complex is demonstrated in the example of the development of a virtual simulator. Currently, work is underway to describe scenarios for various research methods based on the presented model and their implementation.

Текст научной работы на тему «Разработка иммерсивного виртуального тренажера с биологической обратной связью на основе декларативной модели»

УДК 004.946:004.4'2

DOI: 10.25729/ESI.2023.30.2.002

Разработка иммерсивного виртуального тренажера с биологической

обратной связью на основе декларативной модели

Стрекалёв Вячеслав Олегович, Грибова Валерия Викторовна

Институт автоматики и процессов управления ДВО РАН, Россия, Владивосток, [email protected]

Аннотация. В работе предложена модель иммерсивного виртуального тренажера с биологической обратной связью, которая лежит в основе инструментального комплекса для создания, воспроизведения и сопровождения иммерсивных виртуальных тренажеров (ИВТ) с биологической обратной связью (БОС). Модель предназначена для формирования информационного представления виртуального тренажёра. Показаны состав и взаимодействие между компонентами модели, позволяющими осуществить проектирование, создание, сопровождение и воспроизведение ИВТ с БОС. Рассмотрены этапы создания ИВТ с БОС и используемые инструменты. Продемонстрировано применение инструментального комплекса на примере разработки виртуального тренажера. В настоящее время продолжаются работы по описанию сценариев для различных методов исследования на основе представленной модели и их реализации.

Ключевые слова: комплекс онтологий, виртуальная реальность, виртуальные тренажеры, биологическая обратная связь, инструментальный комплекс, виртуальная среда

Цитирование: Стрекалёв В.О. Разработка иммерсивного виртуального тренажера с биологической обратной связью на основе декларативной модели / В.О. Стрекалёв, В.В. Грибова // Информационные и математические технологии в науке и управлении. - 2023. - № 2(30). - С. 14-24. -DOI:10.25729/ESI.2023.30.2.002.

Введение. Современные информационные системы позволяют создавать виртуальные среды, в том числе иммерсивные виртуальные тренажеры, для решения широкого спектра задач и отработки различных навыков и ситуаций. Сегодня для разработки виртуальных тренажёров можно использовать различные инструменты, среди которых можно выделить CryEngine, Unity, Unreal Engine [1], на основе таких инструментов разрабатываются модули для взаимодействия с виртуальной средой [2]. В качестве примера можно рассмотреть реализацию подхода в среде межплатформенной разработки Unity, который основан на адаптации этих инструментов и дополнения их функционально-логическими моделями, выполняющими управляющие функции [3]. В работах [4, 5] рассмотрено объединение методов BIM (Building Information Model) и технологии визуализации VR (Virtual Reality) для создания интерактивной виртуальной среды на основе Unreal Engine 4. Вместе с тем процесс их разработки, настройки и адаптация к конкретному пользователю остается сложным и трудоемким [6, 7]. Наиболее эффективным методом адаптации тренажера к конкретному пользователю является использование биологической обратной связи (БОС), которое заключается в непрерывном мониторинге различных физиологических показателей пользователя и корректировке виртуального окружения в соответствии с полученными показателями [8]. Авторами предлагается подход к созданию иммерсивного виртуального тренажера с БОС по его декларативной модели, для формирования которой используются онтологический подход и семантическое представление информации. Предложенная модель иммерсивного виртуального тренажера с биологической обратной связью позволяет формировать информационное наполнение: описывать виртуальные среды, создавать на их основе исследования, использовать данные, получаемые с оборудования для определения состояний пользователя и определять сценарий с учетом индивидуальных характеристик пользователя. Модель включает описание виртуального окружения и параметры пользователя, получаемые с оборудования, размещенного на нем для получения обратной связи и контроля выполнения сценария. Такая модель может быть использована в различных областях, таких, как медицина (например,

тренажеры для профилактики и коррекции различных психических расстройств и фобий), профессиональная подготовка специалистов (например, подготовка для работы в особых условиях - на высоте, под водой или в условиях где требуется предварительная подготовка -управление самолетом, прыжки с парашютом), в спорте (например, скалолазание или дай-винг), сфере развлечений и других [9, 10, 11]. В целом, использование модели иммерсивного виртуального тренажера с биологической обратной связью может увеличить эффективность использования тренажеров, а также улучшить безопасность во время погружения в виртуальную среду [12].

Целью работы является описание основных принципов создания иммерсивного виртуального тренажера, его декларативной модели, а также приводится пример использования тренажера для тестирования человека на высоте.

Основные принципы иммерсивного виртуального тренажера с биологической обратной связью. Иммерсивный виртуальный тренажер с биологической обратной связью (ИВТ с БОС) - это программно-аппаратный комплекс с оборудованием виртуальной реальности и биологической обратной связи, позволяющий моделировать различные ситуации, воссоздавая реальную или вымышленную ситуации, и проводить визуализацию искусственного окружения с возможностью взаимодействия и управлением объектами виртуальной среды на основе состояний человека и объектов.

В основу программно-аппаратного комплекса положены следующие ключевые принципы:

1) модульная структура, состоящая из подсистем - программных модулей, обеспечивающих создание, воспроизведение и сопровождение ИВТ с БОС;

2) компоненты тренажера (за исключением виртуальных объектов) создаются на основе декларативной модели, которая описывает существенные для ИВТ с БОС свойства его функционирования и управления; декларативная модель - это совокупность связанных компонентов;

3) виртуальные объекты создаются с помощью имеющихся на рынке средств 3D-моделирования и разработки виртуальных сред (например, Blender, Unity 3D и др.);

4) компоненты декларативной модели формируются на основе онтологий с использованием специализированных редакторов, управляемых онтологиями; онтологии и компоненты модели имеют графовое (семантическое) представление, что обеспечивает понятность моделей для специалистов, которые их создают и сопровождают;

5) средство воспроизведения интерпретирует декларативную модель и обеспечивает воспроизведение и функционирование ИВТ с БОС, включающее контроль виртуальной сцены с входящими в нее объектами согласно заданному сценарию;

6) управление виртуальным тренажером (виртуальными объектами и событиями) обеспечивается как автоматически (на основе сценария), так и экспертом (внешнее управление).

Модель иммерсивного виртуального тренажера с биологической обратной связью.

Модель ИВТ с БОС состоит из компонентов, каждый из которых формируется на основе онтологии с помощью соответствующих редакторов. Каждая онтология описывает структуру компонента модели, правила его порождения и возможные ограничения; создание и сопровождение компонентов модели осуществляют специалисты разного профиля - эксперты предметной области, эксперты БОС, дизайнеры, программисты [13]. Структура взаимодействия между компонентами модели показана на рис. 1.

Модель ИВТ с БОС включает следующие компоненты:

- Онтология и модель виртуальной среды. Описывает множество сцен, включающих объекты с набором параметров и функций, необходимых для управления виртуальным окружением.

- Онтология и модель исследований. Описывает систему понятий, правил и ограничений для формирования исследования и создания индивидуального сценария работы с учетом параметров пользователя.

- Онтология и модель карты пользователя. Описывает данные сеансов в формате записей, характеризующих сеанс и результаты проведенных исследований.

- Онтология и модель знаний о состояниях пользователя: описывает множество диагностируемых состояний и правил их диагностики на основе статических и динамических показателей пользователей.

- Онтология и модель оборудования: описывает оборудование, его параметры в соответ-

Рис. 1. Модель виртуального тренажера с БОС

В рамках модели определена виртуальная среда, которая содержит множество виртуальных объектов, их параметров и характеристик. Описание виртуальной среды и входящих в нее объектов обеспечивает возможность повторного использования виртуальных сред в процессе создания множества исследований. Каждое исследование характеризуется определением множества сценариев прохождения тренажера в зависимости от персональных признаков (характеристик) пользователя. Все признаки пользователя, а также история сеансов описываются в карте пользователя, в которой содержатся множество данных о прошедших сеансах и результаты их прохождения. В рамках описания прохождения сеанса используются состояния пользователя, которые представляют собой множество признаков, объединенных в группу. Для определения состояния и формирования сценария используются данные о пользователе, полученные от специализированного оборудования, а в некоторых случаях -результаты лабораторных, инструментальных исследований, жалобы и различные факторы из анамнеза жизни.

Инструментальный комплекс. Инструментальный комплекс представляет собой набор программных компонентов, которые позволяют осуществить проектирование, создание, сопровождение и воспроизведение ИВТ с БОС [14]. Инструментальный комплекс включает инструменты для работы с информационными и программные ресурсами и позволяет специалистом разного профиля формировать компонент модели работы в рамках своей ква-

лификации. Структурная схема программного комплекса для проектирования, создания, воспроизведения и сопровождения ИВТ с БОС представлена на рисунке 2.

Рис. 2. Структурная схема инструментального комплекса

Инструментальный комплекс состоит из следующих программных продуктов:

Средство проектирования и разработки онтологий, баз данных и знаний. Реализация онтологий и сформированных на их основе баз данных, знаний и моделей выполнена на платформе IACPaaS (Intelligent Applications, Control and Platform as a Service) [15], которая ориентирована, главным образом, на создание интеллектуальных сервисов, работающих с базами знаний и/или данных в семантическом (графовом) представлении. Набор редакторов баз данных и знаний автоматически генерируется по онтологиям.

Средство воспроизведения и мониторинга ИВТ с БОС. Данное средство интерпретирует декларативную модель и обеспечивает воспроизведение и функционирование виртуального тренажера с биологической обратной связью. Набор встраиваемых программных компонентов в виртуальную среду необходим для управления виртуальной сценой и входящими в нее объектам.

Средства SD-моделирования и разработки виртуальных сред. Для создания виртуальных объектов требуется использовать специализированные программные продукты для 3D-моделирования, такие, как Blender, 3ds MAx и другие. В качестве платформы реализации виртуальных сред используется программный продукт Unity - среда разработки, которая позволяет создавать кроссплатформенные приложения, включая многопользовательские приложения виртуальной реальности.

Использование инструментального комплекса для создания иммерсивного виртуального тренажера с биологической обратной связью. Формирование модели ИВТ с БОС заключается в информационном наполнении всех входящих в ее состав компонентов.

Создание ИВТ с БОС включает следующие укрупненные стадии:

Создание технического задания на разработку виртуального тренажера. На этом этапе определяются требования и характеристики будущего тренажера. Описываются на неформальном языке сценарий и используемые объекты.

Описание виртуальной среды. На данном этапе (в соответствии с онтологией виртуальной среды) описываются виртуальные сцены тренажера, объекты, их параметры и функции, необходимые для формирования сценария.

Реализация виртуальной среды. На этом этапе с помощью пакета прикладных программ 3D-моделирования и разработки виртуальных сцен происходит первоначальная компоновка виртуальной сцены с использованием готовых или созданных виртуальных объектов.

Генерация программных компонентов. Для реализации возможности взаимодействия и удаленного управления виртуальным тренажером, необходимо сформировать программные компоненты на основе декларативной модели и встроить их в создаваемый виртуальный тренажер. Это обеспечивает возможность создавать различные сценарии без внесения изменений в виртуальную среду.

Создание исследования. Исследование определяет структуру виртуального тренажера и формируется на основе имеющихся виртуальных сред. Формат и правила описания определяет онтология исследования, которая содержит структуру исследований, формируемых на основе виртуальных сред. Она задает правила, условия, ограничения для работы пользователя в виртуальной среде и формирования индивидуального сценария работы.

Подготовка к использованию. На этом этапе происходит добавление оборудования в систему и формирование карты пользователя тренажера. В рамках этой стадии разработанный тренажер доступен для использования.

Для демонстрации представленных в статье решений рассмотрим пример создания виртуального тренажера по безопасному выполнению работ повышенной опасности "Работа на высоте". Целью данного тренажера является тестирование человека на акрофобию (страх высоты) и профилактика тревожных расстройств, с возможностью изменения параметров виртуальной среды в зависимости от состояния пользователя. В ходе прохождения сценария пользователю ставится задача: отработать в виртуальной реальности навыки выполнения действий на высотных зданиях с постоянным мониторингом физиологических показателей. Такой подход позволяет протестировать и подготовить пользователя к восприятию негативных факторов виртуального окружения и в дальнейшем минимизировать негативные последствия, которые могут появиться в реальной работе на высоте. Для оценки состояния пользователя будут использоваться объективные (полученные от оборудования) и субъективные (со слов человека) признаки, которые позволят оценить состояние человека, помещенного в виртуальную среду и активно в ней действующего.

Определим сценарий виртуального тренажера, включающий выполнение следующих

этапов:

1. Запуск сеанса.

2. Вызов лифта.

3. Подъема на сконфигурированный этаж.

4. Выход из лифта.

5. Поднятие предмета (на высоте).

б. Изменение этажа.

7. Повтор этапов подъема и поднятия предмета.

В. Спуск на первый этаж.

9. Завершение сеанса.

С помощью платформы IACPaaS (Intelligent Applications, Control and Platform as a

Service) необходимо сформировать базы знаний и данных разрабатываемого виртуального тренажера, используя специализированные редакторы. Каждый разработчик тренажера имеет рабочее пространство (личный кабинет), на рисунке 3 (а) показан интерфейс личного кабинета разработчика, рис. 3 (б) демонстрирует интерфейс редактора модели исследований.

На этапе описания виртуальной сцены с помощью специализированного интерфейса (редактора) описываются виртуальные объекты и их характеристики для возможности использования при создании исследований, это необходимо для реализации различных сценариев и удаленного управления виртуальным объектами.

Для реализации тренажера требуется создание виртуальной среды. На этом этапе с помощью пакета прикладных программ 3D-моделирования и разработки виртуальных сцен происходит первоначальная компоновка виртуальной сцены с использованием готовых или созданных виртуальных объектов.

Мой Фонд

> Корзина

> Загрузки Онтологии Базы знаний Базы

>ЕХ

Q /

ЕХ(14) t

(9 Онтология исследован»* I База исследований 1 Онтология карты пользователя I Карта

1 Шаблон признака [Ц Онтология терминов 1 Онтология значений I База терминов 1 Онтология виртуальной среды I База виртуальных сред 1 Онтология оборудования К База о( Я Условия

i -i Y t. + ОI в ® G GI $ * * ft 1

сортировка *

2021-10-27

2022-04-04 2022-05-15 2022-04-04 2022-05-15 2021-12-08 2021-06-08 2021-05-31

2021-06-09

2022-04-04 2022-04-04 2021-10-06 2021-10-06 2022-04-04

> Исследование ({*] lislmm1) (new) у Исследования {СПИСОК} т Исследование {СПИСОК} Название (сорт: строковое} !f!) "опешт") (all) Описание (сорт: строковое) ((!] 'ooemm') (all) — Виртуальная среда ([!] 'onemm') (rel) т Контролируемые параметры пользователя {СПИСОК} !— Признак (= 'copy') (raf-new) описать эпемент списка Т Сценарии {СПИСОК} Т Сценарии (СПИСОК}

Название (сорт: строковое) ([!) 'onemm') (all) Описание (сорт: строковое) ([!] 'onenrn') (all) •т Условия применимости {СПИСОК} ▼ Условие {СПИСОК} ▼ Тип условия {АЛЬТЕРНАТИВА} Т Блок критсриоо' {СПИСОК}

> критерий (t "sen (all)

> » Правило выбора {= 'copy') (ref-new) описать элемент списка:

г Группа блоков ■ {СПИСОК}

> » Тип условия (= fcopy) (ret-new) т Логическая связь между блоками {АЛЬТЕРНАТИВА}

И Гтигг ПТПШГпИпО! т f = Trnw'l ínowl

(а) (б)

Рис. 3. Интерфейс личного кабинета разработчика (а) и интерфейс редактора модели исследований (б) В рамках выполнения данной задачи необходимо определить и подготовить набор виртуальных объектов для сборки виртуального сцены. Для данного виртуального тренажера требуются следующие виртуальные объекты:

1. Основа здания - стартовый объект, в который пользователь входит для инициации запуска сценария и последующего подъема на заданный этаж. Особенностью данного объекта является возможность изменения этажности здания для создания вариативности изменения тренажера и различных условий прохождения. Объект «здание» показан на рисунке 4.

Рис. 4. Объект «здание»

2. Лифт - объект, который будет перемещать пользователя между этажами. Объект «лифт» показан на рисунке 5.

3. Город - является набором объектов, на который будет смотреть пользователь после подъема на этаж. Набор объектов «город» показан на рисунке 6.

Для реализации сцены используется программный продукт Unity, с помощью которого создается проект виртуального тренажера и в который импортируются объекты и производится компоновка сцены в соответствии с техническим заданием. На рисунке 7 показан интерфейс проекта в Unity.

111

Рис. 5. Объект «лифт»

Рис. 6. Набор объектов «город»

Сцены в проекте Unity состоят из объектов (Game Objects), рис. 8 (а). Каждый объект имеет структуру, состоящую из компонентов, ответственных за его поведение и отображение, рис. 8 (б). По умолчанию эти объекты невидимы и не обладают ничем, кроме имени. Каждый объект включает по меньшей мере один компонент, который нельзя удалить, это компонент Transform, который отвечает за настройки позиционирования, вращения и масштабирования объекта. Если предполагается взаимодействие с объектом в рамках выполнения сценария или объект требует внешнего взаимодействия, то объекту необходимо добавить разработанный компонент ObjectManager, рис. 8 (в), принимающий все события, связанные с объектом, и транслирующий команды, которые отвечают за управление данным объектом.

Рис. 7. Интерфейс проекта в Unity В случае использования компонента ObjectManager необходимо определить все параметры и методы работы с объектом путем создания ссылок на другие компоненты с указанием идентификатора параметра или метода. Объекты могут посылать или принимать сообщения для изменения своего состояния. Каждый объект регистрируется в системе и получает уникальный идентификатор - адрес.

▼ [¿Object Manage (Script) а я

Script ObjectManager о

Parameters Manager Cube (ParametersManager) о

Scene Manager Scripts (SceneManager) о

Key kYEh0v7pyoW7jQ

Link Came Object Cube о

▼ Variables

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Size 1

Element 0 speed

▼ Object Methods

Size 2

T Y7rjs*hsf

Key Y7rjs*hsf

Event Trigger aCube CEventTrigger) о

Value 0

T ds23gjjsd992

Key ds23gjjsd992

Event Trigger iciCube (EventTrigger) о

Value 0

Position X 2.886

Position Y 1.018104

Position Z -1.205

Rotation X 0

Rotation Y 0

Rotation Z 0

Scale X 0.5

Scale Y 0.5

Scale Z 0.5

None (Transform) о

(а) (б) (в)

Рис. 8. Объект (Game Objects) (а), структура объекта (б), компонент ObjectManager (в)

С помощью интерфейса создания исследований происходит формирование сценария работы разрабатываемого тренажера; в дальнейшем с помощью средства воспроизведения производится запуск требуемого сценария на тренажере с возможностью мониторинга его исполнения.

Заключение. Рассмотрена модель иммерсивного виртуального тренажера с биологической обратной связью, предназначенная для формирования информационного представления виртуального тренажёра. Рассмотрены компоненты и инструменты, входящие в состав инструментального комплекса, позволяющего осуществить проектирование, создание, сопровождение и воспроизведение ИВТ с БОС. Предложенный инструментальный комплекс поз-

воляет формировать информационное наполнение разрабатываемого виртуального тренажера, описывать виртуальные среды, создавать на их основе исследования, сценарии которых исполняются на основе состояний пользователя. В основе предлагаемого решения заложен принцип формирования и дальнейшей интерпретации декларативной модели, что обеспечивает воспроизведение и функционирование ИВТ с БОС. Продемонстрировано использование инструментального комплекса для создания иммерсивного виртуального тренажера с биологической обратной связью на примере реализации виртуального тренажера выполнения работ на высоте, с помощью которого можно провести тестирование человека на акрофобию (страх высоты) и профилактику тревожных расстройств, с возможностью изменения параметров виртуальной среды в зависимости от состояния пользователя. Рассмотрены инструменты, которые используются на этапах создании виртуального тренажера. В настоящее время продолжаются работы по описанию сценариев для различных методов исследования на основе представленной модели и их реализации.

Список источников

1. Копелиович Д.И. Применение методов искусственного интеллекта в З^тренажерах на основе функционально-логических моделей / Д.И. Копелиович, А.Л. Сафонов, Р.В. Кондратенко // Автоматизация и моделирование в проектировании и управлении, 2020. - № 4 (10). - С. 33-39.

2. Бурцева Д.Я. Разработка VR. Особенности совместимости с нейротехнологиями / Д.Я. Бурцева, Е.А. Менделеев, И.Л. Хонин [и др.] // Вестник НовГУ, 2021. - № 4 (125) - С. 10-14.

3. Буткина А.А. Разработка основного функционала игрового приложения для персональных компьютеров с использованием Unreal Engine / А.А. Буткина, Ю.С. Кочкаева, Р.А. Чуднова // Огарёв-Online, 2022. -№ 14 (183). - С. 9.

4. Козленко Т.А. BIM И VR: Разработка программного модуля для интеграции информационного моделирования зданий и виртуальной реальности / Т.А. Козленко, С.В. Придвижкин // Вестник СибАДИ, 2021. -№ 4 (80). - С. 440-449.

5. Згода Ю.Н. Автоматизированное построение интерактивных визуализаций BIM-моделей в виртуальной реальности / Ю.Н. Згода, К.А. Шумилов // Инженерно-строительный вестник Прикаспия, 2019. - № 4 (30). - С. 113-118.

6. LaValle S.M. Virtual Reality. University of Illinois. Cambridge University Press, 2017, 430 p., available at: http://vr.cs.uiuc.edu/vrbook.pdf (accessed: 03/11/2023).

7. Мухина О.В. Метод адаптивного представления интерактивных электронных сред с погружением / О.В. Мухина, А.В. Никитин // Информационно-управляющие системы, 2010. - № 1 (44). - С. 15-18.

8. Аладышев А.В. Функциональное биоуправление с обратной связью - перспективная информационная технология в медицине / А.В. Аладышев, Е.А. Субботин // Современные наукоемкие технологии, 2005. -№ 3. - С. 86-87.

9. Краснова Т.И. Потенциал иммерсивной виртуальной реальности в обучении иностранным языкам / Т.И. Краснова // МНКО, 2023. - №1 (98). - С. 89-91.

10. Воловик М.Г. Технологии виртуальной реальности в комплексной медицинской реабилитации пациентов с ограниченными возможностями (обзор) / М.Г. Воловик, В.В. Борзиков, А.Н. Кузнецов [и др.] // Современные технологии в медицине, 2018. - Т. 10. - № 4. - С. 173-182.

11. Дубровская Ю.А. Применение тренажеров и симуляторов для формирования профессиональных навыков при практической подготовке горноспасателей / Ю.А. Дубровская, Л.В. Пихконен, Г.В. Руденко // Известия РГПУ им. А. И. Герцена, 2022. - № 203. - С. 168-176.

12. Кугуракова В.В. Математическое и программное обеспечение многопользовательских тренажеров с погружением в иммерсивные виртуальные среды: специальность 05.13.11 «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей»: диссертация на соискание ученой степени кандидата технических наук / В.В. Кугуракова. - Казань, 2019. - 187 с.

13. Стрекалёв В.О. Комплекс онтологий для виртуальных тренажеров с биологической обратной связью / В.О. Стрекалёв, В.В. Грибова // Онтология проектирования, 2022. - Т. 12. - № 2(44). - С. 172-185. - DOI: 10.18287/2223-9537-2022-12-2-172-185.

14. Стрекалёв В.О. Инструментальный комплекс для иммерсивных виртуальных тренажеров с биологической обратной связью / В.О. Стрекалёв, В.В. Грибова // Вестник компьютерных и информационных технологий, 2020. - № 8. - С. 19-28. - DOI: 10.14489/vkit.2020.08.

15. Грибова В.В. Облачная платформа IACPaaS для разработки оболочек интеллектуальных сервисов: состояние и перспективы развития / В.В. Грибова, А.С. Клещев, Ф.М. Москаленко [и др.] // Программные продукты и системы, 2018. - № 3. - С. 527-536.

Стрекалёв Вячеслав Олегович. Младший научный сотрудник лаборатории интеллектуальных систем Института автоматики и процессов управления Дальневосточного отделения РАН, AuthorID (РИНЦ): 1136593, ORCID: 0000-0002-6209-6226, Researcher ID (WoS): AAD-6228-2022, [email protected].

Грибова Валерия Викторовна. Заведующая лабораторией интеллектуальных систем Института автоматики и процессов управления Дальневосточного отделения РАН, заместитель директора по научной работе, вице-президент Российской ассоциации искусственного интеллекта, AuthorID (РИНЦ): 7400, Author ID (Scopus): 7801667631, ORCID: 0000-0001-9393-351X, Researcher ID (WoS): Q-4250- 2016, [email protected].

UDC 004.946:004.4'2

DOI: 10.25729/ESI.2023.30.2.002

Development of an immersive virtual simulator with biofeedback based on a declarative model

Vyacheslav O. Strekalev, Valeriya V. Gribova

Institute of Automation and Control Processes Far Eastern Branch of the Russian Academy of

Sciences, Russia, Vladivostok, [email protected]

Abstract. The paper proposes a model of an immersive virtual simulator with biofeedback, which underlies the instrumental complex for creating, reproducing and maintaining immersive virtual simulators with biofeedback (IVT with BFB). The model is designed to form an information representation of a virtual simulator. The composition and interaction between the components of the model are shown, which make it possible to design, create, maintain and reproduce ICT with biofeedback. The stages of creation of ICT with biofeedback and the tools used are considered. The use of the instrumental complex is demonstrated in the example of the development of a virtual simulator. Currently, work is underway to describe scenarios for various research methods based on the presented model and their implementation.

Keywords: ontology complex, virtual reality, virtual simulators, biofeedback, instrumental complex, virtual environment

References

1. Kopeliovich D.I., Safonov A.L., Kondratenko R.V. Primeneniye metodov iskusstvennogo intellekta v 3d-trenazherakh na osnove funktsional'no-logicheskikh modeley [Application of artificial intelligence methods in 3d simulators based on functional-logical models]. Avtomatizatsiya i modelirovaniye v proyektirovanii i uprav-leni [Automation and modeling in design and management], 2020, no. 4 (10), pp. 33-39.

2. Burtseva D.Ya., Mendeleev E.A., Khonin I.L. [and others] Razrabotka VR. Osobennosti sovmestimosti s ney-rotekhnologiyami [VR development. Features of compatibility with neurotechnologies], Vestnik NovGU [Bulletin of NovGU], 2021, no. 4 (125), pp. 10-14.

3. Butkina A.A., Kochkaeva Yu.S., Chudnova R.A. Razrabotka osnovnogo funktsionala igrovogo prilozheniya dlya personal'nykh komp'yuterov s ispol'zovaniyem Unreal Engine [Development of the main functionality of a gaming application for personal computers using Unreal Engine]. Ogaryov-Online, 2022, no. 14 (183), 9 p.

4. Kozlenko T.A., Pridvizhkin S.V. BIM I VR: Razrabotka programmnogo modulya dlya integratsii informatsion-nogo modelirovaniya zdaniy i virtual'noy real'nosti [BIM and VR. Development of a software module for the integration of building information modeling and virtual reality]. Vestnik SibADI [Bulletin of SibADI], 2021, no. 4 (80), pp. 440-449.

5. Zgoda Yu.N., Shumilov K.A. Avtomatizirovannoye postroyeniye interaktivnykh vizualizatsiy BIM-modeley v virtual'noy real'nosti [Automated construction of interactive visualizations of BIM-models in virtual reality]. In-zhenerno-stroitel'nyy vestnik Prikaspiya. [Engineering and construction bulletin of the Caspian Sea], 2019, no. 4 (30), pp. 113-118.

6. LaValle S.M. Virtual Reality. University of Illinois. Cambridge University Press, 2017, 430 p., available at: http://vr.cs.uiuc.edu/vrbook.pdf (accessed: 03/11/2023).

7. Mukhina O.V Nikitin A.V. Metod adaptivnogo predstavleniya interaktivnykh elektronnykh sred s pogruzheni-yem [Method of adaptive representation of interactive electronic media with immersion]. Informatsionno-upravlyayushchiye sistemy [Information and control systems], 2010, no. 1 (44), pp. 15-18.

8. Aladyshev A.V., Subbotin E.A. Funktsional'noye bioupravleniye s obratnoy svyaz'yu - perspektivnaya infor-matsionnaya tekhnologiya v meditsine [Functional biocontrol with feedback - a promising information technology in medicine]. Sovremennyye naukoyemkiye tekhnologii [Modern science-intensive technologies], 2005, no. 3, pp. 86-87.

9. Krasnova T.I. Potentsial immersivnoy virtual'noy real'nosti v obuchenii inostrannym yazykam [Potential of immersive virtual reality in teaching foreign languages]. MNCO, 2023, no. 1 (98), pp. 89-91.

10. Volovik M.G. Borzikov V.V., Kuznetsov A.N. [and others] Tekhnologii virtual'noy real'nosti v kompleksnoy meditsinskoy reabilitatsii patsiyentov s ogranichennymi vozmozhnostyami (obzor) [Virtual reality technologies in the complex medical rehabilitation of patients with disabilities (review)]. Sovremennyye tekhnologii v meditsine [Modern technologies in medicine], 2018, v. 10, no. 4, pp. 173-182.

11. Dubrovskaya Yu.A., Pikhkonen L.V., Rudenko G.V. Primeneniye trenazherov i simulyatorov dlya formirovani-ya professional'nykh navykov pri prakticheskoy podgotovke gornospasateley [Application of trainers and simulators for the formation of professional skills in the practical training of mine rescuers]. Izvestiya RGPU im. A. I. Gertsena [Izvestia: Herzen University Journal of Humanities & Sciences], 2022, no. 203, pp. 168-176.

12. Kugurakova V.V. Matematicheskoye i programmnoye obespecheniye mnogopol'zovatel'skikh trenazherov s pogruzheniyem v immersivnyye virtual'nyye sredy: spetsial'nost' 05.13.11 «Matematicheskoye i programmnoye obespecheniye vychislitel'nykh mashin, kompleksov i komp'yuternykh setey»: dissertatsiya na soiskaniye uchenoy stepeni kandidata tekhnicheskikh nauk [Mathematical and software support for multi-user simulators with immersion in immersive virtual environments: specialty 05.13.11 "Mathematical and software support for computers, complexes and computer networks": thesis for the degree of candidate of technical sciences]. Kazan (Privolzhsky) Federal University, Kazan, 2019, 187 p.

13. Strekalev V.O., Gribova V.V. Kompleks ontologiy dlya virtual'nykh trenazherov s biologicheskoy obratnoy svyaz'yu [A complex of ontologies for virtual simulators with biofeedback]. Ontologiya proyektirovaniya [Design ontology], 2022, v. 12, no. 2 (44), pp. 172-185, DOI: 10.18287/2223-9537-2022-12-2-172-185.

14. Strekalev V.O., Gribova V.V. Instrumental'nyy kompleks dlya immersivnykh virtual'nykh trenazherov s biologicheskoy obratnoy svyaz'yu [Tool complex for immersive virtual simulators with biofeedback]. Vestnik komp'yuternykh i informatsionnykh tekhnologiy [Bulletin of Computer and Information Technologies], 2020, no. 8, pp. 19-28, pp. 019-028, DOI: 10.14489/vkit.2020.08.

15. Gribova V.V., Kleshchev A.S., Moskalenko F.M. [and others]. Oblachnaya platforma IACPaaS dlya razrabotki obolochek intellektual'nykh servisov: sostoyaniye i perspektivy razvitiya [Cloud platform IACPaaS for the development of shells of intelligent services, state of the art and development prospects]. Programmnyye produkty i sistemy [Software products and systems], 2018, no. 3, pp.527-536.

Vyacheslav Olegovich Strekalev. Junior Research associate of the Intelligent systems lab at the Institute of Automation and Control Processes, Far Eastern Branch of the Russian Academy of Sciences, AuthorlD (RSCI): 1136593, ORCID: 0000-0002-6209-6226, Researcher ID (WoS): AAD-6228-2022, [email protected].

Valeriya Victorovna Gribova. Head of the Intelligent systems lab in the Institute for Automation & Control Processes of the FEB RAS, Research Deputy Director, an expert of the Analytic Center in Government of Russian Federation, a Vice-President of Russian Association of Artificial Intelligence, AuthorID (RSCI): 7400, Author ID (Scopus): 7801667631, ORCID: 0000-0001-9393-351X, Researcher ID (WoS): Q-4250-2016, [email protected].

Статья поступила в редакцию 24.05.2023; одобрена после рецензирования 13.06.2023; принята к публикации 16.06.2023.

The article was submitted 05/24/2023; approved after reviewing 06/13/2023; accepted for publication 06/16/2023.

i Надоели баннеры? Вы всегда можете отключить рекламу.