CC BY
139
УДК 00489 В.В. Грибова, М.В. Петряева,
ВАК 05.13.14 r ' г '
ринц 50.41.25 Л.А. Федорищев
Компьютерный обучающий тренажер с виртуальной реальностью для офтальмологии*
В статье описаны инструментарий и основанная на инструментарии реализация медицинского компьютерного обучающего тренажера с виртуальной реальностью для офтальмологии, который предназначен для отработки профессиональных знаний, умений и навыков у студентов медицинских вузов в процессе обучения их врачебному делу.
Ключевые слова: компьютерные тренажеры, обучающие системы, виртуальная реальность, онтология, облачный сервис.
COMPUTER LEARNING SIMULATOR WITH VIRTUAL REALITY FOR OPHTHALMOLOGY
A toolset of a medical computer learning simulator for ophthalmology with virtual reality and its implementation are considered in the paper. The simulator is oriented for professional skills training for students of medical universities.
Keywords: computer simulators, learning systems, virtual reality, ontology, cloud service.
Введение
Компьютерные обучающие системы являются высоко востребованными в рамках реализации Федеральных государственных образовательных стандартов третьего поколения [1]. Они открыли новый этап в методиках преподавания различных дисциплин, в том числе в традиционном медицинском образовании. С их помощью стало возможным освоение даже самых сложных методик исследования совершенно без риска и вреда для пациентов [2].
Актуальность создания компьютерных обучающих систем широко обсуждается в литературе, их основными преимуществами являются [3]: наглядность, повышение качества и эффективности обучения, возможность многократной отработки обучаемым различных сценариев и действий, которые необходимы в профессиональной деятельности, простота использова-
ния, возможность дистанционного обучения.
Процесс разработки и особенно сопровождения компьютерных тренажеров является чрезмерно трудоемким, ориентированным на высококвалифицированных специалистов, и связан с программированием нетривиальных скриптов или программ на языках программирования с последующей сборкой и компиляций. Часто для разработки требуется использовать несколько различных библиотек и инструментальных средств и затем собирать из них единую систему. Несмотря на то что в любой обучающей системе доля экспертных знаний составляет основную часть, включение в процесс разработки экспертов предметной области возможно только в качестве консультантов, а не полноправных его участников. Отдельной проблемой является обеспечение широкой доступности через интернет как средств разра-
ботки таких систем, так и готовых реализаций.
Для решения проблем, указанных выше, авторами предложен инструментальный сервис для создания и сопровождения компьютерных тренажеров с виртуальной реальностью, модель и методы реализации которого описаны в работах [4-7]. Используя данный сервис, выполнена реализация компьютерного обучающего тренажера для раздела медицины «офтальмология», который включает следующие методы исследования, соответствующие типовой учебной программе «Глазные болезни»: исследования центрального и периферического зрения, исследование оптической системы глаза и бинокулярного зрения.
Целью данной работы является описание архитектуры инструментального комплекса для создания и использования обучающих тренажеров, этапов проектирования
* Работа выполнена при финансовой поддержке РФФИ, проект 11-07-00460-а и ДВО РАН, проект 12-1-П15-03
Валерия Викторовна Грибова,
д.т.н., зав. лабораторией интеллектуальных систем Тел.: (423) 231-40-01 Эл. почта: [email protected] Институт автоматики и процессов управления ДВО РАН www.iacp.dvo.ru
Valeria V Gribova,
Head of Intellectual Systems Laboratory,
Professor Tel.: (423) 231-40-01 E-mail: [email protected] Institute of Automation and Control Processes DVO RAS www.iacp.dvo.ru
Маргарита Вячеславовна Петряева,
к.м.н., н.с. лаборатории интеллектуальных систем Тел.:(423) 231-40-01 Эл. почта: [email protected] Институт автоматики и процессов управления ДВО РАН www.iacp.dvo.ru
Margaret V Petryaeva,
Candidate of Medical Science, research scholar Tel.: (423) 231-40-01 E-mail: [email protected] Institute of Automation and Control Processes DVO RAS www.iacp.dvo.ru
тренажера с использованием инструментария, а также описание реализации медицинского компьютерного тренажера для определения остроты зрения по таблицам Сивцева-Головина.
1. Инструментальный комплекс для создания и использования обучающих тренажеров
Для разработки, сопровождения и использования обучающих тренажеров с виртуальной реальностью авторами реализован инструментальный комплекс [8-9]. Он разработан в рамках мультиагент-ной облачной платформы IACPaaS [10]. Платформа предоставляет контролируемый доступ и единую систему администрирования для создания интеллектуальных сервисов и их компонентов, представленных семантическими сетями и агентами, а также поддержку функционирования сервисов. В основе платформы лежит программно-информационный комплекс, основанный на технологии облачных вычислений и обеспечивающий удаленный доступ конечных пользователей к интеллектуальным системам, а разработчикам и управляющим - к средствам создания интеллектуальных систем и их компонентов, а также управления ими (рис. 1).
Инструментальный комплекс для создания и использования обучающих тренажеров с виртуальной
реальностью состоит из информационных и программных компонентов (рис. 2), которые находятся в фонде платформы IACPaaS. Информационными компонентами являются: онтология виртуальной среды, модель обучающего тренажера, мультимедиа данные и внешние функции. Программные компоненты включают следующие сервисы: структурный редактор модели (для создания логического описания модели обучающего тренажера), графический редактор модели (для создания визуального представления модели тренажера), редактор функций и интерпретатор виртуальной среды, состоящий из двух частей: сервисного приложения и веб-клиента.
Все приведенные сервисы работают и доступны пользователям через веб-интерфейс, дополнительной установки программного обеспечения не требуется. Благодаря разделению функциональных составляющих комплекса на разные сервисы достигается разделение работы разных групп разработчиков (экспертов, дизайнеров и программистов) над тренажером. Использование онтологии, описывающей систему понятий виртуального мира, связей между ними и ограничения целостности, направлено на упрощение создания модели тренажера. Разработчикам не надо изучать какой-либо формализм для описания модели (особенно это важно для экспертов
Рис. 1. Концептуальная архитектура мультиагентной облачной платформы
IACPaaS
Леонид Александрович Федорищев,
м.н.с. лаборатории интеллектуальных систем Тел.:(423) 231-40-01 Эл. почта: [email protected] Институт автоматики и процессов управления ДВО РАН www.iacp.dvo.ru
Leonid A. Fedorischev, junior research scholar Tel.: (423) 231-40-01 E-mail: [email protected] Institute of Automation and Control Processes DVO RAS www.iacp.dvo.ru
предметной области, не знакомых с языками программирования и технологией разработки программных систем); создание модели производится в терминах онтологии. Использование редакторов, управляемых онтологией, также направлено на снижение трудоемкости разработки. Выделение в онтологии двух уровней - логического и презентационного - направлено на разделение работ между разработчиками - экспертами предметной области, дизайнерами и программистами [9].
На первом этапе работы над обучающим тренажером эксперты формируют его логическое описание с помощью структурного редактора модели обучающего тренажера. Ее формирование осуществляется на основе онтологии виртуальной среды тренажера, которая включает описание объектов виртуального мира, действий и сценариев обучающих заданий.
На втором этапе дизайнеры формируют визуальное (3-Э) представление виртуального мира обучающего тренажера. Разработанное на первом этапе экспертами предметной области логическое описание модели обучающего тренажера загружается в графический редактор виртуального мира. С его помощью дизайнер дополняет ло-
гическое описание 3d-моделями и текстурами объектов (создает графическое отображение объектов), создает полное визуальное представление виртуальной сцены и тестирует виртуальный мир.
На третьем этапе, если это необходимо, программисты разрабатывают дополнительные модули-агенты, реализующие математические, строковые и другие специфичные для предметной области функции, ссылки на которые вносятся в модель. Пользователи (студенты, преподаватели) работают с обучающим тренажером, запуская интерпретатор модели через административную систему проекта IACPaaS с помощью специального сервиса.
Обучающие тренажеры отличаются от других видов тренажеров и виртуальных сред обязательным наличием сценария проверки действий, которые требуется выполнить обучаемому для достижения поставленной задачи. В процессе выполнения действий и команд в обучающем тренажере происходит проверка ожидаемых действий по сценарию, после которой сообщается о результате пользователю. Если действие было выполнено в соответствии со сценарием, пользователь получает сообщение о правильном выполнении, в противном случае пользователю отображается
Рис. 2. Архитектура инструментального комплекса для разработки и использования тренажеров с виртуальной реальностью
информация о неправильном выполнении (действие выполнено неверно, или выполнено верно, но неправильно определены параметры). Таким образом, обучаемый узнает о своих ошибках, но при этом может продолжать выполнять исследование.
2. Онтология виртуальной среды тренажеров
В соответствии с общей концепцией и конкретными требованиями экспертами предметной области формируются логические описания модели тренажера в терминах онтологии [4-5], состоящие из трех основных частей - объектов сцены, действий и сценариев. Онтология определяет возможную структуру модели тренажеров, связи между компонентами и ограничения целостности.
Объекты сцены предназначены для описания структуры каждого объекта, входящего в виртуальный мир сцены, связей между объектами. Каждый объект обладает набором атрибутов, определяющих присущие ему роль, положение в пространстве, поведение и отображение в зависимости от различных условий. Каждый атрибут имеет имя, критерий обязательности и изменяемости, множество значений и тип. Атрибуты могут задавать как характеристики объекта в целом, так и характеристики состояний объекта. Набор атрибутов объекта зависит от класса объекта. Объекты делятся на следующие основные классы, образующие между собой иерархию: простой объект, изменяемый объект, составной объект, таблица (массив).
Описание действий необходимо для детализации возможных вариантов взаимодействия пользователя с объектами виртуальной среды. Действия могут быть командные и интерактивные. В зависимости от назначения их описание включает различные параметры. Они могут как изменять объекты виртуальной среды, так и возвращать пользователю информационный результат. Результат действия может зависеть от атрибутов объектов и от возможных оценок для различных наборов атрибутов. Резуль-
таты действий могут быть простые (конкретные значения) и сложные (функционально получаемые значения).
Сценарий описывает последовательность действий, которую должен выполнить обучаемый в процессе работы с обучающей системой. Он может содержать переходы различных типов, ветвления, циклы, метки. С одной стороны, сценарий представляет собой граф, в узлах которого находятся действия, а дуги являются переходами от одних действий к другим. С другой стороны, сценарий - это последовательность некоторых логических этапов, где каждый этап представляет собой объединенное в группу множество узлов.
3. Реализация медицинского обучающего тренажера
Авторами выполнена реализация обучающего тренажера, включающего обучающие задания по классическим методам исследования в офтальмологии в соответствии с технологией разработки, описанной выше. Далее приводится фрагмент обучающего тренажера по исследованию центрального зрения «Определение остроты зрения по таблицам Сивцева - Головина» [6-7].
3.1. Логическое описание модели обучающего
Неформальное описание методики исследования. Исследуемая характеристика - острота зрения виртуального пациента (генерируется случайно и считается неизвестной). Для определения данной неизвестной характеристики пользователь (в роли врача) проводит ряд исследований с помощью вопросов виртуальному пациенту по офтальмологической таблице (выбирая ее строки и предлагая назвать ему буквы на строке). Виртуальный пациент отвечает на вопросы врача (может дать ответ «не вижу», может дать ответы с задержкой, а также правильно или с ошибками назвать буквы на строке). Ответ виртуального пациента зависит от остроты его зрения. Пользователь оценивает полученные ответы и принимает решение о продолжении
проведения исследования, либо сообщает результат (остроту зрения), оценивая соотношение количества ошибок, сделанных виртуальным пациентом и значений характеристик остроты зрения.
Визуальное представление сцены. Освещенная комната, стул для пациента находится у окна, пациент сидит на стуле спиной к окну, аппарат Рота висит на стене, напротив окна, на расстоянии 5 м от пациента на высоте 1,2 м от пола, таблица для определения остроты зрения находится в аппарате Рота, стол для инструментария стоит у окна или стены, окклюдер лежит на столе.
Формальное описание объектов сцены.
Окклюдер ручной тип: изменяемый,
описание: «щиток из непрозрачного материала с ручкой для прикрытия одного глаза при проверке остроты зрения другого глаза», множество состояний: [«лежит на столе», «в левой руке пациента», «в правой руке пациента», «закрывает левый глаз», «закрывает правый глаз»].
Аппарат Рота тип: изменяемый,
описание: «осветитель таблиц для исследования остроты зрения», множество состояний: [«выключен», «включен»].
Таблица для определения остроты зрения Сивцева тип: массив,
описание: «таблица, состоящая из 12 рядов (строк) оптотипов «буквы»,
элементы:
1: [«Ш», «Б»], 2: [«М», «Н», «К»], 3: [«Ы», «М», «Б», «Ш»],
12: [«И», «М», «Ш», «Ы», «И», «Б», «М», «К»].
Формальное описание действий сцены.
Включить аппарат Рота тип: интерактивное действие, описание: «пользователь нажимает на аппарат Рота, он включается и освещает таблицу», состояния объектов: {
объект «аппарат Рота», состояние «включен»}
Общая схема
Определение Определение
Подготовите остроты Переходный остроты Заключите
льныи этап зрения этап зрения льныи этап
глаз: правый глаз: левый
Определение остроты зрения
не видит,
нев1шит »е видит, 1 ошибка, "Г"'
не видит. 2 ошибки не видит' 2 ошибки 1 ошибка, 2 ошибв„ 1 ошибка,
не видит, >2 ошибок не видит, ^ 2 ошибки > 2 ошибки 2 ошибки > 2 оши6ки 2 ошибки
> 2 ошибок > 2 ошибки > 2 ошибки > 2 ошибки > 2 ошибки
10 9 8 -> 7 --> 6 5 -* 4 3 -> 2 1
и
О ошибок. 1 ошибка
О ошибок, 1 ошибка. 2 ошибки
Рис. 3. Схема сценария «Определения остроты зрения по таблицам»
Рис. 4. Скриншот экспертного описания «Определение остроты зрения по таблицам»
Взять окклюдер тип: командное действие, описание: «пациент берет со стола окклюдер в левую руку», состояния объектов: {
объект «рука левая», состояние «держит окклюдер», объект «окклюдер», состояние «в левой руке пациента», объект «рука правая», состояние «держит окклюдер», объект «окклюдер», состояние «в правой руке пациента»}. Назвать буквы на строке имя: «назвать буквы на строке», тип: интерактивное действие, описание: «пользователь щелкает мышкой по строке на таблице, чтобы пациент назвал буквы на этой строке»,
входные параметры: [объект «таблица Сивцева», атрибут «элементы»], результат: определяется номером строки,
оценка результата: [«0 ошибок», «1 ошибка», «2 ошибки»«, «>2оши-бок», «не видит»], параметры оценки результата: острота: [{объект «глаз правый», атрибут «острота зрения»}, {объект «глаз левый», атрибут «острота зрения»}], строка: {объект «таблица Сивцева», атрибут «элементы»}, наборы значений: острота: 0.1 [оценка: «0 ошибок», строка: 1], [оценка: «1 ошибка», строка: 2-12],
[оценка: «2 ошибки», строка: 2-12],
[оценка: «>2 ошибок», строка: 2-12],
[оценка: «не видит», строка: 2-12]; острота: 0.2
[оценка: «0 ошибок», строка: 2],
[оценка: «1 ошибка», строка: 3-12],
[оценка: «2 ошибки», строка: 2-12],
[оценка: «>2 ошибок», строка: 2-12],
[оценка: «не видит», строка: 2-12];
Сценарий
Графическое представление сценария на рис. 3.
Скриншот экспертного описания в редакторе информационных ресурсов представлен на рис. 4.
3.2. Презентационное представление обучающего тренажера
Дизайнером сформировано графическое отображение сцены. Каждому объекту, описанному экспертом в модели тренажера, сопоставлено его графическое представление. Для этого в сторонних редакторах подготовлены соответс-
твующие необходимые графические материалы и затем загружены в библиотеку сервиса: во внешнем 3D-редакторе созданы модели объектов (так называемые мэши), в 2D-редакторе подготовлены текстуры для этих моделей. Загруженные текстурированные 3D-модели затем применены к объектам сцены обучающего тренажера: размещены, развернуты, отмасштабирова-ны относительно других объектов сцены. Определены варианты внешнего вида и размещения объек-
Рис. 5. Графическое представление сцены в редакторе
тов на сцене для разных состояний объектов. Ниже на рис. 5 приведен пример скриншота редактирования модели пациента, выполненный дизайнером.
3.3. Реализация программных функций тренажера
Программистами разработаны агенты обработки специфических для тренажера функций. В данном тренажере по определению остроты зрения такой специфической функцией является вычисление строки таблицы Сивцева-Головина, на которую указал пользователь. У агента обработки таблицы есть
в наличии необходимая информация о текущем состоянии сцены и о переданных параметрах выполненного действия. Агент получает из описания сцены описание элементов объекта офтальмологической таблицы, затем проверяет наличие переданных текстурных координат и, V, соответствующих указателю мыши. По наборам координат, заданных для различных областей строк таблицы и по переданным текстурным координатам агент вычисляет искомую область на таблице, включающую букву или строку, и возвращает полученный результат сервису.
Заключение
В работе описан инструментарий, а также модель компьютерного тренажера обследования для офтальмологии.
Инструментарий является проблемно-независимым и разработан на многоагентной облачной ппат-форме IACPaaS. Основные идеи, реализованные в инструментарии, заключаются в замене проектирования и реализации обучающего тренажера проектированием его модели с последующей ее интерпретацией в функционирующий тренажер, а также включением в процесс разработки модели обучающего тренажера экспертов предметной области.
Проблемно-независимый инструментарий может использоваться не только для создания обучающих тренажеров, но также и для создания обучающих курсов, виртуальных лабораторий, анимированных роликов. Для этого в инструментарии предусмотрены различные типы моделей - неинтерактивные: статическая и анимационная модель, а также интерактивная с контролем действий пользователя и без него. Для создания обучающих тренажеров используется интерактивная модель с контролем действий пользователя.
Дальнейшие направления работ связаны как с разработкой обучающих тренажеров для других предметных областей, так и с реализацией специфических компонентов инструментария, необходимых для обучающих систем в целом: создания систем обучения, основанных на модели обучаемого и опыте его обучения.
Литература
1. ШубинаЛ.Б. МещеряковаМ.А., Камынина Н.Н., УткинаГ.Ю. Развитие медицинского образования в условиях инновационной экономики [Электронный ресурс]. - Режим доступа: http://vestnik.mednet.ru/content/view/182/30/
2. Мещерякова М.А. Учебный процесс вуза в системе управления качеством профессиональной подготовки врачей: монография. - М.: КДУ 2006. - 140 с.
3. ГрибоваВ.В., ОсипенковГ.Н., Сова С.А. Концепция разработки диагностических компьютерных тренажеров на основе знаний // International Book Series «Human Aspectsof Artifical Intelligence». № 12. Papers are selected from Proc. of the Intern. Conf. of the Join International Events of Informatics "ITA 2009" (e.TECH-2009), Varna, Bulgaria, 2009. - P. 27-33.
4. Грибова В.В., ПетряеваМ.В., Федорищев Л.А. Разработка виртуального мира медицинского компьютерного обучающего тренажера // Дистанционное и виртуальное обучение. - 2011. - № 9. - С. 56-66.
5. Грибова В.В., ПетряеваМ.В., Федорищев Л.А., ЧерняховскаяМ.Ю. Модель виртуального мира мультимедиа тренажера для медицинского образования // International Book Series «InformationScience & Computing». № 22. P. 140-148. Papers are selected from Proc. of the Intern. Conf. of the Join International Events of Informatic «Modern (e-) Learning 2011», Varna, Bulgaria.
6. Грибова В.В., Петряева М.В., Федорищев Л.А., Черняховская М.Ю. Формальное представление методов исследования в офтальмологии для медицинских обучающих систем. Часть 1. Владивосток: ИАПУ ДВО РАН, 2012. - 28 с.
7. Грибова В.В., Петряева М.В., Федорищев Л.А., Черняховская М.Ю. Формальное представление методов исследования в офтальмологии для медицинских обучающих систем. Часть 2. Владивосток: ИАПУ ДВО РАН, 2012. - 40 с.
8. Грибова В.В., Федорищев Л.А. Интернет-комплекс для создания обучающих систем с виртуальной реальностью // Дистанционное и виртуальное обучение. - 2012. - № 7. - С. 4-12.
9. Грибова В.В., Федорищев Л.А. Обучающие виртуальные системы на основе онтологий и трехмерной компьютерной графики // Международная конференция «Информационно-коммуникационные технологии в образовании: «Образование и Виртуальность 2011», Ялта. - 2011. - С. 103-111.
10. Грибова В.В., Клещев А.С., Крылов Д.А. и др. Проект IACPaaS - развиваемый комплекс для разработки, управления и использования интеллектуальных систем / В.В. Грибова, А.С. Клещев, Д.А. Крылов, Ф.М. Москаленко, С.В. Смагин, В.А. Тимченко, М.Б. Тютюнник, Е.А. Шалфеева // Искусственный интеллект и принятие решений. - 2011. - № 1.
