CC BY
26УДК 377.1
DOI: 10.24412/2222-7520-2022-1 -50-61
Силина Александра Андреевна
преподаватель
ГБПОУ «Пермский техникум промышленных и информационных технологий
им. Б.Г. Изгагина», г. Пермь, Россия 614099, г. Пермь, Комсомольский проспект, 91 e-mail: sashasil [email protected]
Скорнякова Анна Юрьевна
кандидат педагогических наук, доцент, и. о. заведующего кафедрой информатики и вычислительной техники
ФГБОУ ВО «Пермский государственный гуманитарно-педагогический
университет», г. Пермь, Россия 614990, г. Пермь, ул. Сибирская, 24 e-mail: [email protected]
О ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ И ОПЫТЕ ЕЕ ПРИМЕНЕНИЯ
В ОБУЧЕНИИ СТУДЕНТОВ
Alexandra A. Silina
Teacher
State Budget Vocational Educational Institution "Perm Technical School of Industrial and Information Technologies named after V.I. B. G. Izgagin " 614099, Perm, Komsomolsky prospect, 91 e-mail: sashasil [email protected]
Anna Y. Skornyakova
Candidate of Pedagogical Sciences, Associate Professor, Acting Chief of the Department of Informatics and Computer Engineering
Federal State Budget Educational Institution of Higher Education 'Perm State Humanitarian Pedagogical University' 614990, Russia, Perm, 24, Sibirskaya Str. e-mail: [email protected]
© Силина А.А., Скорнякова А.Ю., 2022
ABOUT VIRTUAL REALITY AND THE EXPERIENCE OF ITS APPLICATION IN STUDENT TRAINING
Аннотация: характеризуется исторический аспект технологии виртуальной реальности и опыт ее применения в системе среднего профессионального образования при реализации игровых технологий, приводятся примеры использования виртуальной реальности в учебном процессе. Отмечаются причины ее распространения на сферу образования, предложены пути развития VR как средства разработки игровых технологий студентами на примере среды разработки Unity 3D. Представлена рабочая программа «Разработка виртуальной и дополненной реальности» для обучающих по направлениям 09.02.05 Прикладная информатика по отраслям и 09.02.07 Информационные системы и программирование.
Ключевые слова: виртуальная реальность, VR-приложение, среднее образование, игровые технологии, среда разработки приложений, Unity 3D.
Abstract: the historical aspect of virtual reality technology and the experience of its application in the system of secondary vocational education in the implementation of gaming technologies are characterized, examples of the use of virtual reality in the educational process are given. The reasons for its spread to the field of education are noted, ways for the development of VR as a means of developing game technologies by students are proposed using the example of the Unity 3D development environment. The work program "Development of Virtual and Augmented Reality" for students in the areas of 09.02.05 Applied Informatics by Industry and 09.02.07 Information Systems and Programming.
Key words: virtual reality, VR application, secondary education, game technology, application development environment, Unity 3D.
Технология виртуальной реальности (VR) является одной из самых перспективных и быстроразвивающихся в сфере информационных технологий. Спектр ее применения достаточно широк, начиная с развлекательных приложений и заканчивая программным обеспечением для интерфейса кабины военных истребителей. Многие разработчики сосредоточены на внедрении данной технологии в образовательную сферу, поскольку она представляет собой некое связывающее звено между двумя мирами - реальным и виртуальным. В то же время технология полной виртуальной реальности вызывает у родителей ряд обоснованных угроз, ведь уже были случаи, когда ребенок с головой окунался в виртуальный выдуманный мир. Первое устройство виртуальной реальности появилось в середине XX в., но не получило широкого распространения. Было сложно даже представить, что VR может быть интегрирована в образовательный процесс, такая задумка казалась слишком футуристичной и дорогостоящей задачей.
В 1935 г. американский фантаст и футурист Стэнли Вейнбаума написал рассказ «Очки Пигмалиона», в котором главный герой знакомится
с профессором - изобретателем очков, позволяющих создавать оптическую, слуховую, вкусовую, кинестетическую и обонятельную иллюзию реальности. Это, пожалуй, первое, концептуальное представление о виртуальной реальности [5]. Первая известная система имитации реальности создана кинематографистом Мортоном Хейлитом в 1956 г., в 1962 г. на нее был получен патент. Машина виртуальной реальности из 50-х представляла собой достаточно вместительную будку, в которую были интегрированы кинопроекторы, воспроизводящие кино на стереоскопическом экране, стереозвук, виброкресло для имитации вибрации (например, тонущего корабля или обвала в горах), установка для имитации различных запахов и эмулятор атмосферных явлений, например, ветра и дождя. По мнению создателя устройства, Хайтинга, Sensorama должна была стать будущим киноиндустрии, но, как известно, не стала. Устройство осталось спорным аттракционом, для которого было создано всего шесть короткометражных фильмов. Будка была громоздкой и дорогой, что лишило Sensorama шансов на серьезное инвестирование и масштабирование [3].
«Пионером» VR-технологии, связанной с компьютерами, принято считать американского ученого Айвена Сазерленда, более известного в качестве одного из основателей Интернета. В 1965 г. Сазерленд описал концепцию компьютерной имитации мира с воздействием на пользователя через специальный шлем, создающий настолько реалистичную иллюзию, что человек не способен был отличить имитацию от действительности, при этом пользователю давалась возможность взаимодействовать с объектами в виртуальной реальности. В 1968 г. Сазерленд совместно со своим учеником и коллегой Бобом Спроуллом разработали первый компьютерный шлем виртуальной реальности, назвав его «Дамоклов меч», в связи с характерными особенностями стационарного крепления. Устройство по текущим меркам было достаточно простым и отображало на экране только примитивные SD-модели в виде незамысловатых объемных геометрических форм. «Дамоклов меч» был оснащен отслеживанием движений головы, в зависимости от которых менялась перспектива на экране. Устройство было исключительно лабораторным, в первую очередь из-за своей высокой массы, которая требовала крепление к потолку [11].
Сазерленд завершил первый этап развития VR, до появления полноценных серийных систем оставалось еще полтора десятилетия военных разработок и лабораторных изысканий. Между тем, именно он и его предшественники определили направления развития VR. Тем не менее подпитывая интерес писателями-фантастами, виртуальная реальность завоевала популярность в первой половине 1990-х гг.: роман Нила Стивенсона «Снежная катастрофа» 1992 г., фильм «Человек-газонокосилка», в котором был механизм VR от компании VPL [12].
В настоящем мире виртуальная реальность была обещана пользователям компьютерных игр повсюду. В торговых центрах, виртуальные кабинки позволяли людям играть. Nintendo назвала свою систему трехмерных видеоигр «Virtual Boy», удобно игнорируя тот факт, что гарнитуры доставляли головные
боли. Исследования продолжались в академических и частных лабораториях, но VR просто перестала существовать как жизнеспособная потребительская технология. В 2012 г. соучредитель «id Software» и поклонник виртуальной реальности Джон Кармак с особым удивлением пришел на выставку видеоигр E3: он позаимствовал прототип гарнитуры, созданной 19-летним энтузиастом виртуальной реальности по имени Палмер Лаки, и взломал ее, чтобы запустить VR-версию игры Doom. Клейкая лента и ремень, оторванный от пары лыжных очков Oakley, единственное, что держало его на голове, но это работало. Когда люди надевали гарнитуру, оказывались в окружении трехмерной графики, которую обычно видели на телевизоре или мониторе. Они не просто играли в Doom - были внутри нее.
Дальнейшее развитие технологии вириальной реальности происходило стремительно. Сейчас VR приобретает популярность в связи с интеграцией специальных шлемов, изначально использовавшихся для игровой индустрии. В 2016 г. была выпущена первая волна специализированных потребительских VR-гарнитур, хотя все три были фактически периферийными устройствами, а не полными системами: Oculus Rift и HTC Vive, каждый из которых был подключен к мощным ПК, а система PlayStation VR работала на игровой консоли PlayStation 4. В 2018 г. на рынке появились первые «автономные» гарнитуры. Они не подключаются к компьютеру и не зависят от смартфона для обеспечения отображения и обработки [12].
Первым очевидным вариантом применения VR-технологий в образовательном процессе является использование приложений, позволяющих глубже понять изучаемый материал. Учащиеся на уроках в восторге от того, что могут не только услышать или увидеть картинки, но и посмотреть на все в живую. Рассмотрим примеры подобных приложений:
- приложение «The Body VR», позволяющее погрузиться в глубины человеческого тела и наглядно наблюдать за работой микроорганизмов [9];
- Universe Sandbox 2. - настоящий космический симулятор, в котором ученики могут наглядно увидеть, как работает гравитация, климат и физические взаимодействия в космосе [4];
- 3D Organon VR Anatomy. - первый в мире атлас анатомии человека в VR. В нем собрано более 4 000 реалистичных анатомических моделей [1].
Причин распространения технологий виртуальной реальности на сферу образования можно выделить несколько:
1) снижение цены на техническое оснащение;
2) стремительный рост количества программного обеспечения под VR;
3) рост объема инвестиций в VR;
4) увеличение числа крупных компаний, работающих в сфере VR;
5) внедрение VR-технологий в ряде сфер: нефтегазовая промышленность, машиностроение, энергетика, металлургия, телекоммуникации, реклама и многое другое.
Россия в этом плане стремится идти в ногу со временем. Начиная с 2018 г., запущен целый ряд крупных образовательных VR-проектов: «Образование-2024», «Цифровая школа», «Современная цифровая образовательная среда», «Цифровая экономика Российской Федерации».
Для подготовки студентов среднего профессионального образования ГБПОУ «Пермский техникум промышленных и информационных технологий им. Б.Г. Изгагина» согласно современным стандартам WorldSkills Russia для освоения образовательной программы и соответствия уровня освоения общих и профессиональных компетенций требованиям ФГОС СПО для сдачи демонстрационного экзамена в рамках промежуточной и итоговой государственной аттестации была составлена рабочая программа «Разработка виртуальной и дополненной реальности» для обучающих по направлениям 09.02.05 Прикладная информатика по отраслям и 09.02.07 Информационные системы и программирование. Перечень разделов, тем, последовательность их изучения, вид занятий и количество часов представлены в таблице (табл. 1). Перечень разделов и тем курса представлен в таблице (табл. 2).
Таблица 1
Учебно-тематический план
Название раздела, темы Количество часов Формы работы
Всего Теория Практика
1. Введение в дополненную реальность 2 1 1 Формирование проектных групп. Инструктаж по ТБ. Групповая работа
2. Создание трехмерной модели 5 1 4 Групповая работа. Решение кейса
3. Создание АЯ-приложения 7 1 6 Групповая работа. Решение кейса
4. Сдача экзамена 5 5 В виде демонстрационного экзамена
Итого: 19 3 16
Таблица 2
Содержание тем программы_
Название раздела/темы Формы работы и оценки результата
Раздел 1. Лекции
Введение Рассматриваются следующие темы:
в дополненную • знакомство с дополненной реальностью;
реальность • понятия АЯ, мобильное приложение, трехмерный объект, объектно-ориентированное программирование; • принцип работы дополненной реальности
Практические занятия
Обучающиеся работают в компьютерном классе, применяют
полученный теоретический материал на практике, в ходе выполнения
следующих заданий:
• создание простого проекта на основе готовых объектов;
• учатся управлению структурными элементами.
Название раздела/темы Формы работы и оценки результата
Кейс 1. «Создание первого проекта»
Раздел 2. Лекции
Создание Раздел включает в себя следующие темы:
трехмерной • создание 3D-объекта;
модели • разработка сцен сцена, моделей, анимации, наложение текстур
Практические занятия
Обучающиеся работают в компьютерном классе, применяют
полученный теоретический материал на практике, в ходе выполнения
следующих заданий:
• создание элементов окружения для дополненной реальности;
• работа с текстурированием элементов окружения дополненной
реальности;
• анимирование основных элементов окружения Кейс 2 «Создание окружения для дополненной и виртуальной
реальности».
Предусмотрено выполнение учащимися индивидуальных и групповых
проектов по данной теме
Раздел 3. Лекции
Создание мобильного Рассматриваемые темы: • объектно-ориентированное программирование;
приложения • разработка мобильного приложения в среде Unity c элементами дополненной реальности.
Практические занятия
Обучающиеся работают в компьютерном классе, применяют
полученный теоретический материал на практике, в ходе выполнения
следующих заданий:
• создание главного меню мобильного приложения;
• создание сцены для дополненной реальности;
• программирование игры для реалистичности Кейс 3. «Создание приложения в дополненной и виртуальной
реальности».
Предусмотрено выполнение учащимися индивидуальных и групповых
проектов по данной теме.
Раздел 4. Практические занятия
Сдача экзамена Обучающиеся работают в компьютерном классе, применяют полученный теоретический материал на практике, в ходе выполнения следующих заданий: создание проектов по собственному замыслу: разработка идеи, проработка объектов, планирование действий, программирование и отладка проекта.
Цель охарактеризованного выше курса - подготовка студентов среднего профессионального образования к демонстрационному экзамену, образцы заданий и основные критерии оценивания согласно ФГОС СПО и Профстандарта к которому представлены в единой системе актуальных требований (ЕСАТ) [2].
Приведем разбор задания образца КОД 1.1 на проверку уровня сформированности компетенции «Разработка виртуальной и дополненной реальности».
Описание задания. У игрока появляется меню с частями дома и схема. По щелчку из меню, части переносятся в дополненную реальность. Задача по чертежу собрать дом в правильном порядке. Когда дом собран, выводится сообщение о победе.
Минимальное количество моделей:
- части дома - 3;
- дом - 1.
Описание модуля 1: Дизайн AR-приложения. Команда за отведенное время должна предоставить дизайн-документ и минимальный прототип приложения.
Описание модуля 2: Разработка AR-приложения. Выполнение модуля состоит из следующих частей: художественный дизайн, программирование, оптимизация, сборка. Части можно выполнять параллельно в зависимости от навыков и состава команды.
Инструкция для выполнения модуля 1.
Дизайн-документ - это детальное описание разрабатываемой компьютерной игры.
Он состоит из титульного листа, описания приложения, схемы экранов, блок-схемы работы приложения, скетчей, референсов, описания работы UI/UX и режима переключения игры в дополненную (виртуальную) реальность.
Пример описания приложения. При запуске приложения появляется главное меню, где есть кнопки «Обучение», «Играть» и «Выход».
Нажав на кнопку «Обучение», игрок попадает на экран с подробной инструкцией о прохождении.
Нажав на кнопку «Играть», пользователь переходит на сцену игры, где открывается камера в дополненной реальности, при наведении которой на стилизованную метку появляются игровые объекты.
Цель игры: игрок должен собрать дом согласно чертежу.
Пример составления схемы экранов (рис. 1). При составлении алгоритма работы окон приложения необходимо воспользоваться сайтом Draw.io [8]. Студенту нужно посмотреть на описание проекта и решить, какие экраны будут открываться при нажатии на каждую кнопку.
Пример крупноблочного алгоритма (рис. 2). Алгоритм работы приложения состоит из блоков начала, события, действия, решения пользователя и условия. Он описывает последовательность развития самой игры от начала запуска, когда только приложение было открыто, до момента победа или поражения.
Пример описание UI/UX.
UX (user experience) - функционал интерфейса. В него входит навигация по проекту, функционал меню и результат взаимодействия со страницами. Это не только «костяк» - его структура, но и коммуникация: диалоговые окна, функционал кнопок, настройки поиска и форм.
Рис. 1. Схема экранов приложения
Рис. 2. Пример крупноблочного алгоритма работы приложения
UI - это «user interface», пользовательский интерфейс - оформление приложения: сочетания цветов, шрифты, иконки и кнопки.
Описание UI/UX в дизайн-документе может выглядеть следующим образом.
Главное меню состоит из кнопок «Начать», «Обучение» и «Выход»: «Обучение» - находится чуть выше центра экрана для перехода на сцену с инструкцией пользования приложением; «Начать» - находится посередине экрана (кнопка синего цвета, крупного размера, чтоб у игрока было желание нажать на нее для перехода в сцену игры).
Зайдя в сцену игры, перед пользователем появляется сцена с тремя частями дома. Игра имеет горизонтальное положение, чтобы было удобнее работать двумя руками.
Если игрок собрал все части в правильном порядке, ему выводится экран «Победа» - ярко-красная надпись, написана большим шрифтом, показывающая значимость победы. Эта кнопка выводится посередине экрана. Вторая кнопка -«Меню». Она сделана идентично кнопке «Играть заново», возвращает обратно на сцену «Главное меню».
Если игрок не собрал все части в правильном порядке, ему выводится экран «Поражение». Эта надпись ярко-синяя, написана большим шрифтом, показывающая горечь поражения.
После всех описаний и режимов работы проекта следует в любом из редакторов двумерной графики привести свои наброски будущей игры в трех вариантах, что называется скетчами. При составлении небольших эскизов своего приложения студенту можно вдохновляться уже готовыми картинками в сети Интернет (референсами).
На этом составление дизайн-документа завершается и обучающий переходит к модулю 2 - дизайн и разработка.
Для формирования художественного оформления проекта и создания трехмерных моделей необходимо воспользоваться программной трехмерной графикой Blender [7]. Это профессиональное свободное и открытое программное обеспечение для создания трехмерной компьютерной графики, включающее в себя средства моделирования, скульптинга, анимации, симуляции, рендеринга, постобработки и монтажа видео со звуком, компоновки с помощью «узлов», а также создания 2D-анимаций.
В Blender создаются все объекты для VR/AR-приложения, в зависимости от тематики задания есть главная модель и ее дополняющие. К ним выстраивается циклическая анимация по ключевым кадрам.
Для сохранения работы все модели по отдельности необходимо сохранить в формате .fbx.
Моделям нужно придать реалистичность. Для этого служит программа Adobe Substance Painter [6]. Ее интерфейс сильно напоминает Adobe Photoshop, но отличается тем, что служит «раскраской» для ЭЭ-объектов. Используя уже готовые заготовки материалов, можно создать реалистичный вид модели.
Первая часть модуля выполнена, теперь нужно открыть Unity 3D [10] для
соединения трехмерных моделей и программного кода будущего приложения.
Unity - межплатформенная среда разработки компьютерных игр, разработанная американской компанией Unity Technologies. Unity позволяет создавать приложения, работающие на более чем 25 различных платформах, включающих персональные компьютеры, игровые консоли, мобильные устройства, интернет-приложения и др.
Согласно дизайн-документу, уже расписаны основные экраны игры, которые межплатформенный движок может превратить в реальность.
При открытии Unity необходимо удалить стандартную камеру и поставить необходимый плагин для работы в AR. Лицензия, камера дополненной реальности и сами метки предварительно создаются и выгружаются с сайта Vuforia [13]. Зайдя под своим логином и паролем, пользователь бесплатно может установить необходимые дополнения к своему проекту.
Затем уже в Unity создается главное меню приложения. Для этого в иерархии объектов через нажатие «UI» - «Button» размещаются необходимые кнопки «Играть», «Правила» и «Выход».
Для функциональной работы и перехода на необходимые сцены нужно прописать следующий алгоритм на языке программирования C# для перехода между сценами:
using System.Collections; using System.Collections .Generic; using UnityEngine;
using UnityEngine.SceneManagemant; public class MainMenu : MonoBehaviour
public void Exit()
Application.Quit();
public void Play()
SceneManager.LoadScene(1);
public void Rules()
SceneManager.LoadScene(2);
Согласно экзаменационному заданию, по нажатию на кнопки объекты должны переноситься в дополненную реальность. Для этого в Unity создается GameObject (пустой объект) и на него привязывается программный код. Следуя алгоритму, пользователь нажимает на экран и видит элементы в AR-режиме.
Перед сборкой проекта его работоспособность проверятся нажатием на «Play». К камере устройства подносится метка и на ней возникают модели, созданные в Blender (рис. 3).
Рис. 3. Проверка работы проекта
Если приложение работает корректно, то нажатием на «File» - «Bild Settings» происходит сборка на необходимую платформу.
Таким образом, студент может следовать четким инструкциям для выполнения задания дополненной реальности и набрать на демонстрационном экзамене максимальное количество баллов.
Для реализации возможностей виртуальной реальности в обучении студентов требуется компьютерный класс с выходом в Интернет, оснащенный проектором и экраном; ноутбуки для педагога и каждого обучающегося с соответствующим программным обеспечением, веб-камера, наушники и мобильное устройство.
Список литературы
1. Атлас по анатомии [Электронный ресурс]. - URL: https://www.3dorganon.com/ (дата обращения: 19.09.2022).
2. Единая система актуальных требований [Электронный ресурс]. - URL: https://esat.worldskills.ru/ (дата обращения: 11.12.2022).
3. История развития виртуальной реальности [Электронный ресурс]: ст. / Центр современного искусства МАРС. - URL: https: //centermars .ru/blogmars/stati/istoriya-razvitiya-virtualnoy-realno sti/ (дата обращения: 19.09.2022).
4. Космический симулятор [Электронный ресурс]. - URL: https://universesandbox.com/ (дата обращения: 19.09.2022).
5. Краткая история VR: часть первая - ранние концепции и первые шаги от 1930-х до 1960-х [Электронный ресурс]: ст. // Хабр. - URL: https://habr.com/ru/company/pult/blog/517050/ (дата обращения: 19.09.2022).
6. Adobe Substance Painter 3D [Электронный ресурс]. - URL: https://www.adobe.com/ru/products/substance3d-painter.html (дата обращения: 11.12.2022).
7. Blender 3D [Электронный ресурс]. - URL: https://www.blender.org/ (дата обращения: 11.12.2022).
8. Draw.io [Электронный ресурс]. - URL: https://app.diagrams.net/ (дата обращения: 19.09.2022).
9. The Body VR: Journey Inside a Cell - HTC Vive Trailer [Электронный ресурс]. - URL: https:// www.youtube.com/watch?v=XKbwmTG8chQ&t=2s&ab_channel=TheBodyVR (дата обращения: 19.09.2022).
10. Unity 3D [Электронный ресурс]. - URL: https://unity.com/ru (дата обращения: 10.09.2022).
11. VR. Виртуальные очки [Электронный ресурс]. - URL: https://vk.com/wall-63588955_3161 (дата обращения: 10.09.2022).
12. VR-технологии. История. Статья Singularity lab. [Электронный ресурс]. - URL: https://singularity.kz/blog/virtual-reality/history-and-future-of-vr (дата обращения: 19.09.2022).
13. Vuforia engine [Электронный ресурс]. - URL: https://developer.vuforia.com/ (дата обращения: 11.12.2022).
