CC BY
62
УДК 004.414.28, 004.415.25, 004.418 DOI: 10.25559/SITIT0.14.201804.823-832
ПОВЫШЕНИЕ ПРОДУКТИВНОСТИ ОСВОЕНИЯ РАСПРЕДЕЛЁННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ В ВИРТУАЛЬНОЙ КОМПЬЮТЕРНОЙ ЛАБОРАТОРИИ НА ОСНОВЕ ПРИМЕНЕНИЯ ТЕХНОЛОГИЙ КОНТЕЙНЕРИЗАЦИИ И ОРКЕСТРОВКИ КОНТЕЙНЕРОВ
М.А. Белов, Ю.А. Крюков, М.А. Михеев, П.Е. Лупанов, Н.А.Токарева, Е.Н. Черемисина Государственный университет «Дубна», г. Дубна, Россия
IMPROVING THE EFFICIENCY OF MASTERING DISTRIBUTED INFORMATION SYSTEMS IN A VIRTUAL COMPUTER LAB BASED ON THE USE OF CONTAINERIZATION AND CONTAINER ORCHESTRATION TECHNOLOGIES
Mikhail A. Belov, Yuri A. Kryukov, Maksim А. Mikheev, Pavel E. Lupanov, Nadezhda А. Tokareva, Evgenia N. Cheremisina Dubna State University, Dubna, Russia
I© Белов М.А., Крюков Ю.А., Михеев М.А., Лупанов П.Е., Токарева Н.А., Черемисина Е.Н., 2018|
Ключевые слова
Аннотация
Виртуальная компьютерная лаборатория; облачные вычисления; виртуализация; виртуальная машина; гипервизор;
контейнеризация; контейнер; кластер контейнеров; обучение; виртуальная компьютерная лаборатория; веб сервисы; технологии подготовка ИТ-специалистов; обучение ИТ-специалистов; повышение квалификации ИТ-специалистов; инновации в образовании; когнитивные технологии; VMware; Docker; Kubernetes; CoreOS.
Статья посвящена методологии подготовки высококвалифицированных ИТ-специалистов с применением виртуальной компьютерной лаборатории - непрерывно актуализируемого и совершенствуемого (на протяжении более 10 лет) аппаратно-программного комплекса, интегрирующего в себя самые современные технологические достижения в области информационных технологий совместно с методическими и дидактическими наработками, полученными на основе успешного опыта эксплуатации в рамках практических занятий Института системного анализа и управления Государственного университета «Дубна». Виртуальная компьютерная лаборатория не только предоставляет учащимся вычислительные ресурсы по запросу, с применением технологий аппаратной виртуализации и распределённой контейнеризации, но и формирует устойчивую образовательную среду, в основе которой лежат принципы самоорганизации, стимулирующие формирование положительных личных качеств учащихся, их социализацию, умение работать в команде, а также технологии управления знаниями, позволяющие всем участником совместно формировать, совершенствовать и распространять полученные знания, тем самым минимизировать степень вовлеченности преподавателя в решение рутинных задач и вместе с тем повышать уровень когнитивности и качества учебного-методического материала в целом. Виртуальная компьютерная лаборатория является ключевым инструментом для организации практических занятий таким образом, чтобы получаемые знания, умения и владения учащихся максимально полно соответствовали трудовым функция профессиональных стандартов Ассоциации Предприятий Компьютерных и Инновационных Технологий (АПКИТ).
|Об авторах:|
Белов Михаил Александрович, доцент, кафедра системного анализа и управления, Государственный университет «Дубна» (141982, Россия, Московская область, г. Дубна, ул. Университетская, д. 19), ORCID: http://orcid.org/0000-0003-0678-3344, belov@uni-dubna.ru Крюков Юрий Алексеевич, кандидат технических наук, проректор по научной и инновационной деятельности, Государственный университет «Дубна» (141982, Россия, Московская область, г. Дубна, ул. Университетская, д. 19), ORCID: http://orcid.org/0000-0001-8476-1621, киа@ uni-dubna.ru
Михеев Максим Александрович, старший преподаватель, кафедра системного анализа и управления, Государственный университет «Дубна» (141982, Россия, Московская область, г. Дубна, ул. Университетская, д. 19), ORCID: http://orcid.org/0000-0001-7922-0687, miheevma@uni-dubna.ru
Лупанов Павел Евгеньевич, аспирант, преподаватель кафедры системного анализа и управления, Государственный университет «Дубна» 141982, Россия, Московская область, г. Дубна, ул. Университетская, д. 19), ОЯСШ: http://orcid.org/0000-0002-1305-6949, lupanov@uni-dubna.ru Токарева Надежда Александровна, доцент, кафедра системного анализа и управления, Государственный университет «Дубна» (141982, Россия, Московская область, г. Дубна, ул. Университетская, д. 19), ORCID: http://orcid.org/0000-0002-0798-2276, tokareva@uni-dubna.ru Черемисина Евгения Наумовна, доктор технических наук, профессор, директор Института системного анализа и управления, Государственный университет «Дубна» (141982, Россия, Московская область, г. Дубна, ул. Университетская, д. 19), ORCID: http://orcid.org/0000-0002-6041-8359, chere@uni-dubna.ru
Vol. 14, no 4. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, М.А. Белов, Ю.А. Крюков, М.А. Михеев,
методическое обеспечение П.Е. Лупанов, Н.А.Токарева, Е.Н. Черемисина
Keywords
Abstract
Virtual computer lab; virtualization; containerization; container; orchestration; cloud computing; web services; IT training; education; innovations in education; e-learning; knowledge management; big data; virtual machine; training; hypervisor; VMware; Docker; Kubernetes; CoreOS; clusters.
This article discusses issues surrounding the training of specialists in distributed information systems using innovative methods and technologies in a virtual computer lab environment with an integrated knowledge management system. The article clearly shows how complex knowledge, skills, and professional competencies should be taught to IT specialists. It provides a detailed exploration of the architecture of the Virtual Computer Lab (VCL) and describes the successful experience of using the VCL in classes taught by the Department of Systems Analysis and Control at the Dubna State University. The new practice with containers is different compared to hardware virtualization case and effectively complements it for a wide range of practical educational tasks dedicated to the mastering distributed information systems in a virtual computer lab. For the underlying operating system kernel can be used for all containers and improves payload on the north of a similar configuration. The article provides a detailed description of containerization technology to improve the efficiency of IT-training and features of container management in a distributed environment.
Введение
Государственный Университет «Дубна» расположен в одном из самых инновационных мест России - особой экономической зоне «Дубна» (http://dubna-oez.ru/). Среди предприятий-партнеров университета - Объединенный Институт Ядерных Исследований (ОИЯИ), авиационная группа компаний «Прогресстех», Дубненский машиностроительный завод, муниципальный проект "Умная Дубна" и многочисленные организации по разработке программного обеспечения. Одно из первых университетских облаков в России было запущено в 2007 году в Дубне на базе оборудования и технологий IBM и VMware. Первоначальными целями этого облака были исследования и разработка лучшей облачной архитектуры для повышения эффективности подготовки ИТ-специалистов. В 2009 году произошло преобразование в виртуальную компьютерную лабораторию, как полнофункциональную, устойчивую платформу для очного и дистанционного обучения [13-16]. Основной предпосылкой для этого стало то, что при подготовке высококвалифицированных ИТ-специалистов приоритетной задачей для высшего образовательного учреждения является формирование таких профессиональных компетенций выпускников, с помощью которых они смогут успешно решать основные предметные задачи, возникающие на всех этапах жизненного цикла распределённых корпоративных информационных систем, горизонтально-масштабируемых кластеров хранения, анализа и обработки данных, программных средств бизнес-аналитики и управления проектами по разработке программного обеспечения.
Более того, анализируя тенденции развития рынка труда, мы обратили внимание на то, что современные потребности Российской экономики сформировали на рынке труда такие новые профессии в области искусственного интеллекта, как конструктор систем искусственного интеллекта, специалист по работе с большими данными, специалист по информационному пропагандированию, специалист по машинному обучению, аналитик роботизированных процессов, менеджер по цифровой информации, разработчик информационных систем на основе Blockchain, и даже такие экзотические как проектировщик взаимодействия с Искусственным интеллектом и когнитивный копирайтер. Новые профессии формируют новые вызовы к ме-
тодологии подготовки квалифицированных ИТ специалистов, обладающих необходимыми и достаточными знаниями, умениями и владениями для того, чтобы соответствовать текущим реалиям и потребностям бизнеса, а также занять соответствующее профессиональное и социальное положение в ведущих компаниях, лидерах рынка высокотехнологичных продуктов и услуг нового поколения. Именно этим людям предстоит создавать и развивать цифровую экономику будущего, а перед нами стоит первостепенная задача предоставить программно-инструментальные средства и технологии уже сегодня, чтобы обеспечить продуктивную аудиторную и внеаудиторную работу, постараться вызвать у учащихся чувства подлинного изумления и восхищения успехами математики и компьютерной науки (computer science), поднимая их мотивацию вселять уверенность в своих силах, стимулируя желания и стремления на дальнейшие свершения, тем самым формируя устойчивое развитие ИТ не только на национальном уровне, но и в условиях глобализации и международного партнёрства.
Предпосылки создания виртуальной компьютерной лаборатории в Государственном университете «Дубна»
Организация эффективного процесса подготовки ИТ-специалистов потребовала скорейшего решения следующих проблем: частую нехватку аудиторных часов для качественного и углубленного освоения сложных информационных систем; на компьютерах средней мощности невозможно запустить многокомпонентные информационные системы, чтобы получить необходимый и достаточный опыт работы, поскольку аппаратные требования таких систем часто выходят за рамки типовых конфигураций домашних, офисных, переносных компьютеров и планшетов; при развёртывании многокомпонентных информационных систем на локальных компьютерах у учащихся иногда возникают трудности, которые они не могут решить без достаточного опыта работы с такими системами и/или быстрого взаимодействия с преподавателем; стоимость лицензий достаточно высока для отдельно взятого пользователя, и в большинстве случаев такая лицензия необходима лишь на время учебного процесса (например, лицензии на лидирующее средство
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
бизнес-анализа ARIS Connection Server или систему управления требования IBM Rational Doors предоставляются лишь ВУЗу или организации, поэтому учащиеся, взаимодействуя с подобными системами в облаке не нарушают условия лицензионных соглашений).
Итак, рассмотрим пример, который наглядно проиллюстрирует, почему отсутствует возможность готовить профессиональных ИТ-специалистов в обычном компьютерном классе, с применением традиционных методических подходов. Ни для кого не секрет, что на сегодняшний день наблюдается существенный рост востребованности специалистов, способных быстро создавать и развёртывать многокомпонентные программно-технологические решения, преимущественно в области обработки больших данных, поскольку всё больше количество организаций испытывает потребность анализа данных вплоть до десятков петабайт, с целью быстрой обработки статистических показателей - абсолютных, относительных и средних величин, вариаций и статистических индексов, а также выявления причинно-следственных связей и закономерностей, оценивать эффективность и возможности экономических и социальных явлений. Анализируя рынок труда, мы пришли к выводу, что одной из основополагающих технологий обработки больших данных является Hadoop - продукт фонда Apache Software Foundation, состоящий из свободно распространяемых утилит, библиотек и фреймвор-ков c открытым кодом. Вокруг Hadoop образовалась экосистема из связанных проектов и технологий, возникли отдельные пред-настроенные многофункциональные дистрибутивы Cloudera, HortonWorks, MapR с качественной технической поддержкой, что позволяет быстро развернуть кластер и обеспечить его продуктивную эксплуатацию. Ядро актуальной версии Hadoop состоит из двух основных подсистем HDFS и YARN, компоненты которых обеспечивают горизонтальную масштабируемость, по некоторым данным, вплоть до 4000 узлов. HDFS (Hadoop Distributed File System) - распределённая файловая система, предназначенная для хранения файлов больших размеров, поблочно распределённых между узлами вычислительного кластера. Все блоки в HDFS (кроме последнего блока файла) имеют одинаковый размер, каждый блок размещается на нескольких узлах, коэффициент репликации (количество узлов, на которых размещается каждый блок) и размер блока задаются в настройках системы. Благодаря репликации обеспечивается устойчивость распределённой системы к отказам отдельных узлов. YARN (Yet Another Resource Negotiator) обеспечивает управление ресурсами и планирование заданий, обеспечивая их параллельное выполнение и изоляцию. Работать под управлением YARN могут как MapReduce-програм-мы, так и любые другие распределённые приложения, поддерживающие соответствующие программные интерфейсы, представленные в среде Hadoop. MapReduce - программный фреймворк, обеспечивающий распределённые вычисления в рамках парадигмы MapReduce с применением языка программирования Java. В качестве отправной точки, MapReduce, был выбран потому, что объектно-ориентированный подход, язык программирования Java совместно со средами разработки Eclipse и/или IntelliJ Idea и системами автоматической сборки Maven и Gradle достаточно интенсивно изучаются студентами Института системного анализа и управления, начиная с первого курса. Это позволяет существенно снизить порог вхождения и сосредоточиться на изучении основных аналитических паттернов и конструкций для реализации базового обработчика, который обеспечивает преобразование исходных пар «ключ - значение» на каждом вы-
числительном узле кластера в промежуточный набор пар «ключ - значение» в классе, реализующим интерфейс Mapper и названный по функции высшего порядка Map, и обработчика который преобразует промежуточный набор пар в итоговый сокращённый набор - свёртку, класс, реализующий интерфейс Reducer, с возможностью записи результата в реляционную базу данных посредством стандартных JDBC драйверов, для дальнейшей визуализации в средах Business Intelligence, входящих в состав или интегрированных с базой данных. Немаловажной задачей является также и подготовка специалистов, способных создавать многокомпонентные отказоустойчивые решения высокой доступности, например, на базе стека технологий Microsoft Failover Cluster. Обучение распределённым информационным системам с повышенной отказоустойчивостью также является одной из приоритетных учебных задач, и это не случайно, поскольку подобные программные решения становятся всё более востребованы в отраслевых организациях. Поэтому задача проектирования и развёртывания отказоустойчивых кластеров входит в несколько спецкурсов, в силу востребованности современными компаниями. При проектировании корпоративных информационных систем, обеспечение доступности критических приложений вне зависимости от состояния аппаратного обеспечения и программной среды является залогом успешного выполнения многих ключевых бизнес-процессов. Простои, в том числе запланированные, приводят к потере клиентов, ухудшению репутации и финансовым затратам, а длительные отключения ключевых ИТ-сервисов просто недопустимы для современных высокотехнологичных предприятий.
Итак, рассмотренная вкратце, в качестве примера, архитектура двух наиболее популярных и востребованных на сегодняшний день на рынке труда программно-технологических решений, вместе с аргументированными размышлениями о методике и технологии подготовки ИТ-специалистов, приводят к следующим выводам: даже если удастся установить во все компьютерные классы премиальные рабочие станции в максимальной конфигурации, то мы не сможем использовать их ресурсы параллельно, возникнет проблема с хранением образов и сделанных в них изменениях из-за строгой политики безопасности, которая, как правило, применяется в компьютерных классов общего пользования, а также отсутствие возможности удаленного подключения к рабочей станции класса, что приведёт к невозможности организации внеаудиторной самостоятельной практической работы учащихся, и далеко не каждый студент сможет себе позволить приобрести себе персональный компьютер верхнего ценового уровня, аппаратная конфигурация которого позволит развёртывать системы описанные выше и продуктивно выполнять практические задачи.
Приведённый пример, на наш взгляд, достаточно наглядно показывают, что основным направлением решения указанных проблем стало создание первой в РФ виртуальной компьютерной лаборатории, функциональность которой позволила решить проблему предоставления вычислительных ресурсов в виде облачных сервисов для успешного решения рассмотренных выше образовательных задач, а также программного, технологического и методического обеспечения; обучать современным технологиям работы с распределёнными информационными системами; организовывать коллективную работу с учебным материалом, вовлекая пользователей в процесс его совершенствования и свободное общение друг с другом, построенное на принципах равноправия и самоорганизации.
Vol. 14, no 4. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, М.А. Белов, Ю.А. Крюков, М.А. Михеев,
методическое обеспечение П.Е. Лупанов, Н.А.Токарева, Е.Н. Черемисина
Особенности гибридной архитектуры виртуальной компьютерной лаборатории на основе аппаратной виртуализации, технологий управления знаниями и самоорганизации
Виртуальная компьютерная лаборатория (ВКЛ) - это комплекс программно-аппаратных средств, основанных на технологиях виртуализации и контейнеризации, позволяющих гибко, по запросу, предоставлять и использовать вычислительные ресурсы в виде «облачных» интернет-сервисов c интегрированной системой управления знаниями на основе принципов самоорганизации, функционирующих как единая среда с элементами когнитивного представления внутренний ресурсов на основе визуальных моделей и частичной автоматизации базовых технологических операций с применением экспертной системы для выполнения научно-исследовательских работ, ресурсоемких вычислительных расчетов и заданий, связанных с освоением сложных корпоративных и иных информационных систем, предоставления выделенных виртуальных серверов для инновационных проектов, выполняемых студентами и сотрудниками Института системного анализа и управления [1-11].
Основной особенностью виртуальной компьютерной лаборатории являются принципы самоорганизации, благодаря которым осуществляется переход от сложной системы гранулярных групповых политик безопасности с большим количеством ограничений, к формированию личной ответственности, уважения к коллегам, что должно являться прочным фундаментом для укрепления и развития классических культурных ценностей в образовательной среде. В рамках выполнения практических задач по развёртыванию распределённых информационных систем и решения предметно-ориентированных задач, учащиеся самостоятельно формируют требования к системе, определяют критические компоненты, для которых требуется масштабирование или резервирование, конфигурируют виртуальные машины, знакомятся с современными средствами и технологиями хранения данных, принципами построения распределённых систем, различными видами серверных операционных систем (Linux/Unix, Windows) и способами их взаимодействия, протоколами передачи данных (например iSCSI), настраивают компьютерные сети, формируют политику безопасности, решают задачи интеграции компонентов системы.
В основе аппаратного комплекса виртуальной компьютерной лаборатории используются сервера лезвийной архитектуры, которые имеют компактные размеры и позволяют более эффективно использовать помещение серверной, а также экономить электроэнергию.
Программная платформа виртуальной компьютерной лаборатории реализована с применением программного обеспечения VMware, в состав которого входят гипервизоры vSphere ESXi, обеспечивающие разделение аппаратных ресурсов, выполняющих основную вычислительную работу и хостинг виртуальных машин и сервера централизованного управления vCenter Server, который обеспечивает сквозную аутентификацию, управление групповыми политиками, централизованный мониторинг аппаратного обеспечения и проведения аудита ИТ-инфраструктуры.
vCenter Server состоит из следующих ключевых компонентов:
• vCenter Single Sing-On
Данный компонент является критически важным для всего окружения т. к. он предоставляет сервисы безопасной аутентификации для многих компонентов vSphere. Single Sing-On создает дополнительный домен безопасности, в котором различные компоненты и решения, входящие в экосистему vSphere, регистрируются в процессе установки или обновления и в последствии получают права на использование базовых инфраструктурных ресурсов. В архитектуре виртуальной компьютерной лаборатории этот модуль отвечает не только за внутренние сервисы идентификации, аутентификации и авторизации, но также служит для интеграции LDAP каталогов пользователей из доменов университета и организаций-партнеров, использующих учетные записи из Microsoft Active Directory или Open LDAP.
• vCenter Server
Компонент vCenter Server является центральным компонентом для управления окружением vSphere. Данный модуль предоставляет интерфейсы управления и мониторинга множества узлов vSphere, а также дает возможность использования таких технологий как VMware vSphere vMotion и VMware vSphere High Availability.
• vCenter Inventory Service
Большой процент запросов vSphere Web Client к серверу являются лишь запросами на чтение текущей конфигурации системы и её состояния. Inventory Service является компонентом, кэширующим большую часть информации о текущем состоянии окружения, для ответов на запросы vSphere Web Client, в целях уменьшения нагрузки на базовые процессы vCenter и уменьшения времени отклика и соответственно повышения быстродействия ВКЛ в целом.
• vShere Server for Web Client (vSphere Web Client)
vSphere Web Client является основным интерфейсом централизованного управления окружением, его можно условно разделить на две части: первая - серверная часть, обслуживающая запросы второй части, которой является Adobe Flex совместимый браузер конечного пользователя c поддержкой функциональности NPAPI. Стоит отметить, что управление виртуальной компьютерной лабораторией также может осуществляться и с использованием, установленного на компьютере конечного пользователя vCenter Server Desktop Client.
• vCenter Server Database
База данных является одним из центральных компонентов в архитектуре стека vCenter Server. Большинство обращений к vCenter Server приводит к выполнению операций ввода-вывода в рамках процесса коммуникации с базой данных. База данных виртуальной компьютерной лаборатории является основным местом хранения параметров vCenter Server, а также хранилищем статистических данных и данных, полученных от компонентов мониторинга и аудита. Сохраняемые данные статистики при последующем анализе позволяют оптимизировать работу системы.
Для виртуализации 3D используются видеокарты Nvidia Kepler и VMware Horizon Suite для удалённых VDI подключений, а также формирования образов виртуальных серверов и рабочих станций, разделённых на слои с помощью Vmware ThinApp и управления ими.
Принимая современные вызовы, мы стали формировать не только техническую среду, но и пространство, в котором формируются и распространяются знания, по аналогии с законами физики и термодинамики, а также с законами функционирования социотехнических систем, формируя особые условия коллабора-
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
ции учащихся и преподавателей в рамках целостной образовательной среды, предоставляемой виртуальной компьютерной лабораторией, которая позволяет учащимся самостоятельно создавать собственные и развёртывать готовые многокомпонентные корпоративные информационные системы, самостоятельно и в командах, совместно формировать учебно-методические материалы, вовлекая разные поколения учащихся, что существенно повышает когнитивность восприятия учебно-методического материала.
При подготовке ИТ-специалистов необходимо порвать порочную практику подготовки потребителей и нацелить все силы на формирование креативных созидателей. Для этого, очень важно учить тому, как создавать информационные системы с нуля, уделяя должное внимание настройке оборудования, оптимизации производительности, самостоятельной реализации коммутации и интеграции всех необходимых компонентов системы, а уже потом решать проблемно-ориентированные задачи. В текущих условиях особую важность приобретает процесс практического изучения современных протоколов взаимодействия, что позволяет формировать у учащихся подходы к совершенствованию существующих систем, не меняя уровень представления, подключать современные горизонтально масштабируемые средства хранения данных, распределённой сверточной (частотной) аналитики, OLAP анализа на основе материализованных представлений, позволяющих ускорять вывод данных в Business Intelligence системы без снижения надёжности и повышения стоимости по сравнению с in-memory решениями. Помимо подготовки программистов в области бизнес-аналитики и больших данных, разработки мобильных решений и облачных сервисов, мы сделали акцент на подготовку программистов в области нейросетей, способных к созданию жизнеспособных топологий нейронных сетей и их обучению с применением современных процессорных архитектур и технологий распределённых вычислений MPI, CUDA для эффективного решения задач когнитивной информатики и машинного обучения.
Специалист будущего, это специалист, который обладает не только фундаментальными научными знаниями, но и обладает блестящим инженерным потенциалом, способный компоновать и создавать масштабируемые вычислительные решения под требования проекта. Именно наличие подготовленных специалистов такого уровня должно позволить создавать условия для развития науки и её практических приложений ускоренными темпами.
Для управления виртуальной компьютерной лабораторий был реализован портал управления на базе классического стека технологий web программирования (HTML, CSS, JavaScript, PHP, Apache, MariaDB, в настоящее время исследуется возможность перехода на Node.JS и AngularJS), а также реализована система управления знаниями (knowledge management). Необходимость создания такой системы в рамках архитектуры виртуальной компьютерной лаборатории обусловлена тем, что освоение распределённых информационных систем может происходить дистанционно, поэтому очень важно, создать социальную сеть между всеми участниками, а также сформировать такую среду, чтобы каждый учащийся имел возможность самостоятельного вхождения в такие процессы, как идентификация, приобретение, представление и использование (распространение) знаний с минимальным участием преподавателя, а в некоторых случаях даже без его непосредственного участия.
Способы использования (распространения) знаний непо-
средственно связаны со способами хранения и, соответственно, для передачи формализованных знаний могут быть использованы такие технологические средства как страницы How-to(s) и Decisions с встроенными поисковыми механизмами, блоги, вики, социальная сеть, «Вики-учебник» с возможностью коллабора-ции всех участников для совместного создания и актуализации учебного контента, коллекции практических задач (в том числе и от реальных компаний), блоги пользователей, форумы и система групповых чатов. Такой подход, неявным образом позволяет сформировать мета-уровневую фреймовую модель знаний, построенную на основе концепции Марвина Мински (Marvin Minsky), где благодаря абстракции возможно определить соответствие между компонентами системы управления знаниями и структурой фрейма (идентификатор фрейма, идентификатор слота, указатель наследования, указатель атрибутов, значение слота), там, где это возможно, опираясь на здравый смысл и критическое мышление. При этом формируя базовую структуру знаниевого контента, необходимо иметь в виду соответствие как минимум трём типам фреймов: фрейм-класс (представляет совокупность фреймов-образцов), фрейм-образец (шаблон описывающий объекты, связи, переходы состояний, функции перехода, а также допустимые ситуации предметной области), фрейм экземпляр (конкретная реализация фрейма на уровне технологий и начальной структуры контента, которая в последствии будет изменяться участниками системы). Выделение фреймов и создание структуры контента, позволяет модераторам проводить обзор и модерацию, выступая в роли эксперта-арбитра, и в случае необходимости удалять разнотипные объекты, представленные в среде виртуальной компьютерной лаборатории в виде заметок, комментариев, блогов и т.п. [3-5].
Практика учебного процесса с использованием виртуальной лаборатории, показывает необходимость переосмысления практических подходов взаимодействия с инфраструктурой объектов виртуальной компьютерной лаборатории и применения новых технологических решений для улучшения учебного процесса.
Большое количество не слишком наглядных и очевидных абстракций, используемых в рамках выбранной платформы виртуализации (что характерно для всех существующих платформ виртуализации), затрудняет процесс погружения студентов в технологическую базу и усложняет понимание и целостное восприятие объектов виртуальной среды и их взаимодействия, которые крайне необходимы для развертывания и освоения распределенных информационных систем в среде ВКЛ.
В результате проделанной научно-практической работы, был разработан метод автоматической генерации и настройки виртуальной инфраструктуры на основе естественного языка и графической модели, что позволило снизить требования к начальным знаниям, умениям и навыкам учащихся для быстрого вхождения в среду виртуальной компьютерной лаборатории, продуктивного выполнения практических задач в среде виртуальной компьютерной лаборатории, тем самым реализовать принцип неантагонистичности ВКЛ существующему образовательному процессу очного и дистанционного обучения.
Также удалось повысить когнитивность взаимодействия с виртуальной компьютерной лабораторией за счёт визуальных моделей и экспертной системы, привнеся в учебный процесс в среде ВКЛ зрительное восприятие, концентрацию внимания на решаемой задаче, воображение, мышление и естественный язык.
Vol. 14, no 4. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, М.А. Белов, Ю.А. Крюков, М.А. Михеев,
методическое обеспечение П.Е. Лупанов, Н.А.Токарева, Е.Н. Черемисина
Представление виртуальной инфраструктуры, используемой в учебном процессе и научно-практической деятельности, в виде модели конечного автомата, позволяет не только выполнять автоматическую генерацию виртуальной инфраструктуры, но и сформировать необходимый и достаточный перечень процедур программного интерфейса гипервизора, тем самым однозначно определять возможность применения того или иного гипервизора в качестве ядра виртуальной компьютерной лаборатории, повысив её универсальность к аппаратно-программной платформе низкого уровня.
Разработанная архитектура виртуальной компьютерной лаборатории и методология обучения повышает уровень интеллектуальности виртуальной компьютерной лаборатории, позволяя достигнуть цели управления с минимальным расходом временных ресурсов всех лиц, принимающих участие во взаимодействии с виртуальной компьютерной лабораторией.
Внедрение технологий контейнеризации и оркестровки контейнеров для повышения продуктивности освоения распределённых информационных систем в среде виртуальной компьютерной лаборатории
Внедрение технологий контейнеризации позволяет усовершенствовать процесс развёртывания и использования корпоративных информационных систем в процессе подготовки ИТ-специалистов. Прежде чем говорить о технической стороне вопроса, для начала имеет смысл сделать акцент на некоторых методических аспектах. Как правило, большинство студентов магистратуры начинают заниматься профессиональной деятельностью в организациях-партнёрах ВУЗа, что способствует переходу от общедоступных базовых ИТ-знаний к проектной ориентации и требует быстрого развёртывания информационных систем для того, чтобы, например, быстро освежить знания, умения и владения перед собеседованием или продемонстрировать потенциальному работодателю выполнение практических заданий с применением требуемых программно-инструментальных средств. В этом случае требуется альтернатива применению средств аппаратной виртуализации, ориентированных, главным образом, на развёртывание и углубленное освоение информационных систем с нуля, где учащиеся выполняют все операции вручную, получая необходимые и достаточные навыки и умения. Так же следует иметь в виду, что массовое развёртывание готовых образов на узлы ВКЛ с аппаратной виртуализацией на достаточно короткий срок с быстрым последующим удалением приводит к более быстрому износу и выходу из строя твердотельных накопителей, способствует существенному увеличению нагрузки на узлы виртуальной компьютерной лаборатории, а также требует дополнительных финансовых затрат на вспомогательное программное обеспечение для управления образами. Поэтому внедрение технологий контейнеризации означает - с одной стороны - новый этап виртуализации, а с другой позволяет повысить эффективность решения широкого спектра учебно-методических задач подготовки ИТ-специалистов, стоящих перед ВУЗом и закрыть потребности, главным образом, региональных компаний в высококвалифицированных специалистах. Говоря о технических аспектах контейнеризации, по сравнению с аппаратной виртуализацией, ядро базовой опера-
ционной системы используется для всех контейнеров. С одной стороны, это привносит ограничения по использованию других операционных систем, но с другой стороны - позволяет повысить полезную нагрузку на сервере аналогичной конфигурации, ускорить развёртывание информационных систем, снизить затраты на обслуживание дисковой системы и электроэнергию, а также снизить внеаудиторную нагрузку на профессорско-преподавательский состав, благодаря возможности свободного использования внешних репозиториев с готовыми настроенными контейнерами, что в перспективе приведёт к более тесному межвузовскому партнерству и сотрудничеству. Это удаётся сделать за счёт особенностей архитектуры контейнеризации. В инфраструктуру виртуальной компьютерной лаборатории были добавлены узлы под управлением операционной системы RedHat Linux (Centos) c развёрнутым программным обеспечением Docker, включая Docker Compose и Docker Swarm, а также Google Kubernetes.
Итак, давайте посмотрим, как выглядит данная архитектура в обобщенном виде. Docker использует архитектуру клиент-сервер, в которой Docker-клиент взаимодействует с демоном Docker, позволяя выполнять операции создания, запуска контейнеров на сервере и их предоставления учащимся. В общем виде, систему контейнеризации можно представить в виде трёх ключевых компонентов: образы (images), реестр (registries), контейнеры. Образы — это read-only шаблоны, которые содержат операционную систему, базирующуюся на одной версии ядра с хост-системой c необходимым предустановленным и настроенным программным обеспечением. Эти образы создаются, при необходимости изменяются, а затем используются для создания индивидуальных изолированных контейнеров. Образы хранятся в реестре (реестр является компонентой хранения и распространения образов) и формируются на основе учебных программ курсов и планов лабораторных работ, подготовленных профессорско-преподавательским составом. Однако, для загрузки необходимых образов могут быть использованы публичные хабы, в которых содержится большая коллекция образов, созданных независимыми энтузиастами.
Сами контейнеры, по сути, похожи на каталоги (директории) операционной системы, в которых хранятся все изменения, сделанные пользователем и системным программным обеспечением в процессе его работы. Каждый контейнер создается из образа, предоставляя возможность быстрого создания, запуска, остановки, переноса, удаления и является безопасной изолированной средой для выполнения приложений, позволяя учащемуся проводить любые эксперименты, не подвергая опасностям базовую операционную систему, при этом сохраняя высочайший уровень производительности.
Однако, поскольку виртуальная компьютерная лаборатория является инструментом освоения многокомпонентных информационных систем, то возникает необходимость скомпоновать несколько разрозненных компонентов и определить зависимости и последовательность запуска, по сути организовать устойчивое взаимодействие компонентов на уровне сети. Процесс такой организации множества контейнеров известен как оркестровка контейнеров.
На сегодняшний день активно развиваются следующие проекты в области оркестровки контейнеров: Apache Mesos, Google Kubernetes и Docker Swarm. Несмотря на то, что все они имеют собственные методологии управления контейнерами, все они инвариантны по отношению к базовым задачам управ-
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
ления контейнерами: запуск и остановка контейнеров, группировка их в кластеры и координирование процессов, образующих изучаемую распределённую информационную систему. Управление кластером представляет собой управление группой серверов, так называемых узлов кластера, (поскольку с увеличением набора учащихся потребуется увеличение их количества) и включает возможности добавления и удаления узлов из кластера, получение информации о текущем состоянии (статусе) узлов кластера и контейнеров, а также запуск и остановку процессов. Управление кластером контейнеризации тесно связано с распределением работы между его узлами, поскольку планировщик должен иметь доступ к каждому узлу кластера для распределения задач. По этой причине нередко одно и то же приложение используется и для управления кластером и для распределения задач между его узлами.
Инструменты оркестровки контейнеров позволяют пользователям управлять развертыванием контейнеров, а также автоматизировать обновления, мониторинг состояния и процедуры аварийного переключения.
В настоящее время мы начали тестирование инструмента оркестровки Google Kubernetes, основу которого составляют два ключевых компонента - Service Discovery (Служба обнаружения) и Scheduler (Планировщик). Поскольку большинство современных многокомпонентных информационных систем взаимодействуют по протоколу TCP/IP, то, по сути, могут быть абстрагированы и представлены в виде мультисервисной (иногда говорят, микросервисной) архитектуры. Данная идея не нова, это фактически одна из вариаций переосмысления классической клиент-серверной архитектуры, и состоит в разделении монолитного приложения на отдельные автономные сервисы, которые взаимосвязаны между собой и тем самым образуют распределенную систему, по сути база данных или сервер приложений можно считать автономным сервисом. Самостоятельная работа студентов в среде виртуальной компьютерной лаборатории приводит к резкому увеличению количества сервисов, размещённых в контейнерах, поэтому нет смысла вручную назначать порты TCP/UDP и вести учёт уже назначенных портов, которые задействованы в работающих сервисах. Кажется весьма разумной операция назначения порта контейнера автоматически сразу после его развёртывания, поскольку такой подход решает проблему конфликта между портами, но с другой стороны он же делает невозможным поиск нужного сервиса и предоставление его другим сервисам. Именно эту проблему и решает Discovery Service, в момент запуска сервиса из контейнера происходит его регистрация в распределённом хранилище «ключ/ значение» с IP-адресом и номером порта, где другие сервисы могут легко находить и вызывать нужный сервис.
Планировщик (scheduler) берет на себя задачу запуска контейнеризованных приложений с учетом доступных ресурсов, текущих задач и запросов и выполняет масштабирование, переназначение задач на разные узлы и перемещение рабочих нагрузок между мощностями в случае отказов или программных сбоев.
Также, для построения кластера контейнеризации хорошо подходит операционная система CoreOS, минималистичный дистрибутив которой занимает менее 150 Мб. Учащийся устанавливает её на одну или несколько виртуальных машин посредством готового пакета Open Virtual Appliance (OVA). CoreOS состоит из 4-х ключевых компонентов: Systemd, Docker (или аналог Rocket (Rkt)), Etcd, Fleet. Systemd - служба, которая управляет запуском
и остановкой сервисов, а в случае CoreOS контейнеров, посредством сервиса.
На сегодняшний день мы создаём библиотеку шаблонов сервисов для наиболее востребованных контейнеров и проектируем специализированную графическую оболочку, чтобы снизить порог вхождения студентов, но даже сейчас создать контейнер в кластере CoreOS самостоятельно вполне доступно для многих учащихся. Мы не будем приводить в статье пример гипертекстового описания сервиса, т.к. достаточно подробное описание приводится практически во всех дистрибутивах Linux, но остановимся на системе Fleet, которая переносит управление службами с локальной машины на уровень кластера. Fleet хранит конфигурацию служб в распределённом хранилище Etcd, автоматически доставляет ее на локальные машины, запускает, перезапускает (при необходимости), останавливает службы на машинах кластера. Fleet автоматически планирует запуск служб на основе анализа загруженности узлов кластера, хотя в особых случаях имеется возможность привязать службу к выбранному узлу кластера.
Etcd - распределенное key-value хранилище, поддерживающее интерфейс HTTP REST. Etcd запускается на каждом узле кластера CoreOS и обеспечивает общий доступ к системным данным в масштабе всего кластера контейнеризации. Внутри Etcd хранятся настройки служб, их текущие состояние, конфигурация самого кластера и т.д.
Однако, использование CoreOS имеет некоторые особенности, связанные с персистентностью данных. Суть вот в чём, кластер CoreOS фактически базируется на концепции stateless docker-контейнеров, которые перемещаются между узлами кластера и на них запускаются. Проблему переноса необходимых сопутствующих статических файлов можно решить различными способами, например используя Docker Compose создать их с помощью отдельного контейнера, в виде data volume, но при работе с классическими реляционными базами данных, в случае модификации данных внутри СУБД во время работы контейнера, при его переносе на другой узел произойдёт потеря изменённых данных.
Однако для поддержки образовательных задач, рассмотренных в начале раздела, данное ограничение не является критичным.
В конце этого раздела, хотелось бы отметь то, что творческий коллектив Государственного университета «Дубна» занимается непрерывным совершенствованием и развитием виртуальной компьютерной лаборатории, внедряя самые передовые технологические достижения в области ИТ и формирует методологическую платформу, для гармоничного встраивания и использования в учебном процессе и успешного решения всего спектра возникающих образовательных, исследовательских, прикладных и проектных задач, обеспечивая тем самым беспрецедентно высокий показатель трудоустройства выпускников Института системного анализа и управления Государственного университета «Дубна» в ведущие компании отрасли.
Заключение
Сегодня становится очевидно, что ИТ-специалист будущего в Российской Федерации, это специалист, который обладает не только фундаментальным научным подходом, но и блестящим инженерным потенциалом, способный компоновать и создавать технологичные масштабируемые вычислительные решения под
Vol. 14, no 4. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, М.А. Белов, Ю.А. Крюков, М.А. Михеев,
методическое обеспечение П.Е. Лупанов, Н.А.Токарева, Е.Н. Черемисина
требования проекта. Именно наличие подготовленных специалистов такого уровня должно позволить создавать условия для развития науки и её практических приложений в народном хозяйстве ускоренными темпами. [5]
Все вышеперечисленные задачи можно успешно решать в среде виртуальной компьютерной лаборатории, которая за время своего развития стала не только инновационным инструментом подготовки высококвалифицированных ИТ-специалистов, но и востребованной площадкой для технического взаи- [6] модействия выпускников с потенциальными работодателями, позволяя в реальном масштабе времени демонстрировать свою квалификацию, а в некоторых случаях воспроизвести проблему работодателя в виртуальной инфраструктуре и попытаться её решить совместными усилиями.
Исходя из этого, приоритетной задачей ВУЗа является создание максимального благоприятных условий для формирова- [7] ния профессиональных компетенций в области ИТ, с помощью которых выпускники смогут успешно решать широкий спектр предметных задач применяя самые передовые методики и программно-технологические решения.
Также следует особо отметить, что внедрение виртуальной компьютерной лаборатории позволило организовать созда- [8] ние оптимальной и устойчивой технической, технологической, учебно-организационной, научно-методической и нормативно-административной среды, обеспечивающей поддержку инновационных подходов к компьютерному образованию, что способствует интеграции научно-образовательного потенциала [9] Государственного университета «Дубна», отраслевой и академической науки, установление партнерских отношений с ведущими компаниями - потенциальными работодателями для выпускников Института системного анализа и управления.
[10]
Список использованных источников
[1] Белов М.А., Крюков Ю.А., Лупанов П.Е., Михеев М.А., Черемисина Е.Н. Концепция когнитивного взаимодействия с виртуальной компьютерной лабораторией на основе визуальных моделей и экспертной системы // Современная [11] наука: актуальные проблемы теории и практики. Серия: Естественные и технические науки. 2018. № 10. С. 27-35.
URL: https://elibrary.ru/item.asp?id=36403665 (дата обращения: 12.07.2018).
[2] Белов М.А., Лупанов П.Е., Токарева Н.А., Черемисина Е.Н. [12] Концепция усовершенствованной архитектуры виртуальной компьютерной Лаборатории для эффективного обучения специалистов по распределённым информационным системам различного назначения и инструментальным средствам проектирования // Современ- [13] ные информационные технологии и ИТ-образование. 2017. Т. 13, № 1. С. 182-189. URL: https://elibrary.ru/item. asp?id=29334542 (дата обращения: 12.07.2018).
[3] Belov M.A., Cheremisina E.N., Potemkina S.V. Distance learning through distributed information systems using a virtual computer lab and knowledge management system // Journal
of Emerging research and solutions in ICT. 2016. Vol. 1, issue [14] 2. Pp. 39-46. DOI: 10.20544/ERSICT.02.16.P04
[4] Лишилин М.В., Белов М.А., Токарева Н.А., Сорокин А.В. Концептуальная модель системы управления знаниями для формирования профессиональных компетенций в области ИТ в среде виртуальной компьютерной лаборатории
// Фундаментальные исследования. 2015. № 11-5. С. 886890. URL: https://elibrary.ru/item.asp?id=25097628 (дата обращения: 12.07.2018).
Белов М.А., Лишилин М.В., Токарева Н.А., Антипов О.Е. От виртуальной компьютерной лаборатории к управлению знаниями. Итоги и перспективы // Качество. Инновации. Образование. 2014. № 9(112). С. 3-14. URL: https://elibrary. ru/item.asp?id=23089246 (дата обращения: 12.07.2018). Черемисина Е.Н., Белов М.А., Лишилин М.В. Интеграция виртуальной компьютерной лаборатории и знаниевого пространства - новый взгляд на подготовку высококвалифицированных ИТ-специалистов // Системный анализ в науке и образовании. 2014. № 1(23). С. 97-104. URL: https://elibrary.ru/item.asp?id=23148937 (дата обращения: 12.07.2018).
Черемисина Е.Н., Белов М.А., Лишилин М.В. Анализ ключевых активностей жизненного цикла управления знаниями в ВУЗе и формирование концептуальной модели архитектуры системы управления знаниями // Открытое образование. 2013. № 3(98). С. 34-41. URL: https://elibrary. ru/item.asp?id=19117965 (дата обращения: 12.07.2018). Черемисина Е.Н., Митрошин П.А., Белов М.А. Комплексные системы электронного обучения как инструментарий оценки компетенций учащихся // Наука и бизнес: пути развития. 2013. № 5(23). С. 113-122. URL: https://elibrary. ru/item.asp?id=20654329 (дата обращения: 12.07.2018). Belov M.A., Tokareva N.A., Cheremisina E.N. F1: The cloud-based virtual computer laboratory - an innovative tool for Training // 1st International Conference IT for Geosciences 2012. Dubna, 2012. Pp. F1. URL: https://elibrary.ru/item. asp?id=23960860 (дата обращения: 12.07.2018). Черемисина Е.Н., Антипов О.Е., Белов М.А. Роль виртуальной компьютерной лаборатории на основе технологии облачных вычислений в современном компьютерном образовании // Дистанционное и виртуальное обучение. 2012. № 1. С. 50-64. URL: https://elibrary.ru/item. asp?id=17300377 (дата обращения: 12.07.2018). Белов М.А., Антипов О.Е. Контрольно-измерительная система оценки качества обучения в виртуальной компьютерной лаборатории // Качество. Инновации. Образование. 2012. № 3(82). С. 28-32. URL: https://elibrary.ru/item. asp?id=17794961 (дата обращения: 12.07.2018). Антипов О.Е., Белов М.А. Технология применения виртуальной компьютерной лаборатории в учебных курсах вуза // Естественные и технические науки. 2012. № 1(57). С. 260-268. URL: https://elibrary.ru/item.asp?id=17660587 (дата обращения: 12.07.2018).
Черемисина Е.Н., Белов М.А., Антипов О.Е., Сорокин А.В. Инновационная практика компьютерного образования в университете «Дубна» с применением виртуальной компьютерной лаборатории на основе технологий облачных вычислений // Программная инженерия. 2012. № 5. С. 3441. URL: https://elibrary.ru/item.asp?id=17847427 (дата обращения: 12.07.2018).
Антипов О.Е., Белов М.А., Токарева Н.А. Архитектура виртуальной компьютерной лаборатории для подготовки специалистов в области информационных технологий // Компьютерные инструменты в образовании. 2011. № 4. С. 37-44. URL: https://elibrary.ru/item.asp?id=21786025 (дата обращения: 12.07.2018).
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
[15] Антипов О.Е., Белов М.А. Опыт использования открытого программного обеспечения в виртуальной компьютерной лаборатории на основе технологии облачных вычислений // Проблемы и перспективы развития образования в России. 2010. № 6. С. 112-116. URL: https://elibrary. ru/item.asp?id=20584913 (дата обращения: 12.07.2018).
[16] Антипов О.Е., Белов М.А. Разработка и внедрение программно-аппаратной платформы виртуальной компьютерной лаборатории в образовательный процесс высшей школы // Наука и современность. 2010. № 7-2. С. 8-11. URL: https://elibrary.ru/item.asp?id=21084205 (дата обращения: 12.07.2018).
Поступила 12.07.2018; принята в печать 10.10.2018; опубликована онлайн 10.12.2018.
References
[1] Belov M.A., Kryukov Y.A., Lupanov P.E., Miheev M.A., Cheremisina E.N. The concept of cognitive interaction with a virtual computer laboratory based on visual models and expert systems. Modern Science: actual problems of theory and practice". Series «Natural and Technical Sciences. 2018; 10:27-36. Available at: https://elibrary.ru/item.asp?id=36403665 (accessed 12.07.2018). (In Russian)
[2] Belov M.A., Lupanov P.E., Tokareva N.A., Cheremisina E.N. Concept of the improved architecture of virtual computer laboratory for effective training of specialists skilled in distributed information systems and design tools. Modern Information Technologies and IT-Education. 2017; 13(1):182-189. Available at: https://elibrary.ru/item.asp?id=29334542 (accessed 12.07.2018). (In Russian)
[3] Belov M.A., Cheremisina E.N., Potemkina S.V. Distance learning through distributed information systems using a virtual computer lab and knowledge management system. Journal of Emerging research and solutions in ICT. 2016; 1(2):39-46. DOI: 10.20544/ERSICT.02.16.P04
[4] Lishilin M.V., Belov M.A., Tokareva N.A., Sorokin A.V. Conceptual model of knowledge management system for forming professional competence in the field of it in a virtual computer lab. Fundamental'nye issledovaniya. 2015; 11-5:886-890. Available at: https://elibrary.ru/item.asp?id=25097628 (accessed 12.07.2018). (In Russian)
[5] Belov M.A., Lishilin M.V., Tokareva N.A., Antipov O.E. From the virtual computer lab to knowledge management. Results and prospects. Kachestvo. Innovatsii. Obrazovanie. 2014; 9(112):3-14. Available at: https://elibrary.ru/item.asp?id=23089246 (accessed 12.07.2018). (In Russian)
[6] Cheremisina E.N., Belov M.A., Lishilin M.V. Integration of virtual computer laboratory with information knowledge space - a new look on the education of it-professionals. Sistemnyy analiz v nauke i obrazovanii. 2014; 1(23):97-104. Available at: https://elibrary.ru/item.asp?id=23148937 (accessed 12.07.2018). (In Russian)
[7] Cheremisina E.N., Belov M.A., Lishilin M.V. Analysis of the key activities of the life cycle of knowledge management in the university and development of the conceptual architecture of the knowledge management system. Open Education. 2013; 3(98):34-41. Available at: https://elibrary.ru/item.as-p?id=19117965 (accessed 12.07.2018). (In Russian)
[8] Cheremisina E.N., Mitroshin P.A., Belov M.A. Integrated E-Learning Systems as Tools for Assessing Students' Competencies. Science and Business: Ways of Development. 2013; 5(23):113-122. Available at: https://elibrary.ru/item.as-p?id=20654329 (accessed 12.07.2018). (In Russian)
[9] Belov M.A., Tokareva N.A., Cheremisina E.N. F1: The cloud-based virtual computer laboratory - an innovative tool for Training. 1st International Conference IT for Geosciences 2012. Dubna, 2012, pp. F1. Available at: https://elibrary.ru/item. asp?id=23960860 (accessed 12.07.2018). (In Russian)
[10] Cheremisina E.N., Antipov O.E., Belov M.A. A Role of a Virtual Computer Laboratory based on Technologies of Cloud Calculations in Up-To-Date Computer Education. Distantsionnoe i virtual'noe obuchenie. 2012; 1:50-64. Available at: https:// elibrary.ru/item.asp?id=17300377 (accessed 12.07.2018). (In Russian)
[11] Belov M.A., Antipov O.E. Control and measuring system of an estimation of quality of training in virtual computer laboratory. Kachestvo. Innovatsii. Obrazovanie. 2012; 3(82):28-32. Available at: https://elibrary.ru/item.asp?id=17794961 (accessed 12.07.2018). (In Russian)
[12] Antipov O.E., Belov M.A. Tekhnologiya primeneniya virtu-al'noy komp'yuternoy laboratorii v uchebnyh kursah vuza. Estestvennye i tekhnicheskie nauki. 2012; 1(57):260-268. Available at: https://elibrary.ru/item.asp?id=17660587 (accessed 12.07.2018). (In Russian)
[13] Cheremisina E.N., Belov M.A., Antipov O.E., Sorokin A.V. Inno-
vational Approach to E-learning in Dubna University based on Virtual Computerized Laboratory and Cloud Computing. Software Engineering. 2012; 5:34-41. Available at: https:// elibrary.ru/item.asp?id=17847427 (accessed 12.07.2018). (In Russian)
[14] Antipov O.E., Belov M.A., Tokareva N.A. Arhitektura virtu-al'noy komp'yuternoy laboratorii dlya podgotovki spetsialis-tov v oblasti informatsionnyh tekhnologiy. Computer Tools in Education. 2011; 4:37-44. Available at: https://elibrary.ru/ item.asp?id=21786025 (accessed 12.07.2018). (In Russian)
[15] Antipov O.E., Belov M.A. Opyt ispol'zovaniya otkrytogo pro-grammnogo obespecheniya v virtual'noy komp'yuternoy laboratorii na osnove tekhnologii oblachnyh vychisleniy. Proble-my i perspektivy razvitiya obrazovaniya v Rossii. 2010; 6:112116. Available at: https://elibrary.ru/item.asp?id=20584913 (accessed 12.07.2018). (In Russian)
[16] Antipov O.E., Belov M.A. Razrabotka i vnedrenie pro-
grammno-apparatnoy platformy virtual'noy komp'yuternoy laboratorii v obrazovatel'nyy protsess vysshey shkoly. Nauka i sovremennost. 2010; 7-2:8-11. Available at: https://elibrary. ru/item.asp?id=21084205 (accessed 12.07.2018). (In Russian)
Submitted 12.07.2018; revised 10.10.2018; published online 10.12.2018.
Vol. 14, no 4. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
bout the authors:
Mikhail A. Belov, Associate Professor of the System Analysis and Control Department, Dubna State University (19 Universitetskaya Str., Dubna 141982, Moscow region, Russia), ORCID: http://orcid.org/0000-0003-0678-3344, belov@uni-dubna.ru
Yuri A. Kryukov, Candidate of Technical Sciences, Vice-rector for Science and Innovation, Dubna State University (19 Universitetskaya Str., Dubna 141982, Moscow region, Russia), ORCID: http://orcid.org/0000-0001-8476-1621, kua@uni-dubna.ru
Maksim А. Mikheev, senior lecturer of the System Analysis and Control Department, Dubna State University (19 Universitetskaya Str., Dubna 141982, Moscow region, Russia), ORCID: http://orcid.org/0000-0001-7922-0687, miheevma@uni-dubna.ru
Pavel E. Lupanov, postgraduate, master teacher of the System Analysis and Control Department, Dubna State University (19 Universitetskaya Str., Dubna 141982, Moscow region, Russia), ORCID: http://orcid.org/0000-0002-1305-6949, belov@uni-dubna.ru
Nadezhda А. Tokareva, Associate Professor of the System Analysis and Control Department, Dubna State University (19 Universitetskaya Str., Dubna 141982, Moscow region, Russia), ORCID: http://orcid.org/0000-0002-0798-2276, tokareva@uni-dubna.ru
Evgenia N. Cheremisina, Doctor of Technical Sciences, Professor, Head of System Analysis and Control Department, Dubna State University (19 Universitetskaya Str., Dubna 141982, Moscow region, Russia), ORCID: http://orcid.org/0000-0002-6041-8359, chere@uni-dubna.ru
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by/4-0), which permits unrestricted reuse, distribution, and reproduction in any medium provided the original work is properly cited.
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
