CC BY
46
УДК 378.1, 005.5, 519.237.8
DOI: 10.25559/SITITO.14.201804.803-814
УПРАВЛЕНИЕ ОБРАЗОВАТЕЛЬНОЙ ПРОГРАММОЙ ВУЗОВ В КОНТЕКСТЕ ПОДГОТОВКИ КОНКУРЕНТОСПОСОБНЫХ РАЗРАБОТЧИКОВ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
В.В. Калевко, Д.Г. Лагерев, А.Г. Подвесовский
Брянский государственный технический университет, г. Брянск, Россия
EDUCATIONAL PROGRAM MANAGEMENT OF UNIVERSITIES IN THE CONTEXT OF TRAINING COMPETITIVE SOFTWARE DEVELOPERS
Viktor V. Kalevko, Dmitri G. Lagerev, Aleksandr G. Podvesovskii Bryansk State Technical University, Bryansk, Russia
I© Калевко В.В., Лагерев Д.Г., Подвесовский А.Г., 2018|
Ключевые слова
Аннотация
Управление образовательным процессом; подготовка разработчиков программного обеспечения; требования к разработчикам ПО; соответствие
образовательной программы запросам рынка труда; модель специализации; мониторинг; кластеризация.
В статье рассматриваются особенности управления образовательной программой вузов в контексте подготовки конкурентоспособных специалистов в ИТ-сфере. Рассмотрены известные противоречия между существующими образовательными стандартами и запросами работодателей в данной сфере с точки зрения потребителей образовательных услуг. Описываются ключевые блоки управления образовательной программой — управление контингентом, ООП, ресурсами, учебным процессом, а также основные особенности требований к ИТ-специалистам. Рассматривается вопрос мониторинга требований на рынке труда к разработчикам ПО и управления набором профессиональных компетенций с учетом этих требований. Представлена схема управления основной образовательной программой, включающая мониторинг требований к ИТ-специалистам, определение целевого состояния ООП и управление профессиональными компетенциями и обеспечивающими их дисциплинами. Представлена математическая модель специализаций и требований, а так же математический аппарат для оценки соответствия набора профессиональных дисциплин учебного плана востребованным специализациям. Проведено исследование популярных специализаций на региональном рынке труда с помощью кластерного анализа, для которого использован алгоритм ^ОРЕ. Проанализировано содержимое рабочих программ дисциплин учебного плана на предмет соответствия определенным требованиям работодателей. Описываются основные выводы и планируемое направление дальнейшей деятельности.
Keywords
Abstract
Education process management; training of software developers; software developer requirements; compliance of the educational program with the demands of the job market; model of specialty; monitoring; clustering.
The article discusses the features of management of the educational program of universities in the context of training competitive specialists in the IT-sphere. The known contradictions between the existing educational standards and employers ' demands in this sphere from the point of view of consumers of educational services are considered. It describes the key blocks of educational program management - contingent, main education program (MEP) resources, education process management, and the main features of the requirements for IT-professionals. We consider the issue of monitoring the requirements of the job market for software developers and management of a set of professional competencies to meet these requirements. The scheme of the main educational program management is presented which include monitoring requirements it-professionals, the definition of the target status of the MEP and the management of
|Об авторах:|
Калевко Виктор Васильевич, аспирант, кафедра информатики и программного обеспечения, Брянский государственный технический университет (241035, Россия, г. Брянск, ул. Харьковская, д. 10-Б), ORCID: http://orcid.org/0000-0001-8152-3265, kalevko.gp@gmail.com Лагерев Дмитрий Григорьевич, кандидат технических наук, доцент, кафедра информатики и программного обеспечения, Брянский государственный технический университет (241035, Россия, г. Брянск, ул. Харьковская, д. 10-Б), ORCID: http://orcid.org/0000-0002-2702-6492, lagerevdg@mail.ru
Подвесовский Александр Георгиевич, кандидат технических наук, доцент, заведующий кафедрой информатики и программного обеспечения, Брянский государственный технический университет (241035, Россия, г. Брянск, ул. Харьковская, д. 10-Б), ORCID: http://orcid. org/0000-0002-1118-3266, apodv@tu-bryansk.ru
Vol. 14, no 4. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, В.В. Калевко, Д.Г. Лагерев,
методическое обеспечение А.Г. Подвесовский
professional competences and ensure their disciplines. The mathematical model of specializations and requirements, and also the mathematical apparatus for an assessment of compliance of a set of professional disciplines of the curriculum to demanded specializations is presented. For this purpose, a research of popular specializations in the regional job market using cluster analysis, for which the CLOPE algorithm is used. Analyzed the content of the discipline work programs of the curriculum for compliance with certain requirements of employers. The main conclusions and the planned direction of further activities are described.
Введение
Современная российская экономика существует в условиях конкуренции. Коммерческие организации стремятся развивать производственные и технологические процессы для получения превосходства, а работодатели при приеме на работу ожидают от соискателей владения актуальными знаниями и навыками, обеспечивающимися профессиональными компетенциями. В современную эпоху глобализации это происходит в большей степени под влиянием мировых трендов. При этом для работодателей специалисты с соответствующим набором компетенций нужны как можно быстрее. Обобщенный запрос работодателями различных специалистов формирует «биржу труда». Довольно часто работодатели сотрудничают с вузами для подготовки специалистов с необходимым набором навыков (рис. 1).
В свою очередь министерство образования и науки РФ отслеживает происходящие тенденции, в том числе, на рынке труда и работает над улучшением и актуализацией федеральных государственных образовательных стандартов (ФГОС). В 2017 появились ФГОС высшего образования поколения 3++, которые более гибко позволяют реализовывать потенциал компетент-ностного подхода.
На выбор абитуриентов при определении вуза и направления подготовки влияют многие вещи - популярность и востребованность специалистов разных профилей, в том числе и размер заработной платы, а так же отзывы от уже обучающихся по соответствующим направлениям студентов и закончивших обучение специалистов.
Основным измеримым результатом подготовки являются выпускники. Набор компетенций и их уровень должен позволить выпускникам выполнять востребованную и перспективную работу. Этот результат является частью необходимых рейтинговых показателей вуза, которые в т.ч. влияют на популярность вуза в целом и направления подготовки в частности. По результатам трудоустройства выпускников вузы также смогут оценить качество обучения.
Оценить качество образования можно с разных точек зрения. С точки зрения учебных заведений показателем качества может выступать степень соответствия уровня подготовки требованиям, которые сформулированы в ФГОС. Для абитуриентов и учащихся важно получить такое образование в виде знаний и навыков, которое позволит конкурировать на рынке труда и развивать карьеру. Работодатели заинтересованы в том, чтобы выпускники вузов соответствовали необходимым требованиям, т.е. имели необходимую базу подготовки и владели востребованным инструментами.
Можно сделать вывод, что образовательная деятельность может быть успешной в том случае, если образовательные программы будут способны гибко следовать за изменениями конъюнктуры рынка и требованиями работодателей. При этом «под образовательной программой понимается совокупность
свойств образовательной услуги, значимых для потребителей» [1]. Таким образом, становится действительно важной эффективное функционирование системы управления образовательной программой для обеспечения конкурентоспособности.
Основная часть
Систему управления образовательной программой можно разделить на 4 ключевых взаимосвязанных блока (рис. 2).
Блок управления контингентом отвечает за работу с уже обучающимися студентами и за подготовку и осуществление нового набора. При подготовке нового набора руководство кафедры прогнозирует возможное количество поступающих студентов, а так же их уровень. На основе последнего определяется проходной балл. Если наборы уже были, можно использовать статистику по уровню абитуриентов и по тому как, они учились. Если же нет, то можно сравнить по другим вузам такие же направления или смежные с определенной поправкой. Нужно учитывать, какой процент будущих абитуриентов будет сдавать профильные предметы. Среди профильных предметов можно выделить как популярные (обществознание), так и менее распространенные (информатика).
Обычно образовательные программы должны быть подготовлены за год до начала обучения. Допускаются некоторые корректировки за полгода до начала обучения, в зависимости от организации этого процесса в конкретном вузе. Соответственно, если при подготовке образовательных программ это учесть, то эффективность управления процессом обучения будет выше.
Блок управления ООП отвечает за управление необходимыми для направлений подготовки сущностями - набором компетенций, учебным планом, рабочими программами [2]. При этом важно определиться с действительно актуальными и востребованными на рынке труда компетенциями, а так же обеспечивающими их дисциплинами, изучение которых будет поставлено в порядке, обусловленном связями между дидактическими единицами в модулях дисциплин. При этом распределение зачетных единиц по дисциплинам будет выполнено в соответствии с ценностью связанных с дисциплинами компетенций.
Управление ресурсами для осуществления учебного процесса также играет важную роль. Под такими ресурсами будем понимать уровень и компетентность профессорско-преподавательского состава задействованных кафедр, оснащенность аудиторий, в том числе специальным оборудованием и программным обеспечением, электронную образовательную среду и учебно-методические комплексы. Состояние перечисленных ресурсов определяет, получится ли обеспечить необходимые компетенции, т.е. осуществить обучение по обеспечивающим дисциплинам. Зачастую управление ресурсами предполагает эффективное распределение денежных средствам для приближения целевому состоянию ресурсов. Соответственно, управление ресурсами должно быть направленно на повышение возможности обеспечивать учебный процесс на высоком уровне.
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Рис. 1. Взаимодействие системы управления образовательной программой вуза с окружающей средой.
Сплошной чертой выделены явные воздействия, штрихом - неявные. Fig. 1. Interaction of the management system of the educational program of the university with the environment. The solid line indicates the explicit effects, the stroke - implicit ones.
Новые технологии
Запрос подготовки специалистов
Отзывы о подготовке специалистов
Востребованные специализации
ФГОС,
проф. стандарты
Система управления образовательной программой
1. Управление контингентом 3.Управление ресурсами для осуществления учебного процесса
2. Управление основными образовательными программами 4. Управление учебным процессом
Рейтинговые показатели
Результаты подготовки
А I
Предпочтения абитуриентов по направлениям, уровень подготовки
Рис. 2. Ключевые блоки в системе управления образовательной программой вуза Fig. 2. Key blocks in the management system of the university educational program
Vol. 14, no 4. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, В.В. Калевко, Д.Г. Лагерев,
методическое обеспечение А.Г. Подвесовский
Управление учебным процессом включает в себя распределение нагрузки между преподавателями, проведение занятий и практик, контроль знаний. Данный блок непосредственно взаимодействует с контингентом (блок №1). Для проведения занятий должен быть подготовлен учебный план, рабочие программы и методические указания (блок №2). В процессе управления учебным процессом можно фиксировать различные метрики, которые могут касаться как отдельных студентов или преподавателей, так и групп и дисциплин. Данные метрики можно использовать в качестве обратной связи для управления всеми перечисленными блоками.
Рассмотрим более детально блок №2 «Управление основными образовательными программами» (рис. 3). В процессе управления ООП выделяются блоки управления компетенциями и управление учебным планом в виде управления дисциплинами.
В соответствии с ФГОС 3++ компетенции разделяются на 3 множества - универсальные, общепрофессиональные и профессиональные. Универсальные и общепрофессиональные компетенции строго закреплены в стандарте [3]. В тоже время стандарт делегирует образовательной организации определение профессиональных компетенций. Как правило, за это отвечает выпускающая кафедра, которая определяет необходимые профессиональные компетенции и обеспечивающие их дисциплины.
Для обеспечения универсальных и общепрофессиональных компетенций используются общепрофессиональные и гуманитарные дисциплины, такие как математический анализ, история, иностранный язык, философия и др. Набор таких дисциплин определяет учебно-методическое управление, а подготовкой рабочих программ соответствующие кафедры.
Для определенных специализаций может потребоваться углубленное изучение каких-то непрофильных для выпускающей кафедры дисциплин, например, связанных экономикой, математикой или иностранным языком. В таких случаях выпускающая кафедра может запросить у учебно-методического управления корректировку набора общепрофессиональных и гуманитарных дисциплин или попросить учесть специфику направления в процессе преподавания другими кафедрами напрямую. Уже на этом этапе можно определить приоритеты и значимость среди компетенций,
Далее для обеспечения компетенций формируются рабочие программы дисциплин. При этом за подготовку профессиональных дисциплин будет отвечать выпускающая кафедра, а за остальные - кафедры профильных дисциплин. Сформированные дисциплины могут иметь определенные связи между собой, которые будут учтены при определении порядка изучения дисциплин.
В процессе формирования учебного плана дисциплины распределяются по учебным семестрам. В это же время фонд зачетных единиц распределяется между дисциплинами, а для дисциплин определяется итоговая форма контроля. Причем в зависимости ценности связанных с дисциплиной компетенций на дисциплину может быть выделено соответствующее количество зачетных единиц. Для дисциплин выполняется подготовка рабочих программ и методических указаний.
Перед изучением специфики управления ООП для подготовки разработчиков программного обеспечения (ПО) рассмотрим особенности требований в данной отрасли. Выделяют основные виды профессиональной деятельности, которые тре-
буется выполнять при разработке ПО:
• разработка ПО;
• тестирование ПО;
• управление проектами;
• аналитика;
• администрирование.
С другой стороны можно классифицировать виды деятельности по типу разрабатываемого ПО:
• веб-сервисы;
• мобильные приложения;
• настольные приложения;
• сервера;
• компьютерные игры;
• драйверы и операционные системы;
• 1С-Предприятие;
• интернет вещей;
• прочее.
Различные рекрутинговые агентства (Группа «КАУС», DigitalHR, Staffline) выделяют от 15 до 30 различных должностей для ИТ-специалистов [4].
Каждую из представленных должностей можно разделить еще более детально. Например, специализации тестировщика можно разделить как по типу тестируемого программного обеспечения (веб-сайты, настольные и мобильные приложения, сервисы, встраиваемые системы и т.д.), так и по способу тестирования (ручное или автоматизированное) и используемым инструментам.
Для применяемых при разработке ПО инструментов, технологий характерна определенная динамика популярности. Так, например инструменты для разработки мобильных приложений, которые использовались 5 лет назад, будут неприемлемы из-за развития соответствующей отрасли. В работе [5] рассматривается задача мониторинга и анализа востребованных навыков в ИТ-сфере.
Различные сервисы позволяют отслеживать мировую динамику популярности языков программирования (ЯП). Для иллюстрации на рис. 4 выбраны 9 достаточно популярных ЯП.
По графику можно отследить, что популярный в начале 2000-х язык программирования Delphi после 2015 стал практически не востребован, а новые ЯП Go и Swift достаточно быстро набирают популярность. Многие ЯП являются языками общего назначения, т.е. с помощью них можно решать задачи различного плана. Например с помощью ЯП Python можно разрабатывать веб-приложения, решать задачи Data mining, создавать сценарии автоматизированного тестирования или скрипты для помощи системному администратору. Так же проводятся отдельные исследования по актуальности технологий. В работе [7] исследуется большое количество файлов исходного кода проектов, размешенных на GitHub c целью определить популярность языков программирования, а так же их совместимость друг с другом.
Приведенные примеры показывают, что необходимо регулярно выполнять мониторинг и анализ потребностей рынка в специализациях, а так же отслеживать динамику популярности как специализаций в общем, так и отдельных требований. Для этого можно использовать открытые источники информации, такие как сайты объявлений о работе. На интернет-ресурсе HeadHunter (hh.ru) по запросу «Разработчик» находится более 30 тысяч вакансий по России.
С 30 декабря 2017 г. вступил в силу приказ об утверждении стандарта следующего поколения ФГОС 3++ [3]. Одно из ключе-
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Таблица 1. Классификация из 24 ИТ-должностей по версии рекрутинговых агентств группы «КАУС» Table 1. Classification of 24 IT duty positions according to the recruitment agencies of the KAUS group
программист JavaScript программист IOS (Swift / ObC) программист SQL / Oracle
HTML-верстальщик программист Android (java) DevOps
web-дизайнер программист Unity3d (c#) администратор 1С
программист PHP программист Unreal Engine (C++) SEO-специалист
программист Ruby программист 1С менеджер проектов
программист Python программист С++ / С руководитель отдела IT
программист Java сетевой инженер системный аналитик
программист C# (.NET) системный администратор тестировщик
Востребованные специализации
Новыетехнологии
Отзывы о подготовке специалистов
Предпочтения, уровень подготовки контингента
ФГОС,
проф. стандарты
Обратная связь по
результатам
обучения
предыдущих наборов Ресурсы
Выпускающая кафедра
Управление ООП
Управление профессиональными компетенциями
Управление общеобразовательными и гуманитарными компетенциями
Управление профессиональными дисциплинами
Управление общеобразовательными и гуманитарными дисциплинами
Î
Î
Мин. Обр. (ФГОС 3++)
Учебно-методическое управление
Рис. 3. Детализация блока управления ООП Fig. 3. Detailing the control unit OOP
10%
■ Java Python PHP
■ Javascript
■ Objective-C
■ Swift
■ Ruby Delphi
■ Go
2005
2010
2015
Рис. 4. Мировая динамика популярности языков программирования с 2002 по 2018 гг. по версии сервиса PYPL [6] Fig. 4. World dynamics of the popularity of programming languages from 2002 to 2018. according to the PYPL service version [6]
Vol. 14, no 4. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, В.В. Калевко, Д.Г. Лагерев,
методическое обеспечение А.Г. Подвесовский
вых изменений в новом поколении стандартов заключается в том, что профессиональные компетенции должны быть определены на основе профессиональных стандартов из реестра Министерства труда. Таким образом, при подготовке нового учебного плана вуз может включить профессиональные компетенции, необходимые web-разработчику или администратору баз данных.
Так профессиональный стандарт web-разработчика определяет основную цель вида профессиональной деятельности и трудовые функции, такие как верстка страниц интернет-ресурсов и кодирование на языках web-программирования.
Несмотря на подробную детализацию, профессиональный стандарт не содержит описание конкретных технологий и инструментов, необходимых для выполнения профессиональных задач. Стандарт должен быть достаточно универсальным, а информационные технологии постоянно развиваются, и вместе с ними развиваются инструменты разработки, и периодически появляются новые. Однако указанные задачи можно решить, как правило, несколькими различными инструментами или технологиями. В табл. 1 представлены требования из двух вакансий веб-разработчика, которые, не смотря на ряд схожих требований заметно отличаются.
Таблица 2. Сравнение требований из вакансий для
веб-разработчика Table 2. Comparison of vacancies' requirements for web developers
Фрагмент объявления о вакансии № 1
Технологии PHP7, MySQL, 1C-Bitrix
Понимание принципов работы ООП, шаблонов проектирование Навыки работы с чужим кодом
Опыт работы с SQL Умение планировать свою работу
Базовые навыки работы с HTML5 и CSS3, использование jQuery Плюсом будет опыт работы с Git
Фрагмент объявления о вакансии № 2
Опыт разработки на Python
Опыт web-разработки с применением
Django и/или Tornado
Опыт разработки RESTful HTTP API на
Django REST Framework
Опыт работы с nginx, Redis, MySQL
Плюсом будет опыт client-side
разработки: HTML, CSS, JavaScript,
jQuery, Angular JS и другие JavaScript-
библиотеки
Плюсом будут навыки системного администрирования Unix/Linux и знание GIT.
Поэтому возникает задача связывания компетенций с технологиями. Кроме того, существующие стандарты охватывают далеко не весь спектр профессиональной деятельности, поэтому часть компетенций необходимо будет определять без них.
В работе [8] представлена семантическая сеть образовательного процесса подготовки магистрантов, на которой представлена связь между требованиями работодателей, компетенциями, должностями и задачами профессиональной деятельности (рис. 5), которую можно использовать при детализации процесса управления ООП.
Любой процесс управления предполагает воздействие на какой-то объект для достижения им требуемого состояния. Однако, далеко не всегда сразу понятно, к какому состоянию необходимо стремиться. Поэтому для управления профессиональной частью ООП (рис.6) на первом этапе выполняется мониторинг рынка и анализ востребованных специализаций и требований.
Рис. 5. Семантическая сеть образовательного процесса подготовки магистрантов
Fig. 5. Semantic network of the educational process of preparing undergrad-uatesЗатем выполняется предварительное сопоставление специализаций и профессиональной части ООП. Это необходимо для того, чтобы определить координаты, в которых сейчас находится профессиональная часть ООП - какие специализации представлены лучше, а какие хуже. Данная оценка в первую очередь будет опираться на материалы профессиональных дисциплин учебного плана, как на наиболее полный источник информации о профессиональной части ООП.
Получив такую оценку, можно будет приступить к процедуре принятия решения о выборе целевого состояния профессиональной части ООП - насколько нужно улучшить соответствие тем или иным специализациям. При этом необходимо будет соблюдать множество ограничений. В первую очередь это ФГОС и ресурсы кафедры. В результате принятия решения будет определено целевое состояние ООП, для соответствия которому необходимо будет скорректировать набор ПК, а уже на основе него набор и структуру дисциплин.
Управление профессиональными дисциплинами предполагает определение содержания дисциплин, распределение фонда зачетных единиц, определение порядка изучения и распределения по учебным семестрам. При этом потребуется учитывать обратную связь по предыдущим учебным семестрам, внутренние связи между дисциплинами, а также уровень контингента. Для выполнения перечисленных задач управления необходима формализация следующих сущностей:
• специализация;
• требование;
• компетенция;
• дисциплина;
• ресурсы кафедры;
• ограничения ФГОС;
• уровень контингента;
• обратная связь.
Для анализа требований рынка труда определим модель специализации , которая обладает следующими атрибутами:
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Рис. 6. Схема управления профессиональной частью основной образовательной программы Fig. 6. Management scheme of the professional part of the main educational program
S = {Р , D , R, Rp},
I ^ б' Б' г Б-"
где:
Р8- востребованность (% отношение среди выборки);
Ds - динамика востребованности (за время наблюдений);
Rs - список требований к специализации;
Rps - значения приоритетов среди требований.
Модель требования R определяется с помощью описания соответствующей требованию предметной области:
Rm - идентификатор требования;
Rr - вектор ключевых блоков предметной области {г0 г1 ... гм гД, где t - количество блоков.
При этом, разные специализации могут иметь общие требования, и наоборот.
Таким образом, с помощью модели специализации можно описать как запросы на подготовку специалистов для конкретной организации, так и обобщенные требования по должностям, представленные на рынке труда.
Для проверки определенной модели специализации был выполнен анализ требований рынка труда в ИТ-сфере. Сформированная тестовая выборка содержит 80 объявлений вакансий г. Брянска по запросам «Программист/Разработчик», полученных из открытых источников (сайтов объявлений и сайтов организаций).
Постановка задачи:
1) Выделить ключевые требования объявлений
2) Выделить группы объявлений с похожими требованиями
3) Проанализировать результаты группировки.
Из объявлений были выделены ключевые требования к соискателю. Данная процедура была выполнена вручную, но её можно автоматизировать, если применить инструменты анализа естественного языка и сформировать вспомогательные онтологии.
Таблица 3. Пример выделения требований Table 3. Example of highlighting the requirements
Фрагмент объявления о вакансии Выделенные требования
Требования: JavaScript
Высшее образование; Знание JavaScript; HTML5
Семантическая вёрстка HTML5+CSS3; CSS3
Понимание основных принципов ООП и ООП
области их применения в JavaScript; Angular.js
Желательно: Angular или React, системы React.js
сборки (Gulp или Webpack), CSS-фреймворк. Gulp
Ключевые навыки: JavaScript, HTML5, CSS3, Webpack
ООП AngiilarJS Front-end
Для выделения групп похожих по требованиям объявлений было принято решение использовать алгоритм кластеризации ^ОРЕ, который оперирует данными, представленными в виде транзакций [9].
В табл. 4 продемонстрирован фрагмент получившихся транзакций на основе разбора объявлений. Всего получилось около 500 подобных транзакций.
Таблица 4. Пример транзакционных данных для одной вакансии
Table 4. Example of transactional data for one vacancy
Идентификатор Идентификатор Название требования
81 5 AJAX
81 З2 CSS
81 З1 HTML
81 З5 JAVASCRIPT
81 4 JQUERY
82 1 PHP
82 191 SQL
82 З9 XML
82 71 ЧИСТЫЙ КОД
Алгоритм ^ОРЕ был предложен в 2002 году группой китайских ученых [10]. Он обеспечивает более высокую производительность и лучшее качество кластеризации в сравнении с ал-
Vol. 14, no 4. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, В.В. Калевко, Д.Г. Лагерев,
методическое обеспечение А.Г. Подвесовский
горитмом Largeltem и многими иерархическими алгоритмами. Задача кластеризации транзакционных данных состоит в получении такого разбиения всего множества транзакций, чтобы похожие транзакции оказались в одном кластере, а отличающиеся друг от друга - в разных кластерах.
В основе алгоритма кластеризации CLOPE лежит идея максимизации глобальной функции стоимости, которая повышает близость транзакций в кластерах при помощи увеличения параметра кластерной гистограммы.
Рассмотрим пример из 5 объявлений, в которых встречаются следующие требования:
a) JavaScript;
b) PHP;
c) CSS;
d) SQL;
e) С++;
f) Чистый код.
Так же данные объявления формируют 5 транзакций: {(a,b), (a,b,c), (a,c,d), (d,e), (d,e,f)}. Сравним два произвольных разбиения на кластеры:
(1) {{ab, abc, acd}, {de, def}}
(2) {{ab, abc}, {acd, de, def}}.
Для этого в каждом варианте разбиения в каждом кластере определим количество вхождений в него каждого элемента транзакции. Далее вычислим высоту H и ширину W кластера. Например, кластер {ab, abc, acd} имеет вхождения a:3, b:2, c:2 с H=2 и W=4. На рис. 7 это представлено в виде гистограмм.
3
гп
abed def №=2.0, W=4 Я=1.67, W= Ъ {ab, abc, acd} {de, dej)
abc H=\ .67, №=3 {ab, abc}
d e a с f H= 1.6, W=5 {acd, de, def]
ЩС) = |ЩС)|;
Я(С) = 5(С)/ЩС).
Гистограммой кластера С называется графическое изображение его расчетных характеристик: по оси ОХ откладываются объекты кластера в порядке убывания величины Осф, С), а сама величина Осс (^ С) - по оси OY (рис. 8).
1
Н=1.6
"Г"
3 2 1 Û
s=e
-
d е а с f
объект
W=5
Рис. 7. Гистограммы с разбиениями кластеров Fig. 7. Cluster Split Histograms
Качество разбиений кластеров оценим на основе высоты H и ширины W. Кластеры {de, def} и {ab, abc} имеют одинаковые гистограммы, поэтому считается, что они равноценны. Гистограмма для кластера {ab, abc, acd} содержит 4 различных элемента и имеет площадь 8 блоков (H=2.0, H/W=0.5), а кластер {acd, de, def} - 5 различных элементов с такой же площадью (H=1.6, H/W=0.32). Разбиение №1 лучше, поскольку обеспечивает большее наложение транзакций друг на друга (высота H выше).
Рассмотрим формальное описание алгоритма. Пусть имеется база транзакций D, состоящая из множества транзакций {tj, t2, ..., tn}. Каждая транзакция есть набор объектов {ц, ..., im}. Множество кластеров {Сг, ..., Ck} есть разбиение множества
{tj.....tn}, такое, что ^U ...UCt = {tj.....tn} и С. J 0 л с П C=0, для 1<i,
j<k. Каждый элемент С. называется кластером, n - количество транзакций, m - количество объектов в базе транзакций, k - число кластеров.
Каждый кластер имеет следующие характеристики:
D(C) - множество уникальных объектов;
Occ(i,C) - количество вхождений (частота) объекта i в кластер C;
S(C) = £te D(c)Occ (i,C) = 'Zttec\ti\';
Рис. 8. Иллюстрация гистограммы кластера Fig. 8. Cluster Histogram Illustration
На рис. 7 S (C) = 8, т.е. соответствует площади прямоугольника, ограниченного осями координат и пунктирной линией. Чем больше значение H, тем более похожи две транзакции. Поэтому алгоритм должен выбирать такие разбиения, которые максимизируют H.
Но учитывать только значение высоты H недостаточно. Возьмем набор, состоящий из 2х транзакций: {abc, def}. Они не содержат общих объектов, но разбиение {{abc, def}} и разбиение {{abc}, {def}} имеют равную высоту H=1, а значит - оба варианта разбиения равноценны. Поэтому для оценки вместо H(C) лучше использовать градиентС(С) = Я(С)/Ж(С) = S(C)/W(C)2. Тогда разбиение {{abc},{def}} будет лучше (градиент каждого кластера равен 1/3 против 1/6 у разбиения {{abc, def}}).
Выведем формулу глобального критерия - функции стоимости Profit(C):
г* SCQ
Profit(C) =
f=il Ci
IÎ=1 IQI
где IQI - количество транзакций в /-том кластере, k - количество кластеров, r - положительное вещественное число большее 1.
Параметр r называется коэффициентом отталкивания (repulsion), который регулирует уровень сходства транзакций внутри кластера, а так же влияет на финальное количество кластеров. Этот коэффициент подбирается пользователем. Чем больше r, тем ниже уровень сходства и тем больше кластеров будет сгенерировано.
Кластеризация была выполнена с помощью аналитической платформы Loginom 6.1 [10]. Коэффициент отталкивания кластеров был подобран опытным путем. В итоге получилось сформировать 19 кластеров, которые при дальнейшем анализе были объединены в 10. Ниже приведены примеры нескольких кластеров (табл. 5). В скобках после требования указано его количество в кластере. Полученные кластеры отражают одну из специализаций ИТ-специалиста.
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Таблица 5. Примеры полученных кластеров специализаций Table 5. Examples of the obtained specialization clusters
Кластер Специализация
#1 (19 объявлений): JAVASCRIPT (lS), PHP (l4), MYSQL (l2), GIT (ll), ООП (lO), JQUERY (9), HTML (9), ШАБЛОНЫ ПРОЕКТИРОВАНИЯ (8), lC БИТРИКС (7), SQL (7), AJAX (б), CSS (6), LINUX (6), YII (S), HTMLS (S), РАБОТА С ЧУЖИМ КОДОМ (4), CSS3 (З), PHP7 (З), API (З), КОМАНДНАЯ РАЗРАБОТКА (З), MS SQL (2), PHP FRAMEWORK (2), PHPS (2), PYTHON (2), POSTGRESQL (2), REACT.JS (2), REST API (2), SEO (2), SVN (2), ЧИСТЫЙ КОД (2), NGINX (2), VAGRANT (2), YII2 (2). программист PHP / JavaScript /1С Битрикс / Python
#2 (11 объявлений): JAVASCRIPT (9), PHP (8), CSS3 (6), HTML (6), JQUERY (6), HTMLS (S), lC БИТРИКС (4), AJAX (4), MYSQL (4), CMS (З), CSS (З), GIT (З), XML (З), PHPS (З), АДАПТИВНАЯ ВЕРСТКА (2), КРОССБРАУЗЕРНАЯ ВЕРСТКА (2), CMS WORDPRESS (2), JAVA (2), ВЕРСТКА (2). программист JavaScript / PHP / 1С битрикс / Java
#3 (4 объявления): JAVASCRIPT (З), REACT.JS (З), ANGULAR.JS (2), CSS3 (2), GULP (2), HTMLS (2), WEBPACK (2), ООП (2). программист JavaScript
#4 (б объявлений): GIT (4), IOS (4), ООП (4), РАБОТА С ЧУЖИМ КОДОМ (4), КЛИЕНТ-СЕРВЕРНАЯ АРХИТЕКТУРА (З), ANDROID (2), C++ (2), JAVA (2), OBJECTIVE-C (2), REDMINE (2), КОМАНДНАЯ РАЗРАБОТКА (2), IOS CUSTOM UI (2). программист iOS / Android
#5 (4 объявления): C++ (З), C++ STL (З), АРХИТЕКТУРА WINDOWS (З), C++ BOOST (2), АНАЛИЗ МАШИННОГО КОДА (2), САОД (2), ШАБЛОНЫ ПРОЕКТИРОВАНИЯ (2). Программист С++
#6 (5 объявлений): JAVA (S), РЕЛЯЦИОННЫЕ СУБД (4), ORACLE (З), C++ (2), JAVA EE (2), SPRING FRAMEWORK (2), SQL (2). Программист C++/Java
#7 (5 объявлений): КОМАНДНАЯ РАЗРАБОТКА (S), РАЗРАБОТКА НА ПЛАТФОРМЕ lC (4), СКД (4), РАБОТА С ЧУЖИМ КОДОМ (4), lC ТИПОВЫЕ КОНФИГУРАЦИИ (З), КЛИЕНТ-СЕРВЕРНАЯ АРХИТЕКТУРА (З), ОПТИМИЗАЦИЯ ВСТРОЕННЫХ ЗАПРОСОВ (З), ОПТИМИЗАЦИЯ КОДА (З). Программист 1С
Проанализировав полученные результаты кластеризации можно сделать следующие выводы:
1. В объявлениях разная детализация требований. В тестовой выборке для объявлений по веб-разработке требования описаны более детально, чем по другим направлениям. Как следствие для этого направления получилось несколько разных кластеров с различающимися требованиями.
2. В некоторых объявлениях указано требования сразу по нескольким ЯП.
3. В нескольких кластерах есть общие требования, которые не зависят от специализации (например, GIT и ООП).
Количество объявлений в кластере говорит о популярности специализации. Для получения более достоверной и полноценной информации необходимо регулярно выполнять мониторинг. Это позволит получить дополнительные данные, например, динамику востребованности.
Для анализа соответствия дисциплин учебного плана и требований к специалистам определим модели дисциплины. В работе [12] представлено описание схожей задачи - анализа соответствия дисциплин учебного плана и требований к специалистам. Описанный подход не учитывает связи требований в рамках одной специализации, а также использует обобщенную модель дисциплины без детализации.
Определим модели дисциплины и модуля дисциплины на основе [13]. Модель дисциплины D:
D = {Nd,Ed,Md},
где:
Nd - идентиф и катор учебной дисциплины;
Ed - труд о емкость учебной дисциплины, выраженная в зачетных единицах;
MD - множество модулей, составляющих учебную дисциплину.
Модуль дисциплины M определяется моделью с атрибутами M = {Nm,Im,Dm,
где:
Nm - идентификатор модуля;
1т, - индивидуальный код модуля;
/)т - указатель пр инадлежности модуля к учебной дисциплине;
Ет - общая трудоемкость модуля, выраженная в зачетных единицах;
Тт - множество термов, составляющих модуль;
й£т- вектор связи модуля с требованиями
■■■ , где Щ.т -
мера связи требования ; и модуля дисциплины т в выбранной числовой шкале.
Тогда суммарное соответствие множества профессиональных дисциплин требованию г определяется как:
п
Кг = ^ Е-ПЦ X Т^Г.ПЦ' ¿=1
где т - общее количество модулей всех дисциплин в учебном плане.
Итоговое соответствие дисциплин учебного плана специализации S определяется в виде вектора:
к* = (ДГ0 ЯГ1 ■■■ Кгк_г Пгк),
где ^ - общее количество требований в специализации.
Далее можно сопоставить вектор значений и значения приоритетов Яр5 - предполагается, что чем значимее требование, тем большее количество часов в рамках дисциплин должно ему соответствовать.
Модель дисциплины D можно заполнить частично по содержанию документа рабочей программы дисциплины. Останется посчитать силу связей модулей дисциплин с требованиями. Один из очевидных способов это сделать - применить групповую экспертизу: пригласить нескольких преподавателей оценить необходимую метрику.
_ хцк
В этом случае = - среднее арифметическое
экспертных оценок .Х^связи требования ; и модуля], п - количество экспертов, принимающих участие в экспертизе.
В учебном плане направления подготовки «Программная инженерия» 2014 г. набора 33 дисциплины с почти 300 разделами суммарно, связанные с профессиональными компетенциями. Со всеми разделами необходимо сопоставить 200 требований.
Vol. 14, no 4. 2G1S ISSN 2411-1473 sitit0.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, В.В. Калевко, Д.Г. Лагерев,
методическое обеспечение А.Г. Подвесовский
Так, для этого понадобится задать суммарно 60000 вопросов экспертам, причем сделать это нужно будет несколько раз для получения нескольких оценок от разных экспертов. Подобный опрос будет провести проблематично, поэтому пока искусственно ограничим размерность задачи.
Выберем часть дисциплин и отберем для них те требования, с которыми они могут иметь связи. Были выбраны следующие 9 дисциплин: базы данных; визуальное программирование; объектно-ориентированное программирование, программирование Windows-приложений, программирование в среде Microsoft .Net, программирование на платформе 1С Предприятие, разработка Web-узлов и приложений, сети ЭВМ и телеком-
муникации, специальные разделы Web-программирования;
Для каждой дисциплины была сформирована группа из трех экспертов. Цель опроса - для каждого раздела дисциплины определить силу связи с требованием специализации. Для опроса экспертов были сформированы специальные матрицы в формате XLSX (рис. 9).
Шкала оценивания силы связи:
• «Сильная» (1.0);
• «Средняя» (0,66);
• «Слабая» (0,33);
• «Отсутствует» (0.0).
Модул ь\Требование POSTGRESQL MS SQL MYSQL СУБД SQL С++ С# ООП GIT JAVASCRIPT РНР
Введение. Основные термины и
определения. слабая слабая слабая средняя средняя отсутс отсутств отсутству отсутству отсутствует отсутствует
Базовые понятия. Модели
данных. слабая слабая слабая средняя средняя отсутс отсутств отсутству отсутству отсутствует отсутствует
Реляционная модель.
Нормализация БД слабая слабая слабая слабая слабая отсутс отсутств отсутству отсутству отсутствует отсутствует
Основы работы с СУБД MS-SQL
Server. слабая сильная слабая сильная средняя отсутс отсутств отсутству отсутству отсутствует отсутствует
Реляционный язык
манипулирования данными SQL средняя средняя средняя средняя сильная отсутс отсутств отсутству отсутству отсутствует отсутствует
Методы поддержания
реляционной целостности и
защита баз данных. средняя средняя средняя сильная средняя отсутс отсутств отсутству отсутству отсутствует отсутствует
Перспективные направления слабая слабая слабая сильная сильная слаба) слабая слабая отсутству отсутствует отсутствует
Рис. 9. Фрагмент заполненной матрицы опроса для дисциплины «Базы данных» Fig. 9. Fragment of the completed survey matrix for the discipline "Database"
Однако в данном случае, из-за выбранного ограничения количества дисциплин и требований, итоговая оценка будет неполноценной.
Так же были зафиксированы другие метрики выбранного подхода:
1) Среднее время ожидания результатов оценки от экспертов - 1 неделя (минимум 2 дня, максимум 25 дней);
2) Количество разных экспертов, которые были привлечены к опросу - 13 человек.
Для оценки согласованности мнений экспертов использовался коэффициент конкордации Кендала. Коэффициент кон-кордации W изменяется от 0 до 1. В случае полного совпадения оценок экспертов W = 1, в случае полного расхождения мнений экспертов W = 0. Результаты оценки согласованности экспертных мнений представлены в табл. 6.
Таблица 6. Результаты сравнения экспертных оценок Table 6. The results of the comparison of expert assessments
Можно сделать следующие выводы. Опрос экспертов занял продолжительное время, при том, что в качестве экспериментальных данных было выбрано 9 дисциплин и требования из 80 вакансий. В условиях реального мониторинга требований к ИТ-вакансиям по всей России и сопоставления со всеми профессиональными дисциплинами из учебного плана, такой подход будет неэффективным.
Между оценками экспертов обнаружилось заметное расхождение, причина которого состоит в том, что одной лишь информации из рабочей программы дисциплины недостаточно для точного ответа. Необходимо также при оценке связи опираться на материалы методических указаний и конспектов лекций. Это увеличит время оценки, если не использовать никаких средств автоматизации. Можно добавить, что некоторые дисциплины допускают использование разных аналогичных технологий. То, какая технология будет использоваться в качестве вспомогательного инструмента для освоения материала дисциплины, определяется конкретным студентом. Эту информацию необходимо собирать дополнительно, например, анализируя исходный код решений в процессе обучения [7]. Для выполнения опроса было привлечено более 10 экспертов, что было довольно проблематично. Автоматизация процедуры оценивания должна так же уменьшить требуемое количество экспертов. Таким образом, методика оценки соответствия дисциплин требованиям работодателей требует доработки.
Заключение
Процесс управления образовательной программой сложный и многогранный. Повышения эффективности управления можно достигнуть за счет улучшения управления разными
№ Дисциплина Кол-во экспертов Кол-во вопросов Коэффициент конкордации
1 Базы данных 3 77 0,9
2 Визуальное программирование 3 56 0,75
3 Объектно-ориентированное программирование 3 70 0,72
4 Программирование Windows-приложений 3 104 0,47
5 Программирование в среде Microsoft .Net. 3 90 0,81
6 Программирование на платформе 1С Предприятие 3 126 0,45
7 Разработка Web-узлов и приложений 3 476 0,52
8 Сети ЭВМ и телекоммуникации 3 120 0,57
9 Специальные разделы Web-про-граммирования 3 246 0,52
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
IT education: methodology, methodological support
блоками. При этом одно из наиболее важных свойств образовательных услуг с точки зрения потребителя - будущая конкурентоспособность на рынке труда. Для сегмента информационных технологий конкурентоспособность определяется владением актуальными технологиями. Спектр ИТ-специализаций достаточно большой и динамично изменяется. Поэтому возникает задача отслеживания популярных специализаций и связанных с ними требований, а так же подстройки под них профессиональных компетенций и содержимого профессиональных учебных дисциплин. Данное воздействие будет способствовать улучшению конкурентоспособности образовательной программы.
Для реализации данной задачи была разработана схема управления профессиональной частью ООП и подробно рассмотрены этапы мониторинга специализаций и оценки соответствия специализациям содержимого профессиональной части ООП на основе материалов рабочих программ дисциплин. Произведена апробация предложенных моделей и оценена размерность задачи.
Требуется дальнейшая работа над математическим аппаратом. Разработанные модели специализаций, требований и дисциплин необходимо детализировать, а так же формализовать дополнительные сущности. Указанные модели предполагается использовать для реализации алгоритма определения целевого состояния профессиональной части ООП. При этом необходимо усовершенствовать подход к оценке соответствия модулей дисциплин и требований специализаций.
На основе предложенной схемы управления планируется реализовать автоматизированную систему, которая будет интегрирована с существующим специализированным программным обеспечением для управления контингентом, учебными планами и образовательными курсами.
Список использованных источников
[1] Захарова А.А. и др. Информационная система оценки образовательных программ на основе требований работодателей // Современные проблемы науки и образования. 2015. № 2-1. С. 136. URL: https://elibraryru/item. asp?id=24122969 (дата обращения: 12.08.2018).
[2] Пономарева Л.А., Голосов П.Е. Разработка математической модели учебного процесса в вузе для повышения качества образования // Фундаментальные исследования. 2017. № 2. С. 77-81. URL: https://elibrary.ru/item. asp?id=28800201 (дата обращения: 12.08.2018).
[3] Приказ Министерства образования и науки РФ от 19 сентября 2017 г. № 920 «Об утверждении федерального государственного образовательного стандарта высшего образования - бакалавриат по направлению подготовки 09.03.04 Программная инженерия». URL: http://www. garant.ru/products/ipo/prime/doc/71687608/ (дата обращения: 12.08.2018).
[4] Обзор заработных плат. Информационные технологии // КАУС - кадровое агентство. [Электронный ресурс]. URL: http://www.kaus-group.ru/knowledge/salaries/salary-it/ (дата обращения: 12.08.2018).
[5] Ильин Д.Ю., Никульчев Е.В., Бубнов ГГ., Матешук Е.О. Информационно-аналитический сервис формирования актуальных профессиональных компетенций на основе патентного анализа технологий и выделения профессиональных навыков в вакансиях работодателей // При-
каспийский журнал: управление и высокие технологии. 2017. № 2(38). С. 71-88. URL: https://elibrary.ru/item. asp?id=29767419 (дата обращения: 12.08.2018).
[6] PYPL PopularitY of Programming Language [Электронный ресурс]. URL: http://pypl.github.io/PYPL.html (дата обращения: 12.08.2018).
[7] BissyandS T.F., Thung F., Lo D., Jiang L., RSveillere L. Popularity, Interoperability, and Impact of Programming Languages in 100,000 Open Source Projects // Proceeding of 2013 IEEE 37th Annual Computer Software and Applications Conference. Kyoto, 2013. Pp. 303-312. DOI: 10.1109/C0MPSAC.2013.55
[8] Мартынов В.В., Филосова Е.И., Ширяев О.В. Организация подготовки и информационная поддержка реализации динамических образовательных программ, учитывающих требования работодателя // Управление экономикой: методы, модели, технологии. 2014. C. 110-113. URL: https://elibrary.ru/item.asp?id=22689661 (дата обращения: 12.08.2018).
[9] Wang K, Xu C, Liu B. Clustering transactions using large items // Proceedings of the eighth international conference on Information and knowledge management (CIKM '99). Susan Gauch (Ed.). ACM, New York, NY, USA, 1999. Pp. 483-490. DOI: 10.1145/319950.320054
[10] Yang Y., Guan H, You J. CLOPE: A fast and Effective Clustering Algorithm for Transactional Data // Proceedings of the eighth ACM SIGKDD international conference on Knowledge discovery and data mining (KDD '02). ACM, New York, NY, USA, 2002. Pp. 682-687. DOI: 10.1145/775047.775149
[11] Аналитическая платформа Loginom [Электронный ресурс]. URL: https://loginom.ru (дата обращения: 12.08.2018).
[12] Чистова Н.А., Волкова В.Н. Модели анализа соответствия дисциплин учебного плана и требований к специалистам // Информатика и кибернетика (ComCon-2016). 2016. С. 33-36. URL: https://elibrary.ru/item.asp?id=26506456 (дата обращения: 12.08.2018).
[13] Харитонов И.М. Моделирование процесса построения учебного плана на основе формализованного представления учебной дисциплины // Открытое образование. 2011. № 2-1. URL: С. 21-32. https://elibrary.ru/item. asp?id=16384632 (дата обращения: 12.08.2018).
Поступила 12.08.2018; принята в печать 10.09.2018; опубликована онлайн 10.12.2018.
References
[1] Zakharova A.A. et al. Information system of educational programs assessment on the basis of employers requirements. Sovremennye problemy nauki i obrazovaniya = Modern problems of science and education. 2015; 2-1:136. Available at: https://elibrary.ru/item.asp?id=24122969 (accessed 12.08.2018). (In Russian)
[2] Ponomareva L.A., Golosov P.E. Development of a mathematical model of the educational process at the university to improve the quality of education. Fundamental'nye issledovaniya. 2017; 2:77-81. Available at: https://elibrary.ru/item. asp?id=28800201 (accessed 12.08.2018). (In Russian)
[3] Prikaz Ministerstva obrazovaniya i nauki RF ot 19 sentyabrya 2017 g. № 920 «Ob utverzhdenii federal'nogo
Vol. 14, no 4. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИТ-образование: методология, В.В. Калевко, Д.Г. Лагерев,
методическое обеспечение А.Г. Подвесовский
gosudarstvennogo obrazovatel'nogo standarta vysshego obrazovaniya - bakalavriat po napravleniyu podgotovki 09.03.04 Programmnaya inzheneriya». Available at: http:// www.garant.ru/products/ipo/prime/doc/71687608/ (accessed 12.08.2018). (In Russian)
[4] Obzor zarabotnyh plat. Informacionnye tekhnologii. KAUS -kadrovoe agentstvo. Available at: http://www.kaus-group. ru/knowledge/salaries/salary-it/ (accessed 12.08.2018). (In Russian)
[5] Il'in D.Yu., Nikul'chev E.V., Bubnov G.G., Mateshuk E.O. Information analysis service to identify current professional competencies based on patent analysis of the technology market and required skills in the vacancies of employers. Caspian journal: management and high technologies. 2017; 2(38):71-88. Available at: https://elibrary.ru/item. asp?id=29767419 (accessed 12.08.2018). (In Russian)
[6] PYPL PopularitY of Programming Language. Available at: http://pypl.github.io/PYPL.html (accessed 12.08.2018).
[7] Bissyandé T.F., Thung F., Lo D., Jiang L., Réveillère L. Popularity, Interoperability, and Impact of Programming Languages in 100,000 Open Source Projects. Proceeding of 2013 IEEE 37th Annual Computer Software and Applications Conference. Kyoto, 2013, pp. 303-312. DOI: 10.1109/C0MPSAC.2013.55
[8] Martynov V.V., Filosova E.I., Shiryaev O.V. Organizaciya podgotovki i informacionnaya podderzhka realizacii dinamicheskih obrazovatel'nyh programm, uchityvayushchih trebovaniya rabotodatelya. Upravlenie ekonomikoj: metody, modeli, tekhnologii. 2014, pp. 110-113. Available at: https:// elibrary.ru/item.asp?id=22689661 (accessed 12.08.2018). (In Russian)
[9] Wang K., Xu C., Liu B. Clustering transactions using large items. Proceedings of the eighth international conference on Information and knowledge management (CIKM '99). Susan Gauch (Ed.). ACM, New York, NY, USA, 1999, pp. 483-490. DOI: 10.1145/319950.320054
[10] Yang Y., Guan H., You J. CLOPE: A fast and Effective Clustering Algorithm for Transactional Data. Proceedings of the eighth ACMSIGKDD international conference on Knowledge discovery and data mining (KDD '02). ACM, New York, NY, USA, 2002, pp. 682-687. DOI: 10.1145/775047.775149
[11] Analiticheskaya platforma Loginom. Available at: https:// loginom.ru (accessed 12.08.2018). (In Russian)
[12] Chistova N.A., Volkova VN. Modeli analiza sootvetstviya disciplin uchebnogo plana i trebovanij k specialistam. Informatika i kibernetika (ComCon-2016). 2016, pp. 33-36. Available at: https://elibrary.ru/item.asp?id=26506456 (accessed 12.08.2018). (In Russian)
[13] Kharitonov I.M. Modeling Process of Building Curriculum Based on Formal Presentation of Academic Discipline. Open Education. 2011; 2-1:21-32. Available at: https://elibrary.ru/ item.asp?id=16384632 (accessed 12.08.2018). (In Russian)
Submitted 12.08.2018; revised 10.09.2018; published online 10.12.2018.
jjöütjjeä—ШШШШШШШШШШШШШШ^
Viktor V. Kalevko, postgraduate student of Informatics and Software Engineering Department, Bryansk State Technical University (10-B Harkovskaya Str., Bryansk 241035, Russia), ORCID: http://orcid.org/0000-0001-8152-3265, kalevko.gp@gmail.com
Dmitri G. Lagerev, Candidate of Engineering Sciences, Associate Professor of Informatics and Software Engineering Department, Bryansk State Technical University (10-B Harkovskaya Str., Bryansk 241035, Russia), ORCID: http://orcid.org/0000-0002-2702-6492, lagerevdg@mail.ru Aleksandr G. Podvesovskii, Candidate of Engineering Sciences, Associate Professor, Head of Informatics and Software Engineering Department, Bryansk State Technical University (10-B Harkovskaya Str., Bryansk 241035, Russia), ORCID: http://orcid.org/0000-0002-1118-3266, apodv@tu-bryansk.ru
This is an Open Access article distributed under the terms ofthe Creative Commons Attribution License (http://creativecommons.org/licenses/by/4.0), which permits unrestricted reuse, distribution, and reproduction in any medium provided the original work is properly cited.
Современные информационные технологии и ИТ-образование
Том 14 № 4 (2018) ISSN 2411-1473 sitito.cs.msu.ru
