Методология сравнительной оценки соответствия профессиональных стандартов и стандартов образования с применением нечисловых методов обработки данных Текст научной статьи по специальности «Науки об образовании»

УДК 378 1 Г.В. Абрамов, М.Н. Ватутина

ВАК 05.13.14 г ' 3

РИНЦ 20.00.00

Методология сравнительной оценки соответствия профессиональных стандартов и стандартов образования с применением нечисловых методов обработки данных

В статье рассматривается вопрос разработки методики, которая позволяет проводить сравнительную оценку требований профессионального стандарта и федерального государственного образовательного стандарта. Полученные результаты могут быть использованы вузами для корректировки процесса обучения, для анализа своих учебных планов, для более полного соответствия с профессиональными стандартами.

Ключевые слова: оценка требований, профессиональные стандарты, федеральные государственные образовательные стандарты.

METHODOLOGY COMPARATIVE EVALUATION OF PROFESSIONAL STANDARDS AND EDUCATION STANDARDS WITH THE USE OF NON-NUMERIC DATA PROCESSING METHODS

The article discusses the development of a technique that allows for a comparative assessment of the requirements of the professional standard and the federal state educational standards. The results can be used by universities to adjust the learning process for the analysis of their curricula to better compliance with professional standards.

Keywords: assessment of requirements, professional standards, federal state educational standards.

1. Введение

При подготовке инженерных кадров к вопросам качества образовательных программ высшего образования уделяется в настоящее время повышенное внимание. Управление качеством образовательного процесса стало неотъемлемой составляющей деятельности практически всех крупных вузов России и зарубежья. [1]. Вузы осуществляют образовательный процесс на основе учебных планов, разработанных на основе Федеральные государственные образовательные стандарты (ФГОС) [2]. Требования работодателей, ранжированные по различным квалификационным уровням согласно Национальной рамке квалификаций и оформлены

в виде профессиональных стандартов (ПС), т.е. подготовка в вузе по учебным планам должны полностью удовлетворять и профессиональным стандартам.

В профессиональных стандартах определены следующие компетенции:

- профессиональные - относящиеся собственно к области профессиональной деятельности;

- надпрофессиональные (или сквозные компетенции), относящиеся к охране труда и окружающей среды, профессиональному общению и совершенствованию трудовой среды и рабочего места;

- ключевые/базовые компетенции, относящиеся ко всем видам деятельности, в которую включен работник, и предполагающие его

способности получать новые знания и адаптировать их к новым контекстам, а также умение адаптироваться самому к изменяющейся ситуации собственного профессионального роста и развития (интеллектуальные, социальные и межличностные, предпринимательские).

Во ФГОС компетенции разбиты на:

1) общекультурные;

2) общепрофессиональные, которые включают в себя:

- общеобразовательные компетенции,

- компетенции в научно-исследовательской деятельности

- компетенции в проектно-конструкторской деятельности,

- компетенции в контрольно-аналитической деятельности,

Геннадий Владимирович Абрамов,

д.т.н., профессор Тел.: (497) 255-35-76 Эл. почта: [email protected] ФГБОУ ВО «Воронежский государственный университет» http://www.vsu.ru

Gennady V. Abramov,

Professor Tel.: (497) 255-35-76 E-mail: [email protected] FGBOUIN «Voronezh State University» http://www.vsu.ru

Мария Николаевна Ватутина,

соискатель научной степени Тел.: (497) 255-35-76 Эл. почта: [email protected] ФГБОУ ВО «Воронежский государственный университет инженерных технологий» http://www.vsuet.ru

Maria N. Vatutina,

the competitor of a scientific degree Tel.: (497) 255-35-76 E-mail: [email protected] FGBOU IN «Voronezh State University of Engineering Technology» http://www.vsuet.ru

- компетенции в организационно-управленческой деятельности,

- компетенции в эксплуатационной деятельности;

3) профессионально-специализированные.

Так как, ПС и ФГОС имеют разную структуру и различные компетенции, то необходимо разработать методику, позволяющую проводить сравнительную оценку требований указанных стандартов и позволяющая скорректировать процесс обучения за счет вариативной части основной профессиональной образовательной программы, что позволит повысить качество и конкурентоспособность выпускников.

Для решения этого вопроса были рассмотрены требования в

рамках конкретной области профессиональной деятельности к содержанию, качеству образовательной программы и разработан алгоритм действий, представленный на рис. 1.

2. Основная часть

Для того чтобы провести сравнительный анализ стандартов, был разработан экспертный лист (рис. 2), заполнять который предлагалось пяти различным экспертам. Количество экспертов было выбрано с учетом того, что в слишком малой группе экспертов (от 2 до 4 человек) на итоговую оценку оказывает влияние субъективность каждого из экспертов. Слишком

Начало

Занесение в форму

необходимых

компетенций

Определение цели и задач анализа и разработки

Количество от 5 до 8

Расчет необходимого количества экспертов

1)поиск сторонних

2)заинтересованные стороны

1. Компетентность:

- базовое образование;

- опыт работы;

- место работы;

- занимаемая должность.

2. Объективность

3. Независимость

4. Конструктивное мышление:

- интуиция;

- креативность;

- всесторонность;

- эвристичность

Выбор экспертов

Проверка компетентности

каждого эксперта на соответствие требованиям

Изменение критериев выбора

Обработка полученных результатов (обработка экспертных листов)

НЕТ

Id = (0,8 ... 1)

Компетенции ПС и ФГОС не совпадают полностью

Компетенции ПС и ФГОС совпадают полностью

Компетенции ПС и ФГОС совпадают частично

Выявление не совпавших и не совпавших компетенций

Разработка рекомендаций для внесений изменений в ООП

Разработка рекомендаций не требуется

КОНЕЦ

Рис. 1. Алгоритм сравнительной оценки нормативных документов

Профессиональный стандарт ФГОС (напоавление подготовки)

способностью действовать I соответствии с Конституций Российской Федерации. исполнять свой гражданами к профессиональный долг, руководствую принципами законности к патриотизма (ОК-1); способностью осуществлять свою деятельность в различных сферах общественной жизни с учетом принта в обществ* морально-нравственных н правовых корм, соблюдать принципы профессиональной »тики (ОК-2): способностью анализировать социально значимые явлеюи к процессы, в том числе политического и экономического характера, мировоззренчеохе и философам» проблемы. применять основные положения и методы гуманитарных, социальных и экономических наук при профессиональных задач (ОК-3):

Единица 6С_СИБ_1. Организация установки и настройки оборудования технических и программно-аппаратных систем защиты информации

Навыки:

1.1 рукоеоестео установкой и монтажом технических и программно-аппаратных систем защиты информации:

1.2 проведение комплексного анализа проблем в организации работы по установке и настройке оборудования на предприятии и выявление причин их возникновения:

1.3 формирование отчетной документации по результатам работ.

Знания:

1.1 основы управления проектами:

1.2 состав, структура и технология установки систем защиты информации на объектах информатизации:

1.3 порядок и последовательность проведения работ по настройке системы защиты информации на объектах информатизации:

1.4 технологии и инструменты для проведения комплексного обследования систем защиты информации.

Умения:

1.1 управление непосредственными подчиненными:

1.2 планирование своей деятельности и работы группы исполнителей:

1.3 контроль выполнения планов работ по установке и настройке системы защиты информации:

1.4 проведение инструментальных измерений параметров и характеристик систем защиты информации на объектах информатизации:

1.5 комплексный анализ проблем в организации работы по установке и настройке оборудования на предприятии и выявление причин их возникновения:

1.6 создание и поддержка авторитета в среде коллег:

1.7мотнвация партнеров по взаимодействию:

1.8 управление конфликтными ситуациями.

\ ► >1 Обшею/льтуэ / обшеобоэз / нэуч-исслеа / контоол-энэлитич / ооганизаи^поавлен 7 ыксплугаи / I *

Рис. 2. Экспертный лист для оценки

большое число экспертов (от 9 и более человек) затрудняет формирование согласованного мнения. Оптимальным числом экспертов является группа от 5 до 8 человек, т.к. в такой группе снижается процент субъективного мнения.

Выбор экспертов происходил из учета установленных критериев, которые были разделены на четыре категории:

1. Компетентность:

- базовое образование (подтверждение документом об образовании установленного образца, сертификатами);

- опыт работы (практический, управленческий, научный - в области деятельности или в близкой области);

- место работы;

- занимаемая должность.

2. Объективность

3. Независимость.

4. Конструктивное мышление:

- интуиция;

- креативность;

- всесторонность;

- эвристичность.

Для того чтобы провести данное сравнение в экспертном листе, каждая компетенция из ПС была разбита на «навыки», «знания» и «умения», а компетенции из ФГОС были разбиты на шесть частей, каждая часть имеет только часть компетенций. Например, «общекультурная», в ней находятся компетенции из ФГОС только общекультурного цикла, далее часть называется «общеобразовательной» и т.д. Это приводит к удобству

оценки и сосредоточиванию внимания эксперта только на этой части.

При разработке экспертного листа было выявлено, например, что компетенции ПС «Организация установки и настройки оборудования технических и программно-аппаратных систем защиты информации», «Обновление программного обеспечения аппаратно-программных комплексов защиты информации», «Поддержание работоспособности технических и программно-аппаратных систем и средств защиты информации», «Управление системой защиты информации организации (подразделения, отдела, предприятия)», «Организация обслуживания сложного оборудования систем и средств защиты информации», «Обеспечение приема, монтажа и проведения испытаний технических и программно-аппаратных систем и средств защиты информации» содержат в себе требование в виде навыка: «формирование отчетной документации по результатам работ», а компетенции «Организация установки и настройки оборудования технических и программно-аппаратных систем защиты информации», «Управление системой защиты информации организации (подразделения, отдела, предприятия)», «Организация оповещения о критических (чрезвычайных) событиях защиты информации», «Разработка предложений по совершенствованию системы защиты информации», «Организация и контроль ведения технической и отчет-

ной документации» содержат умение: «управление конфликтными ситуациями». Это обусловлено тем, что в различных видах деятельности необходимо выполнять одни действия (требования). Поэтому для облегчения работы экспертов, повторяющие требования условно объединены в одно и подразумевают, что касается всех компетенций ПС.

Для оценки различий между этими нормативными документами, была использована теория люсианов (бернуллиевских векторов), позволяющая сформировать результаты независимых парных сравнений. Выбор теории в работе связи со сложностью числовой оценки совпадения нечисловых данных, поэтому в качестве критерия совпадения два крайних значения «Да» и «Нет», где «Да» - компетенция из ПС и ФГОС совпадает, а «Нет» - соответственно не совпадают, по мнению эксперта. Для числовой обработки эти ответы обозначаются соответственно «1» и «0». Обоснованность применения данной теории также состоит в том, что метод позволяет произвести разбиение всех люсианов (например, мнений экспертов, как в данном случае) на группу близких между собой, т.е. провести кластер-анализ. При анализе результатов эксперимента ответы реальных экспертов разбиваются на многочисленное «ядро», расположенное вокруг истинного мнения, и отдельных «диссидентов», разбросанных по периферии. Причем оценка

истинного мнения по «ядру» является более точной, чем по всей совокупности, поскольку мнения «диссидентов» не отражают истинного мнения. Поэтому для построения группового мнения, в том числе среднего для совокупности люсианов, отражающего мнения экспертов, естественно применять методы, подавляющие мнения «диссидентов», что соответствует методологии робастности [3]. Формула нахождения расстояния до «ядра»:

а =

л-л^ Е -1

(1)

где т - количество экспертов,

с1 - дисперсия, вычисляемая по формуле межгрупповой дисперсии (ввиду влияния общего признака-фактора, положенного в основание группы экспертов),

А - мнение эксперта принимаемого за истину, Аj - мнение остальных экспертов.

На основании заполненных листов были получены «матрицы ответов», обработка которых позволила составить итоговую матрицу, в которую были занесены рассчитанные дисперсии по формуле 1.

Обработка результатов происходила следующим образом: из «идеальной» матрицы, которой соответствует значение А0, присваивается значение (идеальная матрица, это такая матрица в которой все компетенции из ФГОС соответствуют компетенциям из ПС, и значения всех клеток имеют 1, т.е. матрица мнение эксперта принимаемого за истину). Далее из матрицы п эксперта, берется значение Ап, где п - это номер матрицы эксперта, i -строка, у - столбец. Например: значение Ап из матрицы 1 эксперта, на пересечении первой строки и первого столбца будет равно А1и и так далее. Расчет идет до тех пор, пока не заканчивается строки и столбцы. Результаты позволяют построить «итоговую» матрицу, с рассчитанными расстояниями с, по каждой компетенции. Таким образом, формула 1 принимает вид:

У (а00 - а",) . = -_. (2)

Сокращение возведения в квадрат и квадратного корня обусловлено тем, что эксперимент не предполагает отрицательных значений.

Исходя из принятой ранее модели, нами была разработана классификация компетенций (рис. 3):

■ новые - компетенции из ПС не нашли своего отражения во ФГОС;

■ эквивалентные - некоторые эксперты считаю, что данные компетенции присутствуют во ФГОС;

■ идентичные - совпадают полностью.

Границы по классификации компетенций, представленные в табл. 1. Это позволит выработать конкретные рекомендации по углублению изучения компетенций.

Апробация метода была осуществлена для направления подготовки 10.05.03 - «Информационная

Рис. 3. Графическое представление расстояния мнений экспертов от ядра истины, где 1 - расстояние

безопасность автоматизированных систем» по профилю подготовки «Безопасность открытых информационных систем». Была выбрана группа из пяти экспертов. В роли экспертов выступили преподаватели вуза, представители работодателей, а так же специалисты по подбору персонала. Им предложили

Таблица 1

Границы и группы компетенций

Наименование Группа Значение границ

компетенций компетенций

Новые I от 0 до 0,39

Эквивалентные II от 0,4 до 0,79

Идентичные III от 0,8 до 1

Таблица 2

Результат заполнения анкет экспертами по общекультурным компетенциям

№ компетенции Анкета 1 Анкета 2 Анкета 3 Анкета 4 Анкета 5

ОК-1 + +

ОК-2

ОК-3

ОК-4

ОК-5

ОК-6 +

ОК-7 +

ОК-8

ОК-9 + + +

0К-10 +

ОК-11 +

ОК-12

Таблица 3

Результат заполнения анкет экспертами по профессионально-специализированным компетенций

№ компетенции Анкета 1 Анкета 2 Анкета 3 Анкета 4 Анкета 5

ПСК-4.1 + + +

ПСК-4.2 + + + +

ПСК-4.3 +

ПСК-4.4 + +

ПСК-4.5 +

ПСК-4.6

ПСК-4.7 +

ПСК-4.8 +

т

18

16

14

И 12

ж 10

17

10 10

I

□ ок ППК ИПСК

13

0

1

I категория II категория III категория

Группа компетенций по классификатору

Рис. 4. График распределения компетенций

онального назначения, публично представлять собственные и известные научные результаты, вести дискуссии», ОК-9 «способностью к логическому мышлению, обобщению, анализу, критическому осмыслению информации, систематизации, прогнозированию, постановке исследовательских задач и выбору путей их решения на основании принципов научного познания» ОК-10 «способностью самостоятельно применять методы и средства познания, обучения и самоконтроля для приобретения новых знаний и умений, в том числе в новых областях, непосредственно не связанных со сферой профессиональной деятельности, развития

8

6

4

2

2

2

0

заполнить экспертные листы описанные выше. На основании заполненных анкет экспертами, были составлены промежуточные таблицы (табл. 2 и табл. 3), с целью выявить какие компетенции из ФГОС по мнению экспертов не нашли своего отражения в ПС [4]. (Аналогичные таблицы составлены по общепрофессиональным компетенциям). Результаты представлены в табл. 2 на примере общекультурных компетенций, а в табл. 3 на примере профессионально-специализированных компетенций.

Из результатов, представленных в таблице видно, что только ОК-1 «способность действовать в соответствии с Конституцией Российской Федерации, исполнять свой гражданский и профессиональный долг, руководствуясь принципами законности и патриотизма », ОК-6 «способностью к работе в коллективе, кооперации с коллегами, способностью в качестве руководителя подразделения, лидера группы сотрудников формировать цели команды, принимать организационно-управленческие решения в нестандартных ситуациях и нести за них ответственность, предупреждать и конструктивно разрешать конфликтные ситуации в процессе профессиональной деятельности», ОК-7 «способностью логически верно, аргументировано и ясно строить устную и письменную речь на русском языке, готовить и редактировать тексты професси-

Таблица 4

Карта учета частей компетенции профессионального стандарта

Части компетенции

Навыки Знания Умения

№ Наименование компетенции Всего Не учтены Всего Не учтены Всего Не учтены

Организация установки и настройки обо-

1 рудования технических и программно-аппаратных систем защиты информации 3 0 4 0 8 1

Обновление программного обеспечения

2 аппаратно-программных комплексов защиты информации 4 1 1 1 4 2

Поддержание работоспособности техни-

3 ческих и программно-аппаратных систем и средств защиты информации 4 0 4 2 3 0

Управление системой защиты информа-

4 ции организации (подразделения, отдела, предприятия) 3 0 2 0 3 0

Организация оповещения о критических

5 (чрезвычайных) событиях защиты информации 7 1 4 1 6 1

Организация обслуживания сложного

6 оборудования систем и средств защиты информации 4 0 4 0 3 0

Обеспечение приема, монтажа и прове-

7 дения испытании технических и про- 5 0 4 0 5 1

граммно-аппаратных систем и средств защиты информации

Участие в разработке регламентов и инс-

8 трукций по защите информации в орга- 1 0 4 2 2 1

низации (подразделении, отделе, предприятии)

Обеспечение организационно-методи-

9 ческой базы для реализации политик и регламентов защиты информации 3 0 5 2 4 0

10 Аудит защиты информации в организа- 1 0 6 1 6 0

ции и ее структурных подразделениях

11 Разработка предложений по совершенствованию системы защиты информации 2 0 4 0 6 2

12 Организация и контроль ведения технической и отчетной документации 2 0 5 1 5 1

Рис. 5. Схематичное распределение частей компетенции ПС светло-серый кружок - навыки; темно-серый кружок - умения; белый кружок - знания

социальных и профессиональных компетенций, к изменению вида своей профессиональной деятельности» и ОК-11 «способностью к воспитательной и образовательной деятельности» отразились в ПС, по мнению экспертов.

Анализ данной таблицы показал, что в образовательном стандарте, не учтена, по мнению экспертов лишь одна компетенция ПСК-4.6 «способностью проводить инструментальный мониторинг защищенности открытых информационных систем».

Основываясь на полученных результатах, представленных в табл. 2 и 3, был построен график, рис. 4, распределения всех компетенций из ФГОС по категориям.

Исходя из результатов, представленных на графике можно сделать вывод: из шестидесяти компетенций заложенных во ФГОС, лишь четырнадцать компетенций нашли полное отражение в ПС - III категория. Самая многочисленная

категория I, двадцать пять компетенций - эти требования не представлены в ПС; во II категорию попали двадцать одна компетенция - среди которых необходимо провести анализ по выявлению аналогов в ПС, а именно какие компетенции ПС, приходятся по мнению экспертов, на одну компетенцию из ФГОС.

Это может быть связанно с тем, что составление ФГОС произошло раньше, чем были разработаны ПС. Решением в данной ситуации может выступить вступление в силу переработанных ФГОС ВПО - ФГОС ВО. Но процедура пересмотра нормативного документа может проходить в длительные временные сроки, поэтому, вузам необходимо самим проводить сравнительный анализ ПС и ФГОС.

Далее была осуществлена автоматизированная обработка данных, реализованная с помощью программного обеспечения, и составлена «итоговая» матрица. По ре-

зультатам из «итоговой» матрицы стало возможным построение модели распределения компетенций ПС. В роли «ядра» были приняты компетенции из ФГОС, на орбитах находятся компетенции из ПС, на расстоянии d.

Построение модели в первую очередь позволило выявить, какие именно части компетенций из ПС не нашли своих аналогов во ФГОС, т.е. вошли в I группу компетенций. Для удобства была составлена карта, в виде таблицы (табл. 4), из которой видно, сколько именно частей из компетенций ПС не нашли своего отражения в ФГОС. На основании этих результатов можно сделать вывод, какие части необходимо включить в образовательную программу в первую очередь.

Далее был проведен анализ каждой компетенции ПС, с целью выявления, какие части вошли в группу II и группу III. Рассмотрим это на примере компетенции ПС 2.

На рис. 5, представлена схематичная схема модели распределения частей компетенции 2 из ПС. Построение модели основывается из ранее описанной методики нахождения d. Исходя из схемы модели, можно сделать вывод, что из четырех навыков два вошли во II группу, а группу III добавился еще один навык, так же в этой группе находится один навык, ранее определенный из табл. 4. Так же из табл. 4 определенно, что знания от-

Таблица 5

Рекомендации по группам компетенций

Группа компетенций Компетенции из ПС Рекомендации

I контроль выполнения планов работ по установке и настройке системы защиты информации; Компетенции в этой группе не нашли своих аналогов, следовательно их необходимо включить в вариативные курсы и модули, данного направления, а так же включить в изучении на производственных практиках

тестирование результата настройки системы;

программы и программные компоненты аппаратно-программных комплексов защиты информации.

чтение и понимание проектной документации на разработку программного обеспечения аппаратно-программных комплексов защиты информации;

II руководство установкой и монтажом технических и программно-аппаратных систем защиты информации; Компетенции этой группы частично имеют аналоги в ФГОС, необходимо выявить эти аналоги, чтоб оценить, сколько ЗЕ отводится на их изучение. Добавить ЗЕ на изучение

проведение комплексного анализа проблем в организации работы по установке и настройке оборудования на предприятии и выявление причин их возникновения;

III планирование внедрения политики информационной безопасности в подразделениях организации; Компетенции этой группы имеют полные аналоги. Изменения не требуются

контроль внедрения политики информационной безопасности в подразделениях организации;

носятся в III группу и два умения, а вот два других умения вошли во II группу. В I группу из данной компетенции не вошла не одна из составных частей.

Таким образом, построение моделей, анализ каждой компетенции из ПС, распределение частей компетенций по группам, исходя из разработанной классификации компетенций, позволил разработать и заполнить таблицу с рекомендациями.

В качестве примера, в табл. 5 представлены некоторые части компетенции из ПС, в соответствии с предложенной классификацией,

на основании которой были разработаны рекомендации, на примере некоторых компетенций ПС.

3. Заключение

Так как необходимо учитывать требование профессиональных стандартов при разработке образовательных программ, то полученные результаты могут быть использованы вузами для корректировки процесса обучения, а также для анализа своих учебных планов для более полного соответствия ПС:

1) разработки основных профессиональных образовательных

программ подготовки выпускника вуза, в которых в вариативную часть будут включены дисциплины, предназначенные для формирования новых компетенций из ПС;

2) изменение продолжительности производственных практик, что позволит обеспечить формирование недостающих компетенций.

Это позволит повысить эффективность образовательного процесса, снизить время дополнительного обучения на производстве и повысить качество и конкуренцию выпускника на рынке труда.

Литература

1. Рожков Н.Н. Квалиметрические методы и модели комплексного оценивания качества услуг в социальной сфере: автореф... дис. канд. техн. наук. - 2012 г. URL: http://tekhnosfera.com/kvalimetricheskie-metody-i-modeli-kompleksnogo-otsenivaniya-kachestva-uslug-v-sotsialnoy-sfere#ixzz2uzfKC8A4 (дата обращения 09.10.15 г.).

2. Попов Г.В., Лыгина Л.В., Ватутина М.Н. Применение накопительного метода разработки педагогических измерительных материалов для оценки компетенций в управлении качеством в вузе // Вестник ВГУИТ - 2012, №4 (54).

3. Орлов А.И. Прикладная статистика М.: Издательство «Экзамен», 2004 URL: http://www.aup.ru/books/m163 (дата обращения 25.08.15 г.).

4. Абрамов Г.В., Ватутина М.Н. Престижность учебного заведения как залог трудоустройства выпускников // Развитие современного образования: теория, методика и практика : материалы VI Междунар. науч. практ. конф. (Чебоксары, 13 нояб. 2015 г.) / редкол.: О. Н. Широков [и др.]. - Чебоксары: ЦНС «Интерактив плюс», 2015. - № 4 (6).