CC BY
37
УДК 378.146
МОДЕЛЬ МОНИТОРИНГА УРОВНЯ КОМПЕТЕНЦИЙ СТУДЕНТОВ И ОЦЕНКИ КАЧЕСТВА ДИАГНОСТИЧЕСКИХ СРЕДСТВ
© 2012 г. И.Н. Елисеев
Южно-Российский государственный университет South-Russian State University
экономики и сервиса, г. Шахты of the Economy and Service, Shahty
Рассматривается модель мониторинга уровня сформированности компетенций студентов бакалавриата и магистратуры, обучение которых осуществляется по образовательным программам стандартов нового поколения. Оценивание компетенции базируется на представлении её структуры в виде трёх компонентов: когнитивного, личностного и интегративно-деятельностного. Использование модели позволяет получить объективную информацию об уровне профессиональной подготовки студентов на разных этапах обучения, проверить качество диагностических средств и обеспечить его повышение до требуемого уровня.
Ключевые слова: компетенция; уровень компетенции; модель мониторинга уровня компетенции; латентная переменная; диагностические средства.
In this paper we consider a model for monitoring the level of formation of competencies bachelor and master whose education is carried out in educational programs standards of the new generation. The estimation of competence is based on the representation of its structure in the form of three components: cognitive, personal and integrative-activity. Using the model allows to obtain objective information about the level of training of students at different educational stages as well as to check the quality of diagnostic tools and provide it to raise the required level.
Keywords: competence; competence level; model of monitoring the level of competence; latent variable; diagnostic tools.
Постановка задачи
Эффективное управление образовательным процессом является необходимым условием обеспечения высокого качества подготовки выпускников образовательных учреждений высшего профессионального образования (ВПО). Оно достигается за счёт использования объективной информации об уровне подготовки студентов на разных этапах обучения, получаемой с помощью мониторинга образовательного процесса. Его организация во многом зависит от содержания и структуры принятой модели системы оценки качества подготовки выпускника и применяемого для этого инструментария. Причём, непременным условием объективности такой оценки является наличие надёжных контрольно-измерительных материалов, которые удовлетворяют научно обоснованным критериям качества. В рамках действовавших до недавнего времени государственных образовательных стандартов (ГОС) ВПО второго поколения для оценки качества подготовки выпускника использовалась квалификационная модель специалиста, в основу которой положено оценивание предметно-знаниевой составляющей профессиональной подготовки. Созданные для реализации этой модели контрольно-измерительные материалы, методики обработки входных данных, анализа результатов обработки и их интерпретации ориентированы прежде всего на проверку знаний, умений и навыков.
В основу ФГОС ВПО нового поколения положен компетентностный подход к оценке качества подготовки выпускника, когда проверяются в первую очередь не его знания, а готовность применять их на практике в нестандартной ситуации, способность продуктивно действовать в ситуации отсутствия кон-
кретного умения, способность создать требуемый способ действия. Качество образования в рамках стандартов нового поколения описывается в терминах, характеризующих готовность к действию или само действие: «способен к самообразованию», «готов к работе в команде», «целеустремлён», «готов к принятию ответственных решений» и т.д. Поэтому под качеством подготовки выпускника в ФГОС ВПО понимается степень готовности выпускника продемонстрировать соответствующие компетенции, о которой судят по уровню сформированности компетенций [1].
Из изложенного ясно, что на базе квалификационной модели специалиста нельзя обеспечить мониторинг качества подготовки студентов бакалавриата и магистратуры, обучающихся по образовательным программам ФГОС ВПО. Поэтому возникает задача создания модели мониторинга качества подготовки, которое определяется уровнем сформированности компетенций студента, предусмотренных ФГОС ВПО. Инструментарий оценки результатов образования, принятый в квалификационной модели, частично может быть использован в модели мониторинга после его существенной доработки. Прежде всего, это требование касается контрольно-измерительных материалов, которые направлены на проверку предметно-знаниевого компонента профессиональной подготовки и не могут обеспечить диагностику личностных качеств обучаемых, на которых базируются практически все компетенции.
Оценка уровня владения компетенцией с помощью известных диагностических средств (психодиагностических тестов, анкет, опросников и т.п.), которые применяются для исследования психофизических свойств студентов, требует теоретической проработки
вопросов, связанных с оценкой их качества: используемые для диагностики компетенций средства должны иметь показатели качества, удовлетворяющие научно обоснованным критериям. Показатели качества как известных (упомянутых выше), так и вновь разработанных диагностических средств неизвестны. Решить данную проблему можно путем апробации диагностических средств в процессе обучения студентов, осуществляя с их помощью мониторинг образовательной деятельности. Возможность такого подхода к оценке качества диагностических средств обусловлена тем, что при обработке результатов диагностики компетенций рассчитываются не только параметры, характеризующие личностные свойства обучаемого, но и параметры, характеристики и показатели качества средств диагностики. Методика проведения экспертизы качества средств диагностики в процессе обработки результатов тестирования описана в работах [2, 3].
Таким образом, на данный момент среди специалистов по управлению качеством профессионального образования отсутствует единое понимание того, как осуществлять мониторинг качества подготовки студентов, обучающихся по образовательным программам ФГОС ВПО нового поколения, какой использовать для этого инструментарий и каким образом оценивать его качество. Из-за этого затрудняется реализация требований ФГОС в образовательном процессе при обучении студентов по новым образовательным программам, итоговая государственная аттестация выпускников, а в конечном итоге необъективно оценивается качество их подготовки.
Целью данной работы является разработка модели мониторинга уровня сформированности компетенций студентов бакалавриата и магистратуры, обучение которых осуществляется по образовательным программам ФГОС ВПО нового поколения, и оценки качества используемых при этом диагностических средств. Под термином «компетенция» понимается отдельное личностное свойство, качество студента или их совокупность, влияющие на его профессиональную деятельность. Под «уровнем сформирован-ности компетенции» подразумевается уровень владения студентом компетенцией.
Основная часть
Модель разработана на основе анализа реестра компетенций ФГОС ВПО и требований к уровню владения ими, анализа научной основы, содержания и структуры компетенции, выбора средств диагностики компетенций обучаемых и программно-алгоритмического обеспечения оценки качества диагностических средств. В основу построения модели положено представление структуры компетенции в виде трех компонентов: личностного, когнитивного и интегра-тивно-деятельностного.
Структуру модели рассмотрим на примере мониторинга уровня компетенций бакалавра (рисунок). Входной информацией для нее являются требования ФГОС ВПО к содержанию и качеству подготовки бакалавра и требования потребителя или заинтересованной стороны.
Анализ требований ФГОС образовательных программ (ОП) бакалавриата (блок 4) позволяет обоснованно выбрать подходы к оценке качества подготовки бакалавра на базе уровня сформированности его компетенций, уяснить пути реализации требований стандарта в образовательном процессе и расстановку акцентов в его организации. Анализ требований потребителя и заинтересованной стороны (блок 5) необходим для получения информации о значимости для них как отдельных компонентов компетенции, так и самих компетенций в целом для будущей профессиональной деятельности выпускника. На основе полученных результатов анализа требований ФГОС и заинтересованной стороны, результатов исследования научной основы содержания и структуры компетенции, методологии оценки уровня сформированности компетенций бакалавров (магистров) разрабатывается стратегия оценки их качества подготовки (блок 6).
Базовыми положениями принятой в предлагаемой модели стратегии оценки качества подготовки бакалавра являются следующие:
1. Структура компетенции бакалавра может быть представлена в виде трёх компонентов: когнитивного, личностного и интегративно-деятельностного [1];
2. Качество подготовки оценивается на основе вероятностного подхода [2 - 5] путём определения уровня владения студентом компетенциями (уровня сформированности компетенций студента), предусмотренными ФГОС ВПО;
3. Для получения входных данных используется тестирование (анкетирование) студентов с помощью качественных диагностических средств с применением методов социологических и психологических исследований [2, 6, 7];
4. Обработка и интерпретация входных данных модели мониторинга уровня сформированности компетенций студента осуществляется на основе классической теории тестирования, теории латентных переменных с использованием дихотомической и полито-мической моделей Раша, методов теории вероятностей и математической статистики [2 - 7];
5. Качество подготовки бакалавров оценивается соответствием уровня сформированности их компетенций требованиям ФГОС и интегральным показателем уровня сформированности компетенций.
Реестр компетенций бакалавра по профилям направления подготовки анализируется по модулям ОК и ПК отдельно (блок 7). Объединение компетенций в кластеры проводится на основе смыслового признака компетенций и анализа степени их «родства». Это позволит использовать один набор диагностических средств, с помощью которых будет оцениваться уровень сформированности компетенций (уровень владения компетенциями). На основе результатов кластерного анализа реестра компетенций производится формирование кластеров по направлению подготовки (блок 8). В дальнейшем полученные кластеры распределяются по трем блокам (блоки 9 - 11), в каждом из которых используются свой банк диагностических средств для оценки одного из трёх компонентов ком-
петенции: личностного (ЛКК); когнитивного (ККК); интегративно-деятельностного (ИДКК).
В качестве диагностических средств для оценки ЛКК (блок 12) можно использовать существующие анкеты, опросники, психодиагностические тесты, которые применяются в социологических исследованиях и психодиагностике. Недостающие диагностические средства необходимо разрабатывать.
Поскольку когнитивной основой всех компетенций являются знания, умения и навыки [8], для оценки уровня сформированности этого компонента компетенций в банк диагностических средств блока ККК (блок 13) необходимо включить как существующие, так и вновь разработанные качественные педагогические тесты по отдельным дисциплинам, полидисциплинарные и междисциплинарные тесты.
24/1 1ч22/1
Модель мониторинга уровня сформированности компетенций студента бакалавриата (см. также с. 129)
24
" Качество ^^^Нет удовлетворительно
Да
25 Анализ латентного параметра 01 (УС ЛКК) и первичного балла Х1
28 ипределение принадлежности выпускника к категории УС ЛКК
26 Анализ латентного параметра 02 (УС ККК) и первичного балла Х2
29 ипределение принадлежности выпускника к категории УС ККК
27 Анализ латентного параметра е3 (УС ИДКК) и первичного балла ХЗ
30 ипределение принадлежности выпускника к категории УС ИДКК
35
Выбор весовых коэффициентов а-п с учетом требований ФГОС и потребителя
36
Выбор весовых коэффициентов а2\ с учетом требований ФГОС и потребителя
37
Выбор весовых коэффициентов с^с учетом требований ФГОС и потребителя
38
Расчет УС компетенции
е= aiiöi+ a2le2+ a3le3
39 Выборы весовых коэффициентов ^ для ОК 40 Выборы весовых коэффициентов уП] для ПК
}
41 Расчет уровня сформированности OK ek=Ztki eki 42 Расчет уровня сформированности ПК: e0rl Ynj ©nj
V V
43 Выбор весовых коэффициентов г? для OK и г2для ПК
V
44 Общая оценка профессиональной подготовки выпускника е=г7ек+ г2еп
45
Определение принадлежности выпускника к категории уровня профессиональной подготовки
Модель мониторинга уровня сформированности компетенций студента бакалавриата (окончание)
Принципы разработки заданий для таких тестов, технологии их конструирования и экспертиза качества достаточно подробно изложены в соответствующей литературе, например в работах [3, 9].
В качестве диагностических средств для проверки интегративно-деятельностного компонента компетенции (блок 14) можно рекомендовать опросники Руса-
лова [2], Айзенка [10], а также существующие диагностические тесты для оценки качества отдельных результатов образовательной деятельности (рефератов, индивидуальных заданий, курсовой и дипломной работ (проектов)) [2, 11]. Использование их позволит частично решить проблему оценки этого компонента компетенции. Основную же часть диагностических
средств необходимо создавать силами разработчиков тестов, анкет, опросников и т.д. совместно с психологами.
С помощью диагностических средств банков каждого из блоков компонент компетенций проводится тестирование (анкетирование) студентов бакалавриата (блок 15) с целью оценки уровня сформированности соответствующей компоненты компетенции. Полученные результаты тестирования (анкетирования) являются входными данными для процедуры оценки компонент компетенций. Эти данные анализируются с целью выявления искаженной информации и удаления ее из дальнейшей обработки (блок 16).
Обработка полученных файлов (блок 17) производится с помощью программных средств, в основу работы которых положено использование методов теории латентных переменных в сочетании с методами классической теории тестирования. В качестве таких программных средств могут быть рекомендованы отечественные программные комплексы RILP -1М [2, 12], RILP-2 [13] и зарубежная диалоговая система RUMM [14]. Алгоритмы работы программ комплексов и системы построены таким образом, что для расчета массивов значений латентного параметра Р «трудность задания (индикатора)» диагностического средства и массивов значений латентного параметра «уровень сформированности компоненты компетенции» 6 используется единый итерационный процесс. Наряду с параметрами Р и 6 , рассчитываются показатели качества диагностических средств и входных данных, а также характеристики и статистические параметры средств диагностики, позволяющие судить о соответствии их принятым критериям качества.
Проверка качества диагностического средства (для определённости будем считать, что это диагностический тест) проводится в соответствии с алгоритмом, схема которого представлена для блока ИДКК (блок 20). Для блоков ЛКК и ККК алгоритм строится аналогичным образом. В процессе проверки анализируются значения коэффициентов надёжности диагностического теста, дифференциации участников анкетирования (тестирования), интеркорреляции индикаторов теста, адекватность индикаторов и участников анкетирования модели измерения, в качестве которой используется модель Раша [2]. Если хотя бы один из показателей качества является неудовлетворительным, проводится чистка матрицы ответов по методике, изложенной в работе [2]. После этого матрица обрабатывается вновь, и повторно анализируются полученные значения показателей качества. Как только все показатели качества достигнут удовлетворительных значений, диагностический тест корректируют с учётом результатов чистки и осуществляют его повторную экспериментальную проверку (блок 15). Описанный процесс экспертизы качества диагностического теста повторяют, и как только его показатели качества станут удовлетворительными, переходят к
проверке качества входных данных (блоки 22 - 24). Если оно оказывается неудовлетворительным, проводят чистку входных данных, удаляя из обработки результаты ответов несостоятельных и неадекватных модели измерения участников анкетирования (блок 21), после чего данные обрабатывают повторно (блок 17). Если в процессе многократной чистки входных данных показатели качества не улучшаются, проводят повторное анкетирование (блок 15).
При удовлетворительном значении показателей качества входных данных анализируются рассчитанные значения латентных параметров 6г1 и соответствующих им значений первичных баллов хк к-й компоненты (к = 1,3) I -й компетенции бакалавра (блоки 25, 26, 27). По значениям хк определяется принадлежность участника анкетирования к категории уровня сформированности ЛКК, ККК, ИДКК (блоки 28 -30). Границы категорий указываются в методиках обработки и интерпретации данных для каждого диагностического средства в отдельности. Используется, как правило, 4 категории G уровня сформированности ЛКК, ККК, ИДКК: G1 - низкий; G2 - пороговый; G3 -средний; G4 - высокий. В качестве примера в первом столбце таблицы приведены границы категорий для оценки личностного компонента «Целеустремлённость» теста-опросника Калининского [15]. Во втором столбце таблицы указаны полученные экспериментальным путём граничные значения латентной переменной 6г1 для каждой из четырёх представленных категорий.
Деление респондентов на категории G по степени выраженности качества «Целеустремлённость»
Xi 6,1 Категория G УС целеустремлённости
0 < X1< 4 -да < 6,1<-1,195 G1 - уровень низкий (качество развито недостаточно)
4 < Xi< 8 -1,195 < 6Л< 0,173 G2 - уровень пороговый (пороговый уровень выраженности качества)
8 < x,i< 12 0,173 < e,j< 1,627 G3 - уровень средний (качество развито оптимально)
12< хл < да 1,627 < 6,j< да G4 - уровень высокий (чрезмерная выраженность качества)
Условием положительной оценки уровня сформи-рованности компонента компетенции является принадлежность хг1 и соответствующего ему значения 6г1 к категории не ниже G2. Если значения хп и 6г1
попадают в категорию G1 - студент не аттестуется.
После завершения процедуры оценки уровня сформированности компонентов 1-й компетенции
получают значения латентных параметров трех компонентов: 0г1 - для ЛКК, 0г2 - для ККК, 0г3 - для ИДКК. Если категории всех полученных значений 0у
(] = 1,3) не ниже G2, переходят к оценке уровня сформированности 0г г'-й компетенции бакалавра, используя выражение:
01 = аг'10г1 +аг 20г'2 +аi30i3, (1)
где аг1,аг2,аг3 - весовые коэффициенты, определяющие вклад каждого компонента в компетенцию г . Значения их выбираются экспертами исходя из требований или пожеланий потребителя или заинтересованного лица при обязательном выполнении требований ФГОС. Расчет уровня сформированности компетенций по формуле (1) проводится для каждой из компетенций блоков общекультурных (ОК) и профессиональных (ПК) компетенций.
Как следует из условия положительной оценки каждого компонента компетенции, минимально достаточные требования ФГОС фактически задаются нижней границей пороговой категории G2 уровня сформированности компонента компетенции и считаются выполненными, если он достигнут или превышен. Поэтому полученные оценки 0г уровня сформи-рованности компетенции будут соответствовать требованиям ФГОС.
Качество подготовки студента бакалавриата (бакалавра) оценивается по рассчитанным значениям уровня сформированности компетенций 0г. Для этого необходимо, прежде всего, найти оценки интегральных показателей и
0(р)
уровня сформированно-сти общекультурных (блок 41) и профессиональных (блок 42) компетенций:
} =Е ^
i=1
0( P) = !У р 0,
j=1
где tKi и уР]- - весовые коэффициенты для компетенций блоков ОК и ПК, которые определяются экспертами; п - общее число общекультурных компетенций; т - общее число профессиональных компетенций для направления подготовки бакалавра.
На основе полученных значений интегральных показателей уровня сформированности общекультурных компетенций 0( к) и профессиональных компетенций 0(Р) вычисляется оценка профессиональной подготовки бакалавра 0 (блок 44):
0 = Г10(к) + г20(Р),
где г1 и г2 - весовые коэффициенты, определяемые экспертным путем.
Представление оценки 0 в логитах позволяет объективно сравнить уровни подготовки разных студентов и получить данные об их рейтинге, поскольку шкала логитов является линейной.
Значение категории G профессиональной подготовки студента (бакалавра) может быть оценено исходя из следующих соображений. По категориям Ог]-
уровня сформированности каждого компонента г'-й
компетенции студента рассчитывают категорию Ог самой компетенции
1 3
=12 ог] .
3 1=1
Производят расчёт категорий Ог для всех компетенций студента (бакалавра). По найденным категориям компетенций вычисляют категории интегральных показателей О(к) для общекультурных и О(Р) профессиональных компетенций
о(к) =1 ±о, , о(р) = 1 ток.
П j=1
mk=1
Значение категории О качества подготовки студента (бакалавра) можно определить по формуле
G =
G(K) + G(P) 2
Выражения для расчёта категорий оценок получены в предположении равнозначности влияния всех компетенций на профессиональную подготовку бакалавра. Если же влияние компетенций различно, в приведённые формулы необходимо добавить весовые коэффициенты, учитывающие значимость этого влияния.
Структура рассмотренной модели мониторинга уровня сформированности компетенций бакалавра не зависит от направления подготовки. Отличия моделей для разных направлений подготовки будут заключаться, прежде всего, в содержании блоков 1 - 14. Причем определяющим для всех блоков модели будет набор кластеров компетенций.
Модель мониторинга уровня сформированности компетенций магистра будет отличаться от рассмотренной только содержанием блоков.
Таким образом, использование предлагаемой модели мониторинга уровня сформированности компетенций студентов бакалавриата позволяет, с одной стороны, получить объективную информацию об уровне профессиональной подготовки студентов на разных этапах обучения, оценить его количественно и представить на линейной шкале. На основе этого могут быть выработаны обоснованные управляющие воздействия, направленные на улучшение качества подготовки бакалавров (магистров). С другой стороны, модель позволяет проверить качество используемых для оценки компетенций диагностических средств и обеспечить его повышение до требуемого уровня, благодаря чему к окончанию процесса обучения студентов бакалавриата и магистратуры будут
созданы надежные средства диагностики уровня профессиональной подготовки бакалавров и магистров.
Литература
1. Шемет О.В. Дидактические основы компетентностно ориентированного инженерного образования : монография. Новочеркасск, 2010 208 с.
2. Елисеев И.Н. Методы, алгоритмы и программные комплексы для расчёта характеристик диагностических средств независимой оценки качества образования: монография. Новочеркасск, 2010. 316 с.
3. Елисеев И.Н. Методологические основы разработки и оценки качества педагогических измерительных материалов (на примере дисциплины «Основы теории цепей») : учеб. пособие с грифом УМО учебных заведений РФ по образованию в области сервиса и туризма Минобрнауки России для студентов высших учебных заведений. Новочеркасск, 2010. 166 с.
4. Елисеев И.Н. Теоретические основы алгоритма расчёта латентных переменных программным комплексом RILP-1M // Программные продукты и системы. 2011. № 2. С. 67 - 71.
5. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000. 169 с.
6. Елисеев И.Н. Диагностика индивидуальных свойств личности в студенческой среде на основе модели Раша // Стандарты и мониторинг в образовании. 2009. № 3. С. 35 - 38.
Поступила в редакцию
7. Елисеев И.Н., Ларина Т.Н., Литвиненко Л.Ю. Диагностика коммуникативных компетенций студентов на основе политомической модели Раша // Современное образование: содержание, технологии, качество: Материалы XVII Междунар. науч.-метод. конф. Санкт-Петербург, СПбГЭТУ «ЛЭТИ», т. 2, 2011. С. 7 - 9.
8. Шадриков В.Д. Новая модель специалиста: инновационная подготовка и компетентностный подход // Высшее образование сегодня. 2004. № 8. С. 26 - 31.
9. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие. М., 2002. 432 с.
10. Ахмеджанов Э.Р. Психологические тесты. М., 1997. 320 с.
11. Елисеев И.Н. Оценка уровня подготовленности выпускников колледжа на основе измерения качества квалификационных работ / Стандарты и мониторинг в образовании. 2010, № 1. С. 47 - 49.
12. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RILP-1 // Программные продукты и системы. 2009. № 2. С. 178 - 181.
13. RILP-2 / Свидетельство об официальной регистрации программы для ЭВМ / И.Н. Елисеев [и др.]. РОСПАТЕНТ № 2010611109, 05.02.2010.
14. Руководство пользователя диалоговой системой RUMM2020 RUMM Laboratory Pty Ltd, 2007. Режим доступа: http://www.rummlab.com.au/demo/marmgetstart.pdf (дата обращения 18.04.2010).
15. Елисеев И.Н. Использование модели Раша для диагностики социально-личностных компетенций // Современное образование: содержание, технологии, качество : материалы междунар. форума. Санкт-Петербург, СПбГЭТУ «ЛЭТИ». СПб., 2010, Т. 2. С. 239 - 241.
3 февраля 2012 г.
Елисеев Иван Николаевич - канд. техн. наук, профессор, кафедра «Энергетика и безопасность жизнедеятельности», Южно-Российский государственный университет экономики и сервиса. Тел. (8-863-6)-22-55-92. E-mail: [email protected]
Eliseev Ivan Nikolaevich - Candidate of Technical Sciences, professor, department «Power Engineering and Safety of Vital Activity», South-Russian State University of the Economy and Service. Ph. (8-863-6)-22-55-92. E-mail: [email protected]_
