CC BY
92
УДК 378.1 : 519.23
Л. В. ЛЕТОВА
Омский государственный технический университет
ИЗМЕРЕНИЕ ЛАТЕНТНОЙ ВЕЛИЧИНЫ «ПРОФЕССИОНАЛЬНАЯ ДЕЯТЕЛЬНОСТЬ ПРЕПОДАВАТЕЛЯ»
НА ОСНОВЕ МОДЕЛИ РАША
В статье раскрыты достоинства модели Раша как методического инструмента для измерения латентных величин в социальной сфере, обобщен опыт использования модели для измерения латентной величины «профессиональная деятельность преподавателя».
Ключевые слова: современная теория тестирования, измерение латентных переменных, модель Раша, профессиональная деятельность преподавателя.
Планируемые и происходящие изменения в образовании повысили требования к качеству управления образовательным процессом, обоснованности принятия управленческих решений в рамках системы менеджмента качества, прогнозирования и предупреждения возможных несоответствий. Преподавательский состав является необходимым звеном в развитии мотивационных и научно-образовательных способностей у студентов, в связи с чем оценка и управление профессиональной деятельностью преподавателей (ПДП) являются адекватными и идеологически важными в системе управления всего университета.
Характерная особенность социально-экономических систем (образование является социальной системой) состоит в том, что большинство величин в этих областях являются латентными, т.е. непосредственно не измеряемыми. Такие величины определяются набором индикаторов, которые можно непосредственно оценить или измерить. Таким образом, набор индикаторов представляет модель, некий конкретный мысленно созданный образ латентного параметра, в котором отображаются реальные и/или предполагаемые свойства, структурные особенности. Качество модели задается уровнем отражения действительности, выраженным в структурном и содержательном наполнении. В нашем случае ПДП — латентная величина, представленная набором индикаторов. В качестве индикаторов рассматриваются виды деятельности, системно и полно отражающие ПДП.
Модель как образ оцениваемой латентной величины нуждается в математическом описании на базе известных и хорошо изученных функций. Какой метод описания дает объективные и точные знания об исследуемом объекте? Тестология как наука о создании научно обоснованных измерительных методик рассматривает две теории: классическую и современную [1]. Классическая теория тестирования (КТТ) была разработана в первой половине 20-го века. Ее основные достоинства заключаются в простоте обработки и интерпретации результатов. Итоговый балл участника тестирования представляет собой дискретную величину и рассчитывается как сумма баллов, полученных за тестовые задания, возможно, с учетом весовых коэффициентов труд-
ностей этих заданий. Однако КТТ обладает существенными недостатками: субъективность экспертных весовых коэффициентов, вариативность между уровнем подготовки испытуемых и трудностью теста, нелинейность шкалы оценивания. КТТ не дает объективных знаний об объекте исследования, тогда как управление требует точной картины состояния изучаемого процесса, устойчивых объективных знаний об объекте исследования. Более совершенным продолжателем КТТ, решившим вышеизложенные недостатки метода, явилась современная теория (Item Response Theory — IRT), появившаяся в середине прошлого столетия. Она провозгласила принципиально новый подход в теории тестирования: латентная величина стала рассматриваться как одномерный континуум на линейной шкале.
В теории IRT рассматривают различные модели. Мировой опыт в теории и практике измерения латентных переменных преимущественно диктует использование модели Раша [1]. Рассмотрим теоретические основы этой модели на примере дихотомического случая, когда тестовое задание либо выполнено, либо нет. Параметрами модели здесь являются уровень измеряемой латентной величины (ИЛВ) i-го испытуемого р. и уровень трудности j-го индикатора 5j.
В теории измерения латентных переменных акцент сделан на результате «взаимодействия» уровня испытуемого в. и трудности тестового задания (ТТЗ) 5j, а не на тестовом балле, как в классической теории. Если испытуемый имеет более чем достаточную подготовку для решения очередного задания, то он станет вероятным «победителем противоборства» [1], справедливо и обратное утверждение. В модели Раша результат этого «взаимодействия» описывается логистической функцией [1]:
р{ = 1|в Sj }= 1 + в о
1 + e ' j
P.j — вероятность, что i-й испытуемый выполнит j-е задание (логистическая функция обеспечивает варьирование P в интервале [0; 1]),
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (109) 2012 ПСИХОЛОГИЧЕСКИЕ И ПЕДАГОГИЧЕСКИЕ НАУКИ
ПСИХОЛОГИЧЕСКИЕ И ПЕДАГОГИЧЕСКИЕ НАУКИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (109) 2012
р. — латентный параметр, определяющий уровень измеряемой латентной величины 1-го испытуемого,
5. — латентный параметр, определяющий уровень трудности .-го задания теста (индикатора).
Очевидно, что вероятность успеха 1-го испытуемого по .-му индикатору Р.. варьируется следующим образом (табл. 1).
Модель Раша описывает вероятность успеха испытуемого Р как функцию одного параметра (р.— 5.), в связи с чем иногда ее называют однопараметрической моделью ШТ (1PL). Итогом измерения латентных величин р. и 5. является матрица, отражающая Р1], р., 5. (табл. 2). 1
Из логистической функции видно, что Раш трансформировал исходные значения тестовых баллов в шкалу натуральных логарифмов, он ввел общую логарифмическую меру ИЛВ р. и ТТЗ 5., названную им логитом. Таким образом, задачей модели является установка взаимосвязи между двумя множествами р.и 5. и распределение их значений
Таблица 1
Значения Рц в зависимости от соотношения р. и 3]
Условие Значение Р.. 1]
Р, > 5. 0,5 < Р.. < 1 ч
р, = 5. Р.. = 0,5 ч
Р < 5. 0 < Р.. < 0,5 и
Таблица 2
Матрица вероятностей Р..
Испытуемый Индикаторы Уровень ИЛВ
2 L
Р„ Р12 РЧ Р1к Р1
2 Р21 Р22 Р2. Р2к в 2
Р„ Р!2 Р У в.
N Р„1 Рп2 Р п. Рпк вп
Трудность индикатора 51 52 5. 5к
на одной линейной шкале логитов [1]. На рис. 1 на верхней диаграмме показано частотное распределение ИЛВ р., на нижней — частотное распределение ТТЗ 5. на одной линейной шкале логитов и результат взаимосвязи между двумя этими множествами.
Для удобства, в качестве точки отсчета (нуля) рассматривают среднее значение ТТЗ 5.. Если испытуемому поставлено в соответствие, например, 0,52 логита, то это означает, что уровень выраженности ИЛВ р. выше среднего уровня ТТЗ 5. на 0,52 логита. При этом можно сказать, что индикаторные переменные с их вычисленными «трудностями» 5. являются линейкой, к которой мы «прикладываем» и измеряем объекты. Таким образом, объекты оценивают не только относительно друг друга, но и относительно предъявленных к ним требований, представленных набором индикаторов. Из рис. 1 видно, что уровень подготовки испытуемых в целом выше среднего значения ТТЗ на 0,99 логита, что свидетельствует об общем успехе всей выборки.
Графической интерпретацией логистической функции (*) являются характеристические кривые ИЛВ и индикаторов. Рассмотрим характеристическую кривую ИЛВ, отражающую континуум .-ого испытуемого. По оси абсцисс отложена ТТЗ 5., по оси ординат — вероятность выполнения этих тестовых заданий .-м испытуемым Ру (рис. 2). Исходом измерения латентной величины для .-го испытуемого является числовая характеристика на линейной шкале 5., соответствующая вероятности 0,5 [1]. Приведем в качестве примера графические характеристики трех испытуемых с уровнями подготовки Р1, Р2, Р3. Испытуемый с более выраженной латентной переменной имеет значение ИЛВ Р3 = 53, с менее — Р1 = 51 (рис. 2).
Далее рассмотрим характеристическую кривую тестового задания, отражающую континуум .-ого индикатора. По оси абсцисс отложена ИЛВ р., по оси ординат — вероятность выполнения этого .-го тестового задания испытуемыми Р (рис. 3). Трудность .-ого индикатора 5. — это числовая характеристика на линейной шкале р., соответствующая вероятности 0,5.
В Омском государственном техническом университете предпринята попытка использования модели Раша для измерения ПДП. Целями оценки ПДП являются: обеспечение и улучшениекачества ПДП, управление информацией о ПДП, обеспечение объективности при принятии управленческих решений в области оптимизации ПДП. Объектом исследо-
Таблица 3
Описание компетенций, используемых при оценке ПДП
№ Компетенция Описание
Научно-исследовательская Способность преподавателя осуществлять научную деятельность в области фундаментальных и прикладных исследований
2 Научно-воспитательная Способность преподавателя использовать и направлять свой интеллектуальный научный потенциал на формирование научных кадров, становление научной профессионализации магистров, аспирантов (соискателей), повышение активности и результативности их научно-исследовательской деятельности
3 Учебно-методическая Владение методологией создания учебных, учебно — методических материалов, способность создавать учебно-методическую базу, сопровождающую учебный процесс
4 Информационно-технологи- ческая Способность педагога решать профессиональные задачи с использованием современных средств и методов информатики и ИКТ
5 Социально-организационная Способность решать организационные, управленческие, интеллектуальные задачи общекафедрального, общефакультетского, общеуниверситетского характера
PERSONS
ITEMS 0
F c
Person-ltem Location Distribution
(Grouping Set to Interval Length of 0,20 making 40 Groups)
............................................................................r 13,3%
No. Mean SD
Total [113] 0,99 0,92
И
is
1
1
- 4,4%
j Г/zW/ -3 -2 -1 0 1 2 3 4 5
: ^ И Ш mwi /
л
0,0%
5 Location (logits) 0,0%
- 7,9%
Рис. 1. Распределение ИЛВ (верхняя гистограмма) и трудности индикаторов (нижняя гистограмма)
Рис. 2. Характеристические кривые трех испытуемых с р, равные 51Г б2, 53
Рис. 3. Характеристическая кривая индикатора
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (109) 2012 ПСИХОЛОГИЧЕСКИЕ И ПЕДАГОГИЧЕСКИЕ НАУКИ
149
ПСИХОЛОГИЧЕСКИЕ И ПЕДАГОГИЧЕСКИЕ НАУКИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (109) 2012
Объекты
Распределение объектов и индикаторов
204 N [1094] Среднее значение = -2,309
Латентная перемен
Индикаторы
Рис. 4. Соотношение между уровнем ПДП и индикаторными переменными
вания является ПДП университета. Предметом исследования являются статистически обоснованные оценки качества ПДП, позволяющие улучшить ее результативность с помощью механизмов управления в дальнейшем.
Структура и содержательное наполнение ПДП были разработаны на основе мирового и отечественного опыта в области компетентностного подхода [2 — 4]. В основу системы были положены следующие направления ПДП: научно-исследовательское, научно-воспитательное, учебно-методическое, информационно-технологическое, социально-организационное. Их описание приведено в табл. 3 [5]. Содержательное наполнение обеспечено 61-м индикатором [5].
Рассмотрим вопрос о пригодности разработанного теста как измерительного инструмента. Обоснование вывода о качестве теста, а следовательно, и о пригодности предлагаемой системы заданий для измерения уровня подготовленности испытуемых нуждается в эмпирических фактах. Исходом измерения латентной величины «ПДП» явилась матрица вероятностей Р.. и значений р. и 5. (табл. 2), присвоенные каждому і-му преподавателю и .-му индикатору. На рис. 4 показана обобщенная характеристика соответствия между уровнем ПКП р. (верхняя диаграмма) и ТТЗ 5. (нижняя диаграмма) [6].
Оба параметра распределены на одной линейной шкале логитов.
Визуальными показателями качества теста являются распределение индикаторных переменных и симметричность двух распределений (рис.4). Тест как измерительный инструмент — это система заданий равномерно возрастающей трудности [7]. «Провалы» и слабый диапазон варьирования ТТЗ
ухудшают метрические свойства теста, заметно снижают точность измерений и дифференцирующую способность тестовых результатов.
Рассмотрим требования к распределению ТТЗ. Разность между значениями самого трудного и самого лёгкого задания называют размахом. В качестве нормы принимают пределы варьирования значений ТТЗ в логитах от —3 до +3 . Соответственно, приемлемая мера размаха равна шести логитам [7]. Трудность рядом стоящих заданий теста не должна отличаться более чем на 0,5 логита, иначе на шкале образуются «провалы». Это требование можно назвать условием достаточной плотности расположения заданий на шкале [7].
Важным показателем качества теста является также соответствие меры трудности разрабатываемого теста уровню испытуемых. Мерой соответствия является симметричность двух распределений, определяемая сдвигом среднего значения ИЛВ относительно среднего значения ТТЗ. Считается, что качественный тест допускает сдвиг на 0,5 логитов [1].
Визуальный анализ качества теста как измерительного инструмента показал (рис. 4):
— широкий диапазон варьирования ТТЗ (6 логитов — это приемлемая мера размаха);
— наличие незначительной неоднородности в распределении ТТЗ, отвечающей условию достаточной плотности;
— сдвиг среднего уровня ПДП относительно среднего значения ТТЗ на —2,3 логита, являющийся неприемлемой мерой симметричности.
Следующая важная характеристика качества теста — совместимость тестовых заданий, являющаяся мерой соответствия индикаторных переменных
модели. Показателем совместимости отдельного задания и общей совместимости всех заданий, образующих тест как систему заданий возрастающей трудности, является значение хи-квадрат. В нашем случае критерий согласия хи-квадрат соответствует значению 0,87. По установившейся практике [7, 8] этот показатель считается более чем удовлетворительным и свидетельствует о высокой точности измерения.
Полученные данные о качественных характеристиках теста свидетельствуют о его пригодности как измерительного инструмента. Единственным недостатком теста явился сильный сдвиг среднего значения ИЛВ относительно среднего значения ТТЗ, означающий, что представленный набор тестовых заданий сложен для испытуемых. Для решения этого вопроса необходимо включить в тест индикаторы, системно и полно отражающие ПДП, соответствующие ее уровню, с более низким уровнем трудности, более доступные для преподавателей.
Анализируя качественные характеристики теста, следует вывод о том, что все они корнями уходят в содержание модели. Очевидно, что не любое содержание может быть описано с помощью модели Раша. Качественное измерение возможно только тогда, когда имеется четко выраженная концепция измеряемого свойства: тестовое задание должно обладать дифференцирующей способностью, быть доступным для всех испытуемых, а вероятность его выполнения Р — коррелировать с уровнем подготовки испытуемого р. (рис. 3) [6, 7].
В заключении подведем итоги: в статье показано использование модели Раша как методического инструмента для измерения латентных величин в социальной сфере. Метод измерения, основанный на этой модели, дает объективные знания об объекте исследования: метод исключает субъективность в назначении весовых коэффициентов трудностей тестовых заданий и обеспечивает инвариантность между уровнем ИЛВ и трудностью тестовых заданий. Также метод дает возможность применения широкого спектра аналитических процедур в силу использования линейной шкалы. В содержании статьи обобщен опыт использования модели для измерения латентной величины «ПДП». Результаты проведенного эксперимента позволили сделать вывод: высокий уровень качества теста как измерительного инструмента требует содержательное наполнение, полно и системно отражающее действительность; трудности набора индикаторов должны соответствовать уровню подготовки всех испытуемых.
Библиографический список
1. Маслак, А. А. Измерение латентных переменных в образовании и других социально-экономических системах: теория и практика / А. А. Маслак. — Славянск-на-Кубани : Изд. центр СГПИ, 2007. - 424 с.
2. Хуторской, А. В. Роль дидактики и методик в конструировании компетентностного обучения / А.В. Хуторской // Компетенции в образовании: опыт проектирования : сб. науч. тр. под ред. А. В. Хуторского. — М., 2007. — С. 110-118.
3. Зимняя, И. А. Ключевые компетенции — новая парадиг-
ма результата современного образования [электронный ресурс] / И. А. Зимняя // Интернет-журнал «Эйдос» — 2006. — Режим доступа: http://eidos.ru/journal (дата обращения:
20.01.2012).
4. Летова, Л. В. Компетентностный подход в образовательном процессе и проблемы его реализации / Л. В. Летова, С.П. Шамец // Реализация компетентностного подхода в теории и практике педагогической деятельности : материалы Межрегион. науч.-практ. интернет-конф. с междунар. участием. — Омск, 2009. — С. 124— 132.
5. Летова, Л. В. Проектирование модели управления кадровым составом преподавателей на базе компетентностного подхода / Л. В. Летова, С. П. Шамец // Телематика 2010 : материалы XVII Всерос. науч.-метод. конф. — СПб, 2010. — С. 144—145.
6. Летова, Л. В. Опыт построения модели оценки профессиональной компетентности преподавательского состава / Л. В. Летова // Теория и практика измерения и мониторинга компетенций и других латентных переменных в образовании : материалы XVI Всерос. науч.-практ. конф. — Славянск-на-Кубани, 2011. — С. 134— 137.
7. Аванесов, В. С. Понятие и методы математической теории педагогических измерений (Item Response Theory): статья третья / В. С. Аванесов // Педагогические измерения. — 2009. — № 4. — С. 5.
8. Деменчёнок, О. Г. Математические основы Rasch Measurement / О. Г. Деменчёнок // Педагогические измерения. — 2010. — № 1. — С. 12
ЛЕТОВА Линара Васильевна, начальник сектора информационно-методической поддержки компьютерных классов Центра информационных технологий Омского государственного технического университета.
Адрес для переписки: e-mail: LetovaLLV@mail.ru
Статья поступила в редакцию 17.01.2012 г.
© Л. В. Летова
Книжная полка
ББК 88/Е92
Ефремов, Е. Г. Введение в профессию : учеб. электрон. изд. локального распространения : конспект лекций / Е. Г. Ефремов ; ОмГТУ. - Омск : Изд-во ОмГТУ, 2012. - 1 о=эл. опт. диск (CD).
В электронном издании дано определение понятия «практическая психология»; рассмотрены особенности организационной психологии, требования к личности практического психолога; раскрыты критерии профессионализма в практической психологии, основные принципы работы и этический кодекс.
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (109) 2012 ПСИХОЛОГИЧЕСКИЕ И ПЕДАГОГИЧЕСКИЕ НАУКИ
