CC BY
127
Численное моделирование инвариантности оценки знания относительно трудности тестовых заданий в рамках модели Г.Раша
Р.Х. Сафаров,
профессор кафедры вычислительной физики и моделирования физических процессов Казанского (Приволжского) федерального университета,
Казань, Кремлевская 18, rsafar@mail.ru, (843)543-58-90
О.Ю. Панищев,
старший преподаватель кафедры вычислительной физики и моделирования физических процессов Казанского (Приволжского) федерального университета, Казань, Кремлевская, 18, opanischev@gmail.com
Аннотация
Численным моделированием процесса тестирования исследовано влияние трудности задания на оценку знания в рамках модели Раша. Показано, что математико-статистические методы современной теории тестов дают объективные оценки знания испытуемых, не зависящие от трудности заданий при выполнении необходимых требований проведения тестирования.
The influence of item difficulty to assess knowledge was examined in numerical simulation of testing within the model of G. Rasch. It has been shown that the mathematical and statistical methods of Item Response Theory (IRT) provide objective assessment of knowledge, which does not depend on the difficulty of an item, if the necessary requirements for testing are carried out..
Ключевые слова
Современная теория тестов, модель Раша, численное моделирование, объективность оценок знания
Item Response Theory (IRT), a model of G. Rasch, numerical simulation, objective assessments of knowledge
Введение
В связи с переходом наших Вузов в балльно-рейтинговую систему стало нормой плановое проведение контроля знания студентов по каждому модулю учебной дисциплины. Для успешного выполнения систематической оценки знания привлекается тематическое тестирование в дополнение к традиционным видам контроля знания [1-4].
Но здесь сталкиваются со следующей проблемой: не всякий тестовый набор заданий в состоянии обеспечить достоверную оценку знания. Известно [5], что тесты с высоким уровнем трудности приводят к заниженным оценкам испытуемых, и наоборот, легкие тесты завышают результаты тестирования. Только профессиональное проведение тестирования и корректное применение математико-статистических методов современной теории тестов для анализа данных тестирования позволяют получить достоверные оценки знания, не зависящие от трудности тестовых заданий. Продемонстрируем процедуру математической обработки результатов теста, необходи-
мой для объективной оценки знания, на примере упрощенного численного моделирования процесса тестирования.
Современная теория тестов и модель Раша
Под названием современная теория тестов понимают известную за рубежом теорию Item Response Theory (IRT), основу которой составляет модель Раша [6]. Модель Раша исходит из положения, что вероятность правильного ответа i-того испытуемого на j-тое тестовое задание определяется разностью латентных (скрытых) параметров 0t - Pj - уровней обученности испытуемого и трудности задания и описывается функцией успеха
P. =-----------------1---------------
4 1 + exp(-1.73(6>.-Pj)) (1)
Георг Раш предположил, что эта математическая модель устанавливает взаимосвязь между эмпирическими результатами тестирования и значениями латентных параметров 0i и в , при этом уровень обученности испытуемого 0j и уровень трудности задания в размещены на одной шкале и измеряются в одних и тех же единицах -логитах.
Существует несколько методов определения латентных параметров О, и в непосредственно из эмпирических данных тестирования, представленных дихотомической матрицей Xij , когда за верный ответ ставится 1, а за неверный ответ - 0.
Для вычисления этих величин 0i и в воспользуемся методом параметризации, процедуру которого изложим, следуя М. Челышковой [5].
Индивидуальный балл i -того испытуемого определяется из выражения
m
X, =£ Xj
i j ij , (2)
= X± =1_
откуда следуют доли верных Pi = — и неверных q, =1 - р, ответов испытуемых, где m - количество заданий в тесте. На основе этих величин производится предварительная оценка обученности в логитах
в® = ln P
q (3)
Количество правильных ответов на j-тое задание вычисляется по формуле
n
Rj =^Xij (4)
i
= RL
и подсчитываются доли правильных pj и неправильных ответов q_j=1-p_j на
это задание, где n - число испытуемых в группе.
Предварительная оценка трудности задания производится в логитах
,0_, ^1
3 = 1П Р] (5)
На следующем этапе начальные значения логитов обученности и трудности заданий переводятся в единую интервальную шкалу стандартных оценок. Стандартизация достигается с помощью ряда специальных преобразований [7], для осуществления которых вычисляются:
• среднее значение в для множества 00(1 = 1,2,...,п) подсчитывают по формуле
N
\0
п
10
_ Е0О 0 = — (6)
где в — предварительные значения уровня обученности / -го испытуемого;
• среднее значение ¡3 для множества Р°С = 1,2,...,т) равно
п
0
_ Х30
Г) _ j=1
3 = (7)
т
где 30 — предварительные значения логитов трудности заданий; дисперсия по множеству значений 00(1 = 1,2,...,п)
п _
]Г(0О)2 - п(0)2
V = --------------:-------, (8)
п -1
дисперсия по множеству 300 = 1,2,...,т)
т __
£(30)2 - т(3)2
и = —---------------------, (9)
т -1
поправочные коэффициенты
, 1 + и/2,89
X —
1 - иу/8,35
(10)
¥ 1----------------.
р - UV /8,35
1 + V/2,89
Конечные оценки параметров в единой интервальной шкале находятся по форму-
Последние формулы (12) и (13) современной теории тестов обеспечивают объективность параметров испытуемых и заданий и независимость друг от друга оценок обученности и трудности задания. Но на практике, как отмечает В.Аванесов [8] , результаты не всякого тестирования согласуются с моделью Раша. Несоответствие эмпирических данных модели Раша может означать, что были нарушения в процедуре тестирования или при анализе эмпирических данных. Некоторые авторы [9, 10] пытаются улучшить теорию для того, чтобы она точнее описывала экспериментальные данные, или ведут поиски других моделей, более адекватных полученным результатам.
Здесь есть принципиально важный момент. В теории Г.Раша никогда не ставилась задача адекватного описания данных. Напротив, утверждается противоположное - не модель должна соответствовать эмпирическим данным, а данные должны соответствовать модели. В теории педагогических измерений применяется иной подход, нежели в естественных науках. Если в физике законы природы не зависят от исследователя, то тесты в немалой степени зависят от его воли. Поэтому физики стараются развить модель для лучшего согласия с экспериментом, а тестирование необходимо проводить, строго выполняя требования теории. В соответствии с этим педагогический тест образуют только те задания, которые отвечают данной модели измерения. Все остальные в тест не включаются.
Численное моделирование процесса тестирования
Проведем моделирование процесса тестирования в рамках модели Раша с целью изучения вопроса, как влияет трудность тестовых заданий на оценку знания испытуемых. Вначале установим масштаб изменения латентных параметров. Отечественная пятибалльная шкала позволяет оценивать знания учащихся с точностью не более 20%, а возможности тестовой технологии определения уровня обученности значительно выше. Но на практике достаточно ограничиться такой точностью вычисления вероятности правильного ответа по формуле успеха (1), которая обеспечивается интервалом изменения латентных параметров 01 и PJ в пределах от -3 и до +3 единиц логитов, а погрешность измерения этих параметров допустим, равной Д0~ДР~О,3 логит [11].
Численные расчеты удобно проводить в среде МаШСа^ которая имеет широкие возможности стандартных статистических обработок числовых массивов и графических построений. Выберем в качестве испытуемых одну академическую группу из п=25 студентов с нормальным распределением 0 - уровней обученности. С помощью функции 0 = гпогт(25,0,1) образуем массив 0 обученности из случайных чисел, распределенных по стандартному нормальному закону с численными характеристиками среднего значения 08=0 и стандартного отклонения 8x0=1, а затем проведем процедуру упорядочивания этого массива по возрастанию значения 0 уровня обученности. При этих характеристиках нормального распределения значения 0 заключены в интервале (- 3,+3) и совпадают с принятым масштабом изменения уровня обученности.
лам
(12)
(13)
Теперь установим масштабы изменения трудности тестовых заданий. Будем считать, что имеется банк тестовых заданий калиброванной трудности. Из опыта проведения тестирования [8] выявлено, что уровень трудности теста должен соответствовать уровню обученности испытуемых. Нет смысла задавать слабо подготовленным трудные задания, с которыми они заведомо не справятся, и наоборот, легкими вопросами не установить уровень знания. Поэтому выберем трудность теста, соответствующую уровню обученности группы. Зададим число заданий т=30 с интервалом изменения трудности в тех же пределах, что и интервал обученности группы, полагая равномерное распределение их. Среднее значение этого массива заданий равно Ps =0, т.е. выдержано еще одно требование - сбалансировано число трудных и легких заданий в тесте.
Наконец, проведем моделирование процесса тестирования указанной группы испытуемых в рамках модели Раша. Согласно модели Г. Раша в качестве результатов тестирования оперируют не дихотомическими константами 0 и 1, а суммарной вероятностью ответа 1 - того испытуемого на задания теста, определяемой по формуле успеха (1):
т
X, =Х Р
ц 1 • (14)
А суммарную вероятность правильных ответов на ]-тое задание всей группой испытуемых определим по формуле
п
Кц = 1 Рц
1 , ,ц • (15)
Дальнейшие расчеты латентных параметров проведем по выше изложенной процедуре с переопределенными величинами (14) и (15). При предположении о наличии банка заданий калиброванной трудности задача сводится к нахождению только параметра обученности и на анализ следующих его значений:
• предварительные значения 00, определенные в логитах по формуле (3) и
• конечные значения 0к, вычисленные в интервальной шкале по формуле (12). Завершается анализ установлением требований к процедуре тестирования, которые обеспечивают согласие расчетных значений обученности 0к с исходным 0 по критерию хи-квадрат
о 1 п —к —0 о
Л—0)=п ? (-1в°)2 (16)
Имея тестовые задания с равномерным распределением в трудности, проведем моделирование процесса тестирования в группе испытуемых с нормальным распределением 0 обученности и определим параметры 00 и 0к, значения которых представлены на рис.1, где сравниваются с исходной 0 обученностью.
Кривые этих распределений пересекаются при в ~ 0 ~ 0 так, что до пересечения трудность задания оказалась ниже обученности испытуемых, а после пересечения выше ее. Что приводит к тому, что предварительные значения обученности 00 испытуемых оказываются завышенными при низкой трудности задания и заниженными при высокой трудности заданий. Вследствие равенства средних значений трудности в5=0 и обученности 08=0 их различия незначительны, в пределах допущенной погрешности, что подтверждается вычислением критерия х2 (00-0) = 0,78.
Єї
XXX
Є0і -ь-ы-
0к;
2.5
1.5
0.5
-0.5
іГ -і
<800 -1.5 -2 -2.5
1,
/
^ + 4-
і- -+- -+■
ї
ГГ
і і і . о ї
о
10
15
20
25
Номер испытуемых и заданий
Рис.1.Сравнение предварительных 00 и конечных 0к значений обученности с исходным значением обученности 0
Общее поведение конечных значений обученности 0к направлено на устранение отличий 00 и 0, но эти изменения столь большие, что превышают различие 0к и
0, даже приводят к изменению знака разности 0к—0, т.е. к неестественному поведе-
нию. Эта ситуация вызывает необходимость введения дополнительного фактора, уменьшающего эти изменения. Возможной причиной такого явления может быть, что статистическая выборка массивов испытуемых и заданий незначительна. Поэтому перенормируем поправочные коэффициенты (10) и (11), введя сигма-фактор по аналогии с эффектом Гиббса
Ха = Х*с (17)
УЪ = У*с (18)
Как известно, эффект Гиббса проявляется из-за использования на практике усеченного ряда Фурье и исправляется умножением на фактор с < 1 коэффициентов разложения.
Из условия наилучшего согласия конечных вк с исходными 0 значениями обученности определено значение фактора, равное с = 0,7. Степень полученного согласия подтверждается критерием х2 (0к-0) = 0,03 и демонстрируется на рис.2.
Теперь выберем задания повышенной трудности Р18=0,55, построив массив Р1 при равномерном распределении 10 заданий на интервале Р1= -3^ 0 и 20 заданий на интервале Р1= 0 ^ 3. Результаты моделирования такого тестирования представлены на рис.3.
Повышенная трудность заданий понижает предварительную обученность группы от исходного значения 08 = 0 до 008 = -0,52 . Конечное значение обученности, вычисленное на
2.5 2
1.5 1
0.5 0
^ -0.5
іГ -і
ЄОО -1.5 -2 -2.5 -3
XXX
00;
Є 0к:
о 1
а"° М
-Р ^
У
( о-*5
і
10
15
20
25
Номер испытуемых и заданий
Рис.2 Согласие конечных 0к значений обученности с исходными 0 при введении фактора с = 0,7
основе вышеизложенной процедуры, с включением фактора с = 0,7, равно 0ks = 0,03, что отлично согласуется с исходным значением (критерий у_2 (0к-0) =0,06).
Сравнение уровней обученности
2.5
Єї
00 і із +++ Є еь
ріі
е-сю
1.5
0.5
-0.5
■1.5
-2
і
1
&ґ° 4
, + 4--+- +
) 1_ -С +■ ^
. і срі'-Н-—Ь" и + +■
-■ 1 О
С V
10
15
20
25
Номер испытуемых и заданий
Рис.3. ^впадение значений конечной обученности 0k с исходной 0 при обученности 0s=O, трудности р^=0,55 и с=0,7
В реальности не часто встречается нормальное распределение обученности в академических группах. Поэтому рассмотрим случай, когда группа испытуемых имеет случайное распределение обученности. С этой целью используем стандартную функцию 01 = гишД25,-2.5,2.5) и образуем массив из 25 случайных чисел в интер-
вале (-2,5; +2,5) единиц логитов. Затем отсортируем этот массив по возрастанию значений обученности с помощью функции 01=5ОГ/(01).
Аналогично этому составим тестовые задания, трудность которых распределена так же по случайному закону 01= гип/Д30,-3,3) с интервалом (-3;+3), перекрывающим интервал обученности группы. Используя стандартную функцию случайных чисел, можно составить группы испытуемых с различным уровнем обученности и тесты разной трудности.
Численное значение с-фактора было проверено в нескольких вариантах тестирования с различным распределением обученности тестируемых и трудности заданий и с различной трудностью тестов. Определенное из условия наилучшего согласия параметров 0к и 0 по критерию X , значение с-фактора оказалось одинаковым во всех вариантах тестирования. В дальнейших расчетах используется это установленное значение с=0,7.
Анализ результатов численного моделирования
Имея возможность создавать массивы со случайным распределением обученности 0 и трудности заданий в, выберем 3 группы испытуемых со средним уровнем обученности 08 ~ 0, 08 = - 0,2 и 08 = +0,2. Каждая группа многократно подверга-
лась тестированию. Средняя трудность 08 этих тестов варьировалась в пределах (-0,5; +0,5) логит. Тесты с трудностью выше этого предела не позволяют получить удовлетворительное согласие конечной обученности с исходной по критерию X2(0ks-0) .
На основе результатов этой серии тестирования изучался вопрос, как изменяется обученность 008 с возрастанием трудности теста 08. На рис.4 представлена зависимость
Рис.4. Понижение предварительной обученности группы 0008 = 008 - 08 с ростом 08 трудности теста
разности предварительной и исходной обученностей 0008 = 008 - 08 от 08 -средней трудности теста. Массивы численных результатов тестирования 3 групп испытуемых обозначены М1, М2 и М3, соответственно. Эта зависимость оказалась
линейной и не зависящей от исходной обученности группы. Вследствие этого, прямые отрезки 0008, соответствующие трем группам испытуемых, ложатся одна на другую.
Отметим, что при средней трудности теста 08 ~ 0, т.е. при при компенсации трудных и легких заданий в тесте, предварительная обученность совпадает с исходной. Отсюда следует, что результаты тестирования с помощью теста компенсированной трудности 08 — 0 дают достоверное оценивание знания без математической обработки их. При увеличении трудности теста оценка обученности группы линейно понижается, а при уменьшении трудности теста обученность возрастает.
Но в реальности не достигается ни удачная калибровка тестовых заданий, ни достоверное шкалирование испытуемых. Поэтому необходимо проводить математико-статистическую обработку результатов тестирования для получения объективной оценки обученности. Степень согласия конечной обученности с исходной проверялась по критерию х2(0к-0) < 1, но не по соответствию средних значений обученности. Известно математическое свойство теста [7], которое заключается в том, что используемый для достоверной оценки обученности тестовый набор заданий с большим разбросом трудности (большая дисперсия) уменьшает разброс конечных оценок 0к обученности. Вследствие этого усредненное значение конечной обученности контингента испытуемых оказывается в окрестности 0к8 — 0. Это свойство не зависит ни от трудности теста, ни от начального уровня обученности испытуемых. Такая независимость (инвариантность) обученности от трудности теста демонстрируется на рис. 5, где данные серии тестирования с задниями разной трудности дают одинаковые результаты средней обученность 3 -х групп испытуемых. Необходимо особо отметить, что тестовые оценки испытуемых совпадают с исходным уровнем обученности, что непрерывно контролировалось по критерию X2 . Это свойство инвариантности указывает на объективность тестового контроля знания.
Модель Г. Раша обладает еще одной замечательной особенностью, связанной с относительной инвариантностью оценок обученности испытуемых и трудности заданий. Дело в том, что формула успеха (1) зависит только от разности параметров 0 -
0.
Если испытуемый выполняет задание трудностью 0 с некоторой вероятностью Р(0,0), то на задание трудностью 0+с с прежней вероятностью ответит более подготовленный испытуемый с обученностью 0+с, так как 0 - 0 = (0 + с) - (0 + с). Этот эффект относительной инвариантности оценок параметров обученности и трудности отражен на рис. 6.
о
о
к
к
(и
5*
ю
о
к
<и
к
1>
0.8 0.8 0.6
М1Э0к ххх 1 0.4
М20О^ она 0.2
. 0
М30О^ еео -0.2 -0.4
- 0.8 -0.6 -0.8
Зависимость о бренности от разности
■0' г о
.ь_ / У
□ 11
■0.8 -0.6 -0.4 -0.2 0 0.2 0.4
-0.8 М10рк1М20^,М3 0^
0.6
0.8
0.8
I I
Разность обученности и трудности.
Рис.5. Инвариантность обученности относительно трудности теста.
Рис.6. Иллюстрация относительной инвариантности средней обученности 008 от разности средних значений параметров 00=08 - Ps.
Для всех 3-х вариантов тестирования наблюдается одинаковое линейное возрастание предварительной обученности с ростом разности параметров 08 - Ps . Совпадение средних значений 008 в области, где перекрываются значения разности 08 -Ps для разных вариантов тестирования, дает обоснование для вывода об относительной инвариантности оценок параметров 0 и р.
Заключение
Численным моделированием процесса тестирования в рамках модели Раша продемонстрировано, как математико-статистические методы современной теории тестов приводят к достоверным оценкам испытуемых, не зависящим от трудности заданий при выполнении необходимых требований проведения тестирования.
Одно из важных требований в том, что уровень трудности теста должен соответствовать уровню обученности испытуемых. Только в этом случае, когда близки средние значения трудности теста и обученности испытуемых, и достаточно велика дисперсия массива трудности задания, оценка обученности становится наиболее эффективной, которую можно принять в качестве объективной оценки. Сокращение интервала трудности заданий в тесте, т.е. уменьшение дисперсии массива заданий, приводит к снижению контролирующей функции теста.
Другое не менее важное требование состоит в том, что среднее значение массива заданий должно быть близко к Ps =0, т.е. должно быть сбалансировано число трудных и легких заданий в тесте. В случае удачно компенсированной трудности Ps ~ 0 теста достигается достоверное оценивание знания без дополнительной математической обработки их.
Только при выполнении требуемых условий проведения тестирования и профессиональной обработки его результатов достигается инвариантность оценок знания относительно трудности заданий.
В нашем численном моделировании процесса тестирования остается не выполненным требование достаточной статистики массивов испытуемых и заданий. В связи с внедрением в наших ВУЗах балльно-рейтинговой системы текущий контроль знания проводится по каждому модулю изучаемой дисциплины в отдельной академической группе с помощью тематических тестов, состоящих из ~30 заданий. В таких случаях модель Раша не всегда адекватно описывает эмпирические данные тестирования. И для согласования расчетных и исходных значений обученности вынуждены ввести поправочный множитель с-фактор, причина которого возможна, что используемые статистические выборки заданий и тестируемых не значительны.
В заключение еще раз отметим, что достоверность оценки испытуемых достигается только в случае корректного проведения тестирования и профессионального анализа его данных в рамках модели Раша.
Литература
1. Сафаров Р.Х. Математико-статистическая обработка результатов тестирования на базе EXCEL. Практикум». Учебное пособие для студентов педагогических вузов. Казань, ТГГПУ, 2010 г., 98 стр.
2. И.Х. Галеев, В.Г. Иванов, Н.В. Аристова, В.Г. Урядов. Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2007 . - V. 10. - №3. - C.336-360. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/joumal.html
3. Н.О.Прокофьева. Вопросы организации компьютерного контроля знаний // Международный электронный журнал "Образовательные технологии и общество (Educational Technology &Society)" - 2006 . -Т.9. - №1. - C.433-440. - ISSN 14364522. URL: http ://ifets.ieee.org/russian/periodical/j ournal. html
4. Сафаров Р.Х., Хрусталев А.В. Типы вопросов тематических тестов по классической механике на основе программного продукта TestMaker// Международный
электронный журнал "Образовательные технологии и общество (Educational Technology &Society)" - 2010 . -Т.13. - №1. - C.281-292. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
5. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос, 2002 г., 432 с.
6. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, 1960, Danish Institute of Educational Research. (Expanded edition, Chicago, 1980, The University of Chicago Press).
7. Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение -М.: Центр тестирования МО РФ, 2002, 67 с.
8. Аванесов В.С. Применение тестовых форм в Rasch Measurement // Педагогические измерения, 2005, №4. С.3-20.
9. Колпаков А.В., Колпакова А.В., Захаров А.А. Численный метод получения логитов из первичного балла // Вопросы тестирования в образовании, 2002, №3. С.125-128.
10. Кузнецов А.В. Методика тестирования знаний и устранение случайных ошибок //Образовательные технологии и общество // Международный электронный журнал "Образовательные технологии и общество (Educational thehnology & Society)" -2007, Т.10, №1, C.271-275.-ISSN 1436-4522.URL: http://ifets.ieee.org/russian/periodical/iournal.html
11. Ким В.С. Тестирование учебных достижений.- Уссирийск, УГПИ, 2007. С.208
