CC BY
246
АДАПТИВНОЕ ТЕСТИРОВАНИЕ. ЛОГИЧЕСКИЕ МОДЕЛИ РАША И БИРНБАУМА
В.И. Сумин, А.С. Кравченко, В.В. Рябинин
Рассматриваются преимущества адаптивного тестирования. А также основные логические модели реализации адаптивного тестирования
Ключевые слова: адаптивное тестирование, логическая модель, логит
Достаточно важное направление изменений в тестовых методах оценивания подготовленности обучаемых связано с к компьютерным адаптивным тестированием, открывающим новые возможности для индивидуализации контрольно-корректировочных воздействий на обучаемого и реализации теоретических положений дистанционного обучения.
При измерении уровня знаний с неадаптивным тестированием для каждого обучаемого формируется тест определенной длины из выбранных случайным образом заданий тестового пространства. При этом тесты отличаются по сложности, и итоговая оценка формируется по числу правильных ответов с учетом весовых коэффициентов заданий. Недостатком такого тестирования может быть появление ситуаций, когда слабому студенту попадается сложный тест и как следствие этого - практическое отсутствие ответов. С другой стороны сильный студент может получить легкий тест и не реализовать свои способности. Для обеспечения максимальной информативности результатов контроля необходимо, чтобы средняя сложность предъявляемого обучаемому теста соответствовала его гипотетическому уровню обученности. Практически это можно осуществить с помощью адаптивного тестирования.
Построить адекватную модель тестирования с привлечением только классической теории тестов сложно, так как уровень обученности (как измеряемый параметр) и трудность тестовых заданий (как параметр задания, устанавливаемый при его аттестации) имеют разные метрики.
Первичной информацией при тестировании знаний является набранный балл испы-
Сумин Виктор Иванович - ВИ МВД России, д-р техн. наук, профессор, тел. (4732) 38 80 77 Кравченко Андрей Сергеевич - ВГПУ, аспирант, тел. 8- 950-765 64 10
Рябинин Виктор Владимирович - ВИПС филиал (академии ФСО России), соискатель, тел. 8-910-34 35 792
туемых или так называемый первичный балл. Достоинством этой оценки является ее простота и наглядность, Действительно, чем больше заданий выполнил испытуемый, тем выше его балл.
Однако проблема заключается в том, что первичный балл является не абсолютной, а относительной оценкой. Он существенно зависит от трудности заданий теста и на другом тесте он может оказаться иным, причем сама трудность теста в свою очередь определяется всем контингентом испытуемых. Желательно иметь объективную оценку уровня подготовленности испытуемых, подтверждаемую на различных тестах, имеющих заранее определенный уровень трудности заданий.
Вторым существенным недостатком первичных баллов является их нелинейность по отношению к тем параметрам, которые они должны характеризовать (уровень подготовленности). В частности, если тест состоит из 100 заданий, то разность в первичных баллах Ь1-Ь2=86-82=4 соответствует большему различию в уровне подготовленности участников, чем та же разность для участников имеющих, например 23 и 19 баллов. Сравнивая первичные баллы необходимо понимать, что первичные баллы являются лишь индикатором подготовленности испытуемых, а не ее мерой
Использование параметрических моделей позволяет установить связь между уровнем знаний испытуемых и результатами выполнения тестов, что позволяет определить уровень знаний независимо от сложности заданий. В качестве меры трудности заданий и меры уровня знаний применяется логит. Г.Раш ввел две меры: «логит уровня знаний» и «логит уровня трудности задания». Первую он определил как натуральный логарифм отношения доли правильных ответов испытуемого, на все задания теста, к доле неправильных ответов, а вторую - как натуральный логарифм другого отношения - доли неправильных ответов на задание теста к доле правильных ответов на тоже задание, по множеству испытуемых.
Единая логарифмическая шкала позволяет установить требуемое соответствие между уровнем обученности и трудностью задания и, более того, произвести коррекцию результатов тестирования при тестах разной сложности
Простейшая модель функции успеха имеет вид
Р = —(!)
5 +1
где s - уровень подготовленности участника тестирования, t - трудность тестового задания, а p - вероятность правильного выполнения задания. На практике аргументы s е (0, да) и t е (0, да) часто удобно выражать в логарифмическом масштабе. Введем для этого следующие обозначения
ln s = 0, ln t = 5 О s = e0, t = e5
(2)
При этом функция успеха (1) принимает
вид
= e0 1 = 1 (3)
p e0 + es 1 + e5-0 1 + exp[-(0 - 5)]
и называется основной логистической моделью Раша. Здесь р вероятность того, что участник тестирования с уровнем подготовленности 0 правильно выполнит задание трудности 5 . Очевидно, что аргументы 0 е (-да, да) и 5 е (-да, да) измеряются одной и той же шкалой с единицей измерения один логит. Вероятность успеха, как видим, зависит, по существу, только от одного параметра - разности 0 - 5, и потому модель (3) является однопараметрической. При этом
lim p = 1, lim p = 0
(0-5)^+да (0-5)^-да (4)
p = 0.5, 0 = 5
Вероятность р как функция 5 при фиксированном значении уровня подготовленности 0 = 00, полностью описывает потенциальные возможности индивидуума с уровнем подготовленности 00 при выполнении заданий всевозможных трудностей 5 и потому называется характеристической функцией уровня подготовленности 00. Вероятность р как функция
0 при фиксированном значении 5 = 50 той
же полнотой характеризует возможности участников тестирования с различным уровнем подготовленности при решении задания трудности 50 и называется характеристической
функцией трудности 50. Графики характери-
стических функций называются соответствующими характеристическими кривыми.
В рамках логистической модели (3) абсциссы 5 = 00 на рис.1 и 0 = 50 на рис.2 являются корнями уравнений
д2 Р = 0 и д2 р = 0
^52 _ и д02 = 0 соответственно, и определяют точки перегиба характеристических кривых. Ординаты точек перегиба равны 0,5.
Рис. 1. Характеристическая кривая уровня подготовленности 00
Рис. 2. Характеристическая кривая уровня трудности задания 50
Заметим, что характеристическая кривая уровня подготовленности 00 представляет
собой стандартную характеристическую кривую уровня подготовленности 0 , сдвинутую (без деформации) вдоль оси абсцисс на 00 единиц. Это означает увеличение (если 00 > 0) или уменьшение (если 00 < 0) вероятностей успешного выполнения индивидуумом с 0 = 00 заданий всевозможных трудностей. Следовательно, характеристические кривые, соответствующие различным уровням подготовленности, не пересекаются. Это выгодно отличает функцию (3) от других функций успеха, где пересечение возможно.
Аналогичная ситуация имеет место и при параллельном переносе характеристической кривой трудности 50.
Возможна замена однопараметрической функции успеха (3) двухпараметрической моделью вида
р = [1 + ехр(-й (0 - 5))]-1 (5)
В рамках этой модели каждому тестовому заданию определенной трудности 5= 50 соответствует не единственная характеристическая кривая, как это показано на рис.2, а семейство кривых, пересекающихся в единой точке перегиба (0 = 50; В этой точке крутизна каждой
кривой семейства, т.е. величина тангенса угла
й
наклона касательной, равна —. Поэтому значение параметра й является дополнительной характеристикой задания. Большее значение й является предпочтительным. Дело в том, что при малом й характеристическая кривая трудности 50 является пологой. На практике это
означает, что участники тестирования с хорошим и плохим уровнем подготовки выполняют данное задние с приближенно равным успехом. Наоборот, если й велико, то шансы успешного выполнения данного задания участниками 0< 50 и 0> 50 отличаются сущест-
венно. Поэтому параметр й принято называть дифференцирующей ,или дискриминационной способностью тестового задания.
Рис. 3. Характеристические кривые трудности задания с разными значениями параметра й
Двухпараметрическая модель (5) носит имя Бирнбаума. Понятно, что при й = 1 логическая модель Бирнбаума (5) совпадает с логической однопараметрической моделью Ра-ша(3).
Литература
1. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Прометей, 2000. - 169 с.
2. Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение. - М.: Прометей, 2003. - 70 с.
Воронежский институт МВД России
Воронежский государственный педагогический университет
Воронежский институт правительственной связи филиал (академии ФСО России)
ADAPTIVE TESTING. LOGIC MODELS OF RASH AND BIRNBAUM
V.I. Sumin, A.S. Kravchenko, V.V. Riabinin
Advantages of adaptive testing are observed. And as the basic logic models of implementation of adaptive testing Key words: Adaptive testing, logic model, logit
