CC BY
48
УДК 51-77, 303.714, 303.224.74
АНАЛИЗ КАЧЕСТВА ТЕСТА ЕГЭ ПО БИОЛОГИИ НА ОСНОВЕ МОДЕЛИ РАША
Летова Л.В., Омский государственный технический университет, Омск, Россия E-mail: LetovaLLV@mail.ru
Аннотация
Данная статья освещает результаты исследования качества теста единого государственного экзамена по биологии 2013 года. В качестве методического инструмента использовалась модель Раша, признанная мировой научной общественностью в области измерения и моделирования латентных переменных. Ключевые слова: модель Раша; измерение латентных переменных; уровень учебных достижений.
ANALYSIS QUALITY TEST UNIFIED STATE EXAM IN BIOLOGY
BASED RACH MODEL
Letova L.V., Omsk State Technical University, Omsk, Russia, E-mail: LetovaLLV@mail.ru
Abstract
This article highlights the quality of the test results of a study of the unified state exam in biology in 2013. As a methodological tool used Rasch model, recognized by the world scientific community in the field of measurement and modeling of latent variables. Keywords: Rach model; latent variables measurement; level of of educational achievements.
1. Постановка задачи
В настоящее время в России оценка образовательных достижений выпускников средней школы осуществляется в ходе государственной итоговой аттестации в форме единого государственного экзамена (ЕГЭ). Вопрос о качестве контрольно-измерительных материалов этого экзамена является актуальным, т.к. только качественные тесты могут давать точную адекватную картину уровня учебных достижений учащихся. В работах [1,2] автор обращался к вопросу качества тестов ЕГЭ. На сегодняшний день методика анализа качества теста как измерительного инструмента усовершенствована и данная статья освещает результаты исследования качества теста ЕГЭ по биологии 2013 года с помощью новой методики [3]. В качестве методического инструмента использовалась также модель Раша, признанная мировой научной общественностью в области измерения и моделирования латентных переменных [4-6]. Техническая реализация данного исследования была проведена с помощью программного обеспечения «Измерение латентных переменных», разработанного лабораторией объективных измерений [7].
2. Алгоритм анализа качества теста как измерительного инструмента
Алгоритм анализа качества теста как измерительного инструмента показан на рис.
1.
Рис. 1 Алгоритм анализа качества теста
Критериями качественного теста согласно представленному алгоритму являются следующие условия:
a. набор ТЗ адекватен модели измерения с вероятностью Р(Хи-квадрат) >0,05,
b. все ТЗ дифференцируют испытуемых и соответствуют модели измерения с вероятностью Р(Хи-квадрат) ]>0,01,
c. точность измерения практически не отличима от эталонной, когда ТЗ распределены равномерно.
Заметим, что этот алгоритм позволяет не только оценить качество теста, но и оптимизировать его. Рассмотрим применение этого алгоритма более подробно на примере анализа качества теста ЕГЭ по биологии.
3. Оценка качества теста ЕГЭ по биологии
Рассмотрим вопрос о пригодности теста по биологии, разработанного Федеральным институтом педагогических измерений, на основе модели Раша. Модель строилась на базе результатов ЕГЭ по биологии 2013 года города Омска и Омской области. В качестве измеряемой латентной переменной (ИЛП) рассматривался уровень подготовки выпускников средней школы по биологии, в качестве индикаторной латентной переменной - тестовые задания (ТЗ) теста. Количество ТЗ в тесте - 50, испытуемых - 2037 (основной этап). Обоснование вывода о качестве теста, а следовательно, и о пригодности предлагаемой системы ТЗ для измерения уровня подготовленности испытуемых нуждается в эмпирических фактах. Рассмотрим их.
3.1. Анализ матрицы исходных результатов тестирования
ТЗ, на которые все испытуемые ответили правильно или неправильно, не обладают метрическими свойствами, они не дифференцируют испытуемых по ИЛП. Анализ матрицы исходных результатов тестирования не выявил ТЗ, не дифференцирующих испытуемых.
3.2. Вычисление параметров модели измерения
Параметрами модели измерения являются латентные переменные «уровень подготовки выпускников средней школы по биологии» (ИЛП) и трудность ТЗ. Эти переменные измеряются на единой линейной шкале логитов. Результаты измерения латентных переменных показаны на рис. 2. Верхняя диаграмма демонстрирует частотное распределение ИЛП, нижняя диаграмма - трудностей ТЗ.
Рис. 2 Распределение латентных переменных для теста ЕГЭ по биологии
3.3. Оценка адекватности экспериментальных данных модели измерения
Учитывая, что методической основой оценки качества теста является модель Раша, первичной является оценка адекватности экспериментальных данных модели измерения. Показателем совместимости теоретических и экспериментальных данных является критерий согласия хи-квадрат. Набор ТЗ адекватен модели измерения с вероятностью Р(Хи-квадрат)=1, что превышает критическое значение 0,05 (рис.3).
Индикаторы Среднее значение: Ср. квадр. отклонение:
0.000
0.584
Показатели надежности Индекс сепарабельности объектов:
Альфа Кронбаха:
50
Характеристики измерительного инструмента Число индикаторов: Число объектов: Число подгрупп объектов:
2037
10
0.910
0.965
Объекты
Среднее значение: Ср. квадр. отклонение:
Статистика Хи-квадрат: Степени свободы: Вероятность Хи-квадрат:
0,221
0,951
209,781
450
1,000
Рис. 3 Суммарная статистика теста ЕГЭ по биологии
Также представляет интерес, насколько каждое ТЗ адекватно модели измерения (табл. 1).
Таблица 1. Характеристики ТЗ
ТЗ оценка Ст. ошибка Б(Хи-квадрат^ ТЗ оценка Ст. ошибк а Г(Хи-квадрат^
А1 -0,323 0,049 0,990 А26 -0,700 0,051 1,000
А2 -0,544 0,050 0,880 А27 -0,395 0,049 0,856
А3 -0,575 0,050 0,996 А28 -0,329 0,049 0,987
А4 -0,356 0,049 0,304 А29 0,500 0,049 0,830
А5 -0,261 0,049 0,716 А30 0,066 0,048 0,997
А6 -0,824 0,052 0,996 А31 0,461 0,049 0,674
А7 -0,531 0,050 0,886 А32 0,159 0,048 0,993
А8 -0,159 0,048 0,663 А33 0,391 0,048 0,822
А9 -0,113 0,048 0,968 А34 0,486 0,049 0,997
А10 -0,679 0,051 0,863 А35 0,253 0,048 0,987
А11 -0,878 0,052 0,988 А36 0,144 0,048 0,922
А12 -0,100 0,048 0,980 В1 0,190 0,034 0,992
А13 -0,344 0,049 0,992 В2 -0,678 0,036 0,394
А14 -0,243 0,049 0,991 В3 -0,272 0,034 0,270
А15 -1,033 0,054 0,977 В4 0,487 0,031 0,944
А16 0,202 0,048 0,939 В5 0,216 0,030 0,987
А17 -0,256 0,049 0,874 В6 0,952 0,034 0,494
А18 -0,395 0,049 0,983 В7 0,567 0,031 0,864
А19 -0,835 0,052 1,000 В8 0,290 0,031 0,788
А20 0,205 0,048 0,871 С1 0,548 0,034 0,996
А21 -0,349 0,049 0,836 С2 1,243 0,029 0,963
А22 -0,458 0,049 0,993 С3 1,124 0,029 0,797
А23 0,423 0,049 0,985 С4 1,299 0,031 0,708
А24 -0,250 0,049 0,235 С5 0,889 0,026 0,669
А25 -0,404 0,049 0,655 С6 1,191 0,028 0,866
Наихудшей совместимостью обладает ТЗ А24 с Р(Хи-квадрат^=0,235 (табл. 1), что превышает критическое значение 0,01. Таким образом, все ТЗ адекватны модели измерения. Это означает, что полученные исходные результаты тестирования можно использовать как для измерения рассматриваемой латентной переменной, так и для измерения уровня трудности ТЗ с помощью модели Раша.
3.4. Дифференцирующая способность ТЗ и теста
Измерительными единицами теста являются ТЗ. «Работу» каждого ТЗ наглядно демонстрируют характеристические кривые (рис. 4). На характеристических кривых по оси абсцисс отложена ИЛП «уровень учебных достижений выпускников средней школы по биологии», по оси ординат - ожидаемая вероятность правильного ответа на ТЗ. Модельные значения представлены линейным континуумом, точками обозначены экспериментальные данные для групп испытуемых.
Важной характеристикой ТЗ является его дифференцирующая способность -свойство ТЗ различать испытуемых по уровню ИЛП. Чем выше дифференцирующая способность задания, тем лучше деление испытуемых на подготовленных и не подготовленных. В модели Раша все характеристические кривые параллельны, т.е дифференцирующая способность ТЗ согласно модели одинаковая. Анализ экспериментальных данных (точек на рис.4) дает основание судить об истинной дифференцирующей способности ТЗ. Если бы эти точки располагались примерно параллельно абсциссе, т.е. вероятность правильного ответа для различных групп испытуемых была бы примерно одинаковой, то это ТЗ не дифференцировало бы испытуемых. В рассматриваемом тесте все ТЗ обладают дифференцирующей способностью. На рис. 4 показаны ТЗ с различным уровнем трудности (табл. 1).
Рис.4 Характеристические кривые ТЗ различной трудности
Результаты измерения латентных переменных показаны на рис. 2. ИЛП теста ЕГЭ по биологии варьирует в интервале порядка 6-ти логит, что свидетельствует о высокой дифференцирующей способности всего теста.
3.5. Точность измерения
Каждое ТЗ наиболее точно измеряет испытуемых с уровнем ИЛП, соответствующей трудности этого ТЗ [3]. Поэтому окна в распределении ТЗ и их диапазон варьирования, не перекрывающих диапазон варьирования ИЛП, могут ухудшать метрические свойства теста. Тест как измерительный инструмент - это система ТЗ равномерно возрастающей трудности. Но на практике окна в распределении ТЗ неизбежны. В работах [8,9] на основе имитационного моделирования было сконструировано равномерное распределение ТЗ в диапазоне от -4 до +4 логит. Это распределение ТЗ авторы считают эталонным и используют для сравнительной характеристики точности измерения в реальных тестах. В таблице 2 и на рис. 5 представлен сравнительный анализ точности измерения для теста по биологии с эталоном, когда тестовые задания распределены равномерно. В качестве характеристики точности измерения рассматривается стандартная ошибка измерения Ж, обратно пропорциональная точности измерения.
Таблица 2. Точность измерения уровня подготовки по биологии по сравнению с эталоном
И ЛП среднее Ж среднее
биол огия эталон (без окон)
-4 0,638
-3 0,534
-2 0,367 0,482
-1 0,287 0,467
0 0,248 0,464
1 0,248 0,468
2 0,336 0,487
3 0,501 0,534
4 1,128 0,626
1,2 1
0,8 £ 0,6
0,4
0,2 0
-4-3-2-10 1 2 3 4
Рис. 5 Точность измерения уровня подготовки по биологии по сравнению с эталоном
Результаты анализа точности измерения (рис.5, табл. 2) свидетельствуют о том, что ИЛП в диапазоне от 3,5 до 4,5 логит измеряется с пониженной точностью. Но учитывая, что испытуемых с таким уровнем подготовки всего 9 человек из 2037 (0,4%) и в диапазоне от -3 до +3 логит, где сосредоточено распределение ИЛП в большинстве практических ситуациях, обеспечена точность измерения не ниже эталонной, будем считать, что тест ЕГЭ по биологии 2013 обеспечивает высокую точность измерения вцелом.
4. Заключение
В статье показано использование модели Раша как методического инструмента для анализа качества теста на примере теста ЕГЭ по биологии. Метод анализа, основанный на этой теории, дает объективные научно обоснованные знания [4-6]. Анализируя качество теста, можно сделать вывод о его высокой дифференцирующей способности и точности измерения. Учитывая, что качество теста корнями уходит в его содержание, можно сделать вывод, что Федеральный институт педагогических измерений обеспечивает не только высокое качество разработки тестов, но и способствует объективному и точному измерению уровня подготовки выпускников средней школы по биологии.
Список литературы
1. Летова Л.В. Исследование качества теста единого государственного экзамена по математике с помощью модели Раша // Управление образованием: теория и практика. 2013. №1(9). - С. 89-99.
2. Летова Л.В. Исследование качества теста единого государственного экзамена по физике с помощью модели Раша // Управление образованием: теория и практика. 2013. №3(11). - С. 52-61.
3. Летова Л.В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. №11. - С. 116 - 125.
4. Masters N. G. The Key to Objective Measurement. Australian Council on Educational Research, 2001.
5. Маслак А.А. Измерение латентных переменных в социальных системах. -Славянск-на-Кубани: Издательский центр СГПИ, 2012. -432 с.
6. Летова Л.В. Объективность измерений латентных переменных // Дистанционное и виртуальное обучение. 2014. №3. - С. 83-94.
7. Маслак А.А., Осипов С.А. Измерение латентных переменных // Свидетельство о государственной регистрации программ для ЭВМ № 2013618487. Дата государственной регистрации в Реестре программ для ЭВМ 10 сентября 2013 г.
8. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 1) // Современные научные исследования и инновации. - Апрель 2014. - № 4 [Электронный ресурс]. URL: web.snauka.ru/issues/2014/04/33733 (дата обращения: 21.04.2014).
9. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 2) // Современные научные исследования и инновации. - Май 2014. - № 5 [Электронный ресурс]. URL: web.snauka.ru/issues/2014/05/33827 (дата обращения: 24.05.2014).
