CC BY
45
УДК 372.881.133.1 ББК Ч-4 8 6
ГСНТИ 14.25.01; 16.31.51
Код ВАК 13.00.02; 10.02.05
М. С. Мысик
Екатеринбург
ТРУДНОСТЬ ТЕСТОВЫХ ЗАДАНИЙ: ПЛАНИРУЕМАЯ И РЕАЛЬНАЯ (НА ^МАТЕРИАЛЕ ФРАНЦУЗСКОГО ЯЗЫКА)
КЛЮЧЕВЫЕ СЛОВА: тестовое задание; трудность; французский язык
АННОТАЦИЯ. Рассматривается проблема трудности тестовых заданий (ТЗ). На материале ЕГЭ по французскому языку, проведенного в Свердловской области, анализируется взаимосвязь различных факторов, влияющих на трудность ТЗ. Отмечается большое значение, которое имеет в данном вопросе форма ТЗ.
M. S. Mysik
Ekaterinburg
TEST ITEM DIFFICULTY: CONCEPTION AND REALITY (IN FSL TEACHING)
KEY WORDS: test item; difficulty; the French language.
ABSTRACT. The article deals with the problem of test item difficulty. The analysis departs from the State Exam (in the French language) scores of Sverdlovsk region high school graduates. It goes through the study of the interdependence of different factors that could strongly influence the test item difficulty and stresses the important role of the test item format.
Т
естовая форма оценки уровня подготовленности учащихся является на сегодняшний день объективной реальностью. Оставим в стороне споры о ее достоинствах и недостатках; отнесемся к ней как к свершившемуся факту. Тем более что выявление несовершенств, равно как и утверждение преимуществ, должно опираться на научно обоснованные и статистически выверенные данные. В настоящей статье мы бы хотели затронуть вопрос о трудности тестовых заданий. Трудность задания является одной из ключевых характеристик; она определяет оптимальное соотношение заданий в рамках теста. Очевидно, что на этапе разработки теста трудность того или иного задания — величина предполагаемая; реальность же может внести свои коррективы. Мы попытаемся разобраться, какие факторы влияют на трудность тестового задания. Мы отдаем себе отчет в том, что полученные результаты не могут претендовать на универсальность ввиду ограниченности статистических данных. Однако эти результаты, возможно, будут полезны дТяУдалмний11Лих' овгщжденийи Я В ТЕОРИИ ТЕСТОЛОГИИ. В классической теории тестов трудность задания исчислялась как отношение верно данных на него ответов к общему количеству испытуемых [2]. Естественным образом, чем ближе полученный результат к 1 (единице), тем большее количество испытуемых с ним справилось, следовательно, тем легче задание. Поэтому со временем показатель трудности задания стали рассчитывать как отношение неверно данных ответов к общему количеству испытуемых. Суть от этого, правда, поменялась не очень сильно. Формула позволяет констатировать, что с заданием X испытуемые справляются лучше (или хуже),
но не дает никакого представления о том, почему. Соотношение верно и неверно выполненных заданий является ключевым элементом в вычислении вероятности правильного ответа, предложенном Г. Рашем [См: 1]. Он предложил опираться только на «наблюдаемые параметры», такие как количество верных ответов, данных на ряд заданий испытуемым N, и количество верных ответов, данных всеми испытуемыми на задание X [4. С.325]. Оба примера пригодны для обработки результатов тестирования. Если их использовать на различных этапах текущего контроля, они станут эффективным инструментом коррекции дальнейших действий педагога. Кроме того, расчет вероятности правильного ответа (например, по Рашу) позволит дифференцировать и индивидуализировать процесс обучения.
Однако одной оценки результатов тестирования post factum недостаточно. На этапе разработки тестов важно заранее спрогнозировать трудность того или иного задания. И в этом случае тестологи отмечают два возможных фактора, определяющих трудность задания: форма и содержание [2]. И если допустить, что тестовые задания разработаны качественно (то есть имеются четкие инструкции к выполнению задания, ответы однозначны и соблюдены другие требования к составлению тестовых заданий, а содержательно задания соответствуют уровню подготовки испытуемых), то наиболее вероятно, что трудность задания будет зависеть от сформированности/не сформи-рованности соответствующих знаний, умений и навыков. Открытым остается вопрос о зависимости трудности задания от вероятности угадывания правильного ответа.
Трудность заданий закрытой формы: опыт ЕГЭ по французскому языку. В закры-
той части ЕГЭ по французскому языку традиционно предлагаются задания с выбором правильного ответа (одного из четырех или одного из трех) на установление соответствия и задания с кратким ответом. Все задания распределены на три уровня: базовый, повышенный и высокий. Логично было бы предположить, что трудность задания будет возрастать пропорционально его уровню. Однако статистические данные говорят об обратном. Так, в 2009 году успешность выполнения заданий базового уровня была сопоставима с успешностью выполнения заданий высокого уровня, а задания повышенного уровня оказались наиболее сложными для выполнения, а в 2010 году наименьший процент верно выполненных заданий в закрытой части пришелся на базовый уровень [3.С.58]. Результаты вполне можно назвать парадоксальными. Каковы же факторы, влияющие на трудность/легкость задания?
Можно констатировать прямую зависимость успешности выполнения заданий от их типа по возрастающей трудности: с кратким ответом, на установление соответствия и с множественным выбором. При этом совершенно неважна заявленная сложность задания. Так, задания В4—В16 (с кратким ответом) по спецификации ЕГЭ относятся к заданиям базового уровня, и в действительности проверяют навыки использования базового грамматического материала в соответствии с образовательным стандартом, однако в реальности оказывается, что учащиеся с трудом трансформируют исходную грамматическую форму с учетом заданного контекста.
Посмотрим, каково соотношение заданий с различной вероятностью угадывания на каждом из уровней. Задания базового уровня: общее количество в частях А и В — 15; из них 2 — задания на установление соответствия (вероятность угадывания близка к нулю) и 13 — с кратким ответом (вероятность угадывания нулевая). Задания повышенного уровня: общее количество в частях А и В — 15; из них 1 — на установление соответствия (вероятность угадывания близка к нулю), 14 — с выбором одного правильного ответа из трех или четырех предложенных (вероятность угадывания 33% и 25% соответственно в зависимости от количества дистракторов). Задания ЛИТЕРАТУРА
высокого уровня: общее количество в частях А и В — 14; все они — задания с выбором одного правильного ответа из четырех предложенных (вероятность угадывания равна 25%).
К другим факторам, влияющим на успешность выполнения заданий, можно отнести а) степень адаптации языкового материала к заявленному уровню; Ь) пооперационный состав действий, необходимых для выполнения того или иного задания; с) время, отводимое на выполнение задания, в сочетании с его объемом. В рамках данной статьи мы рассмотрим картину в целом. Анализ контрольно-измерительных материалов, ежегодно размещаемых на сайте Федерального института педагогических измерений, показывает, что а) языковой и речевой материал заданий разных уровней практически не отличается по сложности; Ь) пооперационный состав действий также неоднороден и с) тексты действительно различаются по объему, но это различие «компенсируется» тем, что на базовом и повышенном уровне часть текстов содержит лакуны, а такой текст требует большего времени на осмысление.
Таким образом, ни один из трех перечисленных факторов не является определяющим для трудности тестовых заданий, а значит, тип тестового задания играет далеко не последнюю роль.
Выводы. На частном примере (ЕГЭ по французскому языку, проводимый в Свердловской области) мы рассмотрели факторы, способные влиять на трудность тестового задания. К таковым относятся языковой/речевой материал, объем текстов, операционный состав действий (содержательные трудности) и тип тестового задания (формальные трудности). На протяжении двух лет проведения ЕГЭ по французскому языку фиксировалась в среднем обратная зависимость успешности выполнения заданий от их заявленного уровня. Анализ возможных содержательных трудностей показал, что в общем и целом очевидного различия между заданиями разных уровней не обнаруживается, а следовательно, они могли бы быть отнесены к «прочим равным данным». В результате формальная трудность, а именно: вероятность угадывания правильного ответа, выходит на первый план.
1. АВАНЕСОВ В. С. Применение тестовых форм в Rasch Measurement // Педагогические измерения. URL: http://testolog.narod.ru/Theory49.html (дата обращения: 9.09.2011).
2. АВАНЕСОВ В. С. Трудность теста и тестовых заданий // Теория и методика педагогических измерений. URL: http://testolog.narod.ru/Theory7.html (дата обращения: 9.09.2011).
3. РЕЗУЛЬТАТЫ единого государственного экзамена в Свердловской области в мае-июне 2010 года (иностранные языки) / авт.-сост. : И. С. Машарова, И. А. Бредихина, Г. А. Лукина, М. С. Мысик, Л. Ф. Гавриш. Екатеринбург : ГБОУ ДПО СО «ИРО». URL: http://ege.midural.ru/sites/default/ffles/%20языки.pdf (дата обращения: 10.10.2011).
4. RASCH G. On general laws and the meaning of measurement in psychology. URL: http://projecteucHdorg/DPubS/Repository/1.0/Disseminate?view=body&id=pdf_1&handle=euclidbsmsp/1200512895 (дата обращения: 3.10.2011).
5. ФЕДЕРАЛЬНЫЙ институт педагогических измерений. URL: http://www.fipi.ru (дата обращения: 14.10.2011).
Статью рекомендует д-р пед. наук, проф. Н. Н. Сергеева
