Метод оценки трудности задач для тестов по физике Текст научной статьи по специальности «Математика»

ПЕДАГОГИКА И МЕТОДИКА ПРЕПОДАВАНИЯ

Вестн. Ом. ун-та. 2013. № 2. С. 188-190.

УДК 37.001.5

А.В. Гидлевский, Р.А. Зотов, М.А. Гальцева

МЕТОД ОЦЕНКИ ТРУДНОСТИ ЗАДАЧ ДЛЯ ТЕСТОВ ПО ФИЗИКЕ

Предлагается метод оценки трудности задач по физике, которые используются для создания контрольно-измерительных материалов в системах мониторинга качества обучения. В отличие от методов, предлагаемых другими исследователями, данный метод обладает простотой, доступностью для рядового педагога и высоким разрешением шкалы трудности.

Ключевые слова: трудность решения задачи, субъект-предикатный подход, граф решения задачи, шкала трудности.

В данной статье мы будем называть педагогическим тестом набор заданий для определения уровня обученности индивида. В качестве заданий целесообразно использовать задачи сборников, которые применяются в обучении. В связи с этим мы будем применять далее слова «задача» и «тестовое задание (задание)» как синонимы. Чем выше трудность решаемых индивидом задач, тем выше уровень обученности, соответственно, выше качество образования в образовательном учреждении. В связи со сказанным можно утверждать, что тесты способны служить эффективным инструментом измерения качества обучения (образования), а также основным инструментом управления качеством индивидуализированного обучения.

Однако на пути введения тестирования в широкий педагогический обиход имеется большая проблема исчисления трудности задач для создания контрольно-измерительных материалов (КИМов). Надеждам тестоло-гов на возможность эффективного измерения трудности тестовых заданий по шкале логитов в статистиках Г. Раша и А. Бирнбаума не суждено было сбыться по причине непригодности указанных статистик для целей измерения качества образования. Именно недостатки тестов для единого государственного экзамена (ЕГЭ) спровоцировали войну против него в целом. Выход из создавшегося положения мы видим в новых подходах к исчислению трудности тестов, используемых в образовании.

Один из таких подходов проиллюстрируем ниже на примере задач по физике.

В основе предлагаемого нами метода оценки трудности тестовых заданий лежит субъект-предикатная идеология. Согласно субъект-преди-катному подходу [1], искомая величина (главный текстовый субъект) раскрывается посредством других величин (текстовых субъектов), что очевидно. Текстовые субъекты могут быть расположены по «этажам» - рангам для удобства их описаний (определений). При этом главному текстовому субъекту удобно назначить нулевой ранг.

Действия в решении задачи, а следовательно, вводимые в предикат текстовые субъекты, имеют различную трудность их определения. В решении задачи первый шаг является самым трудным, второй шаг - полегче, третий - еще легче, поскольку последующие шаги (действия) вытекают из предыдущих, если можно так выразиться, естественным образом.

Следовательно, как только начинаем говорить о затруднениях в решении задачи и вводить соответствующие параметры, мы переходим к оценке трудности задачи. Одним из таких параметров, как мы видели выше, является параметр, отражающий иерархию субъектов.

В данной статье мы ограничиваем трудность задачи трудностью ее решения. Проблема трудности условия требует отдельного обсуждения. При решении задач мы всегда имеем дело с моделями, которые субъектив-

© А.В. Гидлевский, Р.А. Зотов, М.А. Гальцева, 2013

Метод оценки трудности задач для тестов по физике

189

ны. Совокупность характеристик, которые хотят учесть, принято называть сложностью. Например, количество действий, или сумму чисел отношений и связей между ними, или количество действий плюс количество происходящих процессов плюс количество учитываемых объектов (предметов) и т. д., чтобы отделить от характеристик, которые мы учитывать не хотим (например, последовательность действий, степень знакомства с задачей и др.).

Обычно предлагаемые методы оценки сложности не вызывают возражений. Например, если построен граф решения задачи, то под сложностью решения (графа) часто понимают комбинацию узлов и дуг графа, сумму отношений и связей между ними и т. д. Однако следует учесть, что в ряде случаев комбинируются разные «по природе» величины (действия и связи, процессы и объекты и др.). Нелогичность такого способа оценки сложности решения задачи очевидна.

В нашем подходе мы вводим, по сути, трудностные (когнитивные) характеристики процесса решения через соответствующие характеристики текстовых субъектов. Ниже мы будем говорить о трудности решения задачи как суммарной трудности определения текстовых субъектов решения задачи. Определить текстовый субъект - это значит учесть его место в иерархии субъектов, а также количество его непосредственных модификатов - субъектов нижележащего уровня (ранга). В таком случае трудность субъекта Т с целью сохранения размерности трудности удобно выразить посредством произведения величины исходной трудности То субъекта (в которую могут быть включены и иные параметры) на ряд безразмерных величин (коэффициентов), характеризующих место субъекта в иерархии субъектов к; и количество непосредственных мо-дификатов кт. Для разных субъектов исходная трудность То может иметь одну и ту же величину. При необходимости можно ввести коэффициенты, отражающие степень знакомства с учебным материалом и др.

Далее мы проиллюстрируем наш метод на примерах физических задач из банка задач для ЕГЭ [2].

В качестве первого примера рассмотрим задачу С3 [2, с. 69].

Задача 1 . Плоский конденсатор, заполненный веществом с диэлектрической проницаемостью е и удельным сопротивлением р подключен к источнику тока с внутренним сопротивлением г. Заряд, накопившийся на конденсаторе, равен qc. Сопротивление утечки конденсатора равно Ы. Чему равна ЭДС источника тока? Сопротивлением проводов пренебречь.

Напомним, что мы используем идеологию экспертных решений - самых рациональных. Более десяти лет назад нами был предложен метод шагов догадки для оценки

трудности действий в решении задач. Несмотря на его привлекательность, он представляется нам более громоздким, чем заявленный в данной статье вариант. Идея метода шагов догадки была позаимствована у Н.И. Жинкина, который использовал данный метод для оценки трудности понимания текста. Метод шагов догадки предусматривает расширения в виде коэффициентов иерархичности, новизны, временных затрат и другого и сохраняет размерность трудности. Несмотря на то что данный метод был рекомендован центром тестирования для исчисления трудности тестовых заданий, он не получил широкого распространения, поскольку у экспертов и новичков могут быть разные догадки, а оптимизацию метода мы отложили на неопределенный срок.

Очевидно, что решение задачи следует начинать от неизвестного.

Е = 1(Ы + г); I = и/Ы; и = Яе/О; С = є еоЭ/а; 8 = р/Ы(± Граф данного решения показан на рис. 1.

Е

R+r к = 5 к: = 4 к = 3 к: = 2 к: = 1

Рис. 1. Структура решения задачи С3 [2, с. 69]

Определим два коэффициента, характеризующих субъекты, - коэффициент иерархичности (к;) и коэффициент модифицируемости (кт). Прежде всего отметим, что субъекты р/Ы, с1, qc, Ы и Ы+г являются терминальными, трудность определения которых минимальна. В ряде случаев трудностью их определения можно пренебречь. Однако чтобы их как-то учесть, положим трудность определения равной единице для каждого терминального субъекта (терминала). Тогда для каждого из них величины коэффициентов к и кт должны быть равны единице. Для субъектов более высокого ранга (не терминальных), например 8 на рис. 1, коэффициент иерархичности равен двум; для субъекта С - трем и т. д. Подобная иерархическая неравноценность субъектов объясняется просто. Последовательность раскрытия главного субъекта -это последовательность действий в решении мыслительной задачи. Известно, что при решении задачи первый шаг - самый трудный, все остальные шаги фактически следуют из первого. То есть коэффициент иерархичности - это сугубо «трудностный», когнитивный параметр. То же самое мы можем сказать и о коэффициенте модифицируемости для того

190

А. В. Гидлевский, Р.А. Зотов, М.А. Гальцева

или иного субъекта. Коэффициент модифицируемости субъекта определяется количеством его непосредственных модификатов: чем их больше, тем выше значение данного коэффициента. Если мы учитываем один мо-дификат, то величина коэффициента модифицируемости равна двум (единица уже занята терминальными субъектами). Тогда в случае двух непосредственных модификатов кт равно четырем и т. д.

Характеристики субъектов даны в табл. 1.

Таблица 1 Характеристики субъектов в решении задачи 1

Субъект Ранг субъекта Коэффициент Трудность определения субъекта (Т)

иерархичности (к) модифицируемости (кт)

I 1 5 4 20

Р!+г 1 5(1) 1 1

и 2 4 4 16

С 3 3 4 12

Чс 3 3(1) 1 1

э 4 2 4 8

ь 4 2(1) 1 1

р/к 5 1 1 1

Примечание. В третьем столбце таблицы в скобках указаны значения коэффициента иерархичности, которые используются при вычислении трудности субъектов. Терминальный субъект С нами учтен один раз, терминальный субъект Ы мы отдельно здесь не учитываем, поскольку он входит в конечный субъект Ы+г.

Как видно из табл. 1, итоговая трудность решения данной задачи равна 6о.

Определим величину разрешения шкалы трудности (относительную погрешность) для данной задачи. Относительную погрешность определения трудности задачи в процентах оценим, как обычно, через отношение абсолютной погрешности шкалы к величине трудности данного решения. В нашем случае трудность решения равна сумме трудностей субъектов (см. табл. 1), т. е. 60. Поскольку на нашей шкале расстояние между делениями равно единице трудности, то, как и в случае линейки с делениями, абсолютная погрешность (приборная погрешность) равна половине цены деления, и в нашем случае равна 0,5. С учетом сказанного вычисляем разрешение шкалы для нашего решения: (0,5/60)100 % = 0,83 %. Особенностью шкалы является уменьшение погрешности с ростом трудности задачи.

Рассмотрим еще одну задачу, которую составители также поместили в раздел С: задачу С5 [2, с. 96].

Задача 2. Фотокатод облучают светом с частотой V = 0,86-1015 Гц. Красная граница фотоэффекта для вещества фотокатода 1* = 0,67-1015 Гц. Какое напряжение нужно приложить между анодом и катодом, чтобы фототок прекратился?

Граф решения задачи показан на рис. 2, где одним из показателей «экспертности» решения является решение от неизвестного.

кі = 2

кі = 1

hv - Иуо

Рис. 2. Граф структуры решения задачи С5 [2, с. 96]

Ниже приведена характеристика субъектов для данного решения.

Таблица 2 Характеристики субъектов в решении задачи 2

Субъект Ранг субъекта Коэффициент Трудность определения субъекта (Т)

иерархичности (к) модифицируемости (кт)

Ек 1 2 2 4

е 1 2(1) 1 1

Иу- Ию 2 1 1 1

Примечание. В третьем столбце таблицы в скобках указано значение коэффициента иерархичности, которое используется при вычислении трудности субъекта.

Суммируя трудности субъектов, получаем для итоговой трудности решения: Т = 6. Экспертная трудность данной задачи невелика, поскольку, кроме манипуляций с уравнением для фотоэффекта, ничего больше не требуется для ее успешного решения.

Разрешение шкалы трудности для данной задачи равно (0,5/6)100 % = 8,33 %.

Рассмотренные нами две задачи помещены составителями тестов в одну и ту же группу С и, по их мнению, имеют одну и ту же трудность, равную трем баллам. Однако, как мы видели, трудность второй задачи приблизительно в десять раз ниже трудности первой задачи, что совершенно недопустимо для задач одной и той же группы трудности. Из сказанного мы можем сделать только один вывод: задачи для тестов в системах массовых тестирований в России калибруются по трудности «на глазок», и разброс по трудности в десять раз, видимо, считается нормой.

Таким образом, проблема создания технологии измерений трудности задач для тестов по самым различным дисциплинам является весьма актуальной и далекой от решения. Однако предложенный нами метод может служить ориентиром для создания эффективного инструментария шкалирования тестовых заданий в системах массовых тестирований и индивидуализированного обучения.

ЛИТЕРАТУРА

[1] Доблаев Л. П. Смысловая структура учебного текста и проблемы его понимания. М. : Педагогика, 1982. 176 с.

[2] ЕГЭ-2008: физика : экзаменационные материалы для подготовки к единому государственному экзамену. М. : Федеральный центр тестирования, 2007. 156 с.

и

е

Е