Универсальный метод оценки трудности учебных тестовых заданий Текст научной статьи по специальности «Математика»

ПСИХОЛОГИЯ И ПЕДАГОГИКА

Вестн. Ом. ун-та. 2011. № 2. С. 271-276.

УДК 37.001.5 А.В. Гидлевский

Омский государственный университет им. Ф. М. Достоевского

УНИВЕРСАЛЬНЫЙ МЕТОД ОЦЕНКИ ТРУДНОСТИ УЧЕБНЫХ ТЕСТОВЫХ ЗАДАНИЙ

Предлагается универсальный метод оценки трудности учебных тестовых заданий. На примерах заданий по математике и физике иллюстрируются его особенности, среди которых: проработанность оснований, простота и эффективность в сочетании с высоким разрешением шкалы трудности, применимость к широкому классу формальных систем. Метод может явиться выгодной альтернативой существующим системам шкалирования учебных тестовых заданий.

Ключевые слова: сложность тестового задания, трудность решения, разрешение шкалы, субъект-предикатный подход.

Исследование проблемы сложности и трудности учебных тестовых заданий имеет почти полувековую историю. Для математических дисциплин, а также дисциплин естественно-научного цикла весьма характерно, что тестовые задания для индивидуализированного обучения и измерения качества образования отбираются в основном из сборников задач. По этой причине мы «на равных» будем использовать в данном сообщении оба термина: «учебное тестовое задание» и «учебная задача». Другим словами, то, что мы утверждаем для учебных задач, в равной степени относится и к учебным тестовым заданиям.

Ряд исследователей включают в сложность решения задачи количество операций, что имеет определенные основания [1-4]. «Сложность - это объективная характеристика задачи, которая определяется структурой процесса поиска решения» [5, с. 51]. По мнению

А.Н. Колмогорова, сложность - это длина наиболее короткого, рационального алгоритма решения задачи, в который следует включить и кратчайший путь понимания условия [6].

Трудность же учебного тестового задания часто считается субъективной характеристикой. При этом понятие субъективности распространяется в основном на широкий спектр индивидуальных особенностей учащихся. С другой стороны, например, Р.А. Гильманов считает трудность учебного тестового задания его объективной характеристикой, «поскольку вызывается объективными закономерностями механизма мыслительной деятельности» [7].

В работах последнего десятилетия мы видим попытки отказа от поисков метода исчисления трудности учебных тестовых заданий по причине отсутствия эффективных подходов к решению данной задачи. Исследователи ограничиваются оценкой сложности учебных задач, используемых в качестве тестовых заданий [8-10].

В работах [1; 2] в сложность решения математической задачи включены как количества элементов (отношений вида с = аЬ), так и виды связей, предполагающих также количество связывающих опе-

© А.В. Гидлевский, 2011

раций. При этом авторы оценивают сложность по следующей формуле:

S = m + п + 1, где m - число основных отношений, п - число явных связей, l - число видов связей (явные или неявные). В методе Н.Г. Рыженко и др. [11-13] сложность рассчитывается как суперпозиция количеств элементов графа, отображающего структуру решения задачи.

В настоящем сообщении мы рассмотрим возможности метода В.И. Крупича, который немало сделал для решения проблемы сложности задач по математике. А также обсудим предлагаемый нами метод оценки трудности тестовых заданий по математике и физике, чтобы показать эффективность нового универсального инструментария шкалирования учебных тестовых заданий. Особенности сравнительного метода мы здесь не рассматриваем по ряду причин, к которым можно отнести проблемы с выборкой, а также весьма условную правомочность традиционных статистик при обработке результатов массовых тестирований (например, ЕГЭ).

Рассмотрим задачу, которая с успехом может быть включена в качестве задания в тестовый формат по математике.

Задача [1, с. 103]

В правильной треугольной пирамиде сторона основания равна С. Плоский угол при вершине (АВБС) равен а. Определить объем пирамиды (рис. 1).

5

В

ОВ = -^ ВС. УІ3

(6)

Рис. 1. Рисунок к задаче 1 [1, с. 103]

Автор предлагает два пути решения. Рассмотрим второй как более короткий.

к=ВСЫ1 ЗО. 12

БО = у/ БВ'- - ОВ2; БВ = ВЮ • еоэ єєАВБЮ;

АВБЮ = - АВБС;

2

ВЮ = - ВС;

2

(1)

(2)

(3)

(4)

(5)

Граф данного решения показан на рис. 2.

V

Рис. 2. Граф структуры решения задачи по [1, с. 106]

Фактически граф (рис. 2) отображает иерархию текстовых субъектов, главный из которых исполняет роль неизвестной величины [14-16].

Особенностью подхода В. И. Крупича является отказ субъекту 50 в его равноправии относительно вклада в сложность структуры решения, хотя с этой точки зрения, как мы увидим далее, данный субъект имеет многие преимущества, а что касается трудности, то его вклад в трудность является наибольшим. Причины «ущербности» субъекта 50 В.И. Крупич объясняет тем, что данный субъект не представлен в виде аЬ и по этой причине не является элементом задачи [1, с. 104].

Величина сложности определяется

В. И. Крупичем по формуле 5 = т + п + 1, где т - число элементов структуры, которых 5: V, 5В, АВ5С, ВБ, ОВ; п - число явных связей, которых 3. К ним В.И. Кру-пич относит связи между субъектами 5В и АВ5С, ОВ и 5В, ВБ и АВ5С. Если первая связь является непосредственной, т. е. явной, то последние связи трудно отнести к непосредственным. В последующем автор отказался от такой интерпретации явных связей [2]. Наконец, 1 - количество видов связей. Их два - явные связи и неявные связи. Вычисляем: 5 = 5 + 3 + 2 = 10.

Разрешение шкалы сложности (разрешение метода) £ может быть оценено исходя из минимального вклада переменных, входящих в правую часть равенства для вычисления сложности. Этот вклад равен единице. Д5 = 1. Тогда е = Д5/5 = 1/10. Значение е, выраженное в процентах, будет

равно 10 % Как мы видим, разрешение метода невелико.

Теперь оценим значение трудности данной задачи по нашей методике [15-16].

Напомним, что она базируется на представлении структуры содержания в виде иерархии текстовых субъектов, раскрывающих последовательность решения задачи.

В отличие от В.И. Крупича и О.Б. Епишевой, мы исключим из системы субъектов константы. Авторы работ [1; 2] маркируют константы как субъекты, чтобы искусственно, на наш взгляд, повысить количество основных отношений (отношений вида с = аЬ) [2, с. 66-67]. Исключение констант приводит к упрощению графа (рис. 3).

V

Рис. 3. Граф структуры решения задачи 1.

(Константы -\/3 и 1/2 исключены из числа субъектов)

Субъекты ВС и АВБС являются терминальными. Именно они определяют результат вычислений. Как и в рассматриваемом случае, они часто задаются условием задачи. Трудность их определения в задаче минимальна.

Для определения трудности каждому субъекту необходимо приписать коэффициент иерархичности, как это, например, было сделано А.И. Новиковым [17, с. 160]. Для субъектов нижнего уровня иерархии, а также терминальных субъектов, которые находятся на других, более высоких уровнях, задаем значение коэффициента иерархичности к[, равное единице. Таких субъектов два - ВС и АВБС. Для субъектов предпоследнего ранга - ВБ и АВБО коэффициент иерархичности повышается на единицу и т. д. (см. табл. 1). Все субъекты, кроме терминальных, подвергаются модификациям. Если субъект не модифицируется, то ему назначается коэффициент модификации, равный 1. Если субъект об-

ладает одним модификатом, как, например, субъекты ОВ, ВБ и Z.BSД то для него значение коэффициента модификации кт равно 2. Если же непосредственных мо-дификатов два (как для субъекта БО), то значение коэффициента модификации равно 4 (см. табл. 1). Главный текстовый субъект в наши расчеты не входит, поскольку нас интересует лишь раскрывающий его предикат, состоящий из субъектов нижележащих рангов.

Таблица 1

Субъекты Ранг субъекта к, кт Ті

БО 1 4 4 16

ОВ 2 3 2 6

БВ 2 3 4 12

ВЭ 3 2 2 4

АВБЭ 3 2 2 4

ВС 4 1 1 1

АВБС 4 1 1 1

Из табл. 1 видно, что наивысшей

трудностью определения (раскрытия) обладает субъект БО, которому авторами работы [2] в их методике как раз и отказано во вкладе в сложность решения задачи. Итоговая трудность решения задачи равна сумме трудностей субъектов и равна 44. Разрешение шкалы трудности (дифференцируюшая способность) для этой задачи равно ДТ/Т, где ДТ - шаг трудности при переходе к соседней по трудности задаче. Значение этого шага есть минимальная трудность субъекта, которая равна 1.

£ = — -100% * 2,3%.

Т

Как видим, точность метода определения трудности решения задачи по нашей методике приблизительно в четыре раза выше точности определения сложности данного решения по методике О.Б. Епишевой и В.И. Крупича [2].

Как мы видели выше, решение начинается от неизвестного, которое выполняет функции главного текстового субъекта. Поэтому важным аспектом работы с задачей является переформулирование решающим условия задачи и выполнение рисунка. Эти этапы необходимы для выявления модификатов первого ранга, которые затем раскрываются через моди-фикаты второго и следующих рангов. Другими словами, осмысление условия и выполнение рисунка мы относим к работе над условием. Таким образом, будем относить к решению задачи раскрытие

главного текстового субъекта - неизвестной величины. С другой стороны, как мы увидим ниже, проблема терминальных субъектов иногда в решении задачи требует отдельного обсуждения. Рассмотрим данный аспект решений на примере задачи по физике [18, № 8-8, с. 95], где он выявляется подчас более ярко, нежели чем в задачах по математике. К тому же читатель сможет при этом оценить эффективность и универсальность предлагаемого нами метода оценки трудности задач, широту диапазона его применений, адаптаций, возможностей оптимизации. Заметим, что предлагаемый нами метод не приобрел и, скорее всего, не приобретет законченности армейского устава в силу особенностей предмета, главной из которых является высокая многоплановость проблемы, ее нераскры-

Д^

тость в главных аспектах, в том числе и в плане концептуализаций.

Задача

Оболочку воздушного шара объемом

V = 800 м3 целиком заполняет водород при температуре Т. = 272 K. Насколько изменится подъемная сила шара при повышении температуры до Т2 = 293 К? Считать объем V оболочки неизменным и внешнее давление нормальным. В нижней части оболочки имеется отверстие, через которое водород может выходить в окружающее пространство.

Структура решения данной задачи показана на рис. 4. В отличие от рассмотрения предыдущих задач, мы сочли необходимым показать на рисунке основные операции, связываюшде субъекты и их модификаты.

Ранг 1

Ранг 2

Ранг 3

Ранг 4

Рис. 4. Граф структуры экспертного решения задачи [18, № 8-8, с. 95]

На рис. 4 применены следующие обозначения:

Д^ - искомое изменение подъемной силы шара;

.Р2 - подъемная сила при температуре Т2;

- подъемная сила при температуре Т1; ^А2 - сила Архимеда при температуре Т2; ^А1 - сила Архимеда при температуре Т1; т2 - масса воздушного шара при температуре Т2;

т1 - масса воздушного шара при температуре Т1;

тоб - масса оболочки воздушного шара;

Т2;

72;

mH2 - масса водорода при температуре

mH1 - масса водорода при температуре

1лР^^ЯТ2 - масса водорода при температуре Т2, выраженная из универсального газового закона;

/иР^/Я^ - масса водорода при температуре Т1, выраженная из универсального газового закона.

Значения коэффициентов для субъектов, показанных на рис. 4, приведены в табл. 2.

Таблица 2

Значения коэффициентов для субъектов, показанных на рис. 4 (к задаче [18, № 8-8, с. 95])

Субъекты Ранг субъекта Коэффициент модифицируемости, с Коэффициент иерархичности, к! Трудность определения ¡-го субъекта, Т

Fг 1 4 4 16

Fl 1 4 4 16

FА2 2 1 1 1

FА1 2 1 1 1

т1Я 2 4 3 12

т2Я 2 4 3 12

тобЯ 3 1 1 1

тН2Я 3 2 2 4

ттЯ 3 2 2 4

цРоУя1КТ2 4 1 1 1

/иРоУя^Т 4 1 1 1

Если субъект далее не модифицируется, то мы его считаем терминальным и задаем ему минимальное значение коэффициента иерархичности.

На рис. 4 видно, что деревья, возглавляемые вершинами ^А2 и ^А1, идентичны, поэтому нужно считать трудность лишь одного дерева (трудности субъектов, формирующих одно дерево). Для определенности будем учитывать трудности субъектов для левого дерева (при вершине ^2). Численные значения трудности повторяющихся субъектов в таблице подчеркнуты.

Суммируя оставшиеся (неподчеркнутые) значения трудности субъектов, получаем итоговое значение трудности решения задачи: Т =51. Разрешение шкалы трудности для данной задачи равно 1/51, что составляет менее 2 %

Важной особенностью решения является представление субъектов четвертого ранга в виде сложных выражений, в которые входят как табличные значения, так и данные условия задачи (иР0 У$ЯТ2 и ^Р0УЯКТ\). Оправданием такой ситуации может служить особенность задач по ряду разделов физики. Тем не менее проблему представления терминальных субъектов составными (сложными) структурами не следует упускать из виду. Здесь необходим консенсус дидактов по конкретным дисциплинам.

Заключение

В результате настоящего исследования установлены ограниченные возможности ряда подходов к оценке сложности учебных тестовых заданий. В частности, подход, предложенный В. И. Крупичем и О.Б. Епишевой, будучи в основе своей перспективным, не привел, однако, к ожидаемым результатам. Причины этого

мы видим в следующем: недостаточно проработана концепции явных и неявных связей, что предопределило неоднозначность оценки сложности, увеличив и без того высокую приблизительность метода. Авторы также не нашли непротиворечивого способа учета сложности терминальных субъектов, в результате чего недостатки, присущие данному методу, не позволили ему занять заметное место в арсенале средств исчисления сложности учебных задач по математике. Метод Н.Г. Рыженко, основанный на других предпосылках, получил более широкое распространение, несмотря на некоторые проблемы с элементарными операциями и повышенным вкладом заключительных операций в решении задач, в результате чего точность метода трудно оценить.

Предлагаемый нами метод свободен от большинства недостатков других методов и характеризуется следующими особенностями: 1) простотой и непротиворечивостью исходных положений и технологии оценки трудности, которая является, в отличие от сложности, более важной характеристикой учебных тестовых заданий; 2) большей универсальностью: метод пригоден для оценки трудности учебных тестовых заданий во всех случаях, когда может быть выстроена последовательность операций, и в первую очередь для заданий по дисциплинам естественнонаучного цикла и математическим дисциплинам. С другой стороны, основанный на хорошо проработанной текстологической и когнитивной базе, данный метод с успехом может быть применен и к различным заданиям по дисциплинам гуманитарного цикла. Другой областью применения метода может явиться исчисление степени пони-маемости (трудности) художественного, философского и научного текста.

ЛИТЕРАТУРА

[1] Крупич В. И. Структура и логика процесса обучения математике в средней школе. М. : Изд-во МГПИ, 1985. 118 с.

[2] Епишева О. Б., Крупич В. И. Учить школьников учиться математике: Формирование приемов учеб. деятельности : кн. для учителя. М. : Просвещение, 1990. 128 с.

[3] Балл Г. А. Теория учебных задач: Психологопедагогический аспект. М. : Педагогика, 1990. 184 с.

[4] Лернер И. Я. Факторы сложности познава-

тельных задач // Новые исследования в педагогических науках. М. : Педагогика, 1970.

Вып. 14. С. 86-91.

[5] Гузеев В. В. Соотнесение сложности и трудности учебных задач с уровнями планируемых результатов обучения // Школьные технологии.

2003. № 3. С. 51.

[6] Колмогоров А. Н. Теория информации и теория алгоритмов. М. : Наука, 1987. С. 253, 222.

[7] Гильманов Р. А. Измерение трудности учебных упражнений посредством моделирования процесса их выполнения : дис. ... канд. пед. наук. Казань, 1987. С. 62.

[8] Кротов В. М. К вопросу о сложности (трудности) физических задач // Ф1з1ка: праблемы вы-кладання. 1999. № 3. С. 69-74.

[9] Сакович А. Л. Сложность физических задач и их уровни // Фізіка. Праблемы выкладання.

2004. № 1. С. 33-40.

[10] Чьямова Н. П., Кычкин И. С. Оценка сложности задач по физике // Физическое образование в ВУЗах. 2004. Т. 10. № 1. С. 125-131.

[11] Быкова Н. П., Рыженко Н. Г. Моделирование как средство реализации преемственности в обучении решению задач // Ом. науч. вестн.

2004. № 3 (28), сентябрь. С. 221-225.

[12] Жигачева Н. А., Рыженко Н. Г. Сюжетные задачи по алгебре. 7 класс : учебное пособие для учителей и учащихся. СПб.: ЛииС, 2002. 61 с.

[13] Рыженко Н. Г., Жигачева Н. А. Структуризация и систематизация сюжетных задач по сложности их решения // Вестн. Ом. ун-та. 1998. № 4.

С.111-114.

[14] Доблаев Л. П. Смысловая структура учебного текста и проблемы его понимания. М. : Педагогика, 1982. 176 с.

[15] Образовательно-инновационные технологии: теория и практика : монография / [В. А. Байдак, Т. Н. Балина, А. В. Гидлевский, Т. В. Кош-карова и др.]; под общ. ред. проф. О. И. Кири-кова. Кн. 3. Воронеж : ВгПУ, 2009. 351 с.

[16] Гидлевский А. В. Оптимизация метода оценки трудности дидактического тестового задания // Ом. науч. вестн. 2010. № 5(91). С. 193-197.

[17] Новиков А.И. Семантика текста и ее формализация. М. : Наука, 1983. - 219 с.

[18] Чертов А. Г., Воробьев А. А., Федоров М. Ф. Задачник по физике (с примерами решения задач и справочными материалами) : учебное пособие для втузов. 3-е изд. испр. и доп. М. : Высшая школа, 1973. 602 с.