Субъект-предикатный подход к оценке трудности дидактического тестового задания Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

УДК 37.001.5

Гидлевский Александр Васильевич

Доктор философских наук, профессор кафедры философии Омского государственного университета им. Ф. М. Достоевского, [email protected], Омск

Кошкарова Татьяна Витальевна

Старший преподаватель кафедры физики Омского государственного аграрного университета, [email protected], Омск

СУБЪЕКТ-НРЕДИКАТНЫЙ ПОДХОД К ОЦЕНКЕ ТРУДНОСТИ ДИДАКТИЧЕСКОГО ТЕСТОВОГО ЗАДАНИЯ

Gidlevsky A lexander Vasiliyevich

Doctor of Philosophical science, Vice-professor, Omsk State University named after Dostoyevsky F. М., [email protected], Omsk

Koshkarova Tatiana Vitalievna

Senior tutor of the Chair of Physics, State Educational Institution of Higher Professional Education «Omsk State Agrarian University», [email protected], Omsk

THE SUBJECT-PREDICATE APPROACH TO ESTIMATION OF DIFFICULTY OF DIDACTIC TESTS Введение

Являясь подклассом широкого класса текстовых задач, дидактические тестовые задания выступают базовыми элементами тестовых форматов, используемых для дифференцированного обучения и измерения качества результата образования. Однако на сегодняшний день в дидактике отсутствует эффективная методология количественного определения такой важной характеристики дидактических тестовых заданий, как трудность, поскольку для исследователей данная проблема представляется на современном этапе труднорешаемой в силу, в частности, следующих причин. Классический (сравнительный) метод показал свою несостоятельность, так как возможность трансляции результатов тестирования конкретной группы испытуемых на все другие группы вызывает справедливые сомнения тестологов.

Современный метод (IRT) калибровки заданий [1] также не позволяет корректно ввести такие характеристики тестовых заданий, как сложность и трудность. «Необходимы свежие идеи и новые подходы к решению задач, связанных с объективизацией оценки трудности тестовых заданий и уровня подготовленности испытуемых» [2]. К тому же современное определение трудности тестового задания, отрицающее названные подходы для ее определения, также указывает на необходимость поиска адекватного инструментария: «Трудность тестового задания (уровень трудности) - основная

количественная характеристика тестового задания, не зависящая от выборки испытуемых и отраженная на определенной шкале» [3; 4].

Актуальность данного исследования в значительной степени поддерживается теми трудностями, которые испытывает образование при следовании передовым доктринам: Болонской идеологии, ЕГЭ и др. При эффективном переносе субъект-предикатного подхода в сферу методологии исчисления трудности тестовых заданий в определенной степени решается проблема трудности тестовых форматов, содержания учебно-методического обеспечения образования, образовательных кредитов и др. Утилитарная, на первый взгляд, задача оценки трудности тестового задания перемещается, таким образом, в центр проблем современного образования.

Основные подходы к исследованию структуры содержания текста

Как условие, так и решение дидактического тестового задания представляют собой текст, являющийся сложным образованием, в котором могут быть выделены различные элементы, а, следовательно, и различные системы их отношений.

В настоящее время имеется несколько разных подходов к отображению структуры текста. Например, формально-лингвистический подход связывается с различными способами представления смысла предложения. Сюда относится так называемое семантическое представление, к которому относится глубинно-синтаксическая структура. Однако данный подход, ориентированный на отображение смысла отдельных предложений, не решает проблемы представления структуры текста в целом. Другой тип структур -информационный - фиксирует смысл целого текста. В качестве главной отличительной черты этого типа структур выделяется нечленимость их на предложения. Они принципиально сопоставлены с целым документом и неизоморфны синтаксической организации исходных документов. Недостатком такого типа структур является то, что смысл в них отображается слишком обобщенно, что ограничивает сферу их применения.

Построенные на содержательном анализе подходы к определению структуры текста составляют некоторое промежуточное направление между формально-лингвистическихми и информационными методами. В содержательных методах в качестве элементов структуры выбираются единицы, задаваемые самим текстом. Это некоторые отрезки текста, соответствующие предметам и предметным признакам, субъектам и предикатам, темам и ремам и т. п. Структура текста, построенная на базе таких единиц и их отношений между собой, в большей степени соответствует смысловой организации текста, так как учитывает внутренние текстовые связи, иерархию единиц и их разнопорядковость, выделяет главное в содержании.

Например, согласно Л. П. Доблаеву, текст выражает иерархическую систему текстовых субъектов и предикатов различных рангов и порядковых номеров (в пределах одного и того же ранга), в которой выделяются два типа смысловых отношений: а) между текстовыми субъектом и предикатом

и б) между входящими в состав предиката субъектами различных рангов или одноранговыми (параллельными, соподчиненными) [5].

Свойство предикативности лежит и в основе метода представления смысловой структуры текста В. Б. Апухтина [6, с. 118]. В качестве единиц анализа здесь выступает предикатема - минимальная предикативная структура, которая порождает смысл. Смысловая структура представляет собой иерархию взаимосвязанных предикатем, в которой смысл исходной предикатемы может трансформироваться в предикатемы следующего ранга.

Существует, однако, ряд работ, где обсуждаются трудности и недостатки предикативного подхода. Согласно исследованиям А. И. Новикова [7], структуру текста составляет иерархия денотатов, связанных предметными отношениями в целостный семантический комплекс, представляющий собой модель ситуации, задаваемую языковыми средствами данного текста. Возможным способом отображения денотатной структуры является графическое ее представление в виде схемы, графа или сети, где вершинам соответствуют имена денотатов, полученные в результате содержательного анализа текста и применения необходимых знаний о данном фрагменте действительности, а ребрам - предметные отношения между этими денотатами.

Плодотворные идеи, относящиеся к оценке (в том числе количественной оценке) сложности знания, были высказаны А. И. Уемовым и его последователями, которые предлагают для определения сложности подсчитывать число элементарных отношений, на которые могут быть разбиты отношения между субъектами и их предикатами.

Дидактические тестовые задания входят в широкий класс учебных текстовых задач, для которых анализировались, в основном, решения, с целью выявлении количественных критериев сложности и трудности. Основные результаты исследований в данном направлении вкратце выглядят следующим образом. Сложность задачи представляет собой сложность структуры ее решения [8-10]. Трудность задачи - психологическая характеристика [11-13]. Предприняты попытки найти взаимосвязь между показателями сложности и трудности [14-19]. Однако просматриваются попытки отказа от решения данной задачи, что мотивируется недостатками предлагаемых подходов.

Как мы видим из приведенного короткого обзора, задача исследования эффективности субъект-предикатного подхода к исчислению трудности дидактических тестовых заданий пока еще не нашла своего решения.

Сущность и иллюстрация применения субъект-предикатного подхода к исчислению трудности дидактического тестового задания

Некоторое время назад нами была сделана попытка создания метода исчисления трудности дидактических текстовых задач [20]. Однако при этом мы столкнулись с рядом проблем. Первая проблема заключалась в отсутствии достаточного методологического обоснования метода отношений, на базе которого вычислялась трудность решения задачи. Другая проблема заключалась в отсутствии инструментария для учета трудности условия тестового

задания, что ограничивало методологическую привлекательность метода отношений и делало актуальной проблему поиска универсального метода исчисления трудности тестового задания, с помощью которого можно было бы рассчитать комплексную трудность тестового задания как суперпозицию трудности условия и трудности решения.

Для решения названных проблем нами была выдвинута гипотеза о возможности использования для наших целей субъект-предикатного подхода, который способен обеспечить решение задачи достаточного методологического обоснования для искомого инструментария оценки трудности тестового задания именно в силу разработанности его собственных когнитивных и логических оснований.

Для нахождения структуры содержания условия и решения дидактического тестовго задания мы в определенной степени ориентируемся на уже упоминавшийся нами выше подход Л. П. Доблаева, согласно которому структуру содержания текста можно представить в виде иерархии текстовых субъектов как систему модификации основного, самого широкого по содержанию субъекта.

Для наглядного представления структуры, как условия дидактического тестового задания, так и его решения, удобно использовать графологические модели, которые, в свою очередь, часто упрощаются до деревьев отношений [10, 21, с. 102-109, 22, с. 141-143].

В наших рассуждениях мы опираемся также на подход к сложности и трудности формальных объектов, предлагаемый А. Н. Колмогоровым. Особенностью подхода А. Н. Колмогорова и его последователей является отождествление понятий сложности и энтропии. Для расчета сложности предлагается алгоритмический подход, согласно которому под сложностью объекта понимается длина описания данного объекта [23, с. 253]. Однако концепция, предложенная А. Н. Колмогоровым, не учитывает трудности алгоритмизации: «В другом месте я предполагаю изучить зависимость необходимой сложности программы...от допустимой трудности...ее переработки в объект х» [23, с. 222]. В применении к проблеме исчисления трудности дидактических тестовых заданий это означает определение критериев трудности, каковые отражали бы особенности переработки информации человеком.

Для иллюстрации метода рассмотрим следующее утверждение, которое может быть интерпретировано как решение тестового задания. «Кинетическая энергия тела равна половине произведения его массы на квадрат его скорости». Символьное представление данного текста выглядит как обычно: Ек = шу2/2. Граф субъект-предикатной структуры текста показан на рис. 1.

Рис. 1. Субьект-предикатная структура содержания текста, представленного в виде Ек= т\т-12

На рис. 1 £ — главный текстовый субъект. Его предикат есть гпу2/2 - произведение показанных на рис. 1 субъектов одного ранга. Сложность показанной на рис. 1 структуры зависит от количества субъектов, входящих в предикат. Таковых, согласно рис. 1, три: ш, V2, Уз. Исходя из критериев, предложенных Л. П. Доблаевым, следует по разному оценивать «качество» субъекта, исходя из того, являются ли субъекты иными предметами мысли, либо просто уточнением или повторением. Следуя сказанному, оценим, например, субъекты ш и V2 в два балла каждый, а субъект Уг - в один балл. В таком случае сложность предиката будет равна 2+2+1=5. Однако выбор критериев, исходя из которых мы назначаем различным субъектам ту или иную «цену», представляет собой нетривиальную проблему, требующую кропотливого исследования.

С другой стороны, нам необходимо ответить на вопрос, зависит ли трудность того или иного предиката от его места в иерархии предикатов. Похожую задачу, но в отношении денотатов решил А. И. Новиков [7, с. 160]. Следуя его идее, предикату последнего ранга необходимо назначить коэффициент трудности, равный единице, предпоследнего - равный двум и т. д. Для рассмотренного нами выше случая коэффициент иерархичности, как нетрудно видеть, равен единице. Нужно отметить, что для некоторых задач дифференцированного обучения в расчет трудности тестовых заданий мы можем ввести коэффициенты знакомства с материалом, забывания, временного ограничения и др. Но исследования в данном направлении также требуют немалого труда.

При необходимости, предикат может быть представлен более подробно (сложно). Например, V2 - субъект, предикат которого есть уу В раскрытии субъекта не появляется нового предмета мысли, а имеется лишь некоторое уточнение. Поэтому учесть дополнительную сложность предикации субъекта у2 можно добавлением еще одной единицы. Граф соответствующей субъект-предикатной структуры показан на рис. 2. Теперь мы имеем два уточнения и плюс к этому две переменных. Сложность предиката, показанного на рис. 2 будет равна: 2+2+1+1=6. Сравнивая два графа (рис. 1 и 2), мы видим, что сложность субъект-предикатной структуры зависит от количества и качества введенных в предикат субъектов.

Е к

т у V 1/2

Рис. 2. Граф субьект-предикатной структуры выражения для Ек с уточнением чг~ уу

При выполнении тестового задания эксперт всегда стремится к структурам минимальной сложности. Для него, как правило, несущественны уточнения, согласно которым одна вторая - это единица, деленная на два, а квадрат величины скорости - произведение величины скорости на саму себя. С учетом сказанного экспертный граф рассматриваемого текста может выглядеть, как показано на рис. 3.

Ек

Рис. 3. Граф структуры минимальной сложности для выражения

Ек= гпу2/2

С учетом принятых ранее значений сложности субъектов, трудность предиката будет равна 4. Если увеличить «стоимость» сложности субъектов, входящих в предикат, до трех, то сложность предиката станет равной шести. Данное значение совпадает со значением сложности вершины графа £ , полученным по методике, обсуждаемой в [10, 22, с. 141-143]. Согласно методике указанных авторов, сложность вершины £ (рис. 3) равна произведению числа всех узлов графа (большие точки на рисунке) на число связей данной вершины с соседними узлами. Таких связей, как мы видим, две. В итоге, сложность вершины £ будет равна 3-2=6. Согласно их же методике, в сложность предиката включается добавка в виде сложности главного субъекта, что приводит к некоторому противоречию: сложность главного субъекта (в нашем случае £ ) равна сложности предиката плюс сложность главного субъекта, рассматриваемого в качестве субъекта более низкого

ранга. Имеются в данном методе и другие принципиальные для нас недостатки, которые мы здесь не обсуждаем.

После рассмотрения нескольких вариантов представления для кинетической энергии с различными величинами сложности возникает вопрос о том, какова же та сложность, которую следует учитывать при исчислении трудности. Здесь, как мы полагаем, следует использовать минимальную сложность, что соответствует представлениям В. И. Крупича о базовом отношении [21, с. 102-109]. В энтропийном подходе к сложности, о котором мы говорили выше, также постулируется минимальная длина алгоритма (минимальная сложность). Базовым отношением называется выражение вида а^Ь-с. Как можно видеть из последнего рисунка, величине а в базовом отношении соответствует Е , величине Ь - т, а величине с - у2/2.

Дополним текст о кинетической энергии суждением: «Масса тела равна произведению его плотности на объем». С учетом данного суждения итоговый текст будет иметь структуру, показанную на рис. 4. Заметим, что на рис. 4. изображена структура, элементы которой могут использоваться для создания целого ряда тестовых заданий. Например, для нахождения кинетической энергии тела, имеющего определенные значения величин р, V и V.

у2 /2

Рис, 4. Двухъярусный граф структуры содержания текста условного тестового задания

Вычислим трудность итогового текста по структуре его содержания, показанной на рис. 4. Рисунок содержит субъекты двух рангов, р и V - субъекты низшего ранга, которые, в соответствии со сказанным выше, должны быть учтены в трудности текста с коэффициентом иерархичности, равным единице. Субъекты же более высокого ранга (гп и у2/2) учитываются с коэффициентом иерархичности, равным двум. Для каждого субъекта величину балла сложности, как и ранее, примем равной двум.

Т = Т)+ Ть где Т - общая трудность; Т|- трудность первой модификации (ш, у2/2);

Тг - трудность второй модификации (р, V).

Учитывая коэффициенты иерархичности, для Т и Тг можно записать:

Т,= (2+2)2 = 8; Т2= (2+2)1 = 4.

Итоговая трудность текста равна: Т = 8+4 =12.

Важной особенностью дидактического тестового задания является зависимость его трудности не только от трудности решения, но и от трудности условия. Для того, чтобы условие можно было считать экспертным, а его трудность молено было бы считать объективной характеристикой, трудность условия также должна быть минимальной. Проиллюстрируем сказанное на примере условия следующего тестового задания по физике.

С вершины наклонной плоскости, длина которой I = 10м и высота Н = 5м., начинает двигаться без начальной скорости тело. Какую скорость будет иметь тело у основания наклонной плоскости, если коэффициент трения между телом и наклонной плоскостью к. = 0,2?

Для построения структуры содержания условия данного тестового задания необходимо выделить основной текстовый субъект и выявить иерархию субъектов. В условии сначала речь идет о наклонной плоскости, которая обычно и принимается учащимися в качестве основного текстового субъекта, сопровождаемого образом схематичного рисунка наклонной плоскости, занимающего большой объем рабочей памяти индивида, что препятствует дальнейшему эффективному анализу условия задачи, например, с целью установления других возможных кандидатов на роль основного текстового субъекта.

Субъект-предикатная структура такого варианта анализа условия показана на рис. 5.

Оценим трудность данного варианта условия. Последовательность раскрытия главного текстового субъекта содержит два этапа. На первом этапе главный текстовый субьект С1 раскрывается посредством трех субъектов С2, С3 и С4. Пусть сложность каждого из них будет равна 2. Данная величина выбирается исходя из ранее приведенных соображений. На втором этапе

С! (наклонная плоскость)

С 4 (движение тела)

С5 (с трением) С6 (равноускоренно)

Рис. 5. Субъект-предикатная структура условия задачи, когда в качестве основного субъекта выбрана наклонная плоскость

субъект С4раскрывается посредством субъектов С5 и С6, сложность каждого из которых также пусть будет равна 2. Для вычисления трудности модификаций С1 в С2, С3, С4 и С4 в С5 и С6 следует, в соответствии с ранее сказанным, учесть, что коэффициент иерархичности последней модификации на единицу меньше чем первой и величины данных коэффициентов равны: для последней модификации - 1, а для первой - 2.

Т = Т1+ Т2, где Т - общая трудность; Т1- трудность первой модификации, которая равно произведению сложности первой модификации (суммарной сложности субъектов первого ранга: С2, С3 и С4) на величину коэффициента иерархичности, равную в рассматриваемом случае двум,

Т2 - трудность второй модификации, которая вычисляется аналогичным образом.

С учетом сказанного, можно записать: Тг= (2+2+2)2 = 12; Т2= (2+2)1 = 4.

Итоговая трудность текста, структура которого показана на рис. 5 равна: Т = 12+4= 16.

Рассмотрим теперь вариант субъект-предикатной структуры условия задачи, когда в качестве основного текстового субъекта выбрано движение тела (рис. о).

С, (движение тела)

С з (движение с ускорением)

С 2 (движение по наклонной плоскости)

Рис. 6. Субъект-предикатная структура условия задачи, когда в качестве основного субъекта выбрано движение тела

Трудность модификации для такой структуры, в соответствии с предыдущим фрагментом рассуждений, равна 4, что в 4 раза меньше значения трудности предыдущего текста, структура содержания которого показана на рис. 5. Т. е., оптимальный выбор основного текстового субъекта существенно снижает трудность понимания условия дидактического текстового задания. Общая же трудность дидактического тестового задания равна сумме минимальных (экспертных) значений трудности условия и решения. Таким образом, мы объективируем трудность дидактического тестового задания, постулируя минимальные значения трудности условия и решения и вводя коэффициенты трудности, учитывающие, в частности, место данной модификации в иерархии модификаций. Отметим также, что трудность, остава-

ясь, по сути, когнитивной характеристикой, может быть эффективно формализована посредством учета минимального набора параметров.

В заключение следует сказать, что вышесказанным отнюдь не исчерпываются гипотезы, подходы и модели, на основании которых мы планируем выстроить здание методологии исчисления трудности дидактических тестовых заданий. На пути наших дальнейших исследований мы неизбежно столкнемся с новыми моделям, новыми, более эффективными способами расчета сложности и трудности заданий, которые позволят эффективно решить проблему оптимизации метода и ускорят его практическую реализацию.

Библиографический список

1. Сорокина, О. JI. Использование IRT в психологии [Текст] / О. J1. Сорокина, Э. И. Романюк, В. В. Тимохин // Современная теория сложности заданий в психологии. - М., 2004. URL: http://www.matlab.mgppu.ru/work/0015. htm

2. Попов, А. П. Критический анализ параметрических моделей Раша и Бирн-баума / А. П. Попов // URL:http://www.ast-centre.ru/info/books/favorits/273/

3. Психологическая энциклопедия. URL:http://mirslovarei.com/content_ psy/ TRUDNOST-TESTOVOGO-ZADANIJA-UROVEN-TRUDNOSTI-32463.html

4. Отраслевой стандарт Министерства образования РФ. Педагогические тесты. Термины и определения. URL:http://bank.orenipk.ru/Text/tl9_135.htm

5. Доблаев, JI. П. Смысловая структура учебного текста и проблемы его понимания [Текст] / Л. П. Долбаев - М., 1982. - 176 с.

6. Лингвистические вопросы алгоритмической обработки сообщений [Текст] -М.: Наука, 1983. - 246 с.

7. Новиков, А. И. Семантика текста и ее формализация [Текст] / А. И. Новиков. - М.: Наука, 1983. - 219 с.

8. Лернер, И. Я. Факторы сложности познавательных задач [Текст] / И. Я. Лернер // Новые исследования в педагогических науках. - М.: «Педагогика», 1970.-Вып. 14.-С. 86-91.

9. Тюхтин, В. С. Отражение, системы, кибернетика [Текст] / В. С. Тюхтин. - М.: Наука, 1972.-255 с.

10. Рыженко, Н. Г. Структуризация и систематизация сюжетных задач по сложности их решения [Текст] / Н. Г Рыженко, Н. А. Жигачева // Вестник Омского университета. 1998.-№4.-С. 111-114.

11.Coxop, А. М. Логическая структура учебного материала [Текст] / А. М. Сохор. - М.: Педагогика, 1974. - 189 с.

12.Тихомиров, О. К. Психология мышления [Текст]: Учебное пособие / О. К. Тихомиров. - М.: Изд-во Моск. ун-та, 1984. - 272 с.

13. Гильманов, Р. А. Измерение трудности учебных упражнений посредством моделирования процесса их выполнения [Текст]: дис. канд. пед. наук / Р. А. Гильманов. - Казань, 1987. - 156 с.

М.Ганчев, И. Описание решений некоторых задач на языке математической логики [Текст] / И. Ганчев // Роль и место задач в обучении математике. -Вып. 1.-М., 1973.-С. 103-115.

15. Балл, Г. А. Методы оценки количественных характеристик задач [Текст] / Г. А. Балл // Программированное обучение. - Киев: Вища школа, 1985. Вып. 22. -С. 21-28.

16. Матюшкин, А. М. Проблемные ситуации в мышлении и обучении [Текст] / А. М. Матюшкин. - М.: Педагогика, 1972. - 208 с.

17. Мизинцев, В. П. Информационный анализ показателя сложности и трудности учебной задачи [Текст] / В. П. Мизинцев // Вопросы преподавания физики в высшей школе. - Хабаровск, 1976. - С. 132 - 186.

18. Богушевский, К. С. Вопросы преподавания геометрии в восьмилетней школе [Текст] / К. С. Богушевский. - М.: Просвещение, 1968. - 110 с.

19. Колягин, Ю. М. Задачи в обучении математике [Текст] / Ю. М. Колягин. -М.: Просвещение, 1977. - Ч. 1 - 144 с.

20. Гидлевский, А. В. Интеллектуальная модель образования и методология измерения его качества [ Текст] / А. В. Гидлевский // Интеграция образования. -2003.-№2. -С. 87-91.

21. Крупич, В. И. Структура и логика процесса обучения математике в средней школе [Текст] / В. И. Крупич. - М.: Изд-во МГПИ, 1985. - 118 с.

22.Шрейдер, Ю. А. Равенство, сходство, порядок [Текст] / Ю. А. Шрейдер. -М.: Наука, 1971. - 256 с.

23.Колмогоров, А. Н. Теория информации и теория алгоритмов [Текст] / А. Н. Колмогоров. - М.: Наука, 1987. - 304 с.