Новая версия тестирующей системы «Гипертест» основа повышения качества оценки уровня знаний Текст научной статьи по специальности «Науки об образовании»

УДК 681.33

Л.Б. Яблочкин (Тула, ТулГУ)

НОВАЯ ВЕРСИЯ ТЕСТИРУЮЩЕЙ СИСТЕМЫ «ГИПЕРТЕСТ» -ОСНОВА ПОВЫШЕНИЯ КАЧЕСТВА ОЦЕНКИ УРОВНЯ ЗНАНИЙ

Приведен алгоритм отбора дискуиминаттнных тестовых зданий, реализованный в новой версии тестирующей системы «Гипертест». Описана адаптивная (индивидуально-ориентированная) модель тестгиования, позволяющая эффективнее контуо-лиоватьуровень знания студентов при минимальном наборе тестовых зданий.

Весьма важным аспектом педагогической деятельности является оценивание преподавателем знаний обучаемых. Одним из способов быстрой проверки знаний является тестирование.

Разработка тестовых заданий (ТЗ) и обработка результатов тестирования имеют решающие значение. Эти процессы подробно изожены в [1]. Однако не менее важны порядок предъявления заданий обучаемому и метод определения его уровня знаний по результатам тестирования, т.е. модель тестирования.

В настоящее время используются следующие модели тестирования:

- модель с учетом сложности задания;

- модель с ограничением времени на тест;

- модель с возрастающей сложностью;

- модель с разделением заданий по уровням усвоения;

- модель с учетом времени ответа на задание;

- адаптивна модель;

- модель тестирования по сценарию;

- модель на нечеткой математике;

- комбинированные модели и др.

Некоторые из этих моделей, такие, как классическая модель, модель с ограничением времени на тест, модель с учетом времени ответа на задание и комбинированная модель, учитывающая как время ответа на задание, так и ограничивающая общее время, отводимое на тестирование, был реализованы в тестирующей системе «Гипертест» (версия 3.0) [2]. Опыт использования данной системы на раде кафедр Тульского государственного университета покаа необходимость повышения качества существующих тестовых заданий и самое главное в системе должны быть реализованы другие, более совершенные модели тестирования.

Одним из требований по обеспечению эффективности теста является дискриминативность. Под дискриминативным тестовым заданием понимается такое тестовое задание, которое обладает требуемой рарешаю-щей способностью, то есть позволяет отличить сильного студента от более слабого. В качестве меры рарешающей способности тестового задания

используется специальный коэффициент К^, который может принимать значение в интервае от -1 до 1. Его можно вычислить по следующему а-горитму.

Шаг 1. На этапе опытной эксплуатации системы провести полное тестирование обучаемых и затем на основе полученных оценок раделить их на три группы:

- слабую - в нее включить 25 % протестированных из числа получивших самые низкие оценки;

- среднюю - в нее включить 50 % протестированных из числа получивших средние оценки;

- сильную - в нее включить 25 % протестированных из числа получивших наиболее высокие оценки.

Шаг 2. Для каждого тестового задания, входящего в проведенный тест, выполнить процедуру:

- вычислить процент обучаемых из сильной группы, правильно ответивших на данное тестовое задание (Бб);

- вычислить процент обучаемых из слабой группы, правильно ответивших на данное тестовое задание (81);

- вычислить раность между величинами Бб и Б1 и выразить ее в десятичных дробях.

Например, если на некоторое тестовое задание правильно ответили 90 % обучаемых из сильной группы и 10 % обучаемых из слабой группы, то рарешаюшая способность задания равна 0,8.

Относительно задания, для которого полученный коэффициент равен 1, справедливы такие два утверждения:

- все обучаемые, получившие высокие оценки за весь тест, ответили на это тестовое задание правильно;

- ни один из обучаемых, получивши низкие оценки за весь тест, не ответил на это тестовое задание правильно.

Такое тестовое задание считается абсолютно дискриминативным. Это означает, что по результату ответа на это тестовое задание можно почти со 100 % -ной гарантией отличить сильного обучаемого от слабого.

Тестовые задания с высокими положительными значениями коэффициента дискриминативности очень полезны, так как можно быть достаточно уверенным, чго обучаемые, способные правильно ответить на них, способны также успешно пройти весь тест. В связи с этим выявление дис-криминативных тестовых заданий позволяет существенно сократить длительность теста и повысить достоверность его результатов.

Близкие к нулю (но положительные) значения коэффициента дискриминативности могут быть обусловлен::

- чрезмерной сложностью тестового задания, в этом случае на тестовое задание не смогут ответить ни «отличники», ни «двоечни ки»;

- легкостью тестового задания, в этом случае на тестовое задание правильно ответят и «отличники», и «двоечники».

Таким образом, тестовые задания, обладающие низкой дискримина-тивностью, целесообразно исключить из теста.

Особое внимание следует уделить тем тестовым заданиям, для которых будет получен отрицательный коэффициент. Это означает, что при включении любого из подобных тестовых заданий в тест были допущены ошибки:

- неверный ответ ошибочно указан в качестве правильного;

- некорректно сформулировано само задание.

Так как объективность контроля знаний зависит от формулировок контрольных заданий, а в качестве причин, вызывающих несогласие обучаемых с выставленными им оценками, часто называются неоднозначные формулировки, имеющие раз личные толкования и в силу этого допускающие субъективную интерпретацию степени истинности полученных ответов, отрицательные коэффициенты дискриминативности указывают на «узкие места».

Для анализа качества ТЗ система «Гипертест» была дополнена модулем, который по результатам тестирования группы студентов определяет коэффициент дискриминативности для каждого ТЗ и формирует диаграмму, отражающую количественное соотношение правильных и неправильных ответов на предложенные задания (рис.1).

30 т---------------------------------------------

5

0 -И---Ч-1--Ч-1----Ч-1---Ч-1----Ч-1---Ч-1---Ч-1---Ч-1---Ч-1---Ч-1---Ч-1---Ч-1-----Ч-1—ч

1 2 3 4 5 6 7 8 9 10 11 12 13 14

номер тестового задания

□ Правильные ответы В Неправильные ответы

Рис. 1. Анализ результатов тестирования

Из диаграммы видно, что ТЗ 1, 10 и 13 вероятнее всего имеют низкую дифференцирующую способность, аТЗЗ, 6 и 7 - достаточно сложные. Более подробную информацию о дифференцирующей способности тестовых заданий можно получить из протокола анаиза ТЗ (рис.2).

Протока1 анализа тестовых тот ни на дпсцямтнлтпвносшь

1. Тестовые задания, позволяющие мрорлтроватъ “качествен ный” тест щм .лтнилипъном количестве заданий:

2. Тестовые чаданчя, которые обладают чреикрноп сложностью или легкостью (по возможности они должны быть исключены из теста):

3. Тестовые задания, при разработке которых быт допущены ошибки, обусловленные ошибочной разметкой правильных вариантов ответа пли неко^ектной формулировкой вопроса (перед дальнейшем использованием их необходимо отредактировать):

Рис. 2. Протокол анализа ТЗна дискриминативность

Втора функция, которую выполняет данный модуль, - определение некоторых статистических характеристик теста (наиболее повторяющееся значение - мода (Мо), медиана (Ме) и др.) и представление результатов тестирования в виде гистограммы.

Чем лучше сделан тест и чем больше испытуемых, тем больше реальное распределение балов, представляемое гистограммой, начинает напоминать кривую нормаьного распределения. Гистограмма, приведена на рис. 3,а, показывает, что данный тест является довольно сложным для данной группы студентов, а другой тест (гистограмма на рис. 3,6), наоборот, - очень простым.

а) 8 7 6

_ 5

л

н

г 4

о

(О

х 3 2 1 О

б) 8

7

6

_ 6

л

н

г л

о

го

т 3 2 1 О

2 3 4 5 6

баллы

—I--------------г-т-

2 3 4 5 6 7

баллы

Рис. 3. Гистограмма результатов тестирования: а - тест слишком сложный; б - тест слишком простой

В качестве базовой модели тестирования в новой вереи системы «Гипертест» была реализована адаптивна (индиввдуаьно-ориентирван-на) модель. Тестирование с использованием данной модели заключается в следующем:

1) в процедуре тестирования используются только открытые ТЗ или ТЗ правильный ответ, на которые формируется из составных частей;

2) из дискриминативных ТЗ формируются три базы ТЗ (базы ТЗ на «удовлетворительно», на «хорошо» и на «отлично»);

3) вначале студенту предлагаются простые задания (база ТЗ на «удовлетворительно»). Если он успешно отвечает подряд на несколько таких заданий (количество подряд правильно решенных заданий определяется преподавателем), то вопросы следует усложнить (база ТЗ на «хорошо»). Ответы на них оцениваются уже более высокими балами. Если и они окажутся для студента чересчур легкими, то следует переходить к еще более сложным вопросам (если таковые имеются), а если он не справляется ни с одним из них, то целесообразно вернуться к предыдущей группе заданий.

Разделение ТЗ на несколько баз может быть выполнено и по другому принципу, например, ТЗ, проверяющие знания, умения, навыки.

Для проверки регулярности работы студентов в течение семестра во многих вузах используется многоступенчатое тестирование. Оно предполагает наличие как минимум двух этапов. Первый - текущая аттестация во время семестра (перва ступень), второй - тестирование на зачете или экзамене (втора ступень).

Повышает достоверность получаемых оценок и процедура корректировки базы тестовых заданий с учетом результатов предыдущих попыток тестирования. Суть данной процедуры заключается в следующем:

Пусть текуща аттестация должна быть организована срау после изучения одной темы или группы тем. На текущей аттестации к-й студент

получает свой набор тестовых заданий по і-й теме М' єТ1 и не получать ік грі \/{ік \ і тік_грі

ет ь Є Т 1 , причем М иь = Т 1 . После анаиза результатов тестирования формируются два комплекта:

- ТЗ, которые студент реши прав иль но ОТ^ ,

- ТЗ, которые студент решил неправильно ОЕ^, где ОТік иОЕік — Мік.

Анаогично анаизируются ответы студента по остальным темам. В конце семестра на каждого студента формируются три комплекта:

к Н ік

- комплект ТЗ, которые он решил правильно ОТ = иОТ ;

і=1

V N ОЕк = І I ОЕ1к

- комплект ТЗ, которые он решил неправильно и ;

і =1

тк = І І тік

- комплект ТЗ, которые ему не были заданы ^ ,

і=1

Комплект ТЗ во время первой попытки на зачете для к-го студента

включает в себя комплекты ОЕк и Т, т.е. Т к — ОЕк и Ьк . На второй попытке тестирования во время зачета для к-го студена вновь произойдет усечение баы ТЗ и т. д.

Применение агоригма формирования комплектов дискриминатив-ных тестовых заданий первой и второй ступеней и индивидуального подхода при тестировании позволило эффективнее контролировать уровень знания студентов при минимальном наборе ТЗ, а также проводить тестирование знаний большего количества студентов на ограниченном наборе ТЗ.

Библиографический список

1. Аванесов В.С. Композиция тестовых заданий / В.С. Аванесов -М.: АДЕПТ, 1998. - 200 с.

2. Яблочкин Л.Б. «Гипертест» - нова технология для созданий систем тестирования знаний / Л.Б.Яблочкин, М.А. Андриянова, А.В. Каргин // Информационные технологии. - 2001, - №3. - С. 25-27,

Получено 23.04.08