CC BY
65
УДК 519.854.004.8
Н.В. БЕЛОУС, И.В. КУЦЕВИЧ, Н.Н. КУЦЕВИЧ
МОДЕЛИРОВАНИЕ ПРОЦЕССА ПРОВЕДЕНИЯ И ОЦЕНИВАНИЯ ПРАКТИКУМОВ ПО КОМПЬЮТЕРНОЙ ДИСКРЕТНОЙ МАТЕМАТИКЕ С ИСПОЛЬЗОВАНИЕМ АДАПТИВНОГО ТЕСТИРОВАНИЯ
Abstract: In papers the universal model of differential estimation of knowledge for application in various systems of estimation is proposed. This model is simple for use at realization of adaptive testing of knowledge systems. At testing realization there is a possibility of a wrong knowledge estimation of the trainee because of a casual right answer input. In work the proposed test tasks forms from the point of view of guessing probability size are evaluated.
Key words: adaptive testing, model differential estimation knowledge, dassification of the form of lacks.
Анотація: У роботі авторами запропонована універсальна модель диференційного оцінювання знань для застосування у різних системах оцінювання, а також проста для використання при реалізації систем адаптивного тестування знань. Оскільки при здійсненні тестування існує можливість неадекватної оцінки знань об’єкта навчання у разі випадкового введення правильної відповіді, у роботі проведена оцінка запропонованих форм тестових завдань з погляду розміру такої імовірності.
Ключові слова: адаптивне тестування, модель диференційного оцінювання знань, класифікація форм тестових завдань.
Аннотация: В работе авторами предложена универсальная модель дифференциального оценивания знаний для применения в различных системах оценивания, а также простая для использования при реализации систем адаптивного тестирования знаний. Поскольку при проведении тестирования существует возможность неадекватной оценки знаний обучаемого в случае случайного ввода правильного ответа, в работе проведена оценка предложенных форм тестовых заданий с точки зрения величины такой вероятности.
Ключевые слова: адаптивное тестирование, модель дифференциального оценивания знаний,
классификация форм тестовых заданий.
1. Введение
Дальнейшее развитие высшей школы Украины предусматривает внедрение в процесс обучения новых концепций и технологий. Одной из главных задач, стоящих перед высшей школой на современном этапе, является резкий рост качества подготовки специалистов на всех уровнях системы подготовки кадров.
Повышение требований к качеству подготовки специалистов обусловливает соответствующее повышение требований к системе оценивания знаний. Оценивание знаний -действенный стимул учебного процесса, способствующий повышению качества подготовки специалистов. Важнейшей задачей оценивания является проверка знаний обучаемых с целью корректирования методики подготовки и проведения занятий. Оценивание знаний служит для мотивации регулярной напряженной и целенаправленной работы обучаемых, стимулирования их творческой активности. При регулярном оценивании создаются наилучшие условия для приобретения знаний и развития мышления обучаемых.
Решение проблемы оценивания знаний и соответствие образовательным стандартам имеет принципиальное значение для успеха всей системы образования. Кроме того, при удаленном тестировании и оценивании знаний должны решаться проблемы индивидуализации процесса обучения и контроля знаний. Для решения этой проблемы разработано адаптивное тестирование знаний. Адаптивный тест представляется как вариант автоматизированной системы тестирования, в которой заранее известны параметры трудности и дифференцирующей способности каждого задания. Эта система создана в виде компьютерного банка заданий, упорядоченных в соответствии с интересующими характеристиками заданий. Основной из задач разработки
© Белоус Н.В., Куцевич И.В., Куцевич Н.Н., 2009
ISSN 1028-9763. Математичні машини і системи, 2009, № 3
адаптивного теста является построение системы оценивания адаптивного тестирования.
В настоящий момент в зарубежной педагогической практике существуют несколько подходов к созданию тестов, отвечающих научно обоснованным критериям качества. Первый подход базируется на применении стандартных для математической статистики корреляционных и факторных методов анализа. Второй, современный, подход зарождался в рамках теории латентноструктурного анализа, основная цель которого - оценить скрытые (латентные) параметры испытуемых. Пионерской работой в области второго подхода является труд датского математика Г. Раша [1], вышедший в 1960 г. Именно он дал толчок интенсивному развитию за рубежом серьёзной теоретической базы тестирования, вылившейся в современную теорию тестирования -Item Response Theory (IRT). Первые сведения по этой теории на русском языке появились только в 1995 г. в работе Р. Хамблетона [2].
Основная цель состоит в разработке математической модели процесса тестирования, параметрами которой, подлежащими определению, служат различные характеристики участников тестирования и самого теста. В настоящее время IRT представляет собой довольно обширную и, к сожалению, непростую теорию, активно использующую разнообразный арсенал математических методов [3]. Поэтому зачастую бывает целесообразно использовать сочетание двух упомянутых теорий. С помощью статистических методов классической теории проводится первичный анализ качественных характеристик полученного варианта теста, а с помощью IRT - более углублённый анализ характеристик тестовых заданий. Наиболее эффективным использование IRT становится при сформированном банке тестовых заданий, что обеспечивает возможность автоматической генерации тестов с определёнными наперёд заданными и научно обоснованными характеристиками точности и надёжности.
Основными недостатками рассмотренных моделей являются использование дихотомической и политомической шкал оценивания знаний, а также относительная сложность реализации применяемых математических методов при построении систем адаптивного дистанционного тестирования знаний.
Целью работы является разработка дифференциальной модели процесса адаптивного тестирования знаний при прохождении дистанционного обучения, учитывающей уровень сложности заданий, вероятность угадывания правильных ответов, а также учитывающей оценивание заданий различных форм по непрерывной шкале оценивания.
2. Построение дифференциальной модели процесса тестирования
При прохождении адаптивного теста в каждый момент времени обучаемые выполняют некоторые задания. По результатам выполнения каждого задания выдвигаются условия для выбора следующего задания из базы знаний.
Исходя из сказанного выше, построим дифференциальную модель процесса оценивания знаний с помощью тестирования. Дифференциальная модель представляет собой дифференциальное уравнение, полученное в результате исследования какого-либо реального явления или процесса [4], в данном случае - процесса оценивания теста.
Итак, пусть некоторый обучаемый проходит адаптивное тестирование. Ему предлагается
выполнить цепочку из N заданий, причем результат выполнения теста Я в каждый момент времени (при выполнении каждого последующего задания) зависит от результатов, полученных при выполнении предыдущих заданий. Таким образом, результат выполнения теста изменяется непрерывно и, более того, он дифференцируем как функция, зависящая от количества выполненных заданий. Конечно, это утверждение является упрощением реальной ситуации, поскольку Я - целое число.
Для построения модели проведем анализ процесса адаптивного тестирования. Рассмотрим процесс прохождения тестирования и выделим основные параметры, влияющие на результат прохождения тестирования.
1. При прохождении адаптивного тестирования каждому из заданий присваивается уровень
сложности = 1,2). В связи с этим, тем большая вероятность правильного выполнения
задания, чем ниже уровень его сложности.
2. Для получения объективной оценки знаний при прохождении тестирования рекомендуется использовать непрерывную шкалу оценивания. При этом за выполнение каждого задания теста обучаемый получает некоторый коэффициент гг е [0;1], причем этот коэффициент
определяется индивидуально для каждой формы тестовых заданий.
3. Одной из основных проблем тестирования является вероятность угадывания правильных вариантов ответа. Следовательно, в дифференциальную модель процесса проведения адаптивного тестирования введем параметр wi, соответствующий вероятности угадывания
правильного варианта ответа для каждой формы тестовых заданий.
4. Для получения результата в заданной шкале оценивания знаний введем специальный параметр В - балльность системы. Рассмотрим алгоритм перевода результата тестирования в произвольную шкалу оценивания знаний. Для корректного перевода результата в любую систему оценивания знаний необходимо всем значимым результатам оценивания в порядке возрастания поочередно присвоить коэффициенты балльности, начиная с 1. Максимальное значение коэффициента балльности и будет соответствовать параметру В .
При учете введенных параметров, влияющих на результат прохождения теста, динамика изменения результата выполнения теста при выполнении каждого задания может быть описана формулой 1.
ёЯ
dN
( • Л
В, (1)
ё (N -1) В
2
где — - дифференциальное оценивание результата прохождения теста в данный момент
dN
времени;
ёЯ
- дифференциальное оценивание результата прохождения теста в предыдущий
ё (N -1)
момент времени (при выполнении N -1) задания);
N - количество тестовых заданий, выполненных обучаемым в данный момент времени; гг - коэффициент оценивания заданий разных форм. Непрерывная величина изменяется в диапазоне [0,1];
- уровень сложности г -го задания;
wi - вероятность угадывания правильного ответа;
В - балльность системы;
• •
2 - суммарная сложность теста. Параметр 2 является накопительным и определяется по формуле 2.
где г - номер задания;
Nt - номер текущего выполняемого задания.
Задача состоит в том, чтобы указать соответствующие формулы для введенных выше величин коэффициента оценивания заданий разных форм гг и вероятности угадывания
правильного ответа wi.
3. Классификация форм тестовых заданий
В настоящее время существуют несколько классификаций форм тестовых заданий [5-7]. Авторами предлагаются при построении теста использовать следующую классификацию форм тестовых заданий [8].
Тестовые задания:
1.Закрытое.
1.1. Многоальтернативное.
1.2. Одноальтернативное.
2. Открытое.
2.1. На введение термина.
2.2. На заполнение таблиц.
2.3. На введение арифметического выражения.
3. Многошаговое.
4. На установление соответствия.
5. На установление последовательности.
4. Определение коэффициентов оценивания заданий разных форм
Для того чтобы объективно оценить знания по тестовым заданиям разных форм, предлагается использовать для каждой из них свою методику расчета оценки. Определим коэффициент оценивания для ответов на тестовые задания разных форм в отдельности. Полученные коэффициенты представим в виде таблицы.
N.
(2)
г=1
Таблица 1. Формулы для вычисления коэффициента оценивания заданий разных форм
Форма тестового задания Формула для вычисления коэффициента Включенные обозначения
Одноальтернативные тестовые задания Достаточно дихотомической шкалы оценивания, где 1 соответствует правильному ответу, 0 - неправильному
Многоальтернативные тестовые задания Г = (й,+ Єз.) Q1 - множество всех правильных вариантов ответа в задании; Q2 - количество правильных вариантов ответа, выбранных обучаемым; Q3 - количество неправильных вариантов ответа, выбранных обучаемым
Задания на установление соответствия П ' О Q1 - количество пар для сопоставления; Q2 - количество верно составленных пар
Задания на установление последовательности Достаточно использовать дихотомическую шкалу оценивания
Задания на заполнение таблиц Ом г„=2О -1 01 - количество ячеек, которые предлагается заполнить тестируемому; 02 - количество ячеек, которое тестируемый заполнил правильно
Оценивание многошаговых тестовых заданий рассмотрим более детально. Многошаговые тестовые задания состоят из набора заданий (набора шагов), решаемых последовательно, когда переход к следующему шагу задания осуществляется только после правильного ответа на предыдущий шаг. Это дает возможность обучаемому анализировать не только задание в целом, но и разбираться в каждой составляющей задания. Благодаря этому, обучаемый сразу может увидеть, где им допущена ошибка, и в дальнейшем получить правильные исходные данные, то есть ошибки в заданиях не будут накапливаться. Многошаговое задание считается пройденным, если на каждом его шаге получен правильный ответ. Для объективного оценивания ответа и глубины знаний обучаемого используется счетчик допускаемых ошибок, количество которых учитывается при выставлении оценки.
Многошаговое задание считается пройденным, если на любом его шаге получен правильный ответ. Для объективного оценивания ответа и глубины знаний обучаемого используется счетчик допускаемых ошибок, количество которых учитывается при выставлении оценки. Однако встает вопрос об оценивании таких вопросов. Для них простая дихотомическая шкала не подходит. Рекомендуемая формула для вычисления коэффициента правильности для многошагового тестового задания имеет вид (3)
п 1
Е—
м т г +1
Г = ---- , (3)
п
где г - номер шага;
т, - количество ошибок, допущенных на г -том шаге; п - количество шагов.
Формула (3) справедлива для многошаговых тестовых заданий, в которых на каждом шаге используются одноальтернативные задания или задания на установление правильной последовательности. В случае использования на каком-либо шаге тестового задания на соответствие или многоальтернативного тестового задания целесообразно использовать формулы (4) и(5) соответственно:
1 п 1 т, ^
г, =1Е(-, (4)
п ,=1 т, =
где . - номер попытки прохождения шага, если на нем была допущена ошибка;
Q2 - количество пар для составления на г -том шаге при . -той попытке;
2г)
Q1 - количество верно составленных пар на г -том шаге при . -той попытке.
Ч
1 ” тг ■ Q2
= 1Е------------------- , (5)
г=1 Е (й,. + Qз,.)
ч ч
.=1
где Q1 - количество правильных вариантов ответов на г -том шаге при .-ой попытке;
Ч
Q2 - количество правильных ответов, выбранных тестируемым на г -том шаге;
Q3 - количество неправильных ответов, выбранных тестируемым на г -том шаге при .-ой
ь
попытке.
4. Оценивание вероятности угадывания правильных ответов для каждой из форм тестовых заданий
Использование выборочных ответов сопряжено с возможностью неадекватной оценки знаний обучаемого в случае случайного ввода правильного ответа. Оценим эту вероятность для ответов на тестовые задания разных типов.
4.1. Закрытое тестовое задание
Для ответа на тестовые задания закрытого типа рассмотрим в отдельности ответ на одноальтернативные и многоальтернативные тестовые задания.
Одноальтернативное тестовое задание
Одноальтернативные тестовые задания представляют собой задания, в которых N вариантов ответа и один из них правильный. Вероятность угадывания правильного ответа w1 в данном случае определяется по формуле 6:
1
w1 = — . (6)
1 N
Многоальтернативное тестовое задание
При выполнении многоальтернативных тестовых заданий обучаемому предлагается из N
вариантов ответа выбрать к правильных (0 < к < N). Вероятность ввода каждого ответа для
выборки длиной к определяется как w2 = — , где М - общее количество возможных ответов. В
2 М
случае, если заведомо известно количество правильных вариантов ответа, значение М рассчитывается по формуле 7:
к N
М = СЪ =----------:---. (7)
N (N - к)!к!
Общее число возможных ответов М на многоальтернативное задание при заранее неизвестном числе к равно количеству всех возможных вариантов выбора ответа. Следовательно,
N N N
м=Е с1-=Е-
я " г=^(N- к)!к!
N
Из комбинаторики известно [9], что ЕCN = 2N. Значение к не известно обучаемому,
следовательно, можно считать все значения к равновероятными. Только один из возможных вариантов ответа является правильным. Таким образом, вероятность угадывания правильного ответа определяется по формуле 8:
^. <8>
4.2. Тестовое задание на установление правильной последовательности
При составлении тестового задания на установление последовательности возможны 2 варианта представления списка элементов последовательности. В первом случае обучаемому необходимо составить последовательность, включив все элементы последовательности. Во втором случае предлагается выбрать последовательность элементов, включив в нее только необходимые элементы. Рассмотрим оба случая.
1. Задание, в котором все N элементов последовательности входят в ответ.
Для заданий, в которых необходимо составить последовательность из всех предложенных элементов, задача определения количества возможных комбинаций ответа сводится к нахождению числа перестановок элементов последовательности. Таким образом, количество М возможных ответов определяется по формуле М = N!. Вероятность угадывания правильного ответа для списка определяется по формуле 9:
1
w3 = — . (9)
3 т
2. Задание, в котором из N предложенных элементов к входит в правильную последовательность.
Для рассматриваемого случая минимальное значение к равно 2, т.к. последовательность меньшей длины не имеет смысла. Количество М возможных вариантов ответа можно определить
как размещение из N по к. Следует также учесть, что значение к изменяется от 2 до N . Таким образом, количество М различных вариантов перестановок определяется по формуле 10:
N N т!
м=Е к=Е . (10)
к=2 N - к)! ( )
Правильным является единственный вариант, поэтому вероятность случайного ввода
правильного ответа w4 определяется по формуле 11:
1 1
w4 = — = —-------------------------------------------------. (11)
4 М
Е(N - к)!
4.3. Тестовое задание на установление соответствия
При выполнении тестовых заданий на установление соответствия возможно представление ответа одним из следующих способов:
1. Имеется 2 списка по т элементов. Необходимо составить т пар.
2. Имеется 2 списка по т и п элементов соответственно (т < п). Необходимо составить
т пар.
3. Имеется 2 списка по т и п элементов соответственно (т < п). Необходимо составить I пар (I < т).
Рассмотрим каждый из способов в отдельности.
1. При установлении соответствия между элементами двух множеств с одинаковым
количеством элементов общее количество возможных вариантов введения ответа М = (т!)2. Следовательно, в этом случае вероятность случайного ввода правильного ответа определяется по формуле 12:
1 (т!)2
2. В случае, когда необходимо установить соответствие между т парами, причем количество элементов в одном из множеств п (т < п), количество возможных вариантов ответа возрастет и будет определяться по формуле 13:
т!п!
М = РтАт = . (13)
т п / \ | ' '
(п - т)!
Вероятность угадывания ответа в таком случае определяется по формуле 14:
(п - т)!
w6 = , ,1 . (14)
п! т!
3. Для получения задания на установление соответствия с наименьшей вероятностью угадывания рекомендуется добавлять "лишние" элементы в оба множества элементов. Пусть имеется 2 множества, состоящие из т и п элементов соответственно. При установлении
составления для I пар (I < т, I < п) общее количество возможных ответов можно определить по
W5 =^1^. (12)
формуле 15:
л1 л1 т!п!
М = Л‘Л‘ =------------------. (15)
т п (т-1)!(п-1)!
Вероятность угадывания ответа в случае, когда в задании на установление соответствия в оба множества элементов добавлены "лишние" элементы, определяется по формуле 16:
(т - 1)!(п -1)!
w7 = --------------------------------------------------------—--. (16)
т!п!
4.4. Открытое тестовое задание
При выполнении открытых тестовых заданий обучаемому не предлагаются варианты ответа, поэтому вероятность угадывания правильного ответа стремится к нулю.
4.5. Многошаговое тестовое задание
При оценивании вероятности угадывания правильного ответа во время выполнения многошагового тестового задания первоначально необходимо оценить вероятность угадывания правильного ответа ws на каждом из I шагов в отдельности. Общий результат в данном случае определяется по формуле 17:
^8 =П^ . (17)
i=\
4.6. Сравнительный анализ форм тестовых заданий, учитывая вероятность угадывания правильного ответа
Рассмотрим вероятности случайного ввода правильного ответа в зависимости от количества вариантов ответа для тестовых вопросов с одним списком ответов. Для наглядности сравнения составим табл. 2, содержащую значения вероятности угадывания для тестовых заданий с количеством ответов от 3 до 7.
Таблица 2. Вероятности угадывания правильного ответа для тестовых заданий с одним списком ответов
Количество заданий,N Форма тестового задания
Одноальтер- нативное тестовое задание Многоальтер- нативное тестовое задание Тестовое задание на установление последовательности
Включающее все элементы Включающее не все элементы
^2 ^3
3 0,33333 0,12500 0,16667 0,08333
4 0,25000 0,06250 0,04167 0,01667
5 0,20000 0,03125 0,00833 0,00278
6 0,16667 0,01563 0,00139 0,00051
7 0,14286 0,00781 0,00019 0,00007
На основании анализа полученных данных можно сделать следующие выводы:
- многоальтернативное тестовое задание значительно предпочтительнее одноальтернативного;
- тестовое задание на установление правильной последовательности, естественно, имеет меньшую вероятность случайного ввода правильного ответа, чем закрытое тестовое задание;
- при наличии "лишних" вариантов в ответе на задание на установление правильной последовательности его оценка улучшается еще приблизительно в 2 - 3 раза.
В свою очередь, следует отметить, что тестовое задание на установление соответствия имеет еще меньшую вероятность угадывания правильного ответа при соизмеримом количестве вариантов ответа с рассмотренными выше формами тестовых заданий. В свою очередь, для уменьшения вероятности угадывания рекомендуется в одно из множеств, между которыми устанавливается соответствие (либо в оба), вводить "лишние" элементы.
5. Оценивание случайного ввода правильного ответа
Разработанные методы оценки ответов позволяют определять правильность ответов не по дихотомической (двухбалльной) шкале (0,1), а на интервале [0,1]. При использовании этих методов вероятность случайного ввода абсолютно правильного ответа соответствует формулам, рассмотренным в разд. 4 представленных материалов, но появляются "частично правильные ответы", оценка которых отлична от нуля. Распределение вероятностей появления всех возможных оценок в интервале [0,1] можно определить по формуле
м
где м - общее количество ответов;
<p(ai) - функция определения оценки ответа ai.
Оценка ответа зависит от самого ответа (от его сходства с эталоном) и вычислить по этой формуле распределение вероятностей нельзя. Поэтому предлагается проведение программного моделирования различных схем построения ответа для множеств вариантов разных мощностей.
6. Выводы
Предложенная модель дифференциального оценивания знаний универсальна для применения в различных системах оценивания, а также проста для использования при реализации систем адаптивного дистанционного тестирования знаний. Поскольку при проведении тестирования существует возможность неадекватной оценки знаний обучаемого в случае случайного ввода правильного ответа, в работе проведена оценка предложенных форм тестовых заданий с точки зрения величины такой вероятности.
Полученные результаты планируется использовать при построении модифицированной системы проведения дистанционного адаптивного тестирования знаний в системе дистанционного образования Харьковского национального университета радиоэлектроники по курсу «Основы дискретной математики».
1. Rash G. Probabilistick Models for Some Intelligence and Attainment Tests. - Copenhagen, Denmark: Danish Institute for Educational Research, 1960.
2. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. - М., 1995. - С. 31.
3. Handbook of Modern Item Response Theory / Editors Win J. van der Linden, R.K. Hambleton. - New York, 1997. -Р. 510.
4. Амелькин В.В. Дифференциальные уравнения в приложениях. - М.: Наука. Главная редакция физикоматематической литературы, 1987. - 160 с.
5. Аванессов B.C. Теоретические основы разработки знаний в тестовой форме.- М.: Изд-во исслед. центра проблем качества подготовки специалистов, 1995. - 95 с.
6. Комплекс нормативних документів для розробки складових системи стандартів вищої освіти. - К., 1998.
7. Колісник М. Методичне забезпечення працює на успіх. Закордонна практика викладання дисциплін // Аналітичний журнал по менеджменту СИНЕРГІЯ. - 2003. - № 2 (6). - С. 48 - 53.
8. Белоус Н.В., Войтович И.В. Автоматизированная система оценивания тестовых заданий разных форм // Вестник ХНТУ. - 2006. - № 1 (24). - С. 422 - 426.
9. Стенли Р. Перечислительная комбинаторика / Пер. с англ. - М.: Мир , 1990. - 440 с.
Стаття надійшла до редакції 21.10.2008
