CC BY
16
Многозначная модель нечеткого оценивания знаний по результатам тестирования
Смыкова К.В.,
студентка 6 курса
Щербина Ю.В.,
д.т.н., профессор кафедры АПП
Традиционные способы контроля и оценивания знаний на основе различных методик тестирования обычно сводятся к необходимости выбора одного или нескольких вариантов ответов на предъявляемое задание. Основу этих способов составляет необходимость предварительной бинарной оценки истинности предлагаемых вариантов ответов с позиций классической двоичной логики в категориях «пра-вильно»/«неправильно». Это требует от составителей тестовых заданий, с одной стороны, обеспечить абсолютную истинность одного или нескольких вариантов ответа, а с другой - абсолютную ложность других предлагаемых к рассмотрению вариантов ответов.
Такой подход не дает возможность учитывать в ходе тестирования неполные или не совсем точные ответы экзаменуемого. Хотя эти ответы могут приниматься во внимание и обычно учитываются опытными преподавателями в ходе личного собеседования для получения более полной итоговой оценки знаний. При этом оценка выставляется по степени соответствия ответов обучаемого к эталонной модели знаний [1].
Большое значение имеет порядок предъявления тестовых заданий, а также метод определения уровня знаний по полученным ответам. В данной статье рассматривается модель нечеткого оценивания знаний, которая позволяет получать многозначную количественную оценку принимаемых решений по их качественным описаниям. Применительно к формированию вариантов ответов на тестовые задания это означает, что организатор тестирования получает возможность зада-
вать степень истинности каждого ответа путем построения так называемой функции принадлежности его к используемой шкале оценивания истинности.
Таким образом, появляется принципиальная возможность формулировать и предъявлять экзаменуемому варианты ответов, степень истинности которых не может быть однозначно определена в категориях «правильно» или «неправильно». Для таких ответов в качестве меры оценивания может применяться многозначная лингвистическая шкала следующего вида
/=
(1)
«правилычо»,«неполно»,«неточно», «неопределенно»,«неправилычо»
либо другие привычные для преподавателя оценочные категории. При этом для количественного учета истинности выбираемых ответов и расчета итоговой оценки служит аппарат нечеткой логики [2-4].
Правильность каждого варианта ответа характеризуется функцией принадлежности, заданной на лингвистической переменной, в качестве базового множества дискретных значений которой используется лингвистическая оценочная шкала. Совокупность вариантов ответов на каждое тестовое задание представляется нечетким множеством, каждый элемент которого - пара вида («вариант ответа»; «функция принадлежности»). В ходе тестирования оценивается степень «суммарной» правильности ответов обучаемого на все предъявленные тестовые задания. Этот показатель рассчитывается с использованием аппарата нечеткой алгебры, путем построения функции принадлежности совокупности выбранных ответов применяемой лингвистической шкале.
Для вывода итоговой оценки используется эталонная шкала оценивания результатов тестирования. Эта шкала также представляется нечетким множеством, каждый элемент которого - пара вида («оценка»; «функция принадлежности»). Оценка знаний тестируемого выводится в процессе сравнения функции принадлежности выбранных ответов эталонным функциям принадлежности каждой оценки шкалы итогового оценивания [5]. В качестве итоговой оценки принимается та, для которой скалярное расстояние между ее функцией принадлежности и функцией принадлежности совокупности выбранных ответов оказывается минимальным.
Процедура задания степени истинности предлагаемых вариантов ответов на каждое тестовое задание определяется
Р:(ууММ ^ А] ={(а^)},/=Ш=й (2)
где V- множество тестовых заданий, предназначенных для предъявления обучаемому; МЕ - эталонная модель знаний обучаемого; / - лингвистическая переменная, определяющая шкалу оценивания правиль-
ности ответов; А/ = {(а/;ц/)},/= 1,L - нечеткое множество вариантов возможных ответов (здесь L - количество вариантов ответов на тестовое задание V/ е V, J- количество тестовых заданий, э^ - /-й вариант ответа
на /е задание, - функция принадлежности, определяющая степень истинности ответа э).
Шкала оценивания истинности ответов задается лингвистической переменной / = [/|,/2,.-,4], где к - количество значений I, а
/ = 1,к- значения, используемые в качестве оценочных категорий при построении функций принадлежности. Например, для 5-значной лингвистической шкалы (1), к = 5 и, соответственно, | = «правильно», 12 = = «неполно»,..., 15 = «неправильно».
Для вывода итоговой оценки по результатам тестирования формируется эталонная шкала итоговых оценок 50 в виде нечеткого множества
5о = 5^}, Г = Я (3)
где Я - количество значений итоговой оценки, выставляемой по результатам тестирования; 5 г - г-е значение оценки; цг - эталонная функция принадлежности, определяющая, в какой степени правильность совокупности выбранных ответов на тестовые задания соответствует оценке 5г.
Так, для четырехбальной системы оценивания знаний Я = 4 и, соответственно, 51 = «неудовлетворительно», 52 = «удовлетворительно», 53 = «хорошо», 54 = «отлично».
Эталонные функции принадлежности задаются в виде
Цг ЧОг/Юг/!.....Окг/4}, (4)
где О, /= 1, к - степень соответствия совокупности ответов тестируемого оценочной категории /.
Например, при использовании приведенной выше 4-знач-ной шкалы итогового оценивания организатор тестирования может задать эталонную функцию принадлежности оценки 54 = «отлично» в виде
[1/правильно, 0.3/неполно, 0.1/неточно, 0.0/ ^1 [неопределенно,0.0/неправильно
График этой функции представлен на рис. 1. Эталонную функцию принадлежности оценки = «удовлетворительно» представим в виде
[0.2/правильно, 0.4/неполно, 0.9/неточно, 0.7/ [неопределенно, 0.3/неправильно
Рис. 1. Функция принадлежности оценки «отлично»
График функции принадлежности оценки «удовлетворительно» изображен на рис. 2. Аналогичный вид имеет график принадлежности оценке «хорошо». При этом точка максимума этой функции будет смещена в сторону правильных и неполных ответов.
Функция принадлежности оценки «удовлетворительно»
Рис. 2. Функция принадлежности оценки «удовлетворительно»
Для контроля знаний обучаемого формируется конечное множество тестовых заданий
V={vJ), ]=V, (7)
где У - количество заданий, включенных в множество V Для каждого j-го задания vJ е V создается нечеткое множество вариантов возможных ответов Aj = {(5у;цу)}, 1= 1,1. Функции принадлежности определяются в виде
Ъ ЧОг/ЮгА.....Окг/1к), (8)
где О. 1= 1,к - степень соответствия ответа э; оценочной категории /
При проведении автоматизированного контроля знаний тестируемому последовательно предъявляются включенные в тест ^задания V4&БТ и варианты ответов А/ = {э/}, / = 1,/ на каждое /езадание. На
основании выбранных вариантов ответов а/ еА/ и соответствующих
*
этим, ответам функций принадлежности цг рассчитывается правильность совокупности выбранных тестируемым ответов на все задания теста в виде функции принадлежности , нормированной относительно количества заданий п:
1 п * Г 1 п * * *
^ = -=\-ЪО///^О2//12.....Ок//4 к (9)
п /= 1 [П/=1 ]
Итоговая оценка От за тест определяется по результатам сравнения со всеми эталонными функциями принадлежности цг [4]. Для
каждого допустимого значения оценки 5Г е50 вычисляется скалярное расстояние Дцг между ее функцией принадлежности цг и функцией принадлежности совокупности выбранных ответов
Дцг = цЕ©цг, (10)
где символом © обозначена операция вычисления скалярного расстояния.
В качестве итоговой оценки принимается то значение оценки 5г е50, для которого скалярное расстояние Дцг между ее функцией принадлежности цг и функцией принадлежности совокупности выбранных ответов доказывается минимальным:
От = 5г I Ацг = т'п(Лцг). (11)
У/'=1,Я
Например, если эталонные функции принадлежности итоговых оценок характеризуются значениями, представленными в табл. 1, а функция принадлежности совокупности выбранных ответов имеет вид:
[0.7/правильно, 0.2/неполно, 0.3/неточно, 0.1/1 [неопределенно, 0.2/неправильно
то расчеты скалярных расстояний до итоговых оценок дадут значения, которые сведены в табл. 1.
Таблица 1
Эталонные функции принадлежности итоговых оценок
Оценка sr Оценочная категория
правильно неполно неточно неопределенно неправильно
Неудовлетворительно 0 0 0,1 0,3 1
Удовлетворительно 0,2 0,4 0,9 0,7 0,3
Хорошо 0,7 0,9 0,7 0,3 0,1
Отлично 1 0,3 0,1 0 0
Таблица 2
Расчет скалярных расстояний до итоговых оценок тестирования
Итоговая оценки Скалярное расстояние между и ц,
Неудовлетворительно |0,7 - 0 +10,2 - 0 +10,3 - 0,1 +10,1 - 0,3 +10,2 -1| = = 0,7 + 0,2 + 0,2 + 0,2 + 0,8 = 2,1
Удовлетворительно |0,7 - 0,2 +10,2 - 0,4 +10,3 - 0,9 +10,1 - 0,7 +10,2 - 0,3 = = 0,5 + 0,2 + 0,6 + 0,6 + 0,1 = 2,0
Хорошо |0,7 - 0,7 +10,2 - 0,9 +10,3 - 0,7 +10,1 - 0,3 +10,2 -1 = = 0 + 0,7 + 0,4 + 0,2 + 0,1 = 1,4
Отлично 10,7 -1 +10,2 - 0,3 +10,3 - 0,1 +10,1 - 0 +10,2 -1| = = 0,3 + 0,1 + 0,2 + 0,1 + 0,2 = 0,9
о о о о То от а Функция принадлежности совокупности выбранных ответов
0 < правильно неполно неточно н еопределе№ онеправиль но
Рис. 3. Функция принадлежности совокупности выбранных ответов
Минимальным является расстояние до оценки «отлично», поэтому за выполнение такого гипотетического теста обучаемому можно выставить эту оценку.
Нужно отметить, что нечеткое определение степени истинности ответов функцией принадлежности не отрицает традиционного определения истинности по бинарному критерию «правильно»/«непра-вильно». При этом такое оценивание степени истинности ответов можно рассматривать как предельный или вырожденный случай нечеткого оценивания степени истинности многозначной функцией принадлежности.
Выводы
1. Практическая реализация и применение представленной модели позволяют повысить эффективность педагогического контроля за счет учета степени истинности ответов на тестовые задания.
2. Определение степени истинности вариантов ответов на тестовые задания дает возможность организовывать тестирование знаний по слабо формализованным дисциплинам, по которым не целесообразно ограничивать оценки истинности двоичными категориями «правильно»/«неправильно».
3. Предложенная модель нечеткого оценивания знаний имеет универсальный характер, поскольку она позволяет организатору тестирования строить такую многозначную шкалу оценивания истинности, какую он считает наиболее адекватной возможным вариантам ответов на тестовые задания по каждой конкретной дисциплине.
Библиографический список
1. Дуплик С.В. Модели педагогического тестирования обучаемых / С.В. Дуплик // Вестник Казан. Гос. Техн. ун-та им. А.Н. Туполева. - 2003. - № 2. - С.74-79.
2. ЗадеЛ.Л. Понятие лингвистической переменой и его применение к принятию приближенных решений / Л.Л. Заде. - М. : Мир, 1976. - 165 с.
3. КофманА. Введение в теорию нечетких множеств / А. Коф-ман. - М. : Радио и связь, 1982. - 432 с.
4. Нейман Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.Н. Нейман, В.А. Хлебников. -М. : Прометей, 2000. - 168 с.
5. Рудинский ИД. Основы формально-структурного моделирования систем обучения и автоматизации педагогического тестирования знаний / И.Д. Рудинский. - М. : Горячая линия - Телеком, 2004. -204 с.
