CC BY
99
УДК 004.738.5:378.14.004.12
И. Г. Бартасевич
ИЗМЕРЕНИЕ УРОВНЯ ЗНАНИЙ -ОСНОВНОГО ПОКАЗАТЕЛЯ КАЧЕСТВА ОБУЧЕНИЯ
Введение
В настоящее время остро стоит проблема повышения качества обучения студентов. В решении этой проблемы многое зависит от выбора показателей качества и способов их оценки. Процесс оценки является важным компонентом диагностики и мониторинга обучения. Цель мониторинга - прогноз и обеспечение повышения успеваемости и качества знаний учащихся. Приобретенные в период обучения компетентности, знания, умения и навыки выпускников -основной показатель качества всей образовательной системы.
Измерение уровня знаний
Проблема измерения уровня знаний непосредственно связана с процессом контроля знаний, или тестированием. Кроме теста, другого технологического инструмента для количественного измерения таких скрытых (латентных) педагогических параметров, как уровень знаний и трудность заданий в настоящее время не существует. Следует отметить, что и тест не позволяет определить эти величины сразу и прямо. Только специальная математическая статистическая обработка результатов тестирования дает возможность методом последовательных итераций (приближений) получить количественные оценки указанных параметров с заданной степенью точности.
Педагогический тест - это система заданий специфической формы, определенного содержания, возрастающей трудности, позволяющая качественно оценить структуру и измерить уровень знаний, умений и навыков. Чтобы выполнять функцию инструмента измерения, тест должен состоять из достаточного количества тестовых заданий, число которых определяет длину теста. По своей длине тесты могут быть короткими (10-20 заданий), средними и длинными (до 500 и более заданий). Оптимальное количество заданий, на которое испытуемые еще достаточно охотно отвечают в один присест, составляет 40-60.
В [1] тестирование рассматривается как некоторый диагностический процесс, а состояния, характеризующие оценки знаний испытуемого, - как диагностические состояния.
Нахождение объекта испытаний в одном из состояний е, может быть установлено в процессе тестирования с определенной степенью вероятности Р(е), и чем выше указанная вероятность, тем более эффективным можно считать процесс испытаний. Испытания включают в себя выполнение испытуемым ряда тестовых заданий различной сложности, называемых проверками р. Каждая проверка рк должна завершиться одним из исходов ц^к. Простейшие проверки, имеющие всего два исхода, соответствующие правильному или ошибочному ответам, назовем бинарными. Если испытуемый в действительности имеет уровень знаний, оцениваемый состоянием е, то при корректно сформулированных вопросах проверок значение апостериорной вероятности Р(е) должно после каждой проверки возрастать, в то время как значения вероятностей, соответствующие остальным состояниям, убывать.
Каждая проверка рк однозначно характеризуется матрицей условных вероятностей с элементами РЦк/е ). Эти элементы определяют вероятности получения исхода Цк при условии, что испытуемый имеет уровень знаний, соответствующий оценке е,. Значения указанных условных вероятностей определяются либо на основании экспертных оценок, либо могут быть вычислены исходя из алгоритма решаемой тестовой задачи. Эти значения не зависят от очередности проведения проверок и представляют собой вероятностную модель проверки рк.
После завершения цикла тестирования, заключающегося в последовательном проведении ряда проверок, сформируется окончательное распределение апостериорных вероятностей Р(е ), характеризующее действительное состояние объекта тестирования. Поскольку состояния е, представляют собой полную систему событий, остальные значения апостериорных вероятностей (при условии роста одной из вероятностей) должны уменьшаться. За действительное состояние испытуемого принимается то, которое соответствует наибольшему значению апостериорных вероятностей [1].
В конечном итоге целью тестирования является определение действительного уровня знаний испытуемого. Так как в современном вузе принята фактически четырехбалльная («неудовлетворительно», «удовлетворительно», «хорошо» и «отлично») система оценок, примем число различных уровней знаний студентов равным четырем. Это нулевой, первый, второй и третий уровни.
Рассмотрим закрытое тестовое задание в рамках одной дидактической единицы, состоящее из десяти элементарных заданий одной сложности, где есть только два варианта ответа -правильный и неправильный. Очевидно, что при полном отсутствии знаний испытуемый может дать правильный ответ на такое элементарное задание с вероятностью р = 0,5. Вероятность ц неправильного ответа также равна 0,5 (ц = 1 - р = 1 - 0,5 = 0,5).
Вероятность ответить правильно на к вопросов из п определяется по формуле Бернулли:
Вероятность ответить на все десять заданий теста правильно по формуле умножения вероятностей (или по формуле Бернулли) равна:
т. е. получить оценку «пять» при полном отсутствии знаний практически невозможно.
Вероятность ответить правильно только на половину заданий при полном отсутствии знаний равна:
Как видим, это достаточно высокая вероятность для человека с нулевым уровнем знаний. Если добавлять в каждое задание теста по одному (неправильному) варианту ответа, то значения найденных вероятностей будут меняться:
Очевидно, чтобы повысить достоверность оценки уровня знаний испытуемого, нужно включать в тест задания с числом вариантов ответа более двух.
Рассмотрим тестовые задания открытой формы. Эти задания не содержат вариантов правильного ответа, их нужно выполнить и ввести правильное значение в поле для ответа. Очевидно, что вероятность дать верный ответ крайне мала, если знания отсутствуют.
Проведем эксперимент, предложив группе студентов выполнить два теста, каждый из которых состоит из десяти односложных задач. В первом случае предоставим испытуемым выбрать верный ответ из четырех (задания закрытой формы), а во втором случае вписать правильный ответ в специальное поле для ответа (задания открытой формы). Студенту, выполнившему верно 9-10 заданий, присвоим третий уровень знаний и поставим оценку «пять». Студент, выполнивший верно 7-8 заданий, получает оценку «четыре», и его уровень знаний - второй. Студент, выполнивший верно 5-6 заданий, получает оценку «три», и его уровень знаний - первый. Наконец, студент, решивший верно менее пяти задач, получает «двойку», и его уровень знаний равен нулю.
В испытаниях приняли участие 28 студентов, изучающих дисциплину «Информатика». Тестовые задания были составлены по теме «Позиционные системы счисления». В табл. 1 приведены результаты эксперимента.
Р0(10) = (1/2)10 = 1/1024 » 0,001,
Р0(5) = С?,, • 0,55 • 0,55 = 101/(51-5!)• 0,510 = 252/1024 » 0,246.
Число вариантов ответов = 3 :
Р = 13, д = 1 - р = 2/3;
Р10 (10) = 1/310 » 0,00002;
Р10 (5) = 252 -(1/3)5 -(2/3)5 » 0,0043.
Число вариантов ответов =4 : р = 0,25, д = 1 - 0,25 = 0,75;
Р10 (10) = 0,2510 » 0,000001;
Р10(5) = 252 • (0,25)5 -(0,75)5 » 0,0002.
Таблица 1
Результаты эксперимента
Количество баллов Уровень знаний Оценка Задания
закрытой формы (с вариантами ответа, 1-й случай) открытой формы (без вариантов ответа, 2-й случай)
Количество студентов % Количество студентов %
Менее пяти 0 2 5 18 8 29
5-6 1 3 12 43 11 39
7-8 2 4 7 25 6 21
9-10 3 5 4 14 3 11
Всего 28 100 28 100
По данным таблицы построена диаграмма, отражающая результаты эксперимента (рис. 1) и демонстрирующая тот факт, что количество студентов, получивших оценку «два», оказывается больше в том случае, когда нет возможности выбирать ответ из нескольких предложенных.
Таким образом, можно выдвинуть предположение о том, что результаты испытаний, полученные при использовании тестовых заданий закрытой формы, дают более высокую оценку уровня знаний обучаемого, тогда как действительный уровень его знаний оказывается ниже. Следовательно, можно считать более достоверными результаты испытаний, полученные во втором случае.
14
12
□ Задания с вариантами
□ Задания без вариантов
0
1
2
3
Уровень знаний
Рис. 1. Диаграмма, отражающая результаты эксперимента
Пусть учебный курс состоит из п дидактических единиц (ДЕ). Уровень знаний х по каждой ДЕ оценим значением от 0 до 1, т. е. х1 е [0; 1], 1 = 1, 2, ... п. Равенство х^ = 0 означает отсутствие знаний, а х^ = 1 - обладание полным объемом знаний по данной ДЕ. Тогда уровень знаний (целевая функция) по всему курсу равен:
п
у = Е х = х+Х2+...+хп .
1=1
Цель - максимизировать у. В идеале у должен быть равен п. Этого можно добиться, увеличивая все значения хг-, стремясь приблизить их к 1.
В первом учебном семестре студенты одной из специальностей изучают четыре ДЕ по информатике. В качестве итогового зачетного задания предложим группе студентов систему испытаний в виде четырех тестовых заданий, состоящих из десяти задач каждое. Как и в предыдущем примере, в первом случае предоставим испытуемым выбирать ответы из предложенных
вариантов (задания закрытой формы), а во втором - ответить на поставленный вопрос, используя только собственные знания (задания открытой формы). В обоих случаях подсчитаем частость верных ответов [2] для каждого студента по всем ДЕ (т = 10 - количество задач в тесте; тв - количество верных ответов по данной ДЕ):
т
хг = -^ = 0,1тв, і = 1, 2, ..., п, т
и среднее значение этих показателей для всей группы (Ы = 28 - количество студентов в группе):
П
_ 2>.
х. = ——. і N
Результаты расчетов сведем в табл. 2.
Таблица 2
Результаты расчетов
Задания
с вариантами без вариантов
№ ДЕ (і) ответа (1-й случай) ответа (2-й случай)
x і
1 0,575 0,529
2 0,607 0,541
3 0,636 0,589
4 0,593 0,522
у 2,411 2,181
По результатам расчетов построим диаграмму (рис. 2).
0,7
0,6
К 0,5
«
К
§ 0,4
55 0,3
м
о
о.
>7 0,2
□ Задания с вариантами ответа (1-й случай)
Задания
без вариантов ответа (2-й случай)
№ ДЕ (і)
Рис. 2. Диаграмма, отражающая результаты расчетов
Анализ данных, полученных в ходе эксперимента, подтверждает предположение о том, что испытуемый показывает более высокий уровень знаний при выполнении заданий закрытой формы, т. е. с вариантами правильных ответов.
Заключение
Результаты исследований показали, что действительный уровень знаний испытуемого может быть несколько завышен при выполнении заданий закрытой формы - с вариантами верного ответа, т. к. в этом случае есть возможность «попасть» в правильный ответ, не зная его.
0,1
0
2
3
4
Чтобы повысить достоверность оценки уровня знаний студентов, можно:
— увеличить количество вариантов правильного ответа в задании, уменьшив тем самым вероятность «угадывания» верного ответа;
— увеличить общее количество заданий в тесте, что также приводит к уменьшению вероятности верного решения нескольких заданий без требуемого уровня знаний;
— включать в тест задания, не содержащие вариантов ответа.
Предложенные меры контроля позволят получать достоверные сведения при диагностировании и измерении уровня знаний студентов и повысить качество обучения.
СПИСОК ЛИТЕРАТУРЫ
1. Лихтциндер Б. Я., Иванова Л. Б. Контроль качества знаний на основе вероятностных критериев оценки // Информационные технологии. - 2006. - № 2. - С. 73-78.
2. Журавлева О. Б., Крук Б. И., Соломина Е. Г. Управление Интернет-обучением в высшей школе. - М.: Горячая линия - Телеком, 2007. - 224 с.
Статья поступила в редакцию 11.12.2009
MEASUREMENT OF KNOWLEDGE LEVEL -THE MAIN INDEX OF EDUCATION QUALITY
I. G. Bartasevich
The problem of the measurement of real student knowledge level, directly connected with the process of checking the knowledge, or testing is considered. The results of the experiment, consisting in fixing student's knowledge when performing the test tasks of closed form and open form are given. The suggestion that the tested shows higher level of the knowledge when performing the tasks of the closed form is made. The data analysis, made in the course of the experiment, confirms this suggestion. The measures of checking, allowing get the reliable information during diagnostics and measurement of student's knowledge level are offered.
Key words: knowledge level, testing, task of closed form, task of open form.
