CC BY
54
высшего образования РХТУ им. Д.И. Менделеева совместно с химическими кафедрами Факультета естественных наук проводится разработка банков тестовых заданий по основным химическим дисциплинам, которые преподаются на факультете. По каждой из учебных дисциплин разработана структура банка тестовых заданий и тестовые задания различных типов: открытые тестовые задания с вводом ответов с помощью клавиатуры, закрытые тестовые задания с выбором ответов, задания на соответствие и задания на установление правильной последовательности.
Для повышения эффективности самостоятельной работы студентов по основным преподаваемым на факультете естественных наук химическим дисциплинам также разработаны и размещены на информационно-образовательном портале РХТУ www.clistant.ru обучающие тесты, которые используются студентами I -IV курсов в учебной работе. Названия учебных курсов и адреса сайтов, на которых размещены обучающие тесты приведены в таблице.
В настоящее время банки тестовых заданий вводятся в систему адаптивного компьютерного тестирования для их использования в учебном процессе на Факультете естественных наук РХТУ им. Д.И. Менделеева. Примеры разработанных тестовых заданий опубликованы в сборнике дидактических тестовых материалов для аттестации студентов в вузах [3].
Библиографические ссылки
1. Сайт Глобального образовательного консорциума. [Электронный ресурс]; // URL: http://www.imsproject.com. (Дата обращения 01.03.2009).
2. Сайт Центра тестирования профессионального образования. [Электронный ресурс]; // URL: http://www.ast-centre.ru. (Дата обращения 01.03.2009).
3. Химия. Дидактические тестовые материалы для аттестации студентов в вузах. Выпуск. 1. М.: Химия, 2005. 239 с.
УДК 378
Д. В. Щербаков, Ю. И. Капустин
Российский химико-технологический университет им. Д.И. Менделеева, Москва, Россия
ХАРАКТЕРИСТИКИ ТЕСТОВЫХ ЗАДАНИЙ, ИСПОЛЬЗУЕМЫХ ДЛЯ ОЦЕНКИ ЗНАНИЙ СТУДЕНТОВ
Рассмотрены характеристики тестовых заданий с выбором ответа, на соответствие и на установление правильной последовательности. Установлено оптимальное число элементов, которые используются при составлении тестовых заданий.
Компьютерное тестирование широко используется в настоящее время для оценки знаний студентов. В то же время характеристики тестовых зада-
ний различных типов до сих пор окончательно не выяснены [1.2]. Это, в первую очередь, относится к проблеме оценки возможности угадывания правильных ответов при использовании тестовых заданий с выбором вариантов ответа, заданий на соответствие и на установление правильной последовательности.
Как выше было показано, наиболее эффективными для проверки знаний являются открытые тестовые задания. Такие задания не содержат подсказки и исключают возможность угадывания правильного ответа. Все остальные типы тестовых заданий допускают возможность угадывания ответа, причем вероятность случайного угадывания ответа зависит от типа тестовых заданий. Ниже проводится анализ закрытых тестовых заданий, заданий на соответствие и на установление правильной последовательности.
Прежде чем приступить к анализу применения закрытых тестовых заданий для оценки качества обучения, необходимо отметить основной недостаток этих заданий. В отличие от открытых тестовых заданий в тестовых заданиях закрытой формы предлагаются различные варианты правильных и неправильных заключений, которые могут спровоцировать или запутать его при решении поставленной перед ним проблемы. Нельзя не согласиться с мнением о том, что «методы проверки знаний обучаемых, основанные на выборе правильного ответа из нескольких неправильных или частично правильных, неприемлемы, прежде всего, из моральных соображений» [2]. Преподаватель не только должен передавать свои знания студенту, но являться воспитателем высоких этических и нравственных качеств, быть образцом поведения обучаемого. При проверке знаний обучаемый в ряде случаев не уверен в своих знаниях и предложение преподавателем неверных ответов является не совсем честной игрой со стороны преподавателя по отношению к обучаемому [3]. Таким образом, с морально-этической точки зрения преподаватель не должен предлагать неправильные варианты заключений в тестовых заданиях. Кроме того, неправильные ответы при их выборе на стадии обучения и промежуточного контроля зрительно часто запоминаются обучаемым, надолго остаются в его памяти и могут впоследствии «всплыть» на стадии итогового контроля. Рассматриваемое противоречие (необходимо представить варианты заключений и нельзя давать неправильные ответы) может быть частично устранено использованием некоторых дидактических приемов, которые рассмотрены выше. Если в предложенных вариантах приводятся несколько правильных ответов, студент должен быть проинформирован о такой возможности, причем ему должен быть указан порядок его действий (нужно ли ему указывать все правильные ответы или достаточно выбрать лишь один из них).
Если обучаемому предлагается п вариантов ответов, из которых лишь один правильный, вероятность угадывания в этом случае составляет 1/п. В системе Единого государственного экзамена используются закрытые тестовые задания с четырьмя вариантами ответа. Вероятность угадывания в этом случае составляет 0,25 (25 %). Для уменьшения вероятности угадывания правильного ответа необходимо увеличить число предлагаемых вариантов ответов. При использовании, например 10 вариантов ответов вероятность
угадывания составит 10 %, Эта величина принимается нами как оптимальная при использовании различных типов заданий [4].
Увеличение числа предлагаемых вариантов ответов в закрытом тестовом задании представляет существенную трудность, является малоэффективным и, в то же время, усложняет само тестовое задание. Более эффективным, по нашему мнению, является применение закрытых тестовых заданий с несколькими вариантами правильных ответов. Вероятность угадывания правильного ответа в этих заданиях существенно ниже, чем в заданиях с одним правильным ответом. Проведенный нами анализ показал, что число возможных комбинаций ответов N сложным образом зависит от числа предлагаемых вариантов п. В табл. 1 для различных значений п приводятся вероятности угадывания при использовании одного (1/п) и нескольких вариантов ответов (У/Л7), а также отношение этих вероятностей N/n.
Табл. 1. Сопоставление вероятностей угадывания ответов в закрытых тестовых :заданинх|4]
п 2 3 4 5 б 7 8 9
1/п, % 50 33,3 25,0 20,0 16,7 14,2 12,5 11,1
N 3 7 15 31 63 127 255 511
1/N, % 33,3 14,3 6,67 3,22 1,59 1,20 0,787 0,196
N/n 1,51 2,31 3,75 5,80 8,52 11,8 15,9 46,0
На рис. 1 сопоставлены кривые зависимости вероятности угадывания ответа от числа предложенных вариантов ответа для случая одного (1/п) и нескольких правильных (1/ЛО вариантов. Из данных, представленных в табл. 1 и на рис. 1 следует, что уже при использовании четырех вариантов ответа, из которых может быть несколько правильных, вероятность угадывания правильных ответов становится менее 10 %. (10 %, по нашему мнению, является тем пределам, выше которого использование тестового задания малоэффективно).
Отношение вероятностей угадывания при одном и нескольких вариантах правильных ответов (И/п) возрастает с ростом числа этих вариантов, рис. 4. Из данных, представленных табл. 1 следует, что уже при использовании четырех вариантов ответа, из которых может быть несколько правильных, вероятность угадывания правильных ответов становится менее 10 %. Число комбинаций ответов N для различного количества используемых вариантов п может быть рассчитано по формуле [4]:
N = 2" (1)
Число возможных комбинаций N для тестовых заданий на соответствие зависит от числа элементов двух множеств п/ и п?. В табл. 2 для различных величин П/ и п3 представлены значения числа вариантов ответов N в
предположении, что л_> > П) и при условии, что каждому элементу множества п/ соответствует только единственное значение элемента множества щ. Число комбинаций ответов /V для тестовых заданий на соответствие с различным количеством элементов двух множеств я/ и «г может быть рассчитано по формуле [18]:
N = п2(пг1)(п1-2)(п2-3)(пз-4)(пг5)...,
В формуле 2 число сомножителей равно величине щ. Для пг-3 и пг=5, например, N = П:(П2-1)(П2'2)= 60. Из представленных в табл. 2 данных следует, что для уменьшения вероятности случайного угадывания правильных соответствий при п/ — 2 и т = 3 число элементов второго множества п2 должно удовлетворять неравенству щ > 4.
Рис. 1. Снижение вероятности угадывания с ростом числа вариантов ответов при одном (1 /и) и нескольких (1 /Л') вариантах правильных ответов
Рис. 2. Увеличение отношения вероят ностей с ростом числа вариантов ответов
Число комбинаций ответов в заданиях на установление правильной последовательности N для различного числа элементов п представлено в табл. 3.
Число комбинаций в зависимости от числа элементов п определяется выражением:
N= п! (3)
Как следует из данных, приведенных в табл. 3 вероятность случайного угадывания ответа не превышает 10 %, если число элементов в последовательности >1 > 4, то есть задание на установление правильной последовательности содержит не менее четырех элементов. Существенно увеличивать число элементов в заданиях данного типа, например, до 7 - 10, не целесообразно. Нахождение правильного варианта ответа для заданий с таким числом элементов представляет существенную трудность, в особенности, если
элементам задания не могут быть соотнесены определенные численные величины. Таким образом, для всех рассмотренных типов тестовых заданий, табл. 1 - 3, рекомендуемое число элементов должно удовлетворять условию п > 4.
Табл.2. Число комбинаций ответов для заданий на соответствие для различных значений элементов множеств 11/ и /ь[4{
m N2
2 3 4 5 6 7 8
2 2 б 12 20 30 42 56
3 - 6 24 60 120 210 336
4 - - 24 120 360 840 1680
5 - - - 120 360 840 1680
Из данных табл. 3 следует, что вероятность случайного угадывания ответа не превысит 10 %. если число элементов в последовательности ni > 4, то есть задание на установление правильной последовательности должно содержать не менее четырех элементов, В то же время существенно увеличивать число элементов в заданиях данного типа, например, до 7 - 10, по нашему мнению, не целесообразно. Во-первых, вероятность угадывания таких заданий менее 0,1 %. Во-вторых, нахождение правильного варианта для заданий с таким числом элементов представляет существенную трудность, если элементам этого задания не могут быть соотнесены некоторые численные величины.
Табл.3. Число комбинаций N для заданий на последовательность в зависимости от количества элементов последовательности п|4]
п 2 3 4 5 6 7 8
N 2 6 24 120 720 5040 40320
1/N, % 50,00 16,67 4,17 0,83 0,14 0,02 0,0025
Проиллюстрируем это на простом примере. Сравнительно легко можно распределить в порядке уменьшения отрицательной и увеличения положительной степени окисления: соединения азота:
МН3, Ы2Н4, Ш2ОН, N2, Ы20, ЫгОз, N02, N20;, поскольку каждое из представленных соединений характеризуется определенным значением степени окисления (-3, -2. -1,0, +1, +2, +3, +4, +5).
В заключение анализа особенностей характеристик заданий различных типов необходимо соотнести рассмотренные выше типы тестовых заданий с трудностью их выполнения. В общем случае степень трудности является сложной функцией типа задания, числа элементов ответа, элементов
содержания учебного курса, проверяемых с помощью тестового задания и ряда других факторов. В системе общего (Единый* государственный экзамен) и профессионального (тестирование при аттестации и аккредитации вузов) образования принято использовать три уровня сложности - базовый, повышенный и высокий. К заданиям баювого уровня сложности, с помощью которого проверяется самый низкий уровень знаний - репродуктивное узнавание (распознавание), можно отнести закрытые тестовые задания с единственным вариантом правильного ответа. На этом уровне тестируемый может лишь восстановить в памяти запечатленные образ, формулу, определение, в то время как без наглядной "подсказки" он, вероятно, не сможет их воспроизвести.
Более высокий уровень знаний - умение решать стандартные задачи, проверяется с использованием тестовых заданий закрытой формы с несколькими вариантами правильных ответов, заданиями на соответствие и на установление правильной последовательности. Наконец самый высокий уровень знаний - творческий, можно проверить с использованием тестовых заданий открытой формы. Как правило, такой способ используется при решении нестандартных расчетных задач.
Приведенное выше отнесение тестовых заданий к различным уровням трудности является относительным, поскольку в зависимости от содержания даже закрытое тестовое задание может быть трудным, а открытое - очень легким. В то же время первом приближении можно считать, если при выполнении задания тестируемый выполняет одно действие - это задание можно отнести к легкому (базовому) типу. Все остальные задания с этой точки зрения можно рассматривать как задания повышенной и высокой меры трудности.
Библиографические ссылки
1. Васильев В.П., Тягунова Т.Н. Теория и практика формирования программно-дидактических тестов. / Моск. эконом.-статист. ин-т. М.: Изд-во МЭСИ, 2001. 130 с.
2. Щербаков Д.В.. Тягунова Т.Н., Капустин Ю.И. Использование технологий тестирования для определения качества обучения. // Современные технологии обучения: международный опыт и Российские традиции «СТО-2005». [Материалы XI международной конференции. Санкт-Петербург. 20 апреля 2005 г.]. С по., 2006. Т.1. С. 149-151.
3. Моисеев В.Б., Передрей Ю.М., Турбин В.П. К вопросу о тестировании знаний // Интернет-технологии в открытом образовании: Тез. докл. семина-ра.02.10.2000.! Моск. эконом.-статист. ин-т. М.: Изд-во МЭСИ. С.88-90.
4. Щербаков Д.В, Паркина М.П.. Капустин Ю.И. Некоторые характеристики тестовых заданий, используемых для оценки качества образования. // Повышение ресурсо- и энергоэффективности: наука, технология, образование: Труды межд. симпозиума, посвящ. 175-летию со дня рождения Д.И. Менделеева. Том 1./ РХТУ им. Д.И. Менделеева М.: Изд-во РХТУ им. Д.И. Менделеева, 2009. С. 186-188.
