CC BY
174
Опыт создания системы контроля знаний на основе компьютерного тестирования
Захарова Ольга Алексеевна к. пед.н., доцент кафедры «Информационные технологии», начальник Управления дистанционного обучения и повышения квалификации Донской государственный технический университет, пл. Гагарина, 1. г. Ростов-на-Дону, 344010 тел.+7(863)2738-623, факс. +7 (863)2738-528 [email protected]
Ядровская Марина Владимировна к. ф.-м. н., доцент кафедры «Информационные технологии» Донской государственный технический университет, пл. Гагарина, 1, г. Ростов-на-Дону, (863)2340458 [email protected]
Аннотация
В статье рассмотрены этапы создания и компоненты педагогической системы контроля и мониторинга качества знаний с использованием компьютерного тестирования. Представлены результаты тестирования; конкретизирована процедура формирования тестов и на основе экспериментальных данных тестирования проанализированы важные параметры теста.
The article describes the steps of creating and the components of the teaching system of control and monitoring of the knowledge quality by using of computer-based testing. The results of testing are submitted; test-forming procedure is concretized and analyze of important test parameters was carried out based on the experimental test data.
Ключевые слова
мониторинг, компьютерное тестирование, технология тестирования, структура банка заданий дисциплины, содержание теста, уровень трудности теста, надежность теста, валидность теста
monitoring, computer testing , testing technology , the structure of the task bank of the discipline, test content , the difficulty level of the test. , reliability of the test, validity of the test
Введение
Ученые отмечают, что важнейшую социальную проблему XX века - проблему массовости образования сместила проблема ХХ1 века - проблема качества образования. По мнению Л.Г. Титаренко необходимо «пересмотреть проблемы отечественного образования в контексте общих, цивилизационных проблем 21-го века, сделать акцент на повышение качества своего человеческого капитала посредством системы образования» [1]. И.В. Алещанова, Н.А. Фролова отмечают, что «вхождение Российской Федерации в Болонский процесс требует от отечественного высшего образования комплексного решения проблем совершенствования качества обучения» [2]. Таким образом, еще большее значение приобретает непрерывный мониторинг качества образования. Одним из инструментов мониторинга и целевого контроля качества
подготовки обучающихся является тестирование. Педагогическое тестирование рассматривают как процедуру измерения знаний обучающихся, выполняющую, прежде всего, контролирующую функцию: оценить степень соответствия содержания и уровня знаний студентов требованиям государственных стандартов. И.В. Алещанова, Н.А. Фролова подчеркивают важную роль контролирующей деятельности для результатов обучения: «в теории управления контроль рассматривают как важнейшее, относительно самостоятельное и замыкающее звено в управленческом цикле. Его основное назначение состоит в обеспечении обратной связи, осведомляющей о соответствии фактических результатов функционирования системы ее конечным целям. Функция обратной связи чрезвычайно важна, так как она позволяет целенаправленно управлять учебным процессом» [2]. В процессе обучения педагогический контроль выполняет, прежде всего, оценочную, стимулирующую, развивающую, обучающую, диагностическую, воспитательную функции.
Педагогическое тестирование - это лишь один из существующих способов контроля качества и уровня знаний. Специалисты различают традиционные, педагогические, психологические тесты и рассматривают классификации тестов по различным основаниям - по целям, способу предъявления, процедуре создания, направленности и др. Как средство контроля тестирование имеет как недостатки, так и достоинства. В настоящее время тестирование находит практическое применение, которое расширяется благодаря привлечению информационных технологий к процедуре тестирования. В этом случае различают автоматический, полуавтоматический и автоматизированные тесты. Рассмотрим опыт создания системы контроля знаний на основе компьютерного тестирования и проанализируем важные параметры теста.
Система контроля и мониторинга качества знаний «Эффективный контроль и мониторинг»
Этапы создания системы
Компьютерное тестирование в Донском государственном техническом университете (ДГТУ) осуществляется в рамках функционирования педагогической системы «Эффективный контроль и мониторинг» (ЭКиМ) (рис.1). Основные цели системы состоят в: 1) проверке соответствия знаний, умений, навыков обучающихся целям обучения на определённом этапе формирования компетенций; 2) удовлетворении запросов обучающихся в объективной и независимой оценке знаний; 3) получении объективной информации о результатах образовательной деятельности.
Рис. 1 Компоненты педагогической системы ЭКиМ
Для проведения тестирования в автоматическом режиме используется портал СКИФ, разработанный управлением дистанционного обучения и повышения квалификации (УДО и ПК) с использованием инструментального средства Moodle. Moodle позволяет формировать структуру хранилища тестовых заданий, наполнять хранилище заданиями, проводить тестирование на основе определенного набора заданий, сохранять и обрабатывать результаты тестирования с предоставлением отчетов.
При проектировании и внедрении системы контроля и мониторинга качества знаний (далее система контроля) с использованием компьютерного тестирования были определены для контроля базовые дисциплины, изучаемые на первом курсе студентами технических специальностей: математика, информатика, химия, физика, иностранный язык.
Первый этап создания системы контроля состоял в определении содержания дисциплин, которое должно проверяться. Формирование содержания дисциплин осуществлялось на основе анализа рабочих программ дисциплин для тестируемых специальностей и экспертной оценки специалистов кафедр, преподающих дисциплины. На основе содержаний формировались структуры банков тестовых заданий по дисциплинам.
Следующий этап создания системы контроля состоял в формировании тестовых заданий и наполнении ими структуры хранилища тестовых заданий. Тестовые задания предоставили кафедры вуза. Наполнение банка заданий осуществлялось согласно определенной на предыдущем этапе структуре с учетом взаимосвязи содержания и формы задания. В решении этого этапа также использовались экспертные оценки, но теперь уже специалистов УДО и ПК ДГТУ. При этом задача состояла в подготовке как можно большего количества заданий. Это
необходимо для того, чтобы при тестировании избежать проблемы появления узнаваемых заданий.
Далее формировалась технология тестирования: определялись дисциплина и группы для тестирования, формулировалась цель тестирования и согласно цели формировалась структура теста - темы и разделы содержания из структуры банка тестовых заданий дисциплины и соответствующее им количество заданий. Параллельно разрабатывались правила тестирования, составлялось расписание и организовывалось тренировочное тестирование, прохождение которого было необязательным.
При формировании теста решались вопросы: общего количества тестовых заданий в тесте; количества заданий, выполнение которых соответствовало бы определенной оценке тестирования; времени выполнения теста. Согласно практике тестирования, количество вопросов в экзаменационных тестах устанавливается в зависимости от объемов читаемых дисциплин, например: от 15 до 34 часов - 50; от 34 до 51 часа - 75; свыше 51 часа - 100; государственный экзамен - 200 [3]. Время, отведенное на экзамен, определяется исходя из количества вопросов в тесте, например: 50 вопросов - 45 минут; 75 вопросов - 60 минут; 100 вопросов - 75 минут; 200 вопросов (государственный экзамен) - 180 минут [3]. Это касается итоговой аттестации.
Используя опыт тестирования в других вузах [5] было определено количество вопросов в тесте - 30; время выполнения - 90 минут. Речь идет о проверке качества знаний по базовым дисциплинам в условиях рейтинговой системы оценки успеваемости студентов. Это был промежуточный контроль усвоенных знаний, когда преподаватель выставлял рейтинг каждому обучающемуся. Поэтому цель тестирования состояла не только в контроле знаний, но и стимулировании учения. Предполагалось, что благодаря самооценке своих знаний обучающийся сможет повысить мотивацию учения, а обучающий сможет понять проблемные разделы и изменить методику обучения. Для оценки результатов тестирования необходимо было также определиться с количеством вопросов, правильное выполнение которых соответствовало бы удовлетворительному итогу тестирования. Исходя из рейтинговой системы оценивания, при которой оценка «удовлетворительно» выставляется при получении студентом более 41 балла за работу, удовлетворительную оценку при тестировании решено было выставлять, если студент выполнил более 40% вопросов теста.
Уже в 1896 году американский психолог Дж. М. Кеттел предложил использовать тесты как средство научного исследования. Он установил такие требования к тестированию: 1) одинаковые условия для всех тестируемых; 2) ограничение времени тестирования; 3) отсутствие наблюдателей во время тестирования; 4) наличие хорошего оборудования; 5) понятная инструкция для всех тестируемых; 6) результаты тестирования должны подлежать статистическому анализу. Все эти требования были соблюдены.
Данные статистической обработки результатов тестирования
Полученные данные были статистически обработаны и проанализированы. Рассчитывались такие параметры, как: средний процент выполнения заданий для обучающегося и группы; максимальный и минимальный по группам проценты выполнения заданий; минимальная и максимальная относительная успешность групп; среднее время выполнения; среднее значение коэффициента корреляции между процентом выполненных заданий и процентом рейтинговой оценки; среднее значение коэффициента корреляции между процентом выполненных заданий и посещаемостью; среднее значение коэффициента корреляции между процентом выполненных заданий и посещаемостью: процент студентов, справившихся с заданиями теста и др. Так как число тестируемых в группах отличалось почти в 2
раза, при анализе результатов было введено понятие относительной успешности группы на тестировании, которое представляет отношение среднего процента выполнения заданий по группе к количеству студентов, участвующих в тестировании. На рис.2 (a-e) в наглядной форме представлены данные по обработке результатов тестирования.
Процентное соотношение студентов, прошедших тест 1 (осень) по математике при разном проценте выполненных заданий
100 90 80 70 60 50 40 30 20 10 0
86 _82
54 55 42
72 7671
□ >40% вып. зад.
□ >50% вып. зад.
□ >60% вып.зад.
ПБП11 СЭ11 УНЭ11 ТКТ11 МКИС12 ВБИ12 ОМТ11 АТК11 УБА11 АВА11
83
70
70
67
61
56
52
8
4
4
41
1
2
30
28
18
17
13
5
4
a
80 70 60 50 40 30 20 10 0
Соотношение среднего по группе времени выполнения и процента выполнения теста 1 (осень) по математике
] среднее по группе время выполнения теста (мин)
-средний по группе процент выполнения заданий теста
ПБП11 СЭ11 УНЭ11 ТКТ11 МКИС12 ВБИ12 ОМТ11 АТК11 УБА11 АВА11
b
ОООООООООО Средний процент студентов, справившихся с 1-24 вопросами при тестировании (осень) по математике
74 50 36 35 51 42 1 66 48 8 45 5 48 4 51 0 23 - 9 48 1 48 39 4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
c
Относительная успешность групп на тестировании (осень) по математике
4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0,0
2,3
2,7
1,9
3,7
1,6
1,6
2,9
2,9
2,1
2,6
ПБП11
СЭ11 УНЭ11 ТКТ11 МКИС12 ВБИ12 ОМТ11 АТК11 УБА11 АВА11
d
Корреляция (полиномиальная) между процентом выполненных заданий теста 1 и процентом рейтинговой оценки
ШК ^в! ^ Л1 <С 0,43/ / ""хх/ / / 0,62 \ v □ Преподаватель 1 □ Преподаватель 2 □ Преподаватель 3 □ Преподаватель 4 □ Преподаватель 5 □ Преподаватель 6 □ Преподаватель 7 □ Преподаватель 8 ■ Преподаватель 9 □ Преподаватель 10
e
Рис.2. Результаты тестирования по математике (a-e)
Результаты промежуточных тестирований позволили сравнить уровень подготовленности обучающихся и тестируемых групп по различным дисциплинам; оценить наиболее трудные и легкие вопросы, а значит выявить проблемные разделы содержания дисциплины. Это помогло преподавателям скорректировать процесс обучения и подготовки к экзамену. Необходимость использования технологии компьютерного тестирования в качестве инструмента измерения знаний требует оценки методики составления тестов, которую можно провести на основе анализа экспериментальных данных тестирования. Рассмотрим некоторые результаты, полученные для этих целей.
Анализ параметров теста
Для тестов построены гистограммы распределений баллов тестирования (количество правильных ответов для тестируемого), которые визуально позволяют оценить распределения и сравнить их с нормальным распределением. Также рассчитаны основные статистические характеристики тестов, позволяющие оценить их качество как измерительных инструментов. Приведем значения некоторых характеристик теста по математике (рис.3). Определены следующие статистические характеристики: мода - наиболее часто встречающееся значение (14); медиана -такое значение тестового балла, которое делит тестируемых на две равные группы: с меньшим и большим значением результата тестирования (12); среднее
арифметическое значение (12,02); дисперсия (18,31) и стандартное отклонение (4,279) - показатели изменчивости результатов тестирования. «Дисперсия играет важную роль при разработке нормативно-ориентированных тестов; низкая дисперсия свидетельствует о слабой дифференциации тестируемых по уровню их подготовки, а высокая дисперсия приводит к большому отличию получаемого распределения от теоретической нормальной кривой» [5]. Важным является соотношение дисперсии и среднего арифметического значения выборки. «Оптимальным считается такая дисперсия, при которой значение среднего арифметического равно утроенному значению стандартного отклонения» [5]. Для нашего теста такое отношение равно 2,81. Значение эксцесса (-0,29) характеризует кривую распределения как плосковершинную. Это свидетельствует о недостаточном числе тестируемых, получивших на тестировании баллы, близкие к среднему значению [5]. Положительная асимметрия (0,378) характерна для облегченных тестов. Действительно задача теста - проверить базовые знания по математике во время промежуточной аттестации. Статистическое исследование распределения баллов тестирования позволяет сделать вывод о близости распределения к нормальному. Значит, результаты тестирования по математике можно использовать для оценки знаний тестируемых, но если выполнены требования к значениям других характеристик теста.
Гистограмма распределение баллов тестирования по математике
25
20
¡5 15
о
л 1Г 10
5
0
д
.П.П.П.п
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Количество правильных ответов
Рис. 3 Гистограмма результатов тестирования по математике
Необходимо исследовать тест на надежность. Мы использовали метод Кьюдера-Ричардсона для оценки надежности теста при дихотомических оценках заданий. По формуле Кьюдера-Ричардсона мы рассчитали коэффициент надежности - 0,71. Такое значение позволяет считать тест по математике надежным. При значениях этого коэффициента, меньших 0,7, использование теста нецелесообразно из-за высокой погрешности измерений [5]. Корректировка заданий, такая как: использование единой терминологии, устранение неоднозначности формулировок заданий, устранение стилистических неточностей, по мнению экспертов, влияет на величину коэффициента надежности [5].
Эксперты отмечают, что на надежность теста может повлиять длина теста [5]. Г.Г. Крашенинникова отмечает, что «включение в тест большого числа заданий средней трудности повышает его надежность, но, приводит к снижению его содержательной валидности» [6]. При этом, «тест, состоящий из легких заданий, проверяющих минимальные знания, не может дать представления о реальном уровне
знаний», а «подбор тестовых заданий высокой степени трудности может способствовать усилению мотивации в учебе, но может повлиять и в обратную сторону» [6]. Поэтому важно при формировании теста определить трудность тестовых заданий и соотнести трудность теста, прежде всего, с целью тестирования и выборкой тестируемых, так как «содержание теста должно варьироваться в зависимости от уровня подготовленности групп учащихся» [6].
При определении уровня трудности теста используются оценки дифференцирующей силы заданий, которая рассчитывается как разность доли правильных ответов на задание в лучшей группе испытуемых и доли правильных ответов на задание в слабой группе испытуемых. В зависимости от целей тестирования определяют, с какой оценкой дифференцирующей силы задания следует включить в тест. Как отмечают эксперты, «наибольшей дифференцирующей способностью обладают задания со средним уровнем трудности. И, если целью тестирования является дифференциация тестируемых, сравнительная оценка их уровня знаний, то из теста следует исключать наиболее простые и наиболее трудные задания. Если же назначение теста определить, овладел ли обучаемый в достаточной мере определённым набором компетенций, необходимым для перехода к следующему этапу обучения, то в нём могут быть как самые лёгкие, так и самые трудные задания» [6]. Другими словами, в тесте измерения компетенций надо «придерживаться распределения заданий по трём уровням сложности таким образом: 20% - простые задания (базовые знания); 65% - задания средней сложности (запоминание и воссоздание); 15% - сложные творческие задания [7].
Мы рассчитали оценку дифференцирующей силы для заданий нескольких тестов (рис.4-рис.6) и определили задания разных категорий трудности согласно классической теории тестирования (рис.4-рис.6). Так как наиболее информативным является задание со средним уровнем трудности [6], в тест промежуточного контроля будем включать задания с оценкой дифференцирующей силы, лежащей в промежутке 0,3-0,6.
Дифференцирующая сила заданий теста по математике
отличные задания
- -
т п
п П П
II II ^ I I ,—,
1 1 1 1 ш ' ' 1-1 1 1 1 нельзя &1споУ1ьзс/вать.......... 1 ? 3 4 ЯР 7 Я Я 1(1 11 1? 1.4 14 1й 1К 17 1Я ?Г1 71 ?? 73 ?4
Номер задания
Рис.4 Категории трудности заданий теста по математике
п хорошиезадаА ия
п
- —ад п — - -
п
П п 0 п
1 3 5 7 9 11 13 15 17 19 21 1 ! -57 2°
нельзя использовать
Номера заданий
Рис. 5 Категории трудности заданий теста по информатике
Рис. 6 Категории трудности заданий теста по математике
Чтобы тест мог служить поставленной цели измерения, необходимо проводить тренировочное тестирование и анализировать его результаты. Это позволит настроить тест на необходимые с точки зрения цели тестирования и уровня знаний тестируемых параметры (рис.7). К параметрам теста отнесем: нормальность распределения баллов тестирования; надежность; содержательную, диагностическую и прогностическую валидность - возможность достоверно проверить знания содержания дисциплины, правильно их оценить и сделать точный прогноз [5].
Рис. 7 Процедура формирования тестов
Заключение
Анализируя опыт проектирования и внедрения системы контроля и мониторинга качества знаний ЭКиМ, мы конкретизировали этапы технологии тестирования и процедуру формирования тестов. Обозначим основные направления дальнейшей деятельности: наполнение банков тестов дисциплин заданиями; распределение заданий по уровню трудности, решение задачи повышения надежности заданий тестов для разных дисциплин.
Литература
1. Титаренко Л.Г. Миссия университетского образования в условиях глобализации общества. / Материалы второй республиканской научно-практической конференции «Университетское образование: от эффективного преподавания к эффективному обучению» (Минск, 1-3 марта 2001 г.). URL: http://charko.narod.ru/tekst/sb_2002/03-Titarenko.htm, (дата обращения: 20.04.2015)
2. Алещанова И.В., Фролова Н.А. Педагогическое тестирование как средство повышения качества контроля и оценки эффективности учебного процесса в вузе. // Педагогические науки, 2097. №6. - С.13-17. URL: http://www.science-education.ru/26-815 (дата обращения: 25.04.2015)
3. Положение о тестовой форме контроля знаний студентов и качества обучения. Национальный минерально -сырьевой университет «Горный». URL: http://www.spmi.ru/stud/stud_3930, (дата обращения: 20.04.2015).
4. Захарова О.А., Ядровская М.В. Анализ результатов внедрения в ДГТУ системы независимой оценки знаний студентов. / «Современные проблемы многоуровневого образования» Международный научно-методический симпозиум. Ростов н/Д: ДГТУ. 2014. - С. 50-77.
5. Минин М.Г., Стась Н.Ф., Жидкова Е.В., Родкевич О.Б. Статистический анализ качества тестов, применяемых для контроля знаний по химии. // Извести Томского политехнического университета, 2007. Т.310. 31. - С.282-286.
6. Крашенинникова Г.Г. Показатель трудности тестового задания как важнейший тестообразующий фактор. // Международная научно-практическая Интернет-конференция «Непрерывное обучение иностранным языкам: проблемы, решения, перспективы». 2013. URL: http://tefl.svgu.ru/iii-/41-2013/127-2013-04-01-00-56-36, (дата обращения: 25.03.2015).
7. Опыт использования компьютерного тестового контроля в педагогической практике вуза // Консультационный сайт С.И. Сивашенка. URL: http://mentor.zp.ua/phpdocs/nst11.php, (дата обращения: 28.03.2015).
