CC BY
52МОСКОВСКИЙ ФИНАНСОВО-ЮРИДИЧЕСКИЙ УНИВЕРСИТЕТ МФЮА
УДК 371.26
МЕТОДИКА ТЕСТИРОВАНИЯ ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ ИННОВАЦИОННЫХ ОЦЕНОЧНЫХ СРЕДСТВ
О.В. Наместникова
METHODOLOGY FOR TESTING KNOWLEDGE WITH USE OF INNOVATIVE ASSESSMENT TOOLS
O.V. Namestnikova
Аннотация. В статье кратко приводится методика тестирования с использованием инновационных оценочных средств, применяемая для контроля знаний различных категорий обучающихся. Данную методику рекомендуется использовать в учебном процессе совместно с традиционными способами тестирования.
Ключевые слова: тестирование, методика тестирования знаний, тест.
Abstract. This article discusses the methodology for testing knowledge with use of innovative assessment tools, used for the control of knowledge of different categories of students. This methodology is recommended to use in educational process in conjunction with traditional testing methods.
Keywords: testing, methodology for testing knowledge, test.
Управление качеством образовательного процесса напрямую зависит от наличия между преподавателем и обучающимся устойчивой обратной связи, позволяющей получать информацию об уровне поэтапного усвоения программного материала и дать возможность преподавателю прогнозировать, проектировать и принимать решения по улучшению процесса обучения. В основе такого подхода реализуется управленческая функция контроля, которая предполагает аналитический срез и оценку уровня усвоения знаний, сформиро-ванности компетентностей и интегративных умений, способности обучающихся к самообразованию.
В настоящее время в рамках традиционного обучения часто используются тестовые технологии, специфический измерительный инструментарий которых позволяет реализовать эффективные способы измерения и обработки результатов контроля знаний с получением достаточно объективной оценки усвоения знаний на всех этапах обучения. Это, в свою очередь, дает возможность своевременно вносить соответствующие коррективы в образовательный процесс.
Значительные исследования в области тестологии связаны с разработкой типологии тестовых заданий (В.С. Аванесов, В.П. Беспаль-ко, Г.С. Костюк, Д.С. Горбатов и др.) и теоретико-методологических основ тестологии (В.С. Аванесов, М.С. Бернштейн, А.В. Абрамова, М.И. Победов, Л.И. Натаева, И.И. Тихонов, З.И. Калмыкова и др.).
Тестирование реализует в учебном процессе ряд важных функций, которые позволяют рассматривать тестовый контроль не только как средство определения учебных достижений, но и как современную технологию обучения и развития:
- диагностическая (обеспечивает оперативную оценку знаний обучающихся, обосновывает требования к получению валидной информации о качестве учебных достижений и психологических особенностей обучающихся, способствует дифференциации обучаемых по уровню подготовки);
- контролирующая (обеспечивает поэтапное количественное оценивание учебных достижений обучающихся, фиксацию и локализацию пробелов в знаниях, способствует позитивному личностному росту обучающихся, закрепляет установку на их самообразование и самоактуализацию);
- мотивационная (повышает уровень мотивации получения новых знаний и высоких результатов обучения, способствует формированию уверенности объективности преподавателей);
- развивающая (развивает стремление улучшать результат обучения путем приобретения новых навыков подготовки ответа и предъявления своих знаний, способствует систематизации и обобщению знаний);
- воспитывающая (формирует у обучающихся ответственность за результат своего труда);
- организационно-управленческая (позволяет организовать самостоятельную работу обучающихся при подготовке к тестированию; дает возможность преподавателю эффективно управлять учебным процессом, изменяя его структуру; способствует оперативному и обоснованному принятию решений на основе объективной и достоверной образовательной информации).
Тестовое задание (ТЗ) является неотъемлемой составляющей структуры теста, включающее краткую инструкцию для обучающегося, тестовую задачу (вопрос) и эталон ответа. В современных
тестовых технологиях реализуется две основные формы ТЗ: закрытая и открытая. К закрытой форме относятся:
- ТЗ с альтернативным ответом;
- ТЗ с множественным выбором ответа;
- ТЗ с указанием последовательности;
- ТЗ с восстановлением соответствия.
К открытой форме ТЗ относятся задания свободного изложения и дополнения (произвольный ответ).
Совершенствование образовательного процесса невозможно без активного внедрения новых технологий обучения и интерактивных методов преподавания. Далее в статье будет кратко изложена методика тестирования с применением инновационных оценочных средств (ИОС), которая является альтернативной традиционным технологиям тестирования.
Для создания теста с применением ИОС требуется достаточно трудоемкая подготовительная работа, которая включает несколько этапов.
На первом этапе разрабатывается спецификация теста дисциплины с применением модульной технологии обучения. Данная технология позволяет расчленить содержание изучаемой дисциплины на составные компоненты с образованием четко упорядоченной структуры знаний, умений и навыков, которыми должен овладеть обучающийся в соответствии с профессиональными, педагогическими и дидактическими задачами обучения [3].
Несмотря на существенные отличительные черты технологий традиционного и модульного образований [2], они имеют схожее структурное содержание: учебная программа дисциплины, раздел, подраздел, тема (структура технологии традиционного образования) соответствуют модульной программе, модулю, подмодулю, учебному элементу (УЭ) (структура технологии модульного образования). В рамках традиционного обучения такой подход облегчает процесс формирования банка тестовых заданий для создания ИОС.
Конструируемая спецификация теста отражает детальную структуру содержания дисциплины с определением уникального набора УЭ для каждого подмодуля / модуля и их примерного процентного соотношения. Модуль рассматривается как автономная порция учебного материала или как определенный объем информации, необходимый для выполнения конкретной профессиональной
деятельности, а УЭ является структурной единицей модуля, которая дополняет и расширяет его содержание. Развернутая спецификация включает весь перечень знаний и умений, планируемых к проверке, что позволяет определить требуемое количество заданий в тестовой форме (ЗТФ) по каждому УЭ и тесту в целом [1; 4]. Понятия ЗТФ и ТЗ не тождественны, поэтому далее по тексту при описании методики будет использоваться первый термин.
На этапе разработки спецификации осуществляется априорный выбор длины теста и времени отводимого на его выполнение.
Дальнейшие этапы разработки теста включают:
- создание заданий в тестовой форме: формулировка вопрос-ответ, проведение экспертного анализа качества содержания ЗТФ, отбор их в тест по результатам экспертизы (с доработкой при необходимости), ранжирование по степени сложности согласно экспертным оценкам;
- формирование выборки для апробационного тестирования и создание инвариантов теста, отвечающим требованиям надежности и содержательной валидности теста (инварианты теста также должны пройти процедуру экспертной оценки);
- разработку инструкций для всех участников пробного тестирования (обучающиеся, преподаватели);
- проведение пробного тестирования для сбора эмпирических результатов с последующей их статистической обработкой;
- интерпретацию результатов тестирования, которая позволяет провести отбраковку и добавление новых тестовых заданий для улучшения качества теста (повысить надежность и валидность теста, оптимизировать степень сложности ЗТФ, улучшить их системообразующие свойства);
- повторную апробацию для подтверждения улучшения качества теста и установление норм выполнения теста для обучающихся с построением шкал оценок результатов тестирования.
Для пробного тестирования был использован тест, состоящий из пяти вариантов с 35-ю уникальными вопросами (ни один вопрос в вариантах теста не повторяется).
Текущий контроль знаний при использовании бланковой технологии тестирования осуществлялся по дисциплине «Экология» в рамках подмодуля «Загрязнение окружающей среды», включаю-
щего три темы: «Загрязнение и охрана атмосферы», «Загрязнение и охрана вод суши, морей и океанов», «Загрязнение и охрана суши».
Данная методика апробирована в группах испытуемых с высоким и средним уровнем мотивации обучения (категории: курсанты (юноши, девушки), студенты (смешанные группы) с выборкой по 17-20 человек).
Каждому обучающемуся выдавался индивидуальный комплект бумажного варианта теста (бланки ЗТФ и ответа со сквозной нумерацией листов), который имеет возможность раскрепления для удобства индивидуальной работы.
Фрагмент одного варианта теста приведен в табл. 1, бланк ответа представлен на рис. 1.
Основные требования к ЗТФ, включенных в один вариант теста [4]:
1. Формулировку вопроса необходимо приводить в виде краткого утвердительного логического высказывания, исключающего двусмысленность или неясность формулировки, также нужно исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки; вопрос может быть представлен в форме задания открытого типа.
2. Включать в основную часть ЗТФ (вопрос) большую часть условия задания, а для ответа оставить 1-3 наиболее приоритетных ключевых слова.
3. Каждому вопросу соответствует только один вариант правильного ответа - в одном варианте теста должно быть исключено наличие двух вопросов с одинаковыми ответами.
4. Ответ ЗТФ не должен быть очевидным для предотвращения его угадывания: в один вариант теста включаются вопросы, ответы которых в общей структуре теста выступают в качестве равновероятно привлекательных дистракторов. Критерии, объединяющие ответы-дистракторы в одну группу, могут быть различными (например, ответы-цифры, ответы-числа со схожим диапазоном значений, ответы-термины, ответы-аббревиатуры, ответы-формулы, ответы рисунки и пр.) (табл. 1). Например, для вопроса № 3 потенциально-правильными ответами могут являться ответы под номерами 1, 5, 11 ... п, но верный ответ только один (№ 1), остальные ответы - дистракторы.
5. Ответы-дистракторы должны приводиться с соблюдением требований унификации (например, ответ-«существительное» указывается в единственном числе, именительном падеже, а ответ-«прилагательное» - в единственном числе, именительном падеже, в мужском роде).
6. В одном варианте теста общее количество дистракторов одной группы должно быть не менее 4-5 (исключение: при бумажной (бланковой) технологии проведения тестирования ответы с противоположным значением ключевых слов (пара: верный ответ-дистрактор) включаются только попарно (например, пары ответов «больше - меньше», «увеличивается - уменьшается», «да - нет» и пр.), доля таких вопросов в общей структуре варианта теста не должна превышать 5-10 %).
7. Ответы ЗТФ не имеют строго определенного местоположения в тесте (независимо от технологии проведения тестирования (бумажной (бланковой) или автоматизированной (компьютерной)) ответы случайно перемешаны).
8. Правила условий проведения тестирования, правила оценки ответов и инструкции должны быть одинаковыми для всех испытуемых.
Таблица 1
Фрагмент варианта теста-опроса подмодуля «Загрязнение окружающей среды»
№ вопроса Вопрос 1 о Ответ
1 Атмосфера Земли состоит примерно на 78 % из и на 21 % (по объему) 1 стратосфера
2 По мере увеличения высоты над уровнем моря общее атмосферное давление будет (меньше / больше) 2 общесанитарный
3 Слой атмосферы, в котором расположен «озоновый экран» 3 НДС, ВСС
4 К закисляющим атмосферные осадки относится газ / газы 4 ПДКрз
5 Согласно современным научным представлениям, первичная атмосфера Земли состояла в основном из газа / газов 5 термосфера
МОСКОВСКИЙ ФИНАНСОВО-ЮРИДИЧЕСКИЙ УНИВЕРСИТЕТ МФЮА
6 Концентрация вещества в воздухе населенного пункта не оказывающая на человека прямого или косвенного негативного влияния при неопределенно долгом вдыхании 6 три
7 Нормативом техногенного воздействия на водные объекты является / являются 7 сернистый, бурый
8 Комплексный индекс загрязнения атмосферы, учитывающий несколько примесей (рассчитывается по пяти основным загрязняющим веществам для периода измерения равного году) 8 больше
9 Класс опасности загрязняющего вещества, у которого значения ПДК в воздухе рабочей зоны составляют менее 0,1 мг/м3 (номер) 9 меньше
10 Слой атмосферы, где наблюдается температурный минимум 10 атмосферный
11 Концентрация вредного вещества, которая при ежедневной работе (кроме выходных дней) в течение 8 часов и не более 40 часов в неделю, в течение всего стажа не должна вызывать заболеваний или отклонений в состоянии здоровья, обнаруживаемых современными методами исследований в процессе работы или в отдаленные сроки жизни настоящего или будущего поколений 11 мезосфера
12 Дождевые и талые воды относятся к_сточным водам 12 ИЗА
13 Вертикальная протяженность атмосферы над экватором будет , чем над полюсами (меньше / больше) 13 ПДКсс
14 В пределах России насчитывается около млн рек общей длиной почти 10 млн км (цифра) 14 водород, гелий
15 Слой атмосферы Земли, поглощающий самую коротковолновую часть спектра 15 один
16 ЛПВ, характеризующий влияние химических веществ на самоочищающую способность почв и микробиоценоз 16 азот, кислород
* Правильными численными значениями «вопрос-ответ» в данном фрагменте варианта теста являются пары: 1-16, 2-9, 3-1, 4-7, 5-14, 6-13, 7-3, 8-12, 9-15, 10-11, 11-4, 12-10, 13-8, 14-6, 15-5, 16-2.
Бланк ответа на тест-опрос ПОДМОДУЛЬ «ЗАГРЯЗНЕНИЕ ОКРУЖАЮЩЕЙ СРЕДЫ»
(включает темы: загрязнение и охрана атмостферы; загрязнение и охрана вод суши, морей и океанов; загрязнение и охрана суши)
по специаьностп 280104.65 «Пожарная безопасность», специализация 28010401.65 «Государственный пожарный надзор» Дисциплина «Экология»
Вариант_
ФИО обучающегося
Группа _
Количество правильных ответов: (1-7) - 1; (8-14) -2; (15-21)- 3; (22-28) -4; (29-35) - 5_отметка
№ вопроса
№ ответа
Краткое аргументированное обоснование выбора ответа
3
1 2 3 4 5 6 7 8 9 10
11 12 13 14 15 16 17 18 19 20
21 22 23 24 25 26 27 28 29 30
31 32 33 34 35 36 37 38 39 40
Используйте данную таблицу для исключения отвеченных вопросов, используя любые удобные для Вас символы, например, зачеркивание
Рисунок 1. Фрагмент бланка ответа на тест-опрос
гп
Бланк варианта теста включает следующие элементы:
- наименование подмодуля и темы;
- наименование и цифровой код специальности / специализации;
- наименование дисциплины, по которой предусмотрено тестирование;
- номер варианта;
- описание задачи тестирования (например, ответить на вопросы, выбрав один из предложенных ответов);
- инструкцию-пояснение (например: 1. Представить ответ в виде пары чисел: «номер вопроса-номер ответа» (12-10). 2. Каждому вопросу соответствует только один правильный ответ. 3. Если ответом на вопрос является «существительное», то оно приведено в именительном падеже. Если ответом на вопрос является «прилагательное» - оно приводится в единственном числе, именительном падеже, в мужском роде);
- перечень ЗТФ, представленном в виде таблицы (табл. 1), общее количество которых в варианте теста должно быть не менее 35-40.
Бланк ответов на тест содержит следующие элементы (рис. 1):
- наименование подмодуля и темы;
- наименование и цифровой код специальности/специализации обучающихся;
- наименование дисциплины;
- номер варианта;
- ФИО слушателя;
- кодировку группы;
- оценочную шкалу с числовыми диапазонами результатов набранных правильных ответов в соответствии с дихотомической системой оценки (0 - неправильный ответ, 1 - правильный ответ);
- таблицу соответствия «номер вопроса-номер ответа»;
- таблицу использованных номеров ответов в процессе тестирования. Важными критериями качества апробированного теста являются действенность (валидность, репрезентативность) и надежность (правильность, вероятность). Действенность рассматривается в данном случае как содержательная полнота, которая пропорционально представляет все элементы изучаемых знаний, умений и характеризует всесторонность проверки знаний. Высокая действенность теста (численные величины, определяемые статистическими методами, составляют более 0,7) возможна
только при четкой формулировке вопросов теста в пределах объема освоенных знаний.
Степень надежности теста определяется устойчивостью (стабильностью) показателей при повторных исследованиях с использованием того же теста или его равноценного эквивалента. Количественно этот показатель характеризуется вероятностью достижение запланированных результатов тестирования (правильностью значений). Грамотно составленные и апробированные тесты имеют коэффициент надежности близкий к 0,9. Для достижения этой величины можно прибегнуть к увеличению числа вопросов в тесте с одновременным снижением тематического разнообразия тестовых заданий. Другими словами тест должен быть ориентирован на проверку знаний в рамках учебного элемента/подмодуля, так как тест, направленный на проверку знаний всей модульной программы (всего курса изучаемой дисциплины) имеет существенно больший объем усвоенного материала и тем самым имеет более высокое, по сравнению с первым, содержательное разнообразие и следовательно, меньшую надежность.
Таким образом, предлагаемая методика тестирования с использованием ИОС рекомендуется использовать в учебном процессе совместно с традиционными способами тестирования для текущего контроля знаний обучающихся.
Библиографический список
1. Краснов Ю.Э. Руководство по разработке тестовых заданий и конструированию педагогических тестов. URL: http://charko.narod.ru/tekst/metodiki/krasnov.pdf (дата обращения: 11.11.2016).
2. Лаврентьева Н.Б. Педагогические основы разработки и внедрения модульной технологии обучения в высшей школе: дис. ... д-ра пед. наук. Барнаул, 1999.
3. Максудова Л.Г., Литвиненко М.В., Абросимов В.В. Разработка и построение учебных модулей для системы дистанционного обучения: методическое пособие. М., 2006.
4. Наместникова О.В. Разработка и применение инновационных оценочных средств в системе высшего образования // Актуальные направления научных исследований: от теории к практике: материалы IX Международной научно-практической конференции (Чебоксары, 9 сентября 2016 г.). Чебоксары, 2016.
О.В. Наместникова
кандидат биологических наук, доцент докторант Академии государственной противопожарной службы МЧС России (г. Москва) E-mail: [email protected]
