CC BY
26
мы (или подсистемы в целостной системе культурно-образовательного пространства) позволяет определить основные компоненты модели культурно-образовательного пространства в вузе и апробировать его развивающие возможности.
Культурно-образовательное пространство вуза, таким образом, складывается с учетом социального заказа на человека культуры и персональных потребностей личности, выражающихся в потребностях: признания, самореализации, саморазвития, расширения личного культурного пространства и др. Оно призвано ориентировать субъектов образования в системе ценностей культурной коммуникации, как в их глобальном представлении, так и на уровне культуры своей страны. Присвоение данных ценностей .может происходить только в условиях собственной активной деятельности субъектов, которая, одновременно, является фактором содействия становлению образовательного пространства вуза. Значимость данного фактора определяется наличием в пространстве учебного заведения субъектно-личностного компонента, без которого данное пространство (как и любая педагогическая система) не имеет смысла.
Содержательный компонент культурно-образовательного пространства вуза представлен как
в системе обучения, так и в системе воспитания, при этом в учебном процессе осуществляется присвоение концептуальных культурных знаний, а также - культурных способов деятельности.
Организационно-методический ком понент образовательного пространства вуза отличает определенная специфика. В лингвистическом вузе, где осуществлялось наше исследование, специфика такова: наличие форм организации деятельности студентов, характерных, главным образом, для данного учреждения (информационно-образовательные международные культурные центры, отдел международных связей, землячества зарубежных студентов и др.). Специфической характеристикой методов взаимодействия в образовательном пространстве является их диалогический характер, обеспеченный применением технологий педагогического взаимодействия (общения, организации индивидуальной и групповой деятельности, предъявления педагогического требования, оценки и создания ситуации успеха и проч.).
Развивающий эффект культурно-образовательного пространства вуза проявляется в том, что пребывание в этом пространстве способствует возникновению у студентов новых смыслов, отношений, чувств и понятий, т.е. нового, более сложного культурного образа мира.
Т.П Станкевич, Т.А. Снигирева
РЕЗУЛЬТАТЫ ДИАГНОСТИКИ УРОВНЯ ОБУЧЕННОСТИ СТУДЕНТОВ С ИСПОЛЬЗОВАНИЕМ МНОГОВАРИАНТНЫХ ТЕСТОВЫХ ЗАДАНИЙ
В работе приводится сравнительный анализ результатов диагностики уровня обученности студентов с использованием многовариантных тестовых заданий и заданий с выбором единственного правильного ответа. Показано, что использование методики обработки многовариантных тестовых заданий на основе использования теории 1ЯТпозволяет более объективно оценивать знания обучающихся.
Одно из основных направлений образовательной политики России в настоящее время связано с повышением качества образования, с поиском надежных средств, методов и технологий оценки качества учебных достижений обучающихся (учащихся, абитуриентов, студентов).
В настоящее время в учебном процессе получили широкое применение классические тесты, включающие тестовые задания с выбором одного правильного ответа. В то же время имеют место и другие формы тестовых заданий с выбо-
ром нескольких правильных ответов - на уста-новление соответствия, правильной последовательности, открытого типа и др., так называемые многовариантные тестовые задания, которые имеют ряд преимуществ: уменьшают вероятность случайного выбора всех правильных ответов, позволяют сократить длину теста при сохранении объема контролируемых знаний и т. д. [3-6].
Для проверки эффективности применения многовариантных тестовых заданий для оценивания качества подготовки обучающихся было проведено экспериментальное исследование. Целью
© Т.Г. Станкевич, Т.А. Снигирева, 2008
67
Таблица 1
Примеры двух видов тестовых заданий
С одним правильным ответом С двумя правильными ответами
Звук может распространяться 1) только в упругих средах 2) только в вакууме 3) как в угругих средах, так и в вакууме Звук может распространяться 1) в газах и жидкостях 2) в твердых телах 3) в вакууме 4) в любой среде
Амплитуда (вм) и циклическая частота (в рад/с) основного тона в спектре сложного колебания составляют Х=5+4 Б11Ч(1)+ ЗвЕЧф) 1) А~5 и 2) А=4 и ю=1 3) А=4 и 0)=3 4) А=3 и (й=2 5) А^5 и со=4 Амплитуда (в м) и циклическая частота (в рад/с) основного тона в спектре сложного колебания составляют Х=5+4 в ЕУ(0+ 3 8 ПЧ(21) !) А=5 2) А-4 3) А=3 4) ш=2 5) со=1
Кривые равной громкости отражают зависимость 1) гр омкости от частоты 2) громкости от интенсивности 3) интенсивности от частоты 4) интенсивности от громкости Кривые равной громкости - зависимость 1) интенсивности от частоты 2) громкости от частоты 3) множество точек, принадлежащих одной кривой, имеют одинаковую громкость 4) множество точек, принадлежащих одной кривой, имеют одинаковую интенсив но сть
По закону Вебера-Фехнера громкость звука определяется в фонах при условии, что уровень интенсивности измеряется В 1) белах на частоте 1000 Гц 2) децибелах на частоте 1000 Гц 3) на частоте 3000 Гц 4) децибелах на частоте 3000 Гц По закону Вебера-Фехнера громкость звука определяется в фонах при условии, что 1) уровень интенсивности измеряется в белах 2) уровень интенсивности измеряется в децибелах 3)часготаравна 1000 Гц 4) частота равна 3000 Гц 5) частота может быть любой
исследования являлась проверка гипотезы о том, что многовариантные тестовые задания позволяют диагностировать одновременно больше видов знаний (сравнительные, сопоставительные, классификационные и др.), а также обеспечивают более объективную оценку знаний обучаемых (вероятность угадывания правильного ответа снижается), имеют более высокую разрешающую способность, дйскриминативность и, зачас* тую, без применения такого рода заданий невозможно сохранить достаточной содержательную валидность теста. К многовариантным тестовым заданиям авторы относят тестовые задания (ТЗ) открытого типа с выбором нескольких правильных ответов, закрытого типа с несколькими пропусками, на установление правильной последовательности и соответствия.
Для проведения эксперимента были сконструированы два параллельных теста по теме «Акустика» (для студентов 1 -го курса), которые содержали по 30 тестовых заданий. Оба теста состояли из заданий закрытого типа: первый тест с выбо-
ром одного правильного ответа, второй - с выбором двух правильных ответов. Параллельность тестов была выдержана по объему охватываемого материала и содержанию вопросов. В таблице 1 приведены примеры тестовых заданий по теме «Акустика».
В ходе проведенного эксперимента была исследована выборочная совокупность: 150 студентов первого курса Ижевской государственной медицинской академии. Объем генеральной совокупности при этом составил около 600 обучающихся. Полученные матрицы тестовых результатов обрабатывались традиционным способом с использованием программы RLATENT и электронной таблицы приложения Microsoft Excel. Результаты эксперимента приведены в таблице 2.
Не смотря на то, что объем и содержание заданий в обоих тестах одинаковы, по полученным данным (см, табл. 2) можно сделать предположение о том, что в большинстве случаев ответы студентами даются формально, по какому-то знакомому признаку (запомнили частично). Полного
68
Вестник КГУ им. Н.А. Некрасова ♦ 2008, Том 14
Таблица 2
Сравнительные характеристики двух видов тестов, полученные при обработке данных тестирования
Форма тестовых заданий
Сравнительные с одним с двумя правильными
характеристики правильным ответом ответами
тестов контрольная экспериментальная
группа группа
Надежность теста 0,7 0,9
Логиты трудности заданий 3,9-6,8 5,0-7,1
Логиты у рс*ней знаний 5,0-8,0 4,0-7,5
Довер ительный интервал индивидуального балла 15,9-23,5 8,0-20,6
Коэффициент корреляции уровней трудности заданий с и нд ив иду ал ь ны ми баллами *0,1-0,1 0,3-0,7
Среднее значение показателя индекса 0,2 0,4
дискриминативности заданий
ответа слабые студенты не знают, или не уверенны в нем, т.е. боятся делать повторный выбор, ответив неправильно. Это подтверждается повышением коэффициента корреляции трудности заданий с полученными баллами в заданиях с двумя ответами.
Проверка существенности различий некоторых из выше приведенных характеристик проводилась с использованием непараметрических критериев, в частности критерия Розенбаума (критерий С>). Для применения метода необходимо у читывать следу ю щее:
1) объемы выборок одинаковы;
2) значения исследуемого параметра упорядочены (по нарастанию или убыванию);
3) в первой выборке значения исследуемого параметра должны быть больше, во второй меньше.
Для сравнения различий между логитами трудностей задания и логитами уровней знания первой выборкой стала экспериментальная группа (п,), 2-ой - контрольная (п2). Для определения эмпирического значения критерия (<3 ) необходимо определить 8, (количество значений логитов трудности заданий в выборке 1, которые выше максимального значения в выборке 2) и (количество значений логитов трудности заданий в выборке 2, которые ниже минимального значения выборки 1). Критическое значение (0,^) для п, и п2 на уровне доверительной вероятности 0,95 и 0,99 находятся по таблице [2]. Если 0эмп > <3^, то вывод о существенности различий отвергается.
В нашем исследовании О =8+8 =2+7=9:
I 2 5
ЗкраиГ8; ^рооГ10-Так как Окр0-0,<Оэм<<3^,, то
следует вывод, что наблюдаются различия в логитах трудности заданий в контрольной и экспериментальной группах, но не существенные.
Этот вывод согласуется с поставленной задачей создания параллельных тестов (объективно объем знаний и трудность вопросов подбирались одинаковыми).
Существенным оказалось различие коэффициентов корреляции между логитами трудности заданий тестов и индивидуальными баллами обучающихся (С?ЭМП=Н, (^^=10). Полученные данные позволяют предположить, что надежность теста, состоящего из заданий с выбором 2-х правильных ответов выше, чем теста, состоящего из заданий с выбором 1-го правильного ответа.
Значения коэффициентов надежности, вычисленные с помощью формулы Кьюдера - Ричардсона [6, с. 335] составили 0,73 (контрольная группа) и 0,85 (экспериментальная группа).
Более высокие значения в экспериментальной группе были получены и при вычислении индекса дискриминативности заданий [6, с. 308]
(ъ*)у =(Pl)J -(Ра)]> где (гАк ) ' - индекс дискриминативности ДЛЯ7“го задания теста; {р1)! - доля учеников, правильно выполнившиху-ое задание в подгруппе из 27% лучших учеников по результатам выполнения теста; />„) -доля учеников, правильно выполнивших у-ое задание в подгруппе из 27% худших учеников по результатам выполнения теста.
Как показывает анализ данных в контрольной группе допустимым значением индекса дискри-
Псдагогика. Психология. Социальная работа. Ювенолосия. Социокинетика ♦ №6
69
А О
3 5 3 О 2 5 2 О 1 5
і/
КГ Э ГI ЭГ2
Рис. Сравнительные диаграммы распределения оценок студентов по теме «Акустика».
«КГ» - контрольная группа, тестирование в которой проводилось с использованием ТЗ с выбором единствен нош правильного ответа; «ЭГ-1» и «ЭГ-2» - экспериментальные группы, тестирование в которых проводилось с использованием ТЗ с выбором двух правильных ответов при обработке (в «ЭГ-1»-традиционным способом; «ЭГ-2» - по предложенной методике)
минативноети обладают 18 заданий из 30 (9, 10, 12-16,20-23,25-30). Значения коэффициента дис-криминативности изменяются в пределах отО до 0,4, в экспериментальной группе от 0,1 до 0,5 при этом большинство значений в несколько раз выше, чем в контрольной фуппе. Поэтому можно ожидать, что использование многовариантных тестовых заданий позволит более объективно диагностировать знания обучающихся, дифференцировать их по уровню обученности.
Сравнительные диаграммы распределения оценок студентов, полученные в контрольной и экспериментальной группах с помощью различных способов обработки данных тестирования (рис.) показывают, что применять к многовариантным тестовых заданиям традиционную методику некорректно.
Процентное соотношение оценок полученных студентам и э результате тестирования приведено в таблице 4.
Анализ данных таблицы 4 показывает на высокий процент «неудовлетворительных» оценок при применении традиционной методики к многовариантным тестовым заданиям (когда неполные ответы приравниваются к неправильным). При таком подходе независимо от того, как отвечали тестируемые на вопросы, они получают одинаковое количество баллов и за неверный и за неполный ответ,
Для повышения объективности при оценке знаний тестируемых предлагается учитывать следующие характеристики ответов: логит уровня обученности каждогоу'-го тестируемого, который рассчитывается по формулам:
0у =1пЕт-ТТ>где <*,=[-
-доля правиль-
ных ответов; с, = | - | - доля неполных ответов;
,п,
п - число дистракторов в /-ом тестовом задании;
Таблица 4
Распределение оценок студентов при использовании двух видов тестов, обработанных по разным методикам
Оиенки Контрольная труппа Экспериментальные группы
ЭГ-1 ЭГ-2
«2» 14% 41% 11%
«3» 66% 51% 55%
«4» 18% 6% 30%
«5» 1% 2% 4%
70
Вестник КГУ им. Н А. Некрасова ♦ 2008, Том 14
коэффициент полноты ответа КПО = X — , где
} ы
т - число правильных ответов в /-ом тестовом
* а
задании; логит полноты ответа Я; = 1л(£—)/£,
:=1 т1
где к -число тестовых заданий [5].
Разрешающая способность педагогических тестовых материалов, включающих многовариантные тестовые задания, при применении перечисленных выше параметров для их обработки, оказалась также выше по сравнению с традиционным способом обработки данных тестирования. В контрольной группе из 75 тестируемых число повторяющихся значений логита уровня знаний оказалось у 67 человек, в экспериментальной группе при традиционной методике обработки данных - 62, при применении предложенной нами методики - 12.
Анализ экспериментальных данных позволяет сделать также следующие выводы:
1) число повторяющихся значений в вышеуказанных группах примерно одинаково и не зависит от формы ТЗ (в контрольной группе использовались ТЗ с выбором одного правильного ответа, а в экспериментальной - с выбором двух правильных ответов);
2) экспериментальная группа, результаты которой обрабатывались с использованием предложенной методики, характеризуются значительно более низким числом повторяющихся значений логитов уровней знаний, что указывает на более качественную диагностику при ее применении;
3) среднее значение логитов уровней знаний, определенных по результатам тестирования с использованием тестов с ТЗ с выбором двух правильных ответов при традиционном способе обработки оказалось ниже, чем в других сравниваемых группах, что является результатом приравнивания неполных ответов к неправильным;
4) в экспериментальной и контрольной группе. с использованием предложенной методики
обработки многовариантных ТЗ средние значения логитов уровней знаний оказались одинаковыми в пределах погрешности измерения, что позволяет предположить, что новый метод обеспечивает наиболее оптимальный подход к оценке уровня обученности учащихся, студентов.
Таким образом, проведенное исследование позволяет предположить, что применение многовариантных тестовых заданий дает возможность более объективно и эффективно контролировать качество подготовки обучающихся.
Библиографический список
1. Аванесов B.C. Знания как предмет тестового контроля II Педагогические измерения. -2005,-№3.-С. 7-12.
2. Новиков Д. А. Статистические метода в педагогических. -М.: М. 3,- Пресс, 2004. - 67 с.
3. Станкевич Т.Г., Дерябина А. Г. К вопросу о классификации многовариантных тестовых заданий с выбором нескольких правильных ответов в зависимости от числа правильных ответов / / Общие проблемы квалиметрии в образовании: Материалы XI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика)). Ч. 2. - М.: Исслед. центр проблем качества подготовки специалистов, 2006. - С. 33-35.
5. Снигирева ТА., Камашев Г.Я., Станкевич Т.Г. Результаты эксперимента по формированию и диагностики структуры знаний обучаемых на основе компьютерного тестирования // Развитие тестовых технологий в России: тез. докл. IV Всерос. науч.-метод. конф. / под, ред. JI.C. Греб-нева- М.: Центр тестирования МО РФ, 2002. -С. 295-296.
6. Станкевич ТТ., Камашев Г.Я. Новый подход к обработке многовариантных тестовых заданий с выбором нескольких правильных ответов // Вопросы тестирования в образовании. - 2005 . - №4. -С. 32-^3.
7. Чедышкова М.Б. Теория и практика конструирования педагогичских тестов. - М.: Логос, 2002.-431 с.
Педагогика. Психология. Социальная работа. Ювенология. Социокинетика ♦ № 6
71
