Методика оценивания качества подготовки обучающихся с использование многовариантных тестовых заданий Текст научной статьи по специальности «Науки об образовании»

нерного образования: от текстильного института к инновационному университету. - Кострома: изд-во КГТУ 2007.

4. Подготовка учителя математики: Инновационные подходы: Учебное пособие/ Под ред. В.Д. Шадрикова. - М.: Гардарики, 2002. - 383 с.

5. Заенчик В.М., Карачев А.А., Шмелев В.Е. Основы творческо-конструкторской деятельности: методы и организация: Учебник для студен-

тов вузов. - М.: Академия, 2004. - 256 с.

6. Воронцова О.Р. Развитие личностных и профессиональных качеств студентов технологического факультета с помощью математики // Сб. тезисов н.-м. конференции: «Развитие профессионального инженерного образования: от текстильного института к инновационному университету». - Кострома: изд-во КГТУ, 2007.

Т.Г. Станкевич

МЕТОДИКА ОЦЕНИВАНИЯ КАЧЕСТВА ПОДГОТОВКИ ОБУЧАЮЩИХСЯ С ИСПОЛЬЗОВАНИЕ МНОГОВАРИАНТНЫХ ТЕСТОВЫХ ЗАДАНИЙ

В работе предлагается методика оценивания качества подготовки обучающихся при использовании многовариантных тестовых заданий, которые позволяют на основании характеристик: коэффициента полноты ответа, логита полноты ответа, а также логита уровня знаний, рассчитанного с учетом долей верных, неверных и неполных ответов повысить объективность контроля.

На современном этапе развития образовательного процесса по-прежнему качество образования остается одной из основных характеристик, определяющих конкурентоспособность как отдельной личности, так и национальной системы образования, в целом. Повышение требований, предъявляемых к специалистам, актуализирует проблему качества образования, в том числе и за счет разработки новых моделей и технологий оценивания.

В настоящий момент нет единой, обоснованной точки зрения в отношении категории «качество подготовки» обучаемых. Между тем, как отмечает М.Б. Челышкова «...пришла пора перейти от слов к делу, от рассуждений, что такое качество подготовки, к его непосредственной оценке и контролю за его достижением» [4, с. 420]. Таким образом, можно считать наиболее ценными те определения качества подготовки, которые поддаются операционализации. Процедура опе-рационализации предполагает доведение определения до уровня, на котором понятие «качество подготовки» выражается правилами измерения и конкретными измеряемыми элементами. «Проводить оценку качества подготовки учащихся с различным уровнем подготовки, по-видимому, не имеет смысла, поскольку они уже отличаются по объему усвоенных знаний, умений, навыков. Зато вполне правомерно одинаковому уровню подготовки поставить в соответствие различное

качество». Под качеством подготовки следует понимать совокупность существенных характеристик знаний и умений, способствующих дифференциации обучаемых с одинаковым уровнем подготовки.

В данной работе предлагается методика обработки многовариантных тестовых заданий на основе теории IRT [2] с использованием характеристик ответов, учитывающих доли верных, неверных и неполных ответов в каждом тестовом задании, коэффициента полноты ответа (КПО) и логита полноты ответа, что позволяет оценивать качество знаний испытуемых, повышает разрешающую способность теста.

К ним авторы относят задания закрытого типа с выбором нескольких правильных ответов, на установление правильной последовательности, соответствия, задания открытого типа.

Проблема обработки и оценивания таких тестовых заданий в настоящий момент является не полностью решенной [5; 6]. Нельзя не отметить тот факт, что в тестах часто необходимо использовать различные по форме задания, результаты ответов на которые нельзя оценивать одинаково.

Целью исследования является разработка методики оценивания качества подготовки обучающихся на основе тестов, содержащих различные по форме задания с учетом их особенностей. Как показывают исследования, многовариантные тестовые задания (ТЗ) некорректно оценивать без учета

© Т.Г. Станкевич, 2008

Вестник КГУ им. Н.А. Некрасова ♦ № 3, 2008

287

Таблица1

Матрица тестовых результатов (1 способ)

Испы- туемый ТЗ 1 ТЗ 2 ТЗ 10

а1 Ь1 с1 КПО1 а2 Ь2 с2 КПО2 а10 Ь10 с10 КПО10 О

1 2 1 1 2/3 2 1 1 2/3 1 0 1 1/2 -1,39

2 3 1 0 1 2 0 1 2/3 2 0 0 1 -0,85

3 1 0 2 1/3 1 1 2 1/3 1 2 1 1/2 0,00

4 2 0 1 2/3 3 0 0 1 1 1 1 1/2 -2,20

5 3 2 0 1 3 1 0 1 2 1 0 1 -2,20

6 1 1 2 1/3 1 1 2 1/3 1 1 1 1/2 -1,39

7 2 0 0 1 2 0 1 2/3 2 0 0 1 0,85

8 3 1 0 1 3 1 0 1 2 0 0 1 -1,39

9 1 1 2 1/3 1 1 2 1/3 1 0 1 1/2 -?

10 2 1 1 2/3 2 1 1 2/3 2 0 0 1 0,41

неполноты ответа, так как приравнивание неполных ответов к неправильным, приводит к тому, что тестируемые, по-разному отвечающие на задания теста получают одинаковые тестовые баллы.

Для иллюстрации методики рассмотрим смоделированную матрицу ответов 10-ти студентов, ответивших на 10 многовариантных ТЗ.

На каждый из вопросов возможно т верных ответов, количество которых изменяется от 1 до п-1, где п - общее число дистракторов в данном ТЗ. Как правило, п не превышает пяти. В каждом вопросе тестируемый может выбрать либо все верные, либо только часть верных ответов. Для определения эффективности применения предложенной методики обработка данных была проведена двумя способами - традиционным и новым (см. табл. 1, 2).

В таблице 1: а, Ъ,, с - количество верных, неверных, неполных ответов; КПО. - коэффициент полноты ответа в /-ом ТЗ; ©. - логит уровня знания ]-го тестируемого, вычисленный традиционным способом по формуле

© ] = 1п X (а/1Ь/).

Данный подход использовался при расчетах 1-м (традиционным) способом.

По предложенной методике (2-ой способ, табл. 2) оценка уровня знания каждого]-го испытуемого производилась путем расчета долей: верк ^ к

ных - а. = X (а / п),; неверных - Ъ. = Х (Ъ / п), ; /=1 /=1

к

неполных - с] =Х (с / п), ответов, а также коэф-

/=1

фициента полноты ответа (КПОр, логита уровня знаний (© .) и логита полноты ответа (X.), вычисляемого по формулам:

к

КПО]=Х (а/т),,

/=1

где / - номер ТЗ; к - общее число ТЗ; а, Ъ, с -количество верных, неверных, неполных ответов, выбранных ]-м тестируемым; п - количество дист-ракторов; т - число правильных ответов в /-ом ТЗ.

к а к а

©] = 1пТт*- , ^ = ^(Х~)/к .

] 1=1 Ъ, + с, 1=1т,

Таблица2

Матрица тестовых результатов (2 способ)

1 =1

Испы- туемый ТЗ 1 ТЗ 2 ТЗ 10

а1 Ь1 с1 КПО1 а2 Ь2 с2 КПО2 а10 Ь10 с10 КПО10 ©

1 0,40 0,20 0,20 0,67 0,50 0,25 0,25 0,67 0,33 0,00 0,33 0,50 -0,24

2 0,60 0,20 0,00 1,00 0,50 0,00 0,25 0,67 0,67 0,00 0,00 1,00 0,66

3 0,20 0,00 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,67 0,33 0,50 -0,02

4 0,40 0,00 0,20 0,67 0,75 0,00 0,00 1,00 0,33 0,33 0,33 0,50 -0,96

5 0,60 0,40 0,00 1,00 0,75 0,25 0,00 1,00 0,67 0,33 0,00 1,00 0,30

6 0,20 0,20 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,33 0,33 0,50 -0,34

7 0,40 0,00 0,00 1,00 0,50 0,00 0,25 0,67 0,67 0,00 0,00 1,00 1,43

8 0,60 0,20 0,00 1,00 0,75 0,25 0,00 1,00 0,67 0,00 0,00 1,00 0,71

9 0,20 0,20 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,00 0,33 0,50 -1,04

10 0,40 0,20 0,20 0,67 0,50 0,25 0,25 0,67 0,67 0,00 0,00 1,00 1,42

Таблица3

Рейтинг испытуемых по логиту уровня знания, определенный традиционным способом (1 способ)

Испытуемый 1 2 3 4 5 6 7 8 9 10

Число верных ответов (а) 2 3 5 1 1 2 7 2 0 6

Число неверных ответов (Ъ) 8 7 5 9 9 8 3 8 10 4

Уровень знаний ©, -1,39 -0,85 0 -2,2 -2,2 -1,39 0,85 -1,39 -? 0,41

Рейтинг ©,■ 5=6=7 4 3 8=9 8=9 5=6=7 1 5=6=7 10 2

Ниже приводятся таблицы со значениями перечисленных величин, вычисленных традиционным способом и по предложенной методике.

Сравнение приведенных результатов в таблицах 3 и 4 показывает, что при использовании традиционной методики получаем несколько совпадающих значений количества верных, неверных ответов и логитов уровня знания, и как результат, - невозможность разделить тестируемых по уровню знаний. При этом результаты не отражают реальной ситуации, т.к. студенты с одинаковыми характеристиками давали различные ответы (см. табл. 3). Следует отметить, что даже для такого малого числа испытуемых результаты, полученные по традиционной методике, имеют довольно большое число совпадающих значений оценки уровня знания. Можно предположить, что решение проблемы выстраивания по рейтингам обучающихся при большом объеме выборки еще более осложнится.

Предлагаемая методика исключает такую ситуацию. Все испытуемые, как видно из таблицы 4, имеют индивидуальный набор характеристик их ответов, что достигается за счет совместного учета долей верных, неверных, неполных ответов при расчете логитов уровня знаний, а также логита полноты ответа. Таким образом:

- введение доли верных, неверных и неполных ответов в расчет указанных характеристик

позволяют получать более подробную информацию об ответах;

- полнота ответа, учитывающая соотношение числа дистракторов и числа верных ответов в вопросе, а также соотношения числа верных ответов, данных тестируемым и числом верных ответов в ТЗ значительно повышает дискриминатив-ность теста в целом;

- логит полноты ответа дополняет полученную информацию и, в случае одинаковых значений логитов знаний, корректирует суммарный

показатель 5 , + Л,, позволяет получить бо-

лее объективные данные, что дает в последствии возможность расставить обучающихся по рейтингам в соответствии с их индивидуальными результатами (сравнение рейтингов испытуемых первым и вторым способами в таблицах 3 и 4).

Задавая критерии оценки по уровню знания, легко перевести тестовые баллы в отметку. Так, при сдаче, например, вступительных экзаменов важно как можно точнее разделить испытуемых по уровням знаний, а при текущем контроле иногда достаточно определить достигнуты ли тестируемым нормативные уровни знаний. Подобный подход позволит более точно диагностировать уровень и структуру знаний обучаемых и оценить их качество подготовки.

Таблица4

Рейтинг испытуемых по логиту уровня знания и КПО, определенный по новой методике (2 способ)

Испытуемые 1 2 3 4 5 6 7 8 9 10

Доля верных ответов (а,) 2,78 4,27 3,28 2,13 5,47 2,93 4,62 4,97 1,93 4,57

Доля неверных ответов (Ъ,) 1,85 1,3 1,92 3,93 4,03 2,03 0,45 2,45 1,65 0,45

Доля неполных ответов (с,) 1,68 0,7 1,48 1,43 0 1,68 0,45 0 3,63 0,65

КПО 5,5 7,5 6,17 3,33 10,0 5,00 8,83 10,0 3,00 8,67

©, - логит уровня знаний -0,24 0,66 -0,02 -0,96 0,3 -0,34 1,43 0,71 -1,04 0,41

Рейтинг по ©, R( ©,) 7 4 6 9 5 8 1 3 10 2

Рейтинг по КПО, R(КПО) 7 5 6 9 1=2 8 3 1=2 10 4

1п(КП0/10)+ ©^ -0,84 0,37 -0,5 -2,06 0,3 -1,03 1,31 0,6 -2,25 1,28

Рейтинг по S, 7 4 6 9 5 8 1 3 10 2

R(КП0)+R(S) 14 9 12 18 6,5 16 4 4,5 20 6

R(R(КП0)+R(S)) 7 5 6 9 4 8 1 2 10 3

Вестник КГУ им. Н.А. Некрасова ♦ № 3, 2008

289

Результаты предварительно проведенного исследования показали перспективность предложенного подхода к оцениванию качества подготовки обучаемых при использовании предложенной методики обработки многовариантных тестовых заданий, и в дальнейшем дают основание провести экспериментальную проверку ее эффективности на практике.

Библиографический список

1. Аванесов В.С. Основы научной организации педагогического контроля в высшей школе. -М.: МИСиС, 1989. - 167 с.

2. НейманЮ.М., Хлебников ВА. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Прометей, 2000. - 168 с.

3. Янченко С.И. Оценка уровня подготовленности: непараметрический подход // Вопросы тес-

тирования в образовании. - 2002. - .№3. - С. 38-49.

4. ЧелышковаМ.Б. Теория и практика конструирования педагогических тестов. - М.: Логос, 2002. - 431 с.

5. Станкевич Т.Г., Дерябина А.Г. К вопросу о классификации многовариантных тестовых заданий с выбором нескольких правильных ответов в зависимости от числа правильных ответов // Общие проблемы квалиметрии в образовании: Материалы XI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика». Ч. 2. -М.: Исслед. центр проблем качества подготовки специалистов, 2006. - С. 33-35.

6. Станкевич Т.Г., Камашев Г.Я. Новый подход к обработке многовариантных тестовых заданий с выбором нескольких правильных ответов // Вопросы тестирования в образовании. - 2005. -№4. - С. 32-43.

Научные труды преподавателей, поступившие в библиотеку КГУ им. Н.А. Некрасова

Румянцева З.В. ФОРМИРОВАНИЕ ГОТОВНОСТИ ПЕДАГОГА-МУЗЫКАНТА К ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ: Монография / Рец.: Н.Ф. Басов. - Кострома: КГУ, 2007. - 169 с. - Библиогр.: с. 151-168 (231 назв.). -ISBN 978-5-7591-0868-9.

В монографии освещаются вопросы совершенствования профессиональной подготовки будущих педагогов-музыкантов. Теоретически обосновываются сущность, структура и содержание компонентов готовности как профессионально значимого качества личности будущих специалистов. Характеризуются условия и факторы, содействующие решению поставленной проблемы. Представлено содержание опытно-экспериментального исследования и его результаты. Материалы данной работы могут найти применение в условиях вузовской подготовки будущих педагогов-музыкантов по специальности 030700 «Музыкальное образование» в университетах, музыкально-педагогических колледжах и других учебных заведениях.