Нетрадиционный подход к технологии обработки многовариантных тестовых заданий с выбором нескольких правильных ответов Текст научной статьи по специальности «Науки об образовании»

НЕТРАДИЦИОННЫЙ ПОДХОД К ТЕХНОЛОГИИ ОБРАБОТКИ МНОГОВАРИАНТНЫХ ТЕСТОВЫХ ЗАДАНИЙ С ВЫБОРОМ НЕСКОЛЬКИХ ПРАВИЛЬНЫХ ОТВЕТОВ

Т. Г. Станкевич, старший преподаватель кафедры физики с курсом высшей математики Ижевской государственной медицинской

академии,

Г. Я. Камашев, зав. кафедрой физики с курсом высшей математики Ижевской государственной медицинской академии, доцент

В статье проводится сравнительный анализ обработки многовариантных тестовых заданий с выбором нескольких правильных ответов на основе использования теории ЮТ: традиционным и предложенным авторами методами. Приводятся примеры матриц ответов испытуемых, составленных двумя способами. Делаются выводы о перспективности дальнейшей разработки нового метода.

На современном этапе развития образовательного процесса качество образования по-прежнему является одной из основных характеристик, определяющих конкурентоспособность как отдельной личности, так и национальной системы образования в целом. Повышение требований, предъявляемых к специалистам, актуализирует проблему качества образования, в том числе и за счет разработки новых моделей оценок и технологий оценивания.

Проблема обработки и оценивания тестовых заданий (ТЗ) с выбором нескольких правильных ответов до настоящего времени остается нерешенной. Нельзя не заметить также тот факт, что часто в тестах необходимо использовать различные по форме задания, но их оценка не может производиться одинаково. Все возможные формы ТЗ с точки зрения алгоритма их обработки делятся на те, ответ на которые единствен, и те, ответ на которые состоит из нескольких ответов1. Последние относятся к многовариантным тестовым заданиям с выбором нескольких правильных ответов.

В данной работе предлагается новая методика обработки многовариантных тестовых заданий с учетом долей верных, неверных и неполных ответов и введенного авторами коэффициента полноты ответа (КПО). Эта методика позво-

ляет более качественно оценивать знания испытуемых, обладает высокой разрешающей способностью и дает возможность оценивать ответы без предъявления требования к тесту правильного профиля ответа.

Целью исследования является разработка технологии обработки тестов, содержащих различные по форме задания с учетом их особенностей на основе предложенной авторами методики и использования новых характеристик для их оценивания.

Как показывает практика, многовариантные ТЗ некорректно оценивать без учета полноты/неполноты ответа. Поэтому нами была поставлена задача — включить в тест различные по числу ди-стракторов и числу правильных ответов задания и найти способ их качественной оценки исходя из соотношения количества верных ответов, данных испытуемым, и количества верных ответов в задании, а также соотношения количества дистракторов и количества верных ответов в каждом задании. Результатом работы стала новая технология обработки многовариантных ТЗ.

Для исследования была смоделирована матрица [10 X 10] (10 испытуемых, отвечающих на 10 различных тестовых заданий) и проведена обработка данных двумя способами — традиционным и нетрадиционным (табл. 1, 2).

© Т. Г. Станкевич, Г. Я. Камашев, 2007

№ 3/4, 2007

Т а б л и ц а 1

Матрица тестовых результатов, полученных по традиционной методике (1-й способ)

Испы- туемый ТЗ 1 ТЗ 2 ТЗ 10

а1 Ь1 с1 КПО1 а2 Ь2 с2 КПО 2 а10 Ь10 с10 КПО10 е

1 2 1 1 2/3 2 1 1 2/3 1 0 1 1/2 -1,39

2 3 1 0 1 2 0 1 2/3 2 0 0 1 -0,85

3 1 0 2 1/3 1 1 2 1/3 1 2 1 1/2 0,00

4 2 0 1 2/3 3 0 0 1 1 1 1 1/2 -2,20

5 3 2 0 1 3 1 0 1 2 1 0 1 -2,20

6 1 1 2 1/3 1 1 2 1/3 1 1 1 1/2 -1,39

7 2 0 0 1 2 0 1 2/3 2 0 0 1 0,85

8 3 1 0 1 3 1 0 1 2 0 0 1 -1,39

9 1 1 2 1/3 1 1 2 1/3 1 0 1 1/2 -¥

10 2 1 1 2/3 2 1 1 2/3 2 0 0 1 0,41

Т а б л и ц а 2

Матрица тестовых результатов, полученных по новой методике (2-й способ)

Испы- ТЗ 1 ТЗ 2 ТЗ 10

туемый а1 Ь1 с1 КПО1 а2 Ь2 с2 КПО 2 а10 Ь10 с10 КПО10 и

1 0,40 0,20 0,20 0,67 0,50 0,25 0,25 0,67 0,33 0,00 0,33 0,50 -0,24

2 0,60 0,20 0,00 1,00 0,50 0,00 0,25 0,67 0,67 0,00 0,00 1,00 0,66

3 0,20 0,00 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,67 0,33 0,50 -0,02

4 0,40 0,00 0,20 0,67 0,75 0,00 0,00 1,00 0,33 0,33 0,33 0,50 -0,96

5 0,60 0,40 0,00 1,00 0,75 0,25 0,00 1,00 0,67 0,33 0,00 1,00 0,30

6 0,20 0,20 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,33 0,33 0,50 -0,34

7 0,40 0,00 0,00 1,00 0,50 0,00 0,25 0,67 0,67 0,00 0,00 1,00 1,43

8 0,60 0,20 0,00 1,00 0,75 0,25 0,00 1,00 0,67 0,00 0,00 1,00 0,71

9 0,20 0,20 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,00 0,33 0,50 -1,04

10 0,40 0,20 0,20 0,67 -0,16 0,50 0,25 0,25 0,67 -0,16 0,67 0,00 0,00 1,00 0,41 1,42

В табл. 1, 2 а, Ь, с — доли верных, неверных, неполных ответов; КПО — коэффициент полноты ответа; и — логит уровня знания, вычисленный традиционным способом; и — логит уровня знания, вычисленный по предложенной методике.

Традиционно оценка уровня знания и уровня сложности вопроса производится по формулам:

и

1 а

в , = 1п У ^

М °}

где а, Ь. — количество верных и неверных ответов каждого испытуемого; а,

Ь. — количество правильных и неправильных ответов всех испытуемых на данное ТЗ.

Указанный подход использовался при расчетах 1-м способом.

По предложенной методике (2-й способ) оценка уровня знания каждого испытуемого производилась путем расче-

к

та долей верных а = X аі / пі, неверных

Ь = X Ь, / п,, неполных с = X сг. / п от-¿=1 ¿=1

ветов, а также коэффициента полноты ответа, вычисляемого по формуле

к

кпо = а / ш;,

г =1

где к — общее число ТЗ; г — номер ТЗ; а , Ь, с. — количество выбранных верных, неверных, неполных ответов испытуемым на г-е ТЗ; п — общее количество ответов на данное ТЗ; ш — число правильных ответов в данном ТЗ.

Аналогично оценка уровня сложности каждого вопроса производилась через

Здесь I — число испытуемых; а., Ь.,

с. — число верных, неверных и неполных ответов, данных всеми испытуемыми на данный вопрос; п. — общее число ответов.

Затем по новой методике рассчитывались логит уровня знания испытуемо-

го Ц = 1п X

1 Ь- + с-

и логит уровня

доли верных а = X а] / п] , неверных

І =1

Vі 1

Ь = ХЬ / пІ, неполных с = X с і / пІ

і=і

ответов.

І=1

трудности вопроса в . = 1п X----1—.

1 .=1 Ь. + с.

Используя КПО, можно по аналогии с логитом уровня трудности ТЗ и логитом уровня знания ввести логит полноты ответа испытуемого:

I = 1п(£ -а- / к),

¿=1 тг

где к — число ТЗ; а. — число верных ответов испытуемого на данное ТЗ; ш. — число верных ответов в данном задании.

В табл. 3, 4 приводятся значения указанных величин, вычисленных традиционным способом и по новой методике.

Рейтинг испытуемых по логиту уровня знания, определенный по традиционной методике (1-й способ)

Т а б л и ц а 3

Испытуемый

показатели 1 2 3 4 5 6 7 8 9 10

Число верных ответов а. 2 3 5 1 1 2 7 2 0 6

Число неверных ответов Ь. 8 7 5 9 9 8 3 8 10 4

Уровень знания 0 -1,39 -0,85 0 -2,2 -2,2 -1,39 0,85 -1,39 0,41

Рейтинг 0 5=6=7 4 3 8=9 8=9 5=6=7 1 5=6=7 10 2

г=1

а

В первом случае уровень знания испытуемого оценивается по формуле

И = 1п X, 1=1 ъ •

Сравнение приведенных в табл. 3 и 4 результатов показывает, что при использовании традиционной методики получа-

ются несколько совпадающих значений количества верных, неверных ответов и логитов уровня знания испытуемых; как следствие, невозможно разделить испытуемых по уровню знаний. При этом результаты не отражают реальной ситуации, так как испытуемые с одинаковыми характеристиками давали различные ответы (см. табл. 3).

№ 3/4, 2007

Т а б л и ц а 4

Рейтинг испытуемых по логиту уровня знания и КПО, определенный по новой методике (2-й способ)

Испытуемый

показатели 1 2 3 4 5 6 7 8 9 10

Доля верных ответов а 2,78 4,27 3,28 2,13 5,47 2,93 4,62 4,97 1,93 4,57

Доля неверных ответов Ь. 1,85 1,3 1,92 3,93 4,03 2,03 0,45 2,45 1,65 0,45

Доля неполных ответов с. 1,68 0,7 1,48 1,43 0 1,68 0,45 0 3,63 0,65

КПО 5,5 7,5 6,17 3,33 10,0 5,00 8,83 10,0 3,00 8,67

и — логит уровня знания -0,24 0,66 -0,02 -0,96 0,3 -0,34 1,43 0,71 -1,04 0,41

Рейтинг по и, К( и) 7 4 6 9 5 8 1 3 10 2

Рейтинг по КПО, Л(КПО) 7 5 6 9 1=2 8 3 1=2 10 4

1п(КПО/10) + и = 5 -0,84 0,37 -0,5 -2,06 0,3 -1,03 1,31 0,6 -2,25 1,28

Рейтинг по 5, К(Б) 7 4 6 9 5 8 1 3 10 2

Я(КПО) + Я(5) 14 9 12 18 6,5 16 4 4,5 20 6

Д(Д(КПО)+Д(5)) 7 5 6 9 4 8 1 2 10 3

Заметим, что даже для такого малого количества испытуемых результаты, полученные по традиционной методике, имеют довольно большое число совпадающих значений оценки уровня знания и такое же число совпадений оценки уровня трудности вопроса. Можно предположить, что решение проблемы выстраивания по рейтингам испытуемых при значительном объеме выборки еще более осложнится.

Предлагаемая методика исключает такую ситуацию. Все испытуемые, как видно из табл. 4, имеют индивидуальный набор характеристик ответов, что достигается посредством совместного учета долей верных, неверных, неполных ответов при расчете логитов уровня знания испытуемого и уровня трудности вопроса, а также логита полноты ответа.

Таким образом, введение доли верных, неверных и неполных ответов в расчет указанных характеристик позволяет получать более подробную информацию об ответах испытуемых. Неполнота ответа, учитывающая соотношение числа дистракторов и числа верных ответов в вопросе, а также соотношение числа верных ответов, данных испытуемым, и чис-

ла верных ответов в ТЗ, значительно повышает дискриминативность теста в целом.

Логит полноты ответа дополняет полученную информацию и, в случае одинаковых значений логитов знаний, корректирует суммарную характеристику 5 = 1п(КПО/10) + и, позволяет получить более объективные данные относительно знаний каждого испытуемого. Впоследствии это дает возможность расставить испытуемых по рейтингам в соответствии с их индивидуальными результатами (сравнение рейтингов испытуемых 1-м и 2-м способами в табл. 3 и 4).

Задавая критерии оценки по уровню знания, легко перевести тестовые баллы в отметку, точность которой зависит от цели тестирования. Так, при сдаче, например, вступительных экзаменов важно как можно точнее разделить испытуемых по уровням знания, а при текущем контроле иногда достаточно определить, достигнуты ли испытуемым нормативные уровни знания. Подобный подход позволит более точно диагностировать уровень и структуру знания обучаемых.

ПРИМЕЧАНИЕ

Результаты предварительно проведенного исследования показали перспективность новой технологии обработки многовариантных ТЗ с выбором нескольких правильных ответов и в дальнейшем дают основание провести экспериментальную проверку эффективности применения данной технологии на практике.

1 Станкевич Т. Г К вопросу о классификации многовариантных тестовых заданий с выбором нескольких правильных ответов в зависимости от числа правильных ответов / Т. Г. Станкевич, А. Г. Дерябина // Общие проблемы квалиметрии в образовании : материалы XI Всерос. симп. «Ква-лиметрия в образовании: методология, методика, практика». М., 2006. Ч. 2. С. 33—35.

Поступила 19.10.06.

ОБЕСПЕЧЕНИЕ КАЧЕСТВА ВЫСШЕГО ОБРАЗОВАНИЯ В СИСТЕМЕ ПРИОРИТЕТОВ БОЛОНСКОГО ПРОЦЕССА

Н. Д. Гусъкова, декан экономического факультета МГУ им. Н. П. Огарева, профессор,

Т. А. Салимова, зав. кафедрой управления качеством МГУ им. Н. П. Огарева, профессор

В статье представлены различные подходы к определению качества образования. Особое внимание уделено формированию систем менеджмента качества в рамках реализации Болонского процесса. Рассмотрен опыт Нидерландов в области мониторинга, оценки и создания систем гарантий качества в вузах, использование которого будет полезно при переходе российских вузов на двухуровневую систему подготовки и формировании систем менеджмента качества.

Качество жизни и качество образования в современном мире декларируются как важнейшие ориентиры глобальной политики ЮНЕСКО и ООН. В программном документе ЮНЕСКО «Реформа и развитие высшего образования», принятом в 1995 г., отмечено, что деятельность в области высшего образования в условиях происходящих в мире изменений должна осуществляться под тремя девизами, которые определяют ее роль и функции на местном, национальном и международном уровнях: соответствие требованиям современности, качество и интернационализация1. В Послании Саламанкской конвенции европейских высших учебных заведений (29—30 марта 2001 г.) говорится: «Качество — самое главное условие для доверия, релевантности, мобильности, сопоставимости и привлекательности в европейском пространстве высшего об-разования»2.

Основные цели, задачи и принципы гармонизации национальных образова-

тельных систем высшего образования в странах Европы были определены Болонской декларацией, принятой в 1999 г. 29 европейскими странами. В настоящее время ее подписали 45 стран, в том числе Россия (в 2003 г.). Среди направлений деятельности, обозначенных в Болонской декларации, — введение двухуровневой системы обучения (бакалавр — магистр), создание системы сопоставимых степеней, внедрение системы зачетных единиц, содействие мобильности. Одним из важнейших направлений является сотрудничество в области обеспечения качества образования.

Категория «качество» носит многоаспектный характер в зависимости от объекта и сферы рассмотрения. Понятие качества применительно к высшему образованию может иметь разные значения в зависимости:

— от требований сторон, заинтересованных в деятельности вуза: государства, работодателей, студентов, профессорско-преподавательского состава и т. д.;

© Н. Д. Гуськова, Т. А. Салимова, 2007