CC BY
110
с любым монохроматическим источником излучения, в спектре которого имеются одноэлементные интегрального типа фотоприемники, не обязательно точечные. Оптической редукцией осуществляется необходимое оптимальное согласование геометрии. Высокая точность описанного метода позволяет проводить динамические измерения малых сме-
щений и особенно полезна при определении взаимосвязи смежных пьезопреобразователей [1, 2, 5] базисных, управляющих формой поверхности, элементов в акустических и оптических активных системах управления формой приемных антенн и волнового фронта излучения.
СПИСОК ЛИТЕРАТУРЫ
1. Устинов Н.Д., Матвеев И.Н., Протопопов В.В. Методы обработки оптических полей в лазерной локации. — М.: Наука, 1983. — 272 с.
2. Слободян С.М. Диссекторные гетеродинные системы // Зарубежная радиоэлектроника. —1986. — № 6. —С. 62—72.
3. Пустынский И.Н., Слободян С.М. Диссекторные следящие системы. — М.: Радио и связь, 1984. —136 с.
4. А. с. 466825 СССР. МКИ И04М 3/16. Устройство телевизионной развертки / С.М. Слободян // Открытия. Изобретения. — 1973. — № 27.
5. Слободян С.М. Моделирование адаптивных оптикоэлектрон-ных следящих систем контроля и управления объектами // Информационные технологии и математическое моделирование: Матер. Всеросс. научно-практ. конф. — Томск: Изд-во "Твердыня", 2002. — С. 300—301.
УДК 681.3.01
КОМПЬЮТЕРНЫЕ ТЕХНОЛОГИИ В ОЦЕНКЕ КАЧЕСТВА ОБУЧЕНИЯ
О.Г. Берестнева, О.В. Марухина
Томский политехнический университет E-mail: [email protected]
Рассматривается информационная система оценки качества обучения студентов в вузе. Представлены результаты экспериментальных исследований, проведенных в Томском политехническом университете.
Оценка качества обучения является одним из основных факторов повышения эффективности образовательного процесса в высшей школе в целом. В условиях обеспечения индивидуального подхода к каждому обучаемому очень важно корректно провести качественный и количественный анализ их знаний и умений [1]. Такой анализ является сложной многофакторной зависимостью с большим числом переменных. Проведение подобного анализа часто требует больших затрат сил и времени на проведение статистических расчетов. Оценивание качества обучения с использованием компьютерных технологий позволяет значительно сократить время и трудозатраты анализа и повышает информативность результатов.
Разработанная авторами технология оценки качества обучения студентов базируется на эксперт-но-статистических алгоритмах, предназначенных для решения прикладных задач, и позволяющих создать единый комплекс программного обеспечения. Результаты анализа могут быть представлены в виде таблиц и графиков.
Программный комплекс имеет дружественный пользователю интерфейс, гибкую систему настроек, сопровождается пакетом справочной информа-
ции и представляет собой набор стандартных Windows-приложений, отвечающих всем современным требованиям программного продукта для операционных систем Windows 95/98/NT/2000. Укрупненная схема комплекса представлена на рис. 1.
Все базовые функции системы разделены на два логических блока:
1. Блок компьютерного тестирования.
2. Универсальный блок анализа результатов экспертного оценивания, подробное описание которого приведено в [2, 3].
Блок компьютерного тестирования предназначен для обработки данных педагогического и психологического тестирования и является базовым в системе поддержки принятия решения по результатам компьютерного тестирования.
Одной из нерешенных проблем, с которыми в настоящее время в той или иной мере сталкиваются все вузы, является проверка остаточных знаний студентов. Процедура и условия ее проведения, как правило, недостаточно продуманы, а в ряде случаев к ней относятся как к формальному дежурному мероприятию. Главными и типичными недостатками проверки являются подмена остаточных знаний
Блок компьютерного тестирования ЯЕМ8ТАТЕ
Контроль знаний (педагогическое тестирование)
Определение личностных
и интеллектуальных особенностей студентов (психодиагностическое тестирование)
Блок прогнозирования успешности студентов в различных видах интеллектуальной деятельности РНОСГЧЮЮ
Прогнозирование успешности обучения, выдача рекомендаций
Данные об
успеваемости | студентов I
Корректировка решающих правил прогнозирования успешности обучения
Вычисление информативности и формирование таблицы диагностических коэффициентов
Универсальный блок анализа результатов экспертного оценивания EXPERT
Другие данные об интеллектуальной успешности (аттестат, ЕГЭ)
Оценка профессиональных качеств преподавателей
Оценка содержания и изложения учебных дисциплин
Формирование набора
профессионально значимых показателей для успешного обучения абитуриента
Оценка профессиональных качеств выпускников
Определение требований работодателей к молодым специалистам
Рис. 1. Информационная технология оценки качества объектов образовательного процесса
/- »» м
в качестве ее объекта знаниями текущими и списывание студентами ответов на поставленные вопросы. В связи с этим в настоящее время для проверки остаточных знаний все чаще используется метод педагогического тестирования [4].
Тестирование на основе компьютерных технологий официально признано основным средством диагностики качества знаний в проекте Федерального закона "О государственном образовательном стандарте основного общего образования" [5]. Современный уровень развития вычислительной техники и внедрение компьютеров в учебный процесс делают возможным автоматизацию тестового контроля.
В настоящее время существует огромное количество компьютерных систем для контроля знаний студентов [4, 5, 6]. Основным недостатком существующих программных продуктов является отсутствие блока анализа результатов тестирования (или существование его в автономном виде).
На рис. 1 представлена разработанная авторами информационная технология оценки качества обучения. Для оценки остаточных знаний разработана программа КЕМ8ТЛТЕ, которая включает два блока - генератор тестов (с возможностью конструирования всех существующих форм тестовых заданий) и анализатора, включающего модуль статистической обработки и анализа результатов тестирования.
Оценка и анализ результатов педагогического
тестирования
Успех участника тестирования в решении определенного тестового задания зависит, в основном, от двух факторов: трудности задания и подготовлен-
ности испытуемого [6]. При этом только в тривиальной ситуации можно утверждать наверняка, что определенный человек решит определенное задание верно (неверно). В общем случае успех в решении заданий теста имеет вероятностный характер и, следовательно, можно говорить о его количественном измерении некоторым числом р из отрезка [0...1]. Таким образом, вероятность того, что определенный участник тестирования верно решит определенное задание, представляет собой функцию успеха [6] двух аргументов - уровня подготовленности испытуемого s и уровня трудности данного задания t
P = p(s, t) = л(|), где Ç= s/t.
Простейшая модель вероятности успеха, представляющая собой однородную функцию 1-го порядка предложена датским математиком Г. Рашем (G. Rasch) [7, 8] и имеет вид:
Р = p( s, t ) =-= -LL-
s +1 i + s
S
t
1+ S
(1)
Функция (1) позволяет наглядно интерпретировать процесс выполнения задания трудности t участником тестирования с уровнем подготовленности ^ с помощью классической модели теории вероятностей. Если 1п 5 = в, 1п t = 5 => 5 = eв, t = es,
то функция успеха (1) принимает вид
- ев = 1
Р = ев+ е5 = 1 + е5-
(2)
и называется основной логистической моделью Раша.
Здесь р - вероятность того, что участник тестирования с уровнем подготовленности в правильно выполнит задание трудности 5. Вероятность успеха зависит только от одного параметра -разности (в-5), и потому модель (2) является однопараметрической [6].
-X1 (-1.96) X2 (-1.24) -X3 (-0.73) X4 (-0.47) X5 (-0.09) -X6 (-0.04) X7 (0.00) -X8 (0.17) X9 (0.22) X10 (0.26) X11 (0.4) X12 (0.49) X13 (1.61) X14 (1.81) X15 (2.11) -X16 (3.15)
-5 -4.5 -4 -3.5 -3 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
Логит подготовленности
Рис. 2. Характеристические кривые трудности заданий теста по модели Раша
На рис. 2 представлен результат обработки данных тестирования по дисциплине "социология" студентов IV курса ТПУ на основе модели Раша [3]. Тест состоял из 16 заданий, которые в дальнейшем тексте будут обозначены как X.
Характеристические кривые демонстрируют вероятность правильного ответа на задание опреде-
нем подготовки в. По построенным графикам определяется трудность задания.
В данном случае наиболее трудным по отношению к остальным оказалось задание, имеющее уровень трудности 3,15, а самым легким - с уровнем трудности - 1,96. На эти задания рекомендуется обратить особое внимание разработчику теста.
Формулу Раша (2) для условной вероятности правильного выполнения у-ого задания теста испытуемыми с различными значениями в в случае двухпараметрической модели А. Бирнбаума можно переписать в виде [7]
1
РI =
1 + е"
) •
(3)
В формуле (3) кроме прежних обозначений вводится новое ау - для второго параметра у-ого задания теста.
При геометрической интерпретации первый параметр 8у можно рассматривать как характеристику положения кривой у-го задания относительно оси в. Второй параметр ау связан с крутизной кривой задания в точке ее перегиба. А именно значение ау прямо пропорционально тангенсу угла наклона касательной к характеристической кривой задания теста в точке в = 8у. Это означает, что более крутые кривые соответствуют большим значениям
ау, соответственно для пологих кривых ау ^ 0. Таким образом, значения ау, близкие к нулю, соответствуют случаю, когда испытуемые с разными уровнями подготовки правильно отвечают на -ое задание с приблизительно равной вероятностью, что, естественно, противоречит ожидаемым прогнозам разработчика теста. Эти задания оказываются бесполезными при дифференциации испытуемых группы по оцениваемому параметру, так как они не несут информации об индивидуальных различиях студентов [4].
Еще более бесполезны задания с отрицательными значениями а. На них отвечают правильно с большой вероятностью испытуемые с низким уровнем подготовки, а для знающих студентов с большими значениями в вероятность правильного ответа стремится к нулю. Число заданий в тесте должно сокращаться в первую очередь за счет устранения таких неудачных заданий даже в том случае, когда другие их характеристики устраивают разработчика теста. Как правило, такое сокращение приводит к повышению надежности и валидности теста.
Проведенный анализ выявляет роль параметра ау при дифференциации испытуемых. Соответственно параметр ау получил название дифференцирующей способности у-ого задания теста [4]. Формула для оценки параметра дифференцирующей способности у-ого задания теста имеет вид:
где гЬщ - бисериальный коэффициент корреляции у-ого задания.
Теоретически значения параметра ау могут изменяться в интервале (-оо...+<), но практически
"XI (-1.96) Х2 (-1.24) -Х3 (-0.73) Х4 (-0.47) Х5 (-0.09) Х6 (-0.04) Х7 (0.00) ■Х8 (0.17) Х9 (0.22) Х10 (0.26) ■Х11 (0.4) Х12 (0.49) ■Х13 (1.61) Х14 (1.81) Х15 (2.11) Х16 (3.15)
-5 -4.5 -4 -3.5 -3 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
Уровень подготовленности, логит
Рис. 3. Характеристические кривые трудности заданий теста по модели Бирнбаума
г
1.00
0.90
0.80
0.70
X 0.60
0.50
° 0.40
0.30
0.20
0.10
0.00
далеко не все эти задания можно включать в тест. Анализ характеристических кривых заданий одинаковой трудности, но разной крутизны позволяет отобрать лучшие задания и определить разумные границы интервала для значений параметра а.
Отбор заданий с большими значениями щ является одним из важных принципов при конструировании нормативно-ориентированного теста. Минимизация длины теста за счет удаления части лишних заданий равной трудности строится на сравнительном анализе крутизны характеристических кривых с точкой перегиба, имеющий одинаковые координаты. Процесс минимизации позволяет выделить одно наиболее эффективное задание с наибольшим значением параметра а. На практике рекомендуется, как правило, оставлять задания со значениями а, лежащими в интервале (0,5...2,5) [4]. Значение щ = 1 соответствует однопа-раметрической модели Раша.
На рис. 3 представлены результаты обработки данных тестирования студентов IV курса ТПУ по
м м г
дисциплине социология на основе модели Бирн-баума [3].
В таблице представлены значения параметра а., для каждого задания теста X.
Таблица. Значения параметра а] для каждого задания X,
Лэ Ле XX XX, XX XX XX X;
0,34 0,42 1,07 0,82 0,74 0,93 0,63 1,13
XX Л Х0 XX X XX XX XX
-0,14 0,63 0,18 0,65 0,81 0,72 0,24 0,04
Таким образом, применение моделей Раша и Бирнбаума (для анализа данного теста) позволило сделать следующие выводы.
1. Подавляющее большинство заданий теста имеют высокую дифференцирующую способность, однако они неравномерно расположены относительно оси подготовленности в (что свидетельствует об их однородности относительно показателя трудности и нарушает постулат о том, что тест - система заданий нарастающей сложности). Следовательно, необходимо некоторые задания исключить из теста. Предполагается исключить самые легкие и самые сложные задания, а также задания, имеющие идентичный показатель трудности. Для этого необходимо определить дифференцирующую способность каждого задания.
2. Построение модели Бирнбаума позволяет решить задачу определения дифференцирующей способности заданий теста. В нашем эксперименте одинаковую трудность имеют задания Х11 и Х7, Х14 и Х5 - это определяется по значениям логи-тов трудности. Рекомендуется исключить из теста задания Х11 (т.к. аХ11 < аХ7) и Х5 (т.к. аХ5 < аХ14).
3. Рекомендуется исключить задание Х2 (аХ2 < 0), а также задания Х8 (аХ8 = 0,04), Х10 (аЛ0 = 0,18), Х1(ал = 0,24), Х13 (аЛз = 0,34).
Включение в систему тестирования, логистических моделей Раша и Бирнбаума обусловливает важные достоинства, среди которых, прежде всего, необходимо отметить следующие.
1. Превращение измерений, сделанных в дихотомических и порядковых шкалах в линейные измерения. Это позволяет использовать широкий спектр статистических процедур.
2. Оценка трудности тестовых заданий не зависит от выборки испытуемых, на которых была получена; оценка уровня знаний испытуемых не зависит от используемого набора тестовых заданий. Пропуск данных для некоторых комбинаций (испытуемый -тестовое задание) не является критическим.
3. Система тестирования достаточно проста, по сравнению с другими аналогичными системами она характеризуется наименьшим числом параметров.
4. Модели опираются на четкие и конструктивные понятия "трудность задания" и "уровень знаний". Так, одно задание считается более трудным, чем другое, если вероятность правильного ответа на первое задание меньше, чем на второе, независимо от того, кто их выполняет. Аналогично, вероятность правильно ответа более подготовленного студента выше, чем менее подготовленного.
5. Благодаря простой структуре модели существуют удобные вычислительные процедуры для многоаспектной проверки адекватности модели: для всего набора тестовых результатов, для каждого испытуемого, для каждого задания и для каждого конкретного ответа.
Применение результатов психодиагностического тестирования при оценке качества обучения
На рис. 1 показано, что разработанная авторами информационная технология оценки качества обучения включает в себя как педагогическое, так и психодиагностическое тестирование. Остановимся более подробно на особенностях использования компьютерных технологий при анализе результатов психодиагностического тестирования.
Данные психодиагностического тестирования, в основном, измеряются в трех измерительных шкалах: номинальной, ранговой и количественной. Поэтому возникла необходимость разработать алгоритм обработки и анализа результатов психодиагностического тестирования, который бы позволял работать одновременно со всей совокупностью разнородных признаков.
Наличие разнотипной информации в описании состояния объекта при решении задач классификации и диагностики может создать для исследователя дополнительные трудности [7, 8]. Для решения данных задач оценки качества обучения студентов вуза авторами разработана система поддержки принятия решения по результатам компьютерного тестирования, схема которой представлена на рис. 4.
[
Результаты тестирования
Перевод в номинальную шкалу
Алгоритм принятия решения с учетом разнотипности исходных данных
Преобразование тестовых баллов
Построение функций принадлежности
Алгоритм принятие решения в условиях неопределенности
Рис. 4. Схема анализа результатов тестирования
Представленная на рис. 4 схема анализа результатов тестирования программно реализована и включена в качестве отдельных модулей (каждый из которых может работать и в автономном режиме) в разработанное авторами программное обеспечение [3].
Для работы с разнотипными признаками разработан алгоритм принятия решений на основе использования неоднородной последовательной процедуры распознавания Е.В. Гублера [3]. Достоинством выбранного нами подхода является возможность перехода от количественной и ранговой шкал к номинальной шкале с произвольным количеством градаций исследуемых признаков, в отличие от известных методов, в которых возможен переход только к дихотомической шкале [3].
На первом этапе проводится корреляционный анализ имеющихся признаков. В зависимости от типа измерительной шкалы использовались: коэффициент корреляции Пирсона, ранговый коэффициент корреляции Спирмена, бисериальный коэффициент корреляции, рангово-бисериальный коэффициент корреляции, коэффициент ассоциации, коэффициент взаимной сопряженности. На втором этапе проводится преобразование исходных признаков в зависимости от измерительной шкалы и формирование матрицы признаков на основе корреляционного анализа и полученных значений информативности каждого признака. На третьем этапе происходит построение матрицы диагностических коэффициентов и вывод решающих правил для принятия решения.
С использованием описанного алгоритма решены задачи прогнозирования [2, 3]: - успешности обучения студентов младших курсов на основе анализа личностных качеств;
- успешной интеллектуальной самореализации студентов старших курсов на основе анализа показателей познавательной деятельности. Результаты как психологического, так и педагогического тестирования чаще всего выражены в виде тестовых баллов. Однако, окончательная интерпретация результатов тестирования связана с отнесением полученной числовой характеристики к одной из следующих градаций: очень низкий, низкий, средний, высокий и очень высокий уровень измеряемого качества. При установлении граничных точек для данных интервалов присутствует элемент нечеткости и неопределенности. Таким образом, результат тестирования можно рассматривать как лингвистическую переменную, и использовать для дальнейшего анализа математический аппарат теории нечетких множеств.
Для решения задач оценки качества обучения наиболее эффективным оказался алгоритм принятия решения в условиях неопределенности, основанный на использовании метода анализа альтернатив (принятие решений в условиях неопределенности) [3].
При использовании алгоритма принятия решения в условиях неопределенности оценки объектов задаются как степени соответствия альтернатив понятиям, определяемым критериями. На основе алгоритма принятия решения в условиях неопределенности разработана программа для выбора абитуриентом по результатам компьютерного психодиагностического тестирования наиболее подходящего факультета.
Разработанные нами алгоритмы программно реализованы и внедрены в Томском политехническом университете, а также других томских вузах [3].
Работа частично поддержана грантом РФФИ, проект 03-06-80128
СПИСОК ЛИТЕРАТУРЫ
1. Иванкина Л.И., Берестнева О.Г., Пермяков О.Е. Современный технический университет: Философский и психолого-социологический аспект исследования состояния и развития университета. —Томск: Изд-во Том. ун-та, 2003. —110 с.
2. Берестнева О.Г., Марухина О.В. Методы многомерного анализа данных в задачах оценки качества образования // Радиоэлектроника. Информатика. Управление. — 2002. — № 1. — С. 15—26.
3. Марухина О.В. Алгоритмы обработки информации в задачах оценивания качества обучения студентов вуза на основе экспе-ртно-статистических методов: Дис.... канд. техн. наук: 05.13.01. —Томск, 2003. — 165 с.
4. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002. — 432 с.
5. Минин М.Г. Диагностика качества знаний и компьютерные технологии обучения. —Томск: Изд-во ТГПУ, 2000. —216 с.
6. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. — М.: Прометей, 2000. —168 с.
7. Берестнева О.Г., Иванкина Л.И., Марухина О.В., Пермяков О.Е. Концепция качества образования в техническом вузе // Качество образования: Системы управления, достижения, проблемы: Материалы V Междунар. научно-методич. конф. — Новосибирск: Изд-во НГТУ, 2003. — Том 1. — С. 64-68.
8. Марухина О.В., Берестнева О.Г. Системный подход к оценке качества образования // Стандарты и качество. — 2002. — № 4. —С. 35—36.
