CC BY
81
О.В. Марухина, О.Г. Берестнева
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ДЛЯ ЗАДАЧ ОЦЕНИВАНИЯ КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ ВУЗА НА ОСНОВЕ ЭКСПЕРТНО-СТАТИСТИЧЕСКИХ МЕТОДОВ
В статье рассмотрен ряд предложенных авторами алгоритмов: построения формализованных критериев для оценки качества объектов образовательного процесса, принятия решений по результатам тестирования, принятия решения на основе неоднородной последовательной процедуры распознавания. Все они входят в состав информационной технологии, построенной авторами для решения задач оценки качества обучения студентов в техническом университете.
Целью настоящего исследования была разработка информационной технологии для решения задач оценки качества обучения студентов технического университета. Для достижения поставленной цели необходимо было решить следующие задачи [1]: разработать схему оценки качества обучения студентов технического вуза; создать инструментарий (алгоритмическую и программную базу) для обработки информации, полученной в результате исследования качества отдельных объектов образовательного процесса; сформировать набор психодиагностических и педагогических измерителей (тестов); разработать алгоритм построения формализованных критериев для решения задач оценки качества объектов
образовательного процесса; разработать систему поддержки принятия решения для определения степени соответствия объекта образовательного процесса некоторым заданным условиям и прогнозирования успешности абитуриентов, студентов и молодых специалистов в различных сферах интеллектуальной деятельности; разработать программное обеспечение для контроля и оценки остаточных знаний абитуриентов, студентов и выпускников.
Информационная технология оценки качества обучения студентов базируется на экспертно-статистических алгоритмах, предназначенных для решения прикладных задач и позволяющих создать единый комплекс программного обеспечения.
1. УНИВЕРСАЛЬНЫЙ БЛОК АНАЛИЗА РЕЗУЛЬТАТОВ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ
Применение экспертного оценивания позволяет получить наиболее полную информацию о состоянии образовательного процесса и особенно тех его составляющих, для оценки которых невозможно использовать
количественные показатели. На рис. 1 приведена общая схема оценки качества обучения студентов с использованием разработанных авторами алгоритмов.
ОЦЕНИВАНИЕ КАЧЕСТВА ОБУЧЕНИЯ
]
ЭКСПЕРТНОЕ ОЦЕНИВАНИЕ
Обработка и анализ результатов экспертного оценивания
Выявления скрытых закономерностей в структуре образовательного процесса на основе многомерного статистического анализа
Построение формализованных критериев для оценки качества объектов образовательного процесса
ТЕСТОВЫЕ ТЕХНОЛОГИИ
ПСИХОЛОГИЧЕСКИЕ
3
1
ПЕДАГОГИЧЕСКИЕ
У г 1
Приняти решения по результатам тестирования
J
Алгоритм принятия решения с учетом разнотипности исходных данных
Алгоритм принятие решения в условиях неопределенности
Рис. l. Схема оценки качества обучения
В качестве экспертов могут выступать студенты, выпускники вуза, потенциальные работодатели и преподаватели. В статье предлагается комплексный алгоритм обработки и анализа результатов экспертных оценок, схема которого представлена на рис. 2. На основе этого алгоритма решена, в частности, задача выявления требований руководителей предприятий и фирм к молодым специалистам [2]. В рамках решения задачи выявления требований руководителей предприятий и фирм к молодым специалистам получены резуль-
таты экспертного оценивания специалистов 29 фирм, среди которых были широко известные фирмы Томска и области, например такие, как Waterloo Hydrogeologic (создание программного обеспечения), Игрем (продажа и сервисное обслуживание компьютерной техники), ЗАО НПФ «Сибнеф-текарт» (разработка программно-аппаратных комплексов), Контек (разработка и внедрение программного обеспечения), Гранит (сборка компьютеров, настройка программного обеспечения), Сибирский химический комбинат и др. [1].
Ранговая или количественная
Номинальная
Рис. 2. Схема алгоритма обработки и анализа результатов экспертного оценивания
Основной целью анкетирования было выявление основных характеристик специалиста в области компьютерных технологий, программного и математического обеспечения ЭВМ. Результаты анализа экспертных оценок показали, что мнения экспертов оказались согласованными, кроме четырех фирм, здесь требуется привлечение дополнительных экспертов для получения достоверных результатов.
В процессе обработки выделилось блоки профессионально значимых качеств: общие требования; специальные требования; требования к личности.
Для определения обобщенных профессионально значимых качеств специалиста-выпускника АВТФ с точки зрения руководителей предприятий и организаций, был проведен факторный анализ. Результаты решения данной задачи представлены в табл. 1.
Т а б л и ц а 1
Выявленные группы экспертов-руководителей
Груп- па % от общего числа экспертов Описание
1 41 Эта группа руководителей «ждет» от специалиста только безупречного знания своего дела, высокой работоспособности
2 23 Эти руководители «ждут» от молодого специалиста динамичной работы: стремления к профессиональному росту, самостоятельности в работе
3 17 Эти руководители «ждут» от молодого специалиста высокую профессиональную подготовку и динамичную работу
4 11 Это авторитарный тип руководителя, который в молодом специалисте видит только качественную рабочую силу
5 8 Равнодушный тип. Эти руководители не смогли определить наиболее приемлемые личностные качества молодого специалиста для работы на своем предприятии, лишь бы работал
Анализ оценок экспертов посредством предложен- часть работодателей оценили предлагаемые качества,
ных авторами алгоритмов показывает, что большая ориентируясь на профессиональную модель будущего
специалиста. Прослеживается также тенденция в универсальном подходе подготовки специалиста, ориентированном на наличие творческих, интеллектуальных
способностей и определенных личностных качеств студентов, способствующих профессиональной самореализации.
2. ВЫЯВЛЕНИЯ СКРЫТЫХ ЗАКОНОМЕРНОСТЕЙ В СТРУКТУРЕ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА НА ОСНОВЕ МНОГОМЕРНОГО СТАТИСТИЧЕСКОГО АНАЛИЗА
Авторами предложена технология выявления скрытых закономерностей объектов образовательного процесса на основе методов многомерного статистического анализа. В состав этой технологии входит разработанный авторами алгоритм построения формализованных критериев для решения прикладных задач оценки качества объектов образовательного процесса, который является развитием подхода, предложенного в работах С.А. Айвазяна, З.И. Бежаева, О.В. Староверова [3].
Факторный анализ использовался для понижения размерности множества исходных признаков и получения формализованных критериев для количественной оценки качества объектов образовательного процесса. Основная модель факторного анализа представлена формулой (1) [4].
где у у = 1,
= 1 аУЛ/ + ег , I = 1, Р, (1)
/ =1
, к - латентные переменные (факторы),
к <р; х,,..., / = 1, ..., р - наблюдаемые переменные (исходные признаки); ау - факторные нагрузки; е/ - случайная ошибка измерения.
Полученные факторы представляют собой линейные функции вида:
У/ = Уха • х1 + /2 ■ х2 + ••• + Лр ■ хр, (2)
где / = 1,..., т;/ = 1, 2,..., р; т - количество факторов; р -количество переменных; Л/ - нагрузка /-го фактора на /-ю переменную; х/ - переменные. Предлагается использовать функцию вида (2) в качестве формализованного критерия для оценки качества объектов образовательного процесса. Для выделения имеющихся однородных групп (типов) исследуемых объектов в работе использовался метод к-средних кластерного анализа.
В [1, 5] показана эффективность работы предложенного подхода на примере решения следующих прикладных задач: оценка качества содержания учебных дисциплин; оценка качества преподавательской деятельности. Так, например, в задаче оценки профессио-
нальных качеств преподавателей получены следующие формализованные критерии (исходные признаки х/ являются результатами анкетирования студентов):
- критерий УПедМ - для оценки педагогического мастерства преподавателя: УПедМ = 0,87x1+ 0,87х2+ 0,92х3 + + 0,83х4 + 0,88х5 + 0,78х6 + 0,89х7 + 0,68х8 + 0,79х14;
- критерий УЛичК - для оценки личностного качества преподавателя: УЛичК= 0,93х9+ 0,73х12 + 0,60х13 +0,54х18;
- критерий УПрофк - для оценки профессиональной компетентности преподавателя: УПрофК= 0,86хю+ 0,51хц, где х1 - доступное изложение материала; х2 - разъяснение сложных мест; х3 - выделение главных моментов; х4 - умение вызвать и поддержать интерес аудитории к предмету; х5 - обратная связь с аудиторией; х6 - побуждение к дискуссии; х7 - логика в изложении; х8 -культура речи; х9 - умение снять напряжение аудитории; х10 - ориентация на использование изученного материала в будущей деятельности; хи - творческий подход; х12 - доброжелательность и тактичность; х!3 - терпение; х14 - требовательность; х^ - заинтересованность в успехах студентов; х!6 -объективность в оценке знаний; х17 - уважительное отношение к студентам; х!8 -эрудиция.
Применение кластерного анализа при решении данной задачи позволило выявить основные типы преподавательской деятельности [4].
Проверка эффективности полученных формализованных критериев (Упедм, Уличк, Упрофк) была проведена на основе анализа значений коэффициента корреляции Спирмена (г) между значениями данных критериев и рейтинговыми оценками профессиональной деятельности преподавателя по этим же составляющим. Полученные значения г оказались статистически значимыми (р < 0,01).
Применение кластерного анализа при решении данной задачи позволило выявить основные типы преподавательской деятельности [5, 9]. Результаты решения других прикладных задач приведены в работе [1].
3. АЛГОРИТМ ПРИНЯТИЯ РЕШЕНИЯ С УЧЕТОМ РАЗНОТИПНОСТИ ИСХОДНЫХ ДАННЫХ
Для работы с разнотипными признаками предложен алгоритм принятия решений с учетом разнотипности исходных данных, основанный на подходе, предложенным Е.В. Гублером (использование неоднородной последовательной процедуры распознавания - НПП) [6]. В этом случае формула принятия решения имеет вид
10
а $ п 1 — а
<Zl.Dk (Ху ) < 10 1д -
1 — в
в
р(ху / 4)
“у =101< РЫ,
(3)
где а и в - ошибки 1-го и 2-го рода; Ок(х/) - диагностический коэффициент /-го признака для / диапазоне; Аь А2 -классы состояний; Р(х//Ак) - вероятность попадания объекта, принадлежащего к классу А в диапазон / признака /.
Достоинством выбранного нами подхода является возможность перехода к номинальной шкале с произвольным количеством градаций исследуемых признаков. С использованием описанного алгоритма решены некоторые следующие задачи [1].
Задача 1. Прогнозирование успешности обучения студентов младших курсов на основе анализа личностных качеств. В этом случае А1 - «успешные», А2 - «неуспешные» студенты.
ЗАДАЧА 2. Прогнозирование успешной интеллектуальной самореализации студентов старших курсов на основе анализа показателей познавательной деятельности: А1 - имеющие реальные достижения в интеллектуальной сфере деятельности; А2 - не имеющие реальных достижений в интеллектуальной сфере деятельности.
х
Объем обучающей выборки для этих задач составил соответственно 194 и 220 чел., контрольной - 100 и 110 чел. Результаты работы неоднородной последовательной
процедуры распознавания на контрольной выборке при а = 0,05 и р = 0,1приведены в табл. 2.
Т а б л и ц а 2
Результаты работы НПП
№ задачи % правильно распознанных % неправильно распознанных % неопределенных ответов
1 78 15 7
2 80 5 15
4. АЛГОРИТМ ПРИНЯТИЯ РЕШЕНИЯ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ
Результаты как психологического, так и педагогического тестирования чаще всего выражены в виде тестовых баллов. Однако окончательная интерпретация результатов тестирования связана с отнесением полученной числовой характеристики к одной из следующих градаций: очень низкий, низкий, средний, высокий и очень высокий уровень измеряемого качества. При установлении граничных точек для данных интервалов присутствует элемент нечеткости и неопределенности.
Таким образом, результат тестирования можно рассматривать как лингвистическую переменную, в связи с чем предложен алгоритм принятия решения в условиях неопределенности, основанный на использовании метода анализа альтернатив, предложенный А. Борисовым и И. Крумбергом [7]. Для построения функций принадлежности выбран метод интервальных оценок.
В этом случае если имеется интервал [Н , Н0] значений критерия Н, который соответствует понятию «хороший» объект, то с приближением значения Н1 к границе h возможность признания а «хорошим» объектом линейно возрастает (рис. 3). При этом для определения функции принадлежности используются формулы (4). ц (и) = 0, если На < Н0;
( ) на - н°
ц(и) = -
,если к < ка < к
к - к° ц (и) = 1, если ка > И0.
(4)
Рис. 3. Представление функции принадлежности
На основе алгоритма принятия решения в условиях неопределенности разработана программа для выбора абитуриентом по результатам компьютерного психодиагностического тестирования наиболее подходящего факультета. Абитуриенты оцениваются по показателям, являющимся наиболее важными для выбранного факультета. Для каждого из факультетов были определены пороговые значения Н0 и Н по интеллектуальным и личностным показателям [1,8].
5. АЛГОРИТМ ОЦЕНКИ КАЧЕСТВА ПЕДАГОГИЧЕСКОГО ТЕСТА
Педагогическое тестирование на основе компьютерных технологий официально признано основным средством диагностики качества знаний в проекте Федерального закона «О государственном образовательном стандарте основного общего образования». Задания педагогического теста выражаются не в виде вопросов и задач, а представляют собой утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания.
Успех участника тестирования в решении определенного тестового задания зависит, в основном, от двух факторов: трудности задания и подготовленности испытуемого [10]. Для оценки вероятности правильного ответа при данном уровне подготовленности студентов нами были выбраны логистическая модель вероятности успеха Бирнбаума.
Р, =■
1
і (Єі -51)
(5)
где 5 - логит уровня трудности у-го задания теста; 9 -логит уровня подготовленности /-го испытуемого; ау -дифферегцирующая способность у-го задания теста.
Основное достоинство этой модели в том, что она преобразует измерения, сделанные в дихотомических и порядковых шкалах в линейные измерения, в результате качественные данные анализируются с помощью количественных методов.
На рис. 4 приведены характеристические кривые (модель Бирнбаума) для заданий теста по дисциплине «Компьютерная графика» для студентов IV курса одного из факультетов Томского политехнического университета [1].
6. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВ ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ
Авторами разработан программный комплекс Мв-8У8ТБМ, предназначенного для решения задач оценки качества обучения студентов вуза, а также для автоматизации алгоритмов и решения задач, описанных выше
в статье. Программное обеспечение является универсальным и может быть адаптировано для внедрения в любом вузе.
а
Закрыть
- -1.96
- -1.24 -0.73
- -0.73 -0.47
- -0.09
- -0.04 -0
-0.17
-0.22
-0.26
-0,4
-0.4
0.49
-1.61
-3.15
-4 -3 -2 -1 0 1 2 3 4 5
Уровень подготовки, логит
- Дифференцирующая способность заданий
Х13 |Х7 |Х11 ХЗ Х9 |Х4 Х12 Х2 |Х15 |Х10 |Х5 Х14 Х6 |Х1 Х8
0.34 0.42 1.07 0.82 0.74 О.ЭЗ 0.63 1.13 ■0.14 0.63 0.13 0.65 0.31 0.72 0.24 0.04
Рис.4. Характеристические кривые заданий теста контроля остаточных знаний
Программный комплекс имеет дружественный пользователю интерфейс, гибкую систему настроек, сопровождается пакетом справочной информации и представляет собой набор стандартных Windows-приложений, отвечающих всем современным требованиям программного продукта для операционных систем Windows 95/98МГ/2000. Все базовые функции системы разделены на два логических блока:
1) блок компьютерного тестирования;
2) универсальный блок анализа результатов экспертного оценивания.
В блоке компьютерного тестирования предусмотрено два варианта проведения тестирования: в бланковой форме, с последующим вводом результатов в базу данных; в интерактивном режиме. В блоке экспертного оценивания также возможно два варианта получения экспертных оценок: посредством анкетирования и ввода данных оператором в базу данных через ІШетеі
ВЫВОДЫ
Проведенные авторами исследования были направлены на решение задач, связанных с разработкой информационной технологии для оценки качества объектов образовательного процесса.
1. Разработана информационная технология для решения задач оценки качества обучения студентов вуза, отличительной особенностью которой является возможность использования в качестве инструментария
ЛИТЕРАТУРА
1. Марухина О.В. Алгоритмы обработки информации в задачах оценивания качества обучения студентов вуза на основе экспертностатистических методов: Дис. ... канд. техн. наук. Томск, 2003. 164 с.
2. Берестнева О.Г., Марухина О.В. Компьютерные технологии в оценке качества обучения // Изв. Томского политехнического университета. 2003. Т. 306. № 6. С. 106-112.
3. Айвазян С.А., Бежаев З.И., Староверов О.В. Классификация многомерных наблюдений. М.: Статистика, 1974. 240 с.
4. Берестнева О.Г., Уразаев А.М., МуратоваЕ.А. Математические методы в психологии. Томск: Изд-во ТГПУ, 2001. 304 с.
5. Берестнева О.Г., Марухина О.В. Методы многомерного анализа данных в задачах оценки качества образования // Радиоэлектроника. Ин-
форматика. Управление. 2002. № 1. С. 15-26.
6. ГублерЕ.В. Вычислительные методы анализа и распознавания патологических процессов. Л.: Медицина,1978. 294 с.
7. Борисов А., Крумберг И., Федоров И. Принятие решений на основе нечетких моделей. Рига: Знание, 1990. 352 с.
как тестовой технологии, так и методов экспертного оценивания.
2. Предложенные авторами алгоритмы обработки и анализа результатов экспертного оценивания и технология выявления скрытых закономерностей объектов образовательного процесса были использованы для решения следующих задач: оценка профессиональных качеств преподавателей, оценка качества содержания учебных дисциплин, выявление требований работодателей к потенциальным специалистам. Получены формализованные критерии для оценки качества педагогической деятельности и оценки качества преподавания учебных дисциплин.
3. Построена система поддержки принятия решения по результатам компьютерного тестирования, с использованием которой решены задачи: прогнозирование успешности обучения студентов младших курсов на основе анализа личностных качеств, прогнозирование успешной интеллектуальной самореализации студентов старших курсов на основе анализа показателей познавательной деятельности, оценка соответствия личностных качеств абитуриента выбранному факультету. Полученные решающие правила обеспечивают качество распознавания 80-86 %.
4. Разработанный авторами статьи программный комплекс является универсальным инструментом для решения задачи мониторинга и оценки качества образовательной деятельности вуза. Отдельные программные модули комплекса имеют самостоятельное значение и могут использоваться в автономном режиме.
8. Марухина О.В., Берестнева О.Г. Системный подход к оценке качества образования // Стандарты и качество. 2002. № 4. С. 35-36.
9. Марухина О.В., Берестнева О.Г., Иванкина Л.И. Применение методов многомерного анализа данных для оценки качества деятельности преподавателя // Кибернетика и вуз. Межвузовский научно-технический сборник. Вып. 30. Томск: Изд-во ТПУ, 2003. С. 108-116.
10. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. Москва, 2000. 168 с.
Статья представлена кафедрой оптимизации систем управления и кафедрой прикладной математики Томского политехнического университета, поступила в научную редакцию «Кибернетика» 15 мая 2004 г.
