CC BY
91
Таблица 6. Расчет коэффициента степени соответствия проектных решений Кпр.
Предлагаемые мероприятия Спл Сф К
1. Механизированная крепь сопряжения на вентиляционном штреке 1050 1000 1 - 1050 "1000 = 0,95 1050
2. Этажно-панельный способ подготовки 1474 334 1474 - 334 1 1474 334 _ 0,2з 1474
3. Поддержание конвейерной выработки породными опорами 685 94 1 - 685 - 94 _ 0,14 685
4. Демонтаж механизированных комплексов 4,3 3,1 1 - 43 - 31 _ 0,72 4,3
5. Система участковый транспорт -ленточный конвейер 1050 1000 1 -1050 -1000 _ 0,95 1050
Затем вычисляется коэффициент производственной безопасности по формуле (*) - в скобках даны значение коэффициента по базовому варианту для мероприятий:
- № 1: ^^=0,62-0,428-0,95=0,25 (0,20);
- № 2: ^=1,03-0,428-0,23=0,10 (0,05);
- № 3: ^=0,87-0,265-0,14=0,03 (0,02);
- № 4: ^=1,03-0,428-0,72=0,32 (0,15);
- № 5: ^=0,87-0,265-0,95=0,22 (0,11)-
Выводы
Произведенные расчеты позволяют сделать вывод о более высоком уровне безопасности при предлагаемых технических мероприятиях за счет повышения степени механизации выполнения производственных процессов, снижения объема трудоемких работ и уменьшения уровня производственного травматизма-
СПИСОК ЛИТЕРАТУРЫ
1- Евдокимов Ф-И-, Мизина Е-В- Социально-технический уровень технологических схем угледобычи и методы их количественной оценки // Уголь- -1991- - № 7- - С- 32—362- Белов П-Г- Теоретические основы системной инженерии безопасности- - Каранганда: Изд-во КМУГА- -1997- - 426 с-
3. Харьковский В.С., Демин В.Ф., Демина Т.В. Социально-технический уровень технологических схем очистной выемки угольных пластов // Новое в охране труда, окружающей среды и защите человека в чрезвычайных ситуациях: Тр. V Междунар. конф. -Алматы: Изд-во КазНТУ. -2002. -Ч. 1. -С. 353-355.
4. Денисенко Г.Ф. Охрана труда: Учеб. пособие для инж.-экон. спец. вузов. - М: Высшая школа, 1985. - 319 с.
УДК 681.3.01
АНАЛИЗ И ОБРАБОТКА ИНФОРМАЦИИ В ЗАДАЧАХ ОЦЕНИВАНИЯ КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ ВУЗА
О.В. Марухина, О.Г. Берестнева
Томский политехнический университет E-mail: [email protected]
Оценка качества обучения в высшей школе является в наше время одной из актуальных задач, стоящих перед высшей школой. На основе анализа статистических показателей экспертной оценки качества объектов образовательного процесса сделан вывод о том, что использование того или иного показателя обусловлено типом шкалы экспертных оценок Предложен комплексный алгоритм обработки и анализа результатов экспертной оценки в соответствии с типом измерительной шкалы. Рассмотрен ряд алгоритмов: построения формализованных критериев для оценки качества объектов образовательного процесса, принятия решений по результатам тестирования, принятия решения на основе неоднородной последовательной процедуры распознавания. Все предложенные авторами алгоритмы входят в состав информационной технологии, построенной для решения задач оценки качества обучения в высшей школе.
Одной из наиболее актуальных проблем в области образования является повышение его качества- В настоящее время произошли важные изменения в процессах международной стандартизации в области менеджмента качества - разработана и принята новая версия стандартов ИСО серии 9000 в версии 2000 года, регламентирующих процесс создания, сертификации и поддержания в актуальном состоянии систем менеджмента качества на
предприятии (в организации)- Актуальность исследований обусловлена необходимостью разработки и внедрения новых методов измерения и алгоритмов обработки информации для оценки качества обучения студентов, в том числе необходимостью дальнейших исследований в области оценки и управления качеством в Томском политехническом университете - для развития и усовершенствования существующей системы менеджмента качества
[1-5]. Основным направлением наших исследований была разработка новых моделей и алгоритмов для измерения качества различных составляющих образовательного процесса [6-13].
Очевидно при формировании понятия "качество образования", прежде всего, необходимо ориентироваться на определение "Качество - степень соответствия присущих характеристик требованиям", используемое в Международном стандарте ИСО 9000:2000. Кроме того, согласно терминологии ИСО 9000 - качество "практическое воплощение" - удовлетворение потребностей и ожиданий; качество "техническое воплощение" - свойство объекта, относящееся к потребностям и ожиданиям. В данной работе используются термины и определения, приведенные в стандарте ГОСТ Р ИСО серии 9000:2001.
Существуют различные показатели качества образовательной деятельности. Очевидно, что образовательная организация (вуз) имеет ярко выраженную специфику по сравнению с производственным предприятием. Множество разнородных процессов, происходящих в вузе (научно-исследовательский, учебный, производственный, финансовый, административный, хозяйственный и пр.), в то же самое время объединены основной функцией - каждый из них вносит вклад в качество образования как интегральный результат деятельности вуза. В зависимости от содержания работы образовательного учреждения и ее этапа, приоритет в оценке качества может быть отдан разным аспектам и соответствующим показателям качества. В качестве основных критериев оценки качества обучения нами выбраны следующие [8-10, 11]:
Оценка абитуриентов - оценка качества абитуриентов представляет собой степень соответствия личностных характеристик абитуриента выбранному факультету. В качестве системы показателей предлагается использовать: 1) оценку психологического соответствия выбранной специальности (тесты на профпригодность, психологические тесты); 2) оценку знаний абитуриентов (показатель, значение и критерии которого определяются на основе данных приемной комиссии); 3) оценку физического состояния (значение и критерии этого показателя определяются медицинской комиссией). В статье рассматриваются только вопросы оценки профпригодности.
Качество преподавательской деятельности - показатели, характеризующие качество деятельности преподавателя: 1) оценка профессиональных качеств; 2) оценка качества содержания учебной дисциплины.
Качество подготовленных специалистов - оценка качества подготовленного специалиста производится с нескольких позиций: 1) степень соответствия Государственному образовательному стандарту; 2) степень соответствия требованиям предприятий или фирм-заказчиков; 3) степень соответствия профессионально значимым психологическим и психофизиологическим качествам специалиста.
Для решения задачи оценки качества обучения студентов нами разработана информационная технология, включающая универсальные алгоритмы и методики. На рис. 1 приведена общая схема оценки качества обучения студентов с использованием разработанных авторами алгоритмов.
Применение экспертного оценивания позволяет получить наиболее полную информацию о сос-
ОЦЕНКА КАЧЕСТВА ОБУЧЕНИЯ
ЭКСПЕРТНОЕ ОЦЕНИВАНИЕ
Обработка и анализ результатов экспертного оценивания
Выявления скрытых закономерностей в структуре образовательного процесса на основе многомерного статистического анализа
Построение формализованных критериев для оценки качества объектов образовательного процесса
ТЕСТОВЫЕ ТЕХНОЛОГИИ
ПСИХОЛОГИЧЕСКИЕ
ПЕДАГОГИЧЕСКИЕ
Принятие решения по результатам тестирования
п
1 г
Алгоритм принятия решения с учетом разнотипности исходных данных Алгоритм принятия решения в условиях неопределенности
Рис. 1. Схема оценки качества обучения
тоянии образовательного процесса и особенно тех его составляющих, для оценки которых невозможно использовать количественные показатели. В качестве экспертов могут выступать студенты, выпускники вуза, потенциальные работодатели и преподаватели. Нами предложен комплексный алгоритм обработки и анализа результатов экспертных оценок, схема которого представлена на рис. 2.
Данный алгоритм был использован при решении задачи выявления основных требований руководителей предприятий и фирм к выпускникам Томского политехнического университета по специальностям, связанным с разработкой и использованиям современных компьютерных технологий.
Нами предложена технология выявления скрытых закономерностей объектов образовательного процес-
Сбор первичных данных (экспертных оценок)
ранговая или количественная
номинальная
Определение согласованности мнений экспертов по величине коэффициента взаимной сопряженности К
1 г
Определенш значимости ;уровня о для К
Рис. 2. Схема алгоритма обработки и анализа результатов экспертного оценивания
са на основе методов многомерного статистического анализа. В состав этой технологии входит разработанный автором алгоритм построения формализованных критериев для решения прикладных задач оценки качества объектов образовательного процесса, который является развитием подхода, предложенного в работах С.А. Айвазяна, О.В. Староверова.
Факторный анализ использовался для понижения размерности множества исходных признаков и получения формализованных критериев для количественной оценки качества объектов образовательного процесса. Основная модель факторного анализа представлена формулой (1): к
х = Е +' 1=р
]=1
(1)
где i = 1,...,т; j = 1,2,...,р; m -количество факторов; p - количество переменных;^ - нагрузка /-ого фактора на j-ую переменную; х] - переменные. Предлагается использовать функцию вида (2) в качестве формализованного критерия для оценки качества объектов образовательного процесса.
Так, например, в задаче оценки профессиональных качеств преподавателей получены следующие формализованные критерии для оценки деятельности преподавателя:
- - педагогического мастерства:
Упш = 0,87х1 + 0,87х2 +0,92х +0,83х4 + 0,88х5+ + 0,78х6 + 0,89х7 + 0,68x8 + 0,79х14;
- УЛшК - личностных качеств:
Ули,к = 0,93х9 + 0,73х12 + 0,60х13 +0,54х18;
где f, j = 1, ..., k - латентные переменные (факто- - W - пРофессиональной компетентности:
ры), k <p; x,, i = 1, ..., p - наблюдаемые переменные (исходные признаки); а9 - факторные нагрузки; ei - случайная ошибка измерения.
Полученные факторы представляют собой линейные функции вида:
Yi = f11 X1 + f12 Х2 + - + f1pXp , (2)
Улрофк 0,86x,r
+ 0,51х„
где х1 - доступное изложение материала, х2 - разъяснение сложных мест, х3 - выделение главных моментов; х4 - умение вызвать и поддержать интерес аудитории к предмету, х5 - обратная связь с аудиторией, х6 - побуждение к дискуссии, х7 - логика в изложении, х8 - культура речи, х9 - умение снять напряже-
ние аудитории, х10 - ориентация на использование изученного материала в будущей деятельности, х11 - творческий подход, х12 - доброжелательность и тактичность, х13 - терпение, х14 - требовательность, х15 - заинтересованность в успехах студентов, х16 - объективность в оценке знаний, х17 - уважительное отношение к студентам, х18 - эрудиция.
Проверка эффективности полученных формализованных критериев (УПеШ, УЛтК, УПрофК) была проведена на основе анализа значений коэффициента корреляции Спирмена (г) между значениями данных критериев и рейтинговыми оценками профессиональной деятельности преподавателя по этим же составляющим. Полученные значения г оказались статистически значимыми (^<0,01). Для выделения имеющихся однородных групп (типов) исследуемых объектов использовался метод ¿-средних кластерного анализа.
Показана эффективность работы предложенного подхода на примере решения следующих прикладных задач: выявление основных требований к выпускникам факультета автоматики и вычислительной техники Томского политехнического университета со стороны потенциальных работодателей; оценка качества содержания учебных дисциплин; оценка качества преподавательской деятельности.
Применение кластерного анализа при решении данной задачи позволило выявить четыре основных типа преподавателей в Томском политехническом университете [8, 10, 11, 13]. Описание выявленных типов приведено на рис. 3.
Для решения данных задач оценки качества образовательного процесса посредством компьютерного тестирования (как психодиагностического, так и педагогического) авторами разработана система поддержки принятия решения по результатам компьютерного тестирования [7, 11].
Принятие решения в случае, если объекты образовательного процесса характеризуются разнотипными признаками, осуществляется на основе неоднородной последовательной процедуры распознавания. В этом случае формула принятия решения имеет вид (3) [14]:
а 1 — а
101д — <££ЩX !) <1018--,
1 -в
Бкг1 = 1018
Р( Х-/Л) Р( Ху/А)'
(3)
ЗАДАЧА 1. Прогнозирование успешности обучения студентов младших курсов на основе анализа личностных качеств. В этом случае А1 - "успешные" сту-
А М М
денты, А2 - неуспешные .
ЗАДАЧА 2. Прогнозирование успешной интеллектуальной самореализации студентов старших курсов на основе анализа показателей познавательной деятельности. А1 и А2 - имеющие и не имеющие реальных достижений в интеллектуальной сфере деятельности.
Объем обучающей выборки для этих задач составил соответственно 194 и 220 человек, контрольной - 100 и 110 человек. Результаты работы неоднородной последовательной процедуры распознавания на контрольной выборке при а = 0,05 и в = 0,1 приведены в таблице.
Таблица. Результаты работы неоднородной последовательной процедуры
Правильно Неправильно Не
Задача распознанные, распознанные, определено,
% % %
1 78 15 7
2 80 5 15
где а и в- ошибки 1-го и 2-го рода; Бк(х^) - диагностический коэффициент 1-го признака для ./'-диапазона; А1, А2 - классы состояний; Р(Х'/Ак) - вероятность попадания объекта, принадлежащего к классу Ак, в диапазон' признака г.
Достоинством выбранного нами подхода является возможность перехода к номинальной шкале с произвольным количеством градаций исследуемых признаков. С использованием описанного алгоритма решены следующие задачи:
Результаты как психологического, так и педагогического тестирования чаще всего выражены в виде тестовых баллов. Однако, окончательная интерпретация результатов тестирования связана с отнесением полученной числовой характеристики к одной из следующих градаций: очень низкий, низкий, средний, высокий и очень высокий уровень измеряемого качества. При установлении граничных точек для таких интервалов присутствует элемент нечеткости и неопределенности. Результат тестирования можно рассматривать как лингвистическую переменную, в связи с чем предложен алгоритм принятия решения в условиях неопределенности (модернизация метода анализа альтернатив А. Борисова и И. Крумберга [15]. Для построения функций принадлежности выбран метод интервальных оценок. В этом случае если имеется интервал [к*, к0] значений критерия, который соответствует понятию "хороший" объект, то с приближением значения к границе к* возможность признания объекта критерия "хорошим" линейно возрастает.
На основе алгоритма принятия решения в условиях неопределенности разработана программа для выбора абитуриентом по результатам компьютерного психодиагностического тестирования наиболее подходящего факультета. Абитуриенты оцениваются по показателям, являющимся наиболее важными для выбранного факультета. Для каждого из факультетов были определены пороговые значения к0 и к*, по интеллектуальным и личностным показателям. Полученные результаты для некоторых факультетов Томского политехнического университета приведены в работе [11].
Педагогическое тестирование на основе компьютерных технологий официально признано основным средством диагностики качества знаний в проекте
Федерального закона "О государственном образовательном стандарте основного общего образования". Задания педагогического теста выражаются не в виде вопросов и задач, а представляют собой утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания. Успех участника тестирования в решении определенного тестового задания зависит, в основном, от двух факторов: трудности задания и подготовленности испытуемого. Для оценки вероятности правильного ответа при данном уровне подготовленности студентов нами были выбраны логистические модели вероятности успеха Раша и Бирнбаума [11].
Авторами разработан программный продукт MG-SYSTEM, предназначенный для решения задач оценки качества обучения студентов вуза. Программное обеспечение является универсальным и может быть адаптирована для внедрения в любом вузе. Программный комплекс имеет дружественный пользователю интерфейс, гибкую систему настроек, сопровождается пакетом справочной информации и представляет собой набор стандартных Windows-приложений, отвечающих всем современным требованиям программного продукта для операционных систем Windows 95/98/NT/2000/XP.
Все базовые функции системы разделены на два логических блока: 1) блок компьютерного тестирования; 2) универсальный блок анализа результатов экспертного оценивания. В блоке компьютерного тестирования предусмотрено два варианта проведения тестирования: в бланковой форме, с последующим вводом результатов в базу данных; в интерактивном режиме. В блоке экспертного оценивания также возможно два варианта получения экспертных оценок: посредством анкетирования и ввода данных оператором в базу данных; через Internet.
Таким образом, проведенные авторами статьи исследования, были направлены на решение актуальных задач, связанных с разработкой информационной технологии для оценки качества объектов образовательного процесса. Построена информационная технология для решения задач оценки качества обучения студентов вуза, отличительной особенностью которой является возможность использования в качестве инструментария как тестовые технологии, так и методы экспертного оценивания.
Работа выполнена при финансовой поддерже РФФИ, проект 03-06-80128.
СПИСОК ЛИТЕРАТУРЫ
1. Агранович Б.Л., Чучалин А.И., Чудинов В.Н. Опыт формирования доктрины университета в области обеспечения и менеджмента качества образовательных услуг и подготовки специалистов // Современное образование: системы и практика обеспечения качества: Матер. регион. научно-практ. конф. — Томск, 29—30 янв. 2002 г. — Томск: Томск. гос. ун-т систем управления и радиоэлектроники, 2002. — С. 9—10.
2. Громаков Е.И., Малышенко А.М., Мельников Ю.С. Инсталляция системы менеджмента качества образовательных услуг АВТФ Томского политехнического университета // Проблемы и практика инженерного образования. Международная аккредитация образовательных программ: Труды V Междунар. науч-но-практ. конф. — Томск: Изд-во ТПУ, 2002. — С. 79—80.
3. Чучалин А.И., Могильницкий С.Б., Коровкин М.В. Инновационная деятельность Томского политехнического университета в области совершенствования управления качеством подготовки специалистов // Инновационный университет и инновационное образование: модели, опыт, перспективы: Труды Междунар. симп. — Москва, 27—28 мая 2003. — С. 78—79.
4. Похолков Ю.П., Могильницкий С.Б., Боев О.В. Качество и профессиональная аккредитация образовательных программ // Вестник Сибирского регионального учебно-методического центра высших учебных заведений. — 2002. —№ 5. —С. 97—107.
5. Чудинов В.Н., Беломестнова Э.Н. Мониторинг уровня психолого-педагогической подготовки преподавателей технического университета // Качество образования. Достижения. Проблемы: Матер. IV Междунар. научно-практ. конф. / Под общей ред. А.С. Вострикова. — Новосибирск: Изд-во НГТУ, 2001. — С. 219—220.
6. Maruhina O., Berestneva O. Expert Support system for Making Decision by the Results of Computer-Based Testing within the Ends of Teaching Quality Evaluation // Proc. the 7th Korea — Russia Intern. Symp. on Science and Technology (K0RUS-2003). — Ulsan, Republic of Korea, June 28 — July 6, 2003. — Ulsan: University of Ulsan, 2003. —V. 2. — P. 416—419.
7. Берестнева О.Г., Марухина О.В. Компьютерные технологии в оценке качества обучения // Известия Томского политехнического университета. —2003. — Т. 306. — № 6. — С. 106—112.
8. Берестнева О.Г., Марухина О.В. Методы многомерного анализа данных в задачах оценки качества образования // Радиоэлектроника. Информатика. Управление. —2002. —№ 1. —С. 15—26.
9. Берестнева О.Г., Марухина О.В. Соответствие личностных качеств абитуриентов выбранной специальности как базовая составляющая системы оценки качества образования // Современное образование: интеграция учебы, науки и производства: Матер. регион. научно-практ. конф. — Томск, 28—29 янв. 2003 г. / Томск. гос. ун-т систем управления и радиоэлектроники, 2003. —С. 15—16.
10. Берестнева О.Г., Марухина О.В., Рыбина Е.В. Компьютерная система оценки качества образования по результатам экспертного оценивания // Кибернетика и вуз. Межвузовский научно-технический сборник. Выпуск 30. — Томск: Изд-во ТПУ, 2003.
— С. 117—124.
11. Марухина О.В. Алгоритмы обработки информации в задачах оценивания качества обучения студентов вуза на основе экспе-ртно-статистических методов. Дис. ... канд. техн. наук. — Томск, 2003. —164 с.
12. Марухина О.В., Берестнева О.Г. Системный подход к оценке качества образования // Стандарты и качество. — 2002. — № 4.
— С. 35—36.
13. Марухина О.В., Берестнева О.Г., Иванкина Л.И. Применение методов многомерного анализа данных для оценки качества деятельности преподавателя // Кибернетика и вуз. Межвузовский научно-технический сборник. Выпуск 30. — Томск: Изд-во ТПУ, 2003. —С. 108—116.
14. Гублер Е.В. Вычислительные методы анализа и распознавания патологических процессов. — Л.: Медицина, 1978. —294 с.
15. Борисов А., Крумберг И., Федоров И. Принятие решений на основе нечетких моделей. — Рига: Зинатне, 1990. — 352 с.
