CC BY
67
Образование и наука. 2012. № 2 (91)
КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ
УДК 378.22
О. Ф. Шихова
МОДЕЛЬ ПРОЕКТИРОВАНИЯ МНОГОУРОВНЕВЫХ ОЦЕНОЧНЫХ СРЕДСТВ ДЛЯ ДИАГНОСТИКИ КОМПЕТЕНЦИЙ СТУДЕНТОВ В ТЕХНИЧЕСКОМ ВУЗЕ
Аннотация. В статье приведены некоторые результаты исследования, целью которого является разработка новых технологий диагностики качества подготовки студентов в техническом вузе. Представлена модель проектирования многоуровневых оценочных средств для диагностики уровня сформированности общекультурных и профессиональных компетенций студентов бакалавриата, обучающихся по направлению «Технологическое образование». Модель учитывает интегратив-ный характер подготовки этих специалистов - сочетание психолого-педагогической (инвариантной) и инженерной (вариативной) составляющих, а также возможности квалиметрического подхода, позволяющего обосновать систему диагностируемых компетенций студента и выявить наиболее адекватные средства их оценивания. Раскрыто содержание принципов проектирования многоуровневых оценочных средств и реализующих их методологических подходов. С целью аргументированного отбора оценочных средств предложена авторская система критериев для определения их качества методом групповых экспертных оценок. Результаты исследования могут быть использованы для разработки технологий проектирования компетентностно-ориентированных оценочных средств.
Ключевые слова: компетенция, многоуровневые компетентностно-ориенти-рованные оценочные средства, диагностика, уровень сформированности компетенций, квалиметрический подход, критерии качества оценочных средств.
Abstract. The paper considers the research findings aimed at the developing the new quality testing technique for students assessment at Technical Higher School. The model of multilevel estimation means is provided for diagnosing the level of general cultural and professional competences of students doing a bachelor degree in technological fields. The model implies the integrative character of specialists training - the combination of both the psycho-pedagogic (invariable) and engineering (variable) components, as well as the qualimetric approach substantiating the system of students competence estimation and providing the most adequate assessment means. The principles of designing the multilevel estimation means are defined along with the method-
ology approaches to their implementation. For the reasonable selection of estimation means, the system of quality criteria is proposed by the authors, being based on the group expert assessment. The research findings can be used for designing the competence-oriented estimation means.
Index terms: competence, multilevel competence estimation means, diagnostics, competence level, qualimetric approach, quality criteria of estimation means.
Известно, что компетентностный формат Федеральных государственных образовательных стандартов (ФГОС) высшего профессионального образования предполагает не только новое проектирование результатов подготовки в виде системы общекультурных и профессиональных компетенций, но и внедрение новых технологий оценивания уровня их сфор-мированности у студентов и выпускников вузов.
Данной проблеме посвящены работы В. И. Байденко, В. А. Богословского, В. И. Звонникова, В. Г. Казановича, А. И. Субетто, М. Б. Челыш-ковой [1, 3, 4, 5, 6] и других исследователей. В них, в частности, отмечается, что для многоаспектного контроля качества формирования компетенций должны быть созданы диагностические средства, отвечающие требованиям интегративности и структурированности включенного в них учебного материала и предусматривающие оценку способности студентов к творческой деятельности.
В Ижевском государственном техническом университете (ИжГТУ) на протяжении продолжительного периода ведется разработка многоуровневых оценочных средств для диагностики общекультурных и профессиональных компетенций студентов - будущих бакалавров технологического образования.
Многоуровневые оценочные средства в нашей интерпретации - это система междисциплинарных заданий различных типов (тесты, комплексные аттестационные, ситуационные, олимпиадные и др. задания), выстроенная с учетом видов и задач предстоящей профессиональной деятельности бакалавров и позволяющая оценить степень сформирован-ности компетенций учащихся и выпускников.
Проектирование данных средств базируется на модели, технологической особенностью которой является комплексность и квалиметричес-кая направленность (рисунок). Модель отражает интегративный характер подготовки бакалавров, объединяющей психолого-педагогическую (инвариантную) и инженерную (вариативную) составляющие.
£
о
??
р
ю о
ю &
ю ТВ
СОЦИАЛЬНЫЙ ЗАКАЗ: переход к компетентностно-ориентированной модели высшего профессионального образования - + —
ЦЕЛЬ: разработка многоуровневых компетентностно-ориентированных оценочных средств для студентов бакалавриата
ЗАДАЧИ: 1. Разработка компетентностной модели бакалавра, задающей цели профессиональной подготовки 2. Установление уровней сформированности компетенций
3. Определение критериев качества оценочных средств + ~
ТЕОРЕТИКО-МЕТОДОЛОГИЧЕСКАЯ БАЗА: дидактика, квалиметрия, ФГОС ВПО, тестология
+
ПРИНЦИПЫ ПРОЕКТИРОВАНИЯ: интегративность, студентоцентрированность, диагностичность, системность, многофункциональность, комплексность
Компетентностный подход -выявление и классификация компетенций
Тезаурусный подход -разработка интегративного тезауруса компетенций
И
Таксономический подход - обоснование уровней сформированности компетенций и соответствующих им оценочных средств
1
Квалиметрический подход - педагогическая экспертиза компетентностной модели выпускника и оценочных средств
о О/
КОМПЕТЕНТНОСТНАЯ МОДЕЛЬ БАКАЛАВРА
вЗ
11
Оценочные средства:
Т
Комплексные аттестационные задания
ВКР и проекты
Олимпиадные задания
Проекты
Ситуационные задания и др.
Базовый
Гетерогенные стандартизированные тесты
БАНК ОЦЕНОЧНЫХ СРЕДСТВ
X
Оценка качества: выбор критериев качества методика оценивания
Коррекция
Апробация и внедрение
РЕЗУЛЬТАТ: комплект квалиметрически обоснованных многоуровневых компетентностно-ориентированных оценочных средств
Сл
Модель проектирования многоуровневых компетентностно-ориентированных оценочных средств
Структурными компонентами модели являются среди прочего принципы проектирования многоуровневых компетентностно-ориентирован-ных оценочных средств и реализующие их методологические подходы.
Принципы проектирования были определены при помощи анализа теоретических положений дидактики, квалиметрии, тестологии, а также компетентностного подхода в профессиональном образовании.
Так, принцип интегративности предполагает, что содержание оценочных средств должно строиться на основе синтеза учебной информации, представленной в отдельных дисциплинах, с учетом междисциплинарных связей и обобщенных компетентностно-ориентированных целей профессиональной подготовки бакалавра, а также предусматривать возможность получения интегрированной оценки успешности достижения этих целей.
Принцип студентоцентрированности [1] требует акцентирования внимания на достижениях студента, а не преподавателя, что отражает гуманистическую направленность как образовательного процесса, так и процесса диагностики компетенций.
Ведущим при проектировании компетентностно-ориентированных оценочных средств является принцип диагностичности - измеримости целей-компетенций как результата процесса профессиональной подготовки бакалавра.
Системность означает, что оценочные средства должны не только диагностировать компетенции и фиксировать их системную реализацию, но и отражать процесс их системного формирования у студентов.
Многофункциональность - это сочетание оценочных средств различных типов и уровней трудности, позволяющее определять степень сформированности не только отдельных компетенций, но и их интегрированной совокупности.
Наконец, принцип комплексности обеспечивает координацию всех элементов проектирования: от построения компетентностной модели выпускника до разработки соответствующих этой модели многоуровневых ком-петентностно-ориентированных оценочных средств, прошедших педагогическую экспертизу методом групповых экспертных оценок [7, 9]. Данный принцип реализуется благодаря использованию следующих подходов:
• компетентностного - при проектировании компетентностно-ори-ентированных целей подготовки бакалавров;
• тезаурусного и таксономического - для компактного, сжатого представления иерархически взаимосвязанных диагностируемых компетенций и соответствующих им учебных элементов;
Модель проектирования многоуровневых оценочных средств для диагностики компетенций студентов в техническом вузе
• квалиметрического - для выявления структуры профессиональной компетентности бакалавра технологического образования и получения количественной оценки качества разрабатываемых контрольных материалов и уровней сформированности компетенций студентов.
Отметим, что компетентностная модель бакалавра технологического образования рассматривается нами как описание структуры и содержания компетенций, связанных с инвариантными и вариативными задачами профессиональной деятельности выпускника бакалавриата, задающее целевые установки его интегрированной подготовки в области технологического образования [8]. Под компетенциями в нашем случае понимаются способности применять приобретенные знания, умения и личностные качества для успешной деятельности в сферах образования и современных технологий.
С позиций квалиметрии, для построения компетентностной модели ведущим является принцип вложенности компетенций [6], согласно которому единичные компетенции могут входить в структуру сложных, системных компетенций и становиться их компонентами. В отношении технологического образования данную иерархию можно представить в виде цепочки: классы компетенций (общекультурные и профессиональные) ^ группы компетенций (в классе профессиональных это, например, общепрофессиональные и профильные) ^ подгруппы компетенций (в группе общепрофессиональных - это, к примеру, методические, а в группе профильных - материаловедческие) ^ единичные компетенции (в подгруппе материаловедческих компетенций, например - умение выявить дефекты в изделии).
Для диагностики единичных компетенций, а также их подгрупп целесообразно, на наш взгляд, применять гетерогенные стандартизированные тесты, состоящие из двух субтестов с интегративным содержанием, отражающим инвариантные и вариативные задачи будущей профессиональной деятельности бакалавра.
Первый субтест разрабатывается с использованием критериально-ориентированного подхода и представляет собой систему заданий, позволяющую измерить качество подготовки студентов относительно обязательного набора достижений, зафиксированного в качестве базового в ин-тегративном тезаурусе компетенций, под которым понимается совокупность диагностируемых компетенций, формируемых на разных уров-
нях обучения в рамках направления «Технологическое образование». Мы выделяем три таких уровня:
• базовый - характеризует владение понятийно-терминологическим аппаратом профессиональной педагогики и образовательной области «Технология»; на этом уровне закладываются общепрофессиональные основы профессионально-педагогической деятельности;
• системный - предполагает владение методиками и технологиями организации образовательной деятельности обучающихся;
• системно-профессиональный - предусматривает наличие элементов творчества и практического опыта профессионально-педагогической деятельности.
Если соотнести эти уровни с известной таксономией B. Bloom, то базовый уровень объединяет в себе знание, понимание, применение; системный - анализ и синтез; системно-профессиональный - оценку и, добавим от себя, прогноз, который подразумевает способность предвидеть возможные последствия собственной профессионально-педагогической деятельности.
Разработка второго субтеста производится с помощью нормативно-ориентированного подхода. Этот субтест представляет собой систему заданий, выполнение которых требует уровня сформированности компетенций, превышающего базовый, и способствует дифференциации студентов по качеству их подготовки. В ИжГТУ гетерогенные стандартизированные тесты используются на этапе подготовки к государственной итоговой аттестации и играют роль своеобразного показателя допуска к этой ответственной процедуре.
Диагностику уровня сформированности системных компетенций можно осуществлять не только в рамках учебного процесса, но и при проведении научно-исследовательских студенческих конференций, олимпиад и разработке проектов, связанных с будущей профессионально-педагогической деятельностью студентов. Так, студентам-выпускникам 2012 г. в качестве выпускной квалификационной работы (ВКР) было предложено выполнить коллективный проект по организации профориентационной работы среди учащихся общеобразовательных школ города Ижевска и сельских районов Удмуртской Республики. В проекте, участниками которого являются восемь человек, выделено восемь направлений работы, связанных, в частности, с разработкой печатной продукции и сайта абитуриента, организацией экскурсий в ИжГТУ и информированием родите-
Модель проектирования многоуровневых оценочных средств для диагностики компетенций студентов в техническом вузе
лей, анализом потребностей регионального рынка труда в профессионально-педагогических кадрах. Презентация коллективного проекта и восьми минипроектов впервые предусмотрена на этапе защиты ВКР, поэтому говорить о результатах этой работы пока преждевременно.
Для оценки качества многоуровневых оценочных средств любого типа мы используем такие критерии, как многофункциональность (М), профильность (П), таксономичность (Т) и репрезентативность ФГОС (Р) [9].
Критерий «многофункциональность» характеризует пригодность оценочных средств для диагностики системы компетенций, представленной в компетентностной модели бакалавра технологического образования, и рассчитывается по формуле:
М = тс / тк, (1)
где тк - общее количество единичных компетенций в модели;
тс - количество компетенций, диагностируемых с помощью оценочных средств.
«Профильность» связана с ориентацией оценочных средств на конкретный профиль подготовки (например, «Технология обработки конструкционных материалов»). Вычислить данный критерий можно с помощью формулы:
П = пр / по, (2)
где по - общее количество контрольных заданий; пр- количество профильных заданий.
«Таксономичность» устанавливает пригодность оценочных средств для диагностики уровней сформированности компетенций в соответствии с выбранной таксономической моделью. Рассчитывается критерий следующим образом:
Т = и/ ¡т, (3)
где ¡т - общее количество уровней сформированности компетенций в выбранной таксономической модели;
и - количество уровней, диагностируемое с помощью оценочных средств.
Критерий «репрезентативность ФГОС» устанавливает соответствие оценочных средств представленной в федеральном стандарте системе
компетенций, т. е. характеризует полноту охвата требований стандарта в оценочных средствах. Для расчета критерия используется формула:
Р = td/ta, (4)
где 1а - количество общекультурных и профессиональных компетенций в ФГОС;
- количество общекультурных и профессиональных компетенций, диагностируемых с помощью оценочных средств. Общую оценку качества разработанных средств диагностики можно получить путем суммирования:
П = С1М + С2П + СзТ + С4Р, (5)
где С1 - С4 - соответствующие весовые коэффициенты (коэффициенты важности) критериев 1-4; их сумма должна быть равна единице
4
(условие нормировки: ^С = 1; максимальное значение п = 1).
1=1
Используемый нами квалиметрический подход предполагает применение на различных этапах проектирования оценочных средств метода групповых экспертных оценок. Этот метод позволяет алгоритмизировать процедуры отбора экспертов и педагогической экспертизы, а также получить обобщенное мнение квалифицированных специалистов (работодателей, преподавателей, выпускников) по вопросам структуры и содержания компе-тентностной модели бакалавра технологического образования, отбора оценочных средств и критериев их качества, определения механизма и критериев оценки уровня сформированности компетенций студентов.
Представленная в данной статье модель позволяет не только интегрировать традиционные и новые методологические подходы к проектированию компетентностно-ориентированных оценочных средств, но и задействовать при их практическом применении потенциал «педагогики сотрудничества, уровневой и типологической дифференциации, проектной и учебно-исследовательской деятельности, методики коллективной творческой деятельности» [2, с. 20] и др., которые вполне логично вписываются в концепцию компетентностного подхода в профессиональном образовании.
Литература
1. Байденко В. И., Селезнева Н. А. Государственный образовательный стандарт высшего профессионального образования нового поколения
Модель проектирования многоуровневъх оценочнъх средств для диагностики компетенций студентов в техническом вузе
как комплексная норма качества высшего образования: общая концепция и модель. М.: Исслед. центр проблем качества подготовки специалистов, 2005. 43 с.
2. Загвязинский В. И. Социальные функции образования и его стратегические ориентиры в период модернизации / / Образование и наука. Изв. УрО РАО. 2011. № 7 (86). С. 14-22.
3. Звонников В. И., Челышкова М. Б. Контроль качества обучения при аттестации: компетентностный подход: учеб. пособие. М.: Университет. кн.; Логос. 2009. 272 с.
4. Казанович В. Г., Савельева Г. П. Методические рекомендации по разработке оценочных и диагностических средств итоговой государственной аттестации выпускников вузов. М.: Исслед. центр проблем качества подготовки специалистов, 2004. 21 с.
5. Методические рекомендации по проектированию оценочных средств для реализации многоуровневых образовательных программ ВПО при компетентностном подходе / В. А. Богословский, Е. В. Караваева, Е. Н. Ковтун, О. П. Мелехова и др. М.: Изд-во МГУ, 2007. 148 с.
6. Субетто А. И. Онтология и эпистемология компетентностного подхода, классификация и квалиметрия компетенций. СПб.; М.: Исслед. центр проблем качества подготовки специалистов, 2006. 72 с.
7. Черепанов В. С. Экспертные оценки в педагогических исследованиях. М.: Педагогика, 1989. 152 с.
8. Шестакова Н. В., Шихова О. Ф. К вопросу о диагностике уровня сформированности профессиональных компетенций бакалавра технологического образования // Образование и наука. Изв. УрО РАО. 2010. № 9 (77). С. 41-48.
9. Шихова О. Ф. Основы квалиметрии вузовского образовательного стандарта: моногр. Москва; Ижевск: Издат. дом «Удмуртский университет», 2006. 243 с.
