CC BY
33
Л. Н. Шилова В. Н. Фролова В. В. Макарова
(Нижний Новгород)
МЕТОДИКА ОЦЕНКИ КАЧЕСТВА ТЕОРЕТИЧЕСКОЙ ПОДГОТОВКИ ОБУЧАЮЩИХСЯ В ИННОВАЦИОННОЙ СРЕДЕ ПРОФЕССИОНАЛЬНЫХ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ
METHODS OF QUALITY ASSESSMENT OF STUDENTS' THEORETICAL TRAINING IN INNOVATION ENVIRONMENT OF PROFESSIONAL EDUCATIONAL INSTITUTIONS
Статья посвящена разработке региональной системы оценки качества теоретической подготовки обучающихся с использованием АСТ-тест-программной среды в системе среднего профессионального образования в рамках инновационного сетевого образовательного проекта «Модель профессиональной образовательной организации как открытой образовательной системы». Представлены структура и форма тестовых заданий, определены понятия «валидность», «надежность», «однозначность» теста
Ключевые слова: инновационный сетевой образовательный проект, тестология, система оценки качества теоретической подготовки, АСТ-тест-программная среда, методика, контроль и оценка, критериально ориентированный педагогический тест
The article is devoted to the development of the regional system of quality assessment of students' theoretical training with the use of ACT test-software environment in secondary vocational education in the framework of the innovative network educational project "Model of professional educational organization as an open educational system". The structure and form of tests are presented, the concepts of "validity", "reliability", "unambiguous" of the test are defined
Keywords: innovative network educational project, testology, quality assessment system of theoretical training, ACT test software environment, methodology, monitoring and evaluation, criterially oriented pedagogical test
Качество подготовки специалистов для развивающихся отраслей экономики становится одним из стратегических направлений развития современной системы профессионального образования. Федеральный закон «Об образовании в РФ» рассматривает качество подготовки специалистов как «комплексную характеристику образовательной деятельности и подготовки обучающихся, выражающую степень их соответствия федеральным государственным образовательным стандартам и потребностям физического лица, в интересах которого осуществляется образовательная деятельность, в том числе степень достижения планируемых результатов образовательной программы» [1, с. 4].
Одной из целей реализации регионального инновационного проекта «Модель профессиональной образовательной организации как открытой образовательной системы» стало определение качественных характеристик эффективной образовательной организации. «Эффективная профессиональная образовательная организация - это организация, достигающая высоких результатов в области образования выпускников» [6, с. 13].
Разработкой системы оценки качества результатов подготовки выпускников системы среднего профессионального образования в ГБОУ ДПО «Нижегородский институт развития образования» занимается лаборатория социально-педагогических измерений в
образовании.
Исследовательская часть программы экспериментальной деятельности лаборатории подтвердила, что в рамках региональной системы оценки качества результатов подготовки выпускников представляется довольно сложным разработать показатели и критерии степени освоения практического опыта, профессиональных компетенций. Оценка практического опыта, профессиональных компетенций обучающихся реализуется через выполнение практических заданий в условиях учебной и производственной практики, поэтому при разработке инструментария оценки качества акцент был сделан на оценку теоретической подготовки обучающихся (освоение умений и знаний].
Современная тестология, как междисциплинарная наука о создании качественных и научно обоснованных измерительных диагностических методик, является одним из эффективных способов оценки качества подготовки обучающихся в системе среднего профессионального образования. Последние 10 лет тестология активно внедряется в образовательную практику, появляются автоматизированные компьютерные программы, позволяющие более точно оценить образовательный уровень подготовки обучающихся. К таким программам можно отнести АСТ-тест-программную среду для организации, проведения тестирования, обработки результатов и анализа качества тестовых заданий.
Институт располагает сертифицированной АСТ-тест-программной средой, позволяющей проводить оценку качества результатов в области образования выпускников системы среднего профессионального образования в дистанционном режиме. Выбор АСТ-тест-программной среды определялся следующими преимуществами:
- ясность и корректность взаимодействия как с создателями теста, так и с экзаменуемыми (общие принципы дизайна графической информации; доступные обучающимся функции: возможность движения по заданиям теста, элементам размещения на экране];
- исключение ситуации получения подсказки за счет использования сетевых технологий (регламент выполнения заданий - 45 минут];
- оперативное получение информации о качестве подготовки обучающихся по
всем элементам структуры и содержания образовательных программ по окончанию тестирования; - различные способы оценивания результатов тестирования: зачет/незачет; рейтинг; отметка, что отвечает требованиям ФГОС к оценке различных элементов содержания образовательных программ. АСТ-тест-программная среда выполняет следующие функции: создание, хранение и редактирование базы тестовых заданий; обработка результатов тестирования; выстраивание рейтинга индивидуальных достижений обучающихся; определение рейтинга образовательных организаций.
При разработке тестовых заданий с использованием АСТ-тест-программной среды сотрудники лаборатории рассматривали тестирование не как обычную совокупность или набор заданий, а как систему, обладающую двумя главными факторами: содержание тестового задания основывается на требованиях ФГОС к результатам теоретической подготовки (знания и умения], а также предполагает нарастающий потенциал сложности критериально ориентированных педагогических тестов.
Критериально ориентированный педагогический тест - система заданий, позволяющих измерить уровень индивидуальных учебных достижений обучающихся относительно определенного содержания, функционально связанного с объемом знаний и умений, которые должны быть усвоены. Критериально ориентированный педагогический тест предполагает классификацию тестовых заданий, которая проводилась по следующим признакам: однородность состава теста, весовой коэффициент уровня сложности вопросов, способ формулировки вопросов тестового задания. Это позволило содержательно наиболее полно представить все разделы междисциплинарных курсов (МДК) профессиональных модулей, учебных дисциплин. Тесты включали задания: закрытого типа (выбор одного или нескольких правильных ответов]; открытого типа (дописать правильный ответ - вставить пропущенные слова]; задания на установление соответствия (элементы одного множества соотнести с элементами другого множества]; задания процессуального или алгоритмического характера (установление правильной последовательности каких-либо операций или действий].
Процедура оценки качества теоретической подготовки обучающихся предполагала определение точного задания параметров трудности и дискретной способности тестовых заданий. Параметры трудности могут быть проверены только при предварительном испытании тестовых заданий на специальной выборке испытуемых. При проведении таких испытаний потребовалось значительное время и преодоление определенных затруднений, связанных с технологическим несовершенством информационной компьютерной базы образовательных организаций, психологическими особенностями обучающихся.
Лабораторией была разработана методи-
Разработка тестов осуществлялась по трем основным критериям:
- валидность (действенность] - способность измерять параметры, которые определены как доминирующие разработчиками тестовых заданий;
- однозначность - одинаковая трактовка содержания тестовых заданий;
- надежность - точность измерения, определяемая воспроизводимостью полученных результатов тестирования, в том числе на том же контингенте испытуемых, а также при использовании других методов контроля, но с одинаковыми параметрами оценки [7, с. 71-77]. Исследования лаборатории, проведенные в рамках эксперимента, показали важность соблюдения пропорционального соотношения видов тестовых заданий в соответствии с классификацией, правильного выбора учебных элементов на основе анализа соотнесенности требований к умениям и знаниям, предъявляемых ФГОС.
Количество тестовых заданий по каждой учебной дисциплине, междисциплинарному курсу профессиональных модулей строго ограничивается методикой. Всего 60 тестовых заданий: 42 задания закрытой формы - 69%; задания открытой формы, задания на установление последовательности, задания на ус-
ка отбора необходимого и достаточного содержания учебного материала по МДК профессиональных модулей, учебным дисциплинам, позволяющая определить учебные элементы, которые контролируются тестовыми заданиями различных видов. В результате анализа соотнесенности требований к умениям и знаниям МДК профессиональных модулей, учебных дисциплин программ подготовки рабочих и специалистов заполнялась таблица учебных элементов - объектов контроля. Данный подход к разработке тестовых заданий позволил максимально учитывать требования к умениям и знаниям, предъявляемым ФГОС (табл.].
тановление соответствия - 10%, соответственно, по 6 заданий.
В АСТ-тест-программной среде используется стобалльная шкала оценивания: до 49% правильных ответов - оценка «неудовлетворительно»; до 69% - оценка «удовлетворительно»; 70%-89% - оценка «хорошо»; 89%-100% - оценка «отлично». Оценка результата освоения содержания образовательных программ дифференцирована точностью измерения в соответствии с параметрами оценочной шкалы.
Содержание всего массива тестов (информационная база данных тестовых заданий, размещенная на сервере ГБОУ ДПО НИ-РО, составляет более 5 тысяч] подвергалось общественно-профессиональной экспертизе специалистами из числа наиболее подготовленных преподавателей Региональных учебно-методических комиссий по специально разработанным лабораторией экспертным заключениям.
Задача общественно-профессиональной экспертизы - анализ соответствия требований образовательных программ подготовки специалистов среднего звена к умениям и знаниям обучающихся содержанию тестового задания; видов тестовых заданий их количественному соотношению; формулировок вопросов тестовых заданий требованиям АСТ-
Таблица.
Учебные элементы, используемые при разработке тестовых заданий
Требования к умениям, знаниям Результат соотнесенности умений, знаний Учебные элементы (УЭ)
Умения УЭ 1, УЭ 2
Знания
тест-программной среды.
Реализация задач общественно-профессиональной экспертизы предполагала два подхода: результативный и процессуальный. Результативный подход (экспертиза по результату] - анализ соответствия тестовых заданий требованиям АСТ-тест-программной среды. Процессуальный подход заключался в выявлении повторяемости отклонений от нормы, разработке способов их корректировки. Результаты экспертизы в рамках процессуального подхода показали повторяемость отклонений от нормы при формулировании вопросов тестовых заданий, не отвечающем требованиям АСТ-тест-программной среды, поэтому каждый вид тестового задания анализировался на предмет выявления ошибок. Типичные ошибки корректировались разработчиками по предложенному перечню ошибок, допускаемых при формулировке вопросов тестового задания.
Качественные показатели экспериментального дистанционного экзамена оказались выше показателей результатов дифференцированных зачетов и экзаменов, сдаваемых обучающимися в традиционной форме. Анкетирование обучающихся и родителей экспериментальных групп показало, что 65% обучающихся отдали предпочтение компьютерному тестированию, 9% высказались за традиционную форму проведения, для 26% обучающихся форма контроля не имела значения. При этом все участники опроса высказали принципиально важное суждение о том, что система обработки результатов в АСТ-тест-программной среде исключает субъективность в оценке знаний и умений. Обучающиеся могут видеть результаты сразу после дистанционного экзамена, анализировать ошибки, допущенные при выполнении тестовых заданий, принимать решение о возможных вариантах их ликвидации.
К несомненным достоинствам тестового контроля в АСТ-тест-программной среде обучающиеся отнесли:
объективность оценки теоретической подготовки и, как следствие, большее позитивное стимулирующее воздействие на познавательную деятельность;
ориентированность на современные информационные технические средства, в том числе использование автоматизированных систем контроля и программных средств, по-
зволяющих получать более объективные результаты.
Дистанционный экзамен показал, что наиболее адаптированными для автоматизированной системы контроля являются тестовые задания с выбором (узнаванием] ответа, чем объясняется их процентное соотношение (69%) в общем суммарном количестве тестовых заданий. Альтернативный ряд ответов (дистракторы), сопровождающий тестовое задание, позволяет эффективно использовать в процессе обучения дидактический прием сравнения путем сопоставления (сходства] и противопоставления (различия] учебных элементов. Поскольку сравнение есть основа всякого понимания и всякого мышления, то тестовые задания с рядом альтернативных ответов выполняют не только контролирующую, но и обучающую функцию.
Таким образом, разработанная система теоретической оценки качества подготовки обучающихся позволила:
- управлению по контролю и надзору в сфере образования Министерства образования Нижегородской области осуществлять федеральный контроль качества теоретической подготовки обучающихся в системе среднего профессионального образования; выстраивать рейтинг образовательных организаций как один из возможных инструментов системы оценки качества образования, подходов к информированию потребителей образовательных услуг;
- региональным центрам сертификации профессиональных квалификаций использовать накопительный банк данных контрольно-измерительных материалов при сертификации профессиональных квалификаций по профессиям и специальностям, реализуемым в системе среднего профессионального образования;
- образовательным организациям вносить коррективы в содержание разделов МДК рабочих программ профессиональных модулей, учебных дисциплин, выстраивать рейтинг индивидуальных достижений обучающихся, более качественно и эффективно организовывать работу методических (цикловых] комиссий в образовательных организациях, а значит, на более высоком уровне управлять инновационным образовательным процессом.
Литература
1. ФЗ «Об образовании в РФ» от 29 декабря 2012 года, № 273 - ФЗ: принят государственной Думой 21 декабря 2012 г.
2. Концепция общероссийской системы оценки качества образования // Вестник образования России. - 2007. - № 15. - С. 18-29.
3. Постановление Правительства Российской Федерации «Об утверждении Правил осуществления контроля и надзора в сфере образования», № 116: утверждено 20 февраля 2007 г.
4. Большой словарь иностранных слов. - М.: ЮНВЕС, 2001. - 784 с.
5. Симонов В. П. Педагогическая диагностика в образовательных системах. - М., 2010. - 264 с
6. Тулупова О. В. Проектирование профессиональной образовательной организации как открытой образовательной системы: уч.-мет. комплект. - Н. Новгород: НИРО, 2013. - С. 13.
7. Фролова В. Н., Шилова Л. Н. Оценка качества подготовки специалистов в системе профессионального образования: метод. рекомендации. - Н. Новгород: НИРО, 2015. - С. 71-77.
