CC BY
40
Черных А.И., Шапошникова Т.Л.
«Использование технологий компьютерного тестирования для контроля качества...»
ШНГОГИШИЕ ИНУКИ
ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИЙ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ ДЛЯ КОНТРОЛЯ КАЧЕСТВА ЗНАНИЙ СТУДЕНТОВ ТЕХНОЛОГИЧЕСКОГО
УНИВЕРСИТЕТА
А.И. Черных, Т.Л. Шапошникова
USING COMPUTER TESTING TECHNOLOGIES FOR TECHNICAL UNIVERSITY STUDENTS' KNOWLEDGE CONTROL
Chernykh A.I., Shaposhnikova T.L.
The article considers the problems of elaboration t and application of diagnostic instrumentation for students' knowledge control. The aim of the research is to substantiate the technology of education quality management in a higher school basing of the application of a universal test complex.
В статье рассматриваются проблемы разработки и применения диагностического инструментария для контроля знаний студентов. Цель исследования - обосновать технологию управления качеством образования в вузе на основе применения универсального тестового комплекса.
Ключевые слова: тестирование, образование, качество, контроль знаний, студент.
УДК 378.147
Актуальность. Согласно "Концепции модернизации российского образования на период до 2010 года", одной из приоритетных задач модернизации российского образования является достижение нового качества современного профессионального образования. В связи с этим разработка научно обоснованных технологий контроля качества образования студентов высших инженерных учебных заведений - важная научно-прикладная проблема (2, 3, 5).
Одним из важных элементов подготовки вуза к аттестации и аккредитации является процедура самообследования, предполагающая оценку качества подготовки студентов. Контроль остаточных знаний является основополагающим компонентом в системе контроля качества подготовки специалистов в вузе (1, 2, 4). Остаточные знания - необходимый минимум знаний, достаточный для начала профессиональной деятельности специалиста. Поэтому обеспечение высокого уровня остаточных знаний следует рассматривать как главную цель учебного процесса.
Национальным аккредитационным агентством в сфере образования разработана технология компьютерного тестирования с использованием сети Интернет. Задача Интернет-экзамена - реализация в системе профессионального образования технологии массового тестирования, позволяющей диагностировать состояние базовой подготовки студентов и оценивать ее на соответствие требованиям образовательных стандартов.
Однако существующая технология массового тестирования студентов не отвечает современным требованиям. Имеющиеся в вузах тестовые и контрольные материалы, созданные для оценки текущей успеваемости студентов, их достижений и дифференциации по пятибалльной шкале оценок, как правило, не могут быть использованы в целях аттестации отдельных образовательных программ и вуза в целом. Нельзя не учитывать и факт субъективизма при определении уровня сложности и приоритетности отдельных заданий в тестовых материалах, оценке и интерпретации результатов. По-прежнему в системе профессионального образования не наблюдается должной взаимосвязи между педагогическими и информационными технологиями (4, 5).
Проблема исследования состоит в отсутствии теоретических обоснованных моделей компьютерной диагностики предметной обученности, соответствующего современной парадигме образования и задачам его информатизации.
Цель исследования - повышение эффективности контроля остаточных знаний студентов на основе разработки и применения многофункционального диагностического инструментария.
Задачи исследования:
- выделить типы компьютерных тестовых технологий, наиболее эффективно способствующих реализации многоаспектного педагогического мониторинга, создающего условия повышения эффективности управления качеством обучения;
- определить педагогический фундамент, на котором должна базироваться разработка нового компьютерного диагностического инструментария;
- создать теоретическую модель компьютерного тестирования, направленного на многоаспектную, объективную и индивидуализированную диагностику качества обучения;
- обосновать требования к программной составляющей компьютерного диагностического инструментария и предложить методику ее построения и использования.
Методы исследования: анализ научно-методической литературы и документов, тестирование, педагогический эксперимент, методы математической статистики.
Теоретико-методологическая основа исследования: теория систем и системный анализ (4), тестология (1, 5) и концепция информатизации образования (3, 5).
Результаты исследования. Для управления качеством образования необходимо иметь надежный инструмент для его измерения и оценки. Педагогические свойства компьютерных тестовых систем, необходимые для эффективного и объективного мониторинга и управления качеством образования, следующие: возможности создания и модификации содержательной базы в соответствии со структурой научных теорий, автоматизированной их компоновки в тестовые массивы, генерации их вариантов, индивидуализации траектории диагностики и последующей коррекции знаний, статистической обработки итогов тестирования по схемам службы аккредитации и аттестации вузов. Программный и диагностический инструментарий с указанными свойствами можно создать при использовании средств адаптивного компьютерного тестирования, интегративно представленных соответствующей технологией.
Согласно Закону «Об образовании» (статья 33, п.20) «Условием аттестации образовательного учреждения являются положительные результаты итоговой аттестации не менее чем половины его выпускников в течение трех последовательных лет». Таким образом, закон предполагает не разовый «срез» остаточных знаний, а их мониторинг в течение как минимум трех лет. Обязательным условием аттестации является проведение аттестационных педагогических измерений, во-первых, по всем основным образовательным программам (ООП), во-вторых, по всем циклам дисциплин каждой ООП и, наконец, не менее чем по трем дисциплинам циклов ГСЭ и ЕН и не менее чем по пяти дисциплинам циклов ОПД и СД. Результаты ФЭПО (информационно-аналитическая карта) являются основанием для принятия ре-
Ш ЧерныхА.И., Шапошникова Т.Л.
«Использование технологий компьютерного тестирования для контроля качества...»
шений в системе внутривузовского управления качеством подготовки специалистов (3).
Ключевым моментом при аттестации образовательных учреждений по результатам педагогических измерений является качество аттестационных педагогических измерительных материалов (АПИМ), разработанных по контролируемой дисциплине учебного плана. Если при этом выполняются условия валидности по содержанию и уровню трудности требованиям ГОС, то тем самым с помощью аттестационных педагогических измерительных материалов оценивается качество подготовки обучающихся на уровне требований ГОС. В целях дальнейшего совершенствования подготовки и проведения КОЗ необходимо на факультетах выделить ответственных за КОЗ, включая контроль над разработкой контрольно-измерительных материалов и АПИМов для диагностики знаний студентов. Тестовые базы и контрольно-измерительные материалы должны полностью соответствовать ГОС, примерным рабочим программам и кодификаторам дисциплин. Образцы банков тестовых заданий различной структуры и содержания представлены на сайтах www.ast-centre.ru. www.fepo.ru.
Для управления качеством образования необходимо иметь надежный инструмент для его измерения и оценки. Таким инструментом является инструментальная среда для компьютерного тестирования знаний студентов «АСТ-Тест». Эта же система в настоящее время также используется при проведении процедуры комплексной проверки вузов. В настоящее время эта технология компьютерного тестирования оправдала себя как для контроля остаточных знаний, так и для промежуточного и итогового контроля.
В Центре тестирования Кубанского государственного технологического университета разработана автоматизированная система - универсальный тестовый комплекс адаптивного тестирования, имеющий тестовые базы по циклам ГСЭ. ЕН и ОПД образовательных программ (13 единиц). Технология его применения служит основой для развертывания в университете внутривузовской
системы управления качеством образования. Разработанный программный комплекс. позволяющий проводить локальное и сетевое тестирование (в том числе в сети Internet). выполняет такие функции:
- создание и хранение. редактирование и формирование баз тестовых заданий по различным дисциплинам с возможностью их дополнения;
- компоновка вариантов тестирования;
- апробация тестовых заданий с выявлением уровня сложности для адаптивного тестирования;
- выбор алгоритмов адаптивного тестирования и обратной связи;
- обработка результатов тестирования. формирование ведомостей и сертификатов;
- сбор и анализ статистической информации.
Нами предложена модель технологии адаптивного компьютерного тестирования. включающая:
- содержательную базу. формируемую из структурных элементов научных теорий в массиве предложенных тестовых заданий с дифференциацией уровня сложности;
- структуру программного комплекса технологии АКТ. интегрирующую модули: автоматизированной компоновки тестовых заданий. создания тестовых вариантов. алгоритмов адаптивного тестирования и обратной связи; редактирования содержательной базы; статистической обработки результатов тестирования
- методику компьютерного и бланкового тестирования. состоящую из этапов: подготовительного - формирование именной базы тестируемых. обучение преподавателей и вспомогательного персонала. создание компьютерного процессуально-аналитического аппарата; процессуального -реализация процедуры тестирования и коррекция его режимов тестирования. оперативная диагностика в режиме on-line. формирование индивидуальных протоколов. передача диагностирующей информации по компьютерным сетям; аналитического -
анализ интегральных и индивидуальных результатов тестирования по конкретным факторам; рефлексия процедуры тестирования и содержательной базы, различные формы визуализации результатов тестирования; итогового - разработка рекомендации по коррекции и эффективному управлению учебным процессом; интерпретация результатов в соответствии требованиями к аттестации и аккредитации вузов; содержательный, методический и организационный выводы.
Процесс компьютерного адаптивного тестирования разделяется на два этапа в соответствии с уровнем знаний студентов, участвующих в процессе тестирования. На начальном этапе знание о степени обученно-сти объекта у тестирующей системы полностью отсутствует, следовательно, проектирование траектории его заключений необходимо осуществлять с учетом эмпирических результатов, накапливаемых в тестировании. На этой стадии тестовых проверок система исключает факторы случайности, использует возможность подбора уровня сложности тестовых ситуаций и формирует "образ" тестируемого с учетом его поведения. На втором этапе подтверждаются первоначально выявленные причинно-следственные отношения, для чего используются методы систематизации научных наблюдений, регулярно обновляются базы данных ответов испытуемого на однородные по сложности тестовые задания. На этой стадии можно выявить закономерности, присущие поведению каждого конкретного испытуемого из данного класса обученности. Важным обстоятельством является также то, что на этом этапе более верно оценивается реальная степень обученности испытуемого, что представляет дополнительный материал для правильного построения теоретической модели элементов однородной эмпирической системы компьютерного тестирования.
Культура проектирования тестовых заданий связана с конструированием и представлением в инструментальной среде тестовых ситуаций, построенных с применением стандартных форм и методологических правил и отражающих смысл и содержание фрагментов учебного материала. Банк тес-
товых задании по различным дисциплинам высшего профессионального образования должен соответствовать Государственному образовательному стандарту и требованиям спецификации взаимодействия тестов и тестирования глобального образовательного консорциума Global Learning Consortium, IMS. Этот банк должен содержать достаточный объем тестовых заданий, структурированных по форме, содержанию трудности таким образом, чтобы тесты, сформированные на их основе, обеспечили проверку качества обучения. Тестовые задания позволяют проверить уровни обученности от простейшего узнавания до практического умения использовать полученные знания при решении задач.
В рамках работы по контролю остаточных знаний студентов специальностей 350800, 030500, 060700, 180800, 271300 авторами разработаны, экспериментально проверены и обоснованы организационно-педагогические условия успешного внедрения тестовой технологии, обеспечивающие повышение качества знаний. Использование тестовой технологии является действенным средством для определения эффективности образовательной системы вуза при следующих условиях: наличии методики организации тестирования; наличии организационной структуры (Центра тестирования), обеспечивающей организационно-методическое сопровождение конструирования тестов по естественнонаучным и профессиональным дисциплинам, всего блока работ, связанных с проведением, обработкой и интерпретацией результатов тестирования; наличии методической подготовки педагогических работников по проблемам тестовой диагностики.
Для проверки гипотезы о соответствии величины показателя освоения дисциплины критериальному значению введено критическое значение показателя освоения дисциплины, зависящее, в частности, от количества тестируемых. Если значение показателя освоения дисциплины для данной основной образовательной программы выше критического значения, то не отвергается гипотеза о равенстве показателя освоения дисциплины критериальному значению. В рассматривае-
ы
Ш ЧерныхА.И., Шапошникова Т.Л.
«Использование технологий компьютерного тестирования для контроля качества...»
мои модели оценки выполнения государственного образовательного стандарта в качестве критериального значения принята величина 50%, а критическое значение показателя освоения дисциплины рассчитано с надежностью 0,9.
Результаты оценки качества подготовки студентов на соответствие требованиям государственных образовательных стандартов высшего профессионального образования и результаты педагогических измерении по каждои основнои образовательнои программе высшего учебного заведения были систематизированы и обобщены, на основе чего был сделан вывод о качестве образования в вузе, а также намечены пути коррекции учебного процесса.
В Кубанском государственном технологическом университете разработаны методические рекомендации в виде пакета инструкции, памяток для студентов, способов формирования репрезентативнои выборки тестируемых для организаторов педагогических мониторинговых исследований; инструктивно-методические рекомендации для проведения аттестационного тестирования; рекомендации по использованию авторских компьютерных программ обработки результатов тестирования. Использование предложенной технологии адаптивного компьютерного тестирования в практике подготовки студентов инженерных специальностей к аккредитации вуза показало наличие положительной динамики в освоении общетеоретических и профессиональных дисциплин, что проявилось в существенном увеличении процента усвоения дидактических единиц в результате итогового тестирования по сравнению с предварительным.
Выводы
1. Теория педагогических измерений в современных условиях внедрения государственных образовательных стандартов - это качественно новый этап в развитии педагогической науки и практики, характерной особенностью которого является научное обоснование сущности, целей, содержания, функций и задач педагогической диагностики, определение ее как действенного средства повышения качества обученности студен-
тов, создание системы мониторинга уровня предметных достижений в целях анализа деятельности вуза как педагогической системы и повышения эффективности управления ею.
2. В ходе исследования доказана педагогическая целесообразность реализации системы тестового контроля в условиях стандартизации и технологизации образования. Разработана и практически реализована методика создания предметных тестов, компьютерная программа обработки тестирования учащихся, позволяющая интерпретировать их итоги по различным основаниям, и методика репрезентативной выборки студентов при подготовке к аттестации и аккредитации, методические рекомендации для использования тестов предметных достижений, организации и проведения контроля остаточных знаний на компьютере.
3. Разработка педагогической технологии адаптивного компьютерного тестирования создаёт условия для решения актуальных дидактических задач: создания предметных тестовых баз и комплексного средства автоматизированной обработки результатов тестирования групп обучаемых; индивидуализированной диагностики с последующей коррекцией траектории обучения; организации мониторинга в процессе аттестации и аккредитации вуза; итоговой визуализации и интеграции результатов тестирования при использовании статистической обработки.
4. Применение разработанной нами системы адаптивного компьютерного тестирования показало ее технологическую и педагогическую эффективность. Использование результатов исследования в управленческой деятельности руководителей вузов и преподавателей будет способствовать повышению эффективности управления качеством образования в инженерном вузе.
ЛИТЕРАТУРА
1. Аванесов, В.С. Форма тестовых заданий: Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей / В. С. Аванесов. - М.: Центр тестирования, 2005. - 156 с.
2. Гулидов И.Н. Педагогический контроль и его обеспечение: Учебное пособие / И.Н. Гулидов. - М.: ФОРУМ, 2005. - 240 с.
3. Ефремова, Н.Ф. Педагогические измерения в системе образования / Н.Ф. Ефремова, В.И. Звонников В.И., М.Б. Челышкова //Педагогика. - № 2. - 2006. - С. 14-22.
4. Челышкова, М.Б. Теория и практика конструирования педагогических тестов / М.Б. Челышкова. - М.: ЛОГОС, 2002. - 316 с.
5. Шапошникова, Т. Л. Обучение физике с использованием современных компьютерных технологий: перспективы, достижения и проблемы / Т.Л. Шапошникова. - Краснодар: КубГТУ, 2000. - 224 с.
Об авторах
Черных Анатолий Иосифович, кандидат технических наук, доцент, проректор по Кубанского
государственного технологического университета, председатель методического совета КубГТУ, директор Центра тестирования КубГТУ. Сфера научных интересов - теория и методика профессионального образования.
Шапошникова Татьяна Леонидовна, доктор педагогических наук, кандидат физико-математических наук, профессор, заведующий кафедрой физики Кубанского государственного технологического университета, председатель секции фундаментальной подготовки Методологического совета КубГТУ. Сфера научных интересов - теория и методика профессионального образования. [email protected]
