CC BY
23
ПЕДАГОГИЧЕСКИЕ НАУКИ
ТЕХНОЛОГИЯ ПРИМЕНЕНИЯ АДАПТИВНОГО ТЕСТИРОВАНИЯ IT-СПЕЦИАЛИСТОВ коммерческой фирмы Колдаев В.Д.1, Волков А.С.2, Павлов Р.И.3
'Колдаев Виктор Дмитриевич - доктор технических наук;
2Волков Александр Сергеевич — студент;
3Павлов Роман Игоревич - магистрант, кафедра информатики и программного обеспечения вычислительных систем, Федеральное государственное автономное образовательное учреждение высшего образования Национальный исследовательский университет Московский институт электронной техники, г. Москва
Аннотация: в статье рассмотрены некоторые наиболее актуальные теоретические вопросы применения тестовых технологий, методика их использования для адаптивного тестирования IT-специалистов коммерческой фирмы. Проведен анализ тестовых технологий и указаны пути повышения эффективности.
Ключевые слова: тестовые технологии, адаптивное тестирование, уровни усвоения, конечный автомат, надежность диагностического теста.
Увеличение масштабов тестирования порождает спектр проблем, условий и требований, которые нацелены на совершенствование систем контроля и оценки качества подготовки специалистов коммерческой фирмы. Адаптивное тестирование возможно, если заранее определена трудность тестовых заданий, что предполагает их предварительную апробацию и обработку результатов с использованием методов дисперсионного анализа и теории тестирования для определения надежности, валидности, дифференцирующей способности и трудности. Эффективность контрольно--оценочных процедур повышается при использовании многошаговой стратегии отбора и предъявления заданий, основанной на алгоритмах с полной контекстной зависимостью, в которых очередной шаг совершается только после оценки результатов выполнения предыдущего шага. Алгоритм отбора и предъявления заданий строится по принципу обратной (дуплексной) связи, когда при правильном ответе испытуемого очередное задание выбирается более трудным, а неверный ответ влечет за собой предъявление последующего более легкого задания, чем то, на которое испытуемым был дан неверный ответ.
Тест включает три структурных компонента: систему тестовых заданий с возрастающей степенью сложности; набор вариантов ответов, содержащих наряду с правильными и неправильные ответы (дистракторы); систему проверки и анализа результатов. Длительность тестирования ограничивается исходя из соображений: удобства процедуры тестирования; темпа накопления усталости у испытуемых; достижения оптимального уровня дифференциации сотрудников. На надежность тестирования сильно влияет степень гомогенности групп испытуемых, уровень их подготовленности, а также другие факторы, связанные не столько с тестом, сколько с условиями сеанса тестирования [1].
В настоящее время при адаптивном контроле особое внимание уделяется пирамидальному тестированию, при котором всем испытуемым выдаются задания средней трудности, а затем, в зависимости от ответов либо более трудное, либо более простое, путем деления шкалы заданий пополам. Для математической формализации задачи адаптивного контроля используются теоретические основы модели Раша и параметризации Item Response Theory (IRT). При статистической обработке ответов адаптивного тестирования первая модель использует аппарат нечетких множеств, а вторая для моделирования вероятностей правильных ответов логистическую кривую. Смысл адаптивности в алгоритме тестирования в том, что тест адаптируется на доступный сотруднику уровень сложности и тем самым быстрее локализует его истинный тестовый балл на шкале измеряемого свойства [1, 2].
Ядром системы тестирования является конечный автомат, реализующий модель поведения IT-специалиста и так называемую функцию «уровня знаний». Содержательно база вопросов разделяется на три уровня: мировоззренческий, базовый, углубленный:
A = |Q, T, A, I, Fгде Q = {3...5, True, False} - множество входных данных (3.. .5 - вопросы соответствующего уровня; True/False - правильность ответа);
2 — (у0...Л'12} - множество состояний автомата; I — {"О}
^ — {у4, £1О, £12}
множество начальных
состояний автомата;
- множество конечных состояний автомата;
А - функция переходов. Необходимый уровень валидности результатов достигается за счет нескольких рекурсивных проходов автомата (рис. 1).
Рис. 1. Графическое изображение конечного автомата
Надежность теста связана с понятием стандартной ошибки: чем выше надежность, тем меньше стандартная ошибка измерений. Существует несколько различных понятий надежности диагностического теста. Надежность параллельных форм - характеристика, получаемая с помощью параллельных форм (вариантов) теста, проведенных на одной и той же выборке 1Т-специалистов. Ретестовую надежность определяют при повторном использовании того же самого теста спустя некоторый промежуток времени. Надежность расщепленных частей теста исследуется путем анализа устойчивости результатов отдельных совокупностей тестовых заданий при однократном тестировании.
Разработанный алгоритм компьютерного адаптивного тестирования (АКАТ) содержит восемь тем. Он автоматически выбирает обучающий метод по следующим критериям: по тестовому опросу или предыдущему тестированию. В каждом тематическом разделе предоставляется множество материалов (теоретические сведения или практические навыки) и тестов (самоконтроль или контрольные задания).
В первых разделах генерируются вопросы и задания для проверки знаний по первым трем темам, которые являются вводными - содержащими общие понятия классификации и определения. В предлагаемом алгоритме тестирования при формировании вопросов для очередной темы используются результаты выполнения контрольных вопросов из трех предыдущих тем (рис. 2). Результаты (оценки) первых трех тем прямо пропорциональны сложности заданий четвертой темы и обратно пропорциональны количеству заданий четвертой темы [3].
5= сложность вопросов, К = количество вопросов
Рис. 2. Схема определения сложности и количества вопросов 84
Принцип генерирования заданий для последующих тем (5, 6, 7, 8) - одинаковый: для формирования заданий по теме 5, необходимо учитывать результаты предыдущих трех тем (2, 3, 4); для генерирования заданий и контрольных вопросов по теме 6 - результаты предыдущих трех тем (3, 4, 5) и т.д. Анализ результатов выполнения тестов и контрольных вопросов по темам (1, 2, 3) осуществляется с использованием метода минимума, предложенного Такаги-Сугено [3, 4]. Затем, по методу среднего центра, определяются количество (К) и сложность (5) контрольных вопросов: S = 5(хь х2, х3) - сложность заданий; К = К(хь х2, х3) -количество заданий. На рис. 3 показан алгоритм генерирования вариантов вопросов и структуры заданий. Если сотрудник получает оценку «отлично» за предыдущие задания, то количество вопросов К = 4, а сложность вопросов - 56 = {1, 4, 6, 7}. Если получена оценка «удовлетворительно» за предыдущие задания, то количество вопросов К = 5, а сложность вопросов - = {1, 2, 3, 4, 5}.
Рис. 3. Варианты генерации тестов и контрольных вопросов
В алгоритме адаптивного тестирования различают пять уровней усвоения производственного материала: нулевой уровень - понимание новой информации; первый уровень - опознание (выделение) изучаемого объекта; второй уровень - воспроизведение информации по памяти, по образцу; третий уровень - применение алгоритма для решения нетиповых задач; четвертый уровень - творческая деятельность при разработке алгоритма решения задачи [3, 4].
Исследование возможности повышения эффективности в адаптации тестов связано с уровнем подготовленности специалистов и их психологическим типом: сотрудники-синтетики (для них трудны тесты с возможностью множественного выбора вариантов ответа; тесты с открытыми вопросами дают возможность проявить свои творческие способности); сотрудники-аналитики (выигрывают от тех видов деятельности, которые позволяют им углубиться в детали, проанализировать, сделать вывод; тесты на решение определенных задач позволяют применять свои способности к анализу); импульсивные сотрудники (хорошо справляются с традиционными тестами с ограниченным сроком выполнения); рефлексирующие сотрудники (потребуют тесты, в которых не задан лимит времени); индуктивные сотрудники (утомляются объяснениями руководителя, не имея возможности попробовать сделать это самим); дедуктивные сотрудники (живут правилами и любят слушать объяснения руководителя) [4, 5].
Методика адаптивного тестирования предполагает пошаговую переоценку уровня подготовленности специалиста, через обучающие тесты градуированного (уровневого) характера. По результатам исследования (50 сотрудников) преимущества адаптивного тестирования знаний одобряют большинство - 84%; 16% выразили отрицательное отношение. Применение рейтинговой системы стимулирует работу (45%); позволяет более объективно оценивать знания (20%); создает заинтересованность в самостоятельной работе (11%). В результате разработанной технологии получена динамика значительного роста профессионального и личностного развития 1Т-специалистов фирмы.
Список литературы
1. АванесовВ.С. Композиция тестовых заданий. М.: Учебная книга, 2002. 240 с.
2. Лебедева И.П. Математические модели как средство обучения. М.: Педагогика, 2004. № 2. С. 11-19.
3. Колдаев В.Д. Технология адаптивного тестирования структурно-содержательной модели индивидуального образовательного маршрута студента вуза // «Избранные вопросы современной науки». Монография / Под общей ред. д.п.н., проф. С.П. Акутиной. М.: Из-во «Перо», 2011. С. 5-37.
4. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.
5. Колдаев В.Д. Модерация дуплексной системы управления процессом обучения на основе графовых моделей // Инновационная деятельность в системе образования. Монография / Под общей ред. д.п.н., проф. Г.Ф. Гребенщикова. М.: Издательство Перо, 2011. С. 182-211.
ИСПОЛЬЗОВАНИЕ МУЛЬТИМЕДИЙНЫХ СРЕДСТВ НА ПРАКТИЧЕСКИХ ЗАНЯТИЯХ ПО ИНОСТРАННОМУ ЯЗЫКУ
В НЕЯЗЫКОВОМ ВУЗЕ Мезенцева А.И.1, Шишкина В.А.2, Бурлай Н.В.3
'Мезенцева Анна Игоревна - старший преподаватель;
2Шишкина Валентина Александровна — доцент, кандидат политических наук;
3Бурлай Наталья Васильевна - старший преподаватель, кафедра иностранных языков, Черноморское высшее военно-морское ордена Красной звезды училище им. П. С. Нахимова,
г. Севастополь
Аннотация: в статье рассматривается использование мультимедийных средств на практических занятиях по иностранному языку в неязыковом вузе.
Ключевые слова: мультимедийные средства, практические занятия, иностранный язык, неязыковой вуз.
Одной из главных черт современного образования является широкое использование мультимедиа как технических средств обучения. Мультимедиа предназначены для повышения эффективности педагогической работы. Применение современных мультимедиа - кино, радио, телевидения, звукозаписи, компьютеров - основывается на разностороннем и все более полном учете психологических возможностей человеческого организма.
Процесс изучения иностранных языков сегодня невозможно представить без использования мультимедиа. И неслучайно в последнее время заметно растет интерес к учебным видеофильмам как к эффективному средству обучения иностранному языку.
Специфика видео позволяет совместить зрительные и слуховые образы в типичных обстоятельствах [1]. Обучающимся предлагается речевая ситуация, в которой они с помощью преподавателя могут оказаться в роли активных участников коммуникации. Эффективности этого средства обучения иностранному языку способствуют также технические возможности видео, которые позволяют останавливать и повторять действие много раз. Учебные видеофильмы являются простой, доступной и интересной формой изложения нового учебного материала. Использование видео способствует повышению интереса к дисциплине, лучшему усвоению, запоминанию изучаемого материала. Как средство обучения оно имеет безграничные педагогические возможности [2]. Грамотное применение средств интенсификации учебного процесса с точки зрения методики характеризуется определенными преимуществами:
1) благодаря аутентичному звучанию речи создается приближенная к реальной иноязычная среда;
2) происходит экономия времени;
3) осуществляется обучение с элементами индивидуализации;
4) реализуется принцип аудиовизуальной наглядности обучения, благодаря которому иностранное вещание демонстрируется в многообразии ежедневных ситуаций [3].
Есть несколько вариантов проведения видео-урока. Приведём некоторые из них.
Дифференцированный просмотр (Split View)
Группа учащихся делят на две части. Одна группа курсантов просматривает и слушает всю сцену; а другая только слушает. Упражнения основаны на принципе information gap (недостаточности информации). Если взять, например, сцену разгрома американской базы в Перл-Харбор из одноименного фильма, то первую группу курсантов можно условно назвать «свидетелями» всей драматической сцены, а другую - «журналистами», работающими на радиостанции, которые должны провести живое интервью со «свидетелями». Курсантов -«свидетелей» просят обратить внимание не на специфику диалога, прозвучавшего в фильме, а
