Современное состояние и перспективы развития системы тестирования знаний в системе дистанционного обучения для университета Текст научной статьи по специальности «Компьютерные и информационные науки»

СОВРЕМЕННОЕ СОСТОЯНИЕ И ПЕРСПЕКТИВЫ РАЗВИТИЯ СИСТЕМЫ ТЕСТИРОВАНИЯ ЗНАНИЙ В СИСТЕМЕ ДИСТАНЦИОННОГО ОБУЧЕНИЯ ДЛЯ УНИВЕРСИТЕТА А.А. Бобцов, А.В. Лямин, М.С. Чежин

Введение

Система компьютерного тестирования все шире и шире применяется в учебном процессе СПб ГИТМО (ТУ). При этом компьютерное тестирование рассматривается как элемент системы дистанционного обучения. На сегодняшний день в системе регулярно проводится контроль знаний студентов по 25-ти дисциплинам. Из них на I курсе - 7, на II курсе - 3, на III курсе - 10, на IV курсе - 2, на V курсе - 3. Кроме текущего и рубежного тестирования, по ряду дисциплин используется входное тестирование (иностранный язык) и тестирование в качестве допуска к экзамену ("Основы языка Паскаль", "Концепции современного естествознания", "Введение в профессионально-педагогическую специальность", "Синергетика").

Автоматизированный контроль знаний при аттестации позволяет унифицировать аттестационные требования, повысить объективность аттестации, а также оценить эффективность профессиональной деятельности преподавателей. В свою очередь, автоматизация процесса обучения позволяет обучаемому контролировать свои знания в процессе изучения предмета, а преподавателю дает возможность оценить структуру и качество подготовки учебного материала.

Система тестирования знаний в системе дистанционного обучения (СДО) СПб ГИТМО (ТУ) позволяет проводить обучение и аттестацию с любого персонального компьютера, подключенного к Интернет, или в изолированной локальной сети посредством стандартного Web-навигатора. Система является сетевым приложением и включает в себя набор программных модулей, выполненных на языке программирования Java, и предназначенных для доступа по IP - сети к базе данных. Выбор базы данных зависит от масштаба использования системы. С различными типами баз данных систему можно использовать, например, в глобальной сети Интернет, в локальной изолированной сети или только на отдельном компьютере, что значительно расширяет области применения данной системы.

Работа в системе не требует специальных знаний в области информатики и осуществляется в диалоговом режиме. В настоящее время для упрощения процедуры создания и отладки пакета тестовых заданий, в программный инструментарий системы тестирования знаний СДО СПб ГИТМО (ТУ) включена программа "Конструктор". Такое новшество позволяет без знания принципов программирования и форматов описания, составлять достаточно емкие и сложные по своей структуре пакеты тестовых заданий. Разработанные в системе форматы описания тестов реализуют принципы: открытости и универсальности; расширяемости и масштабируемости; мобильности и гетерогенности; надежности и безопасности; прозрачности и управляемости. Данные форматы для проведения обучения и аттестации позволяют реализовать различные способы и методы компьютерного обучения.

Основные принципы построения пакета тестовых заданий в СДО СПб ГИТМО (ТУ)

Электронные тесты в системе ДО СПб ГИТМО (ТУ) имеют иерархическую структуру. Базовым элементом электронного курса является кадр. Он содержит информацию, которая предъявляется студенту в конкретный момент времени через окно навигатора (обозревателя), и определяет реакцию системы на действия студента.

Кадры могут быть двух типов:

• тестовое задание - это вопрос или задача, требующий от обучаемого ответа в той или иной форме;

• информационный кадр - это информация, не требующая от обучаемого ответа в текущий момент времени, а предназначенная для внимательного изучения.

Тестовые задания могут быть сформулированы автором и представлены системой в одной из четырех возможных форм:

• закрытой, предусматривающей выбор обучаемым одного или нескольких правильных ответов из предложенного набора;

• открытой, предусматривающей самостоятельную формулировку и ввод ответа обучаемым в виде целого числа, вещественного числа, текстового выражения;

• на соответствие, предусматривающей установление обучаемым правильного соответствия между элементами двух множеств;

• на установление правильной последовательности, предусматривающей указание обучаемым правильного порядка в перечисленном наборе элементов.

При этом кадры могут быть независимыми друг от друга или "сцепленными". Под "сцепленными" кадрами понимается цепочка (логическая последовательность) заданий и информационных кадров, предъявляемых обучаемому последовательно, при этом предъявление следующего задания из цепочки зависит от результатов ответа на предыдущее задание.

На следующем уровне иерархии кадры группируются в более крупные учебные элементы посредством сценариев. Сценарий содержит описание процесса взаимодействия обучаемого с системой в течение одного сеанса работы. Он определяет последовательность и режимы предъявления заданий, информационных материалов, временные ограничения, правила и критерии выставления оценки. В системе предусмотрены три типа сценариев:

• " вариант" , когда автор курса составляет несколько вариантов тестов одинакового объема и уровня сложности. Обучаемому предъявляется тест, выбранный случайным образом из имеющихся;

• "группа", когда автор курса формирует определенную последовательность групп тест-кадров таким образом, что задания внутри группы имеют одинаковый уровень сложности, а группа от группы отличается сложностью или тематикой материала. Обучаемому предъявляется заданное количество случайно выбранных тест-кадров из каждой группы, а последовательность групп задается преподавателем.

• " уровень" , когда автор курса формирует уровни тестов, отличающиеся сложностью материала, при этом каждый уровень содержит определенное количество заданий, охватывающих весь материал курса или раздела. Обучаемому предъявляется определенное количество заданий первого уровня (существенно меньшее, чем объем уровня), выбираемых случайным образом. В зависимости от результатов ответа производится переход на следующий уровень или окончание сеанса. Возможны восходящая или нисходящая последовательности прохождения уровней.

Сценарий любого типа может быть либо обучающим, либо аттестующим. В режиме обучения система предоставляет следующие возможности:

• прохождение логической последовательности информационных кадров с учебным материалом и тестовых заданий, выбираемых случайно и/или детерминировано;

• выполнение переходов к более простым/сложным вопросам;

• построение диалоговых "цепочек вопросов" с целью уточнения, усложнения, упрощения;

• выдача пояснений, справочных сведений, подсказок, объяснений, примеров, определений и т. п.

В режиме аттестации система предназначена для проведения контроля знаний обучаемых без возможности получения подсказок, информационных материалов и т. п. Доступ к системе осуществляется каждый раз по разрешению преподавателя, с идентификацией личности. Результаты тестирования подтверждаются деканатом и принимаются как официальная оценка. Они заносятся в базу данных как информация о выполнении учебного плана. Количество тестовых заданий для аттестации должно быть достаточно велико для того, чтобы исключить частое повторение предъявления одних и тех же заданий различным студентам и возможность механического запоминания правильных ответов.

На вершине иерархии находятся сценарии верхнего уровня (топ-сценарии), объединяющие множество сценариев и представляющие собой собственно электронный курс. Каждому электронному курсу в СДО соответствует один сценарий верхнего уровня. Через сценарий верхнего уровня осуществляется допуск студента к информационным и обучающим ресурсам системы. Посредством сценария этого уровня осуществляется регламентация работы студента по изучению конкретного курса.

Все тест-кадры по данной теме или другой структурной единице деления курса представляются в виде текстового файла. Файлы с тест-кадрами могут содержать любое количество тест-кадров и имеют следующую структуру:

• заголовочная часть, в которой указывается общая для всех тест-кадров в данном файле тема (подраздел, раздел, дисциплина);

• содержательная часть, в которой содержится описание тест-кадров. Файл имеет заголовок следующей структуры:

• индекс и название цикла дисциплин;

• индекс и название дисциплины;

• индекс и название раздела;

• индекс и название подраздела;

• индекс и название темы;

• фамилия, имя и отчество автора.

Каждый элемент заголовка записывается с новой строки. Индекс цикла состоит не более чем из трех букв русского алфавита в соответствии с индексацией учебного плана (ГСЭ, ЕН, ОПД, СД, ДС). Индекс дисциплины представляет собой двузначное число в соответствии с учебным планом. Индекс раздела, индекс подраздела и темы представляют собой двузначные числа в соответствии с программой дисциплины. Индекс и название разделяются пробелом.

Каждое тестовое задание или информационный кадр представляется в виде отдельной записи. Авторский номер может состоять не более чем из 10 цифр и должен быть уникальным не только в пределах создаваемого файла, но и вообще среди тест-кадров, когда-либо созданных автором и включенных в систему.

Ответ на одно задание любой формы может быть либо верным, либо неверным и оценивается по двухбалльной системе: 0 или 1. Другие оценки не предусматриваются. Для того, чтобы использовать задания различных уровней трудности, вводится понятие "веса" задания, представляющего собой целое число от 0 до 9. Окончательная оценка по данному заданию получается умножением двухбалльного результата ответа (0 или 1) на вес. В зависимости от уровня трудности задания студент может получить по нему оценку от 0 до 9 баллов. При прохождении нескольких заданий или всего теста баллы, полученные по каждому заданию, автоматически суммируются. Общая оценка знаний студента по всем тесту определяется процентным отношением набранной студентом общей суммы баллов к максимально возможной сумме, также определяемой автоматически.

Таким образом, для тестовых заданий необходимо указать еще и следующие атрибуты:

• вес тестового задания;

• признак запрещения возможности пропуска тест-кадра.

По умолчанию пропуск тестовых заданий разрешен; если же пропуск тестовых заданий запрещен, то необходимо добавить соответствующую запись (см. "Техническое руководство по разработке курсов для системы дистанционного обучения в СПб ГИТМО (ТУ)", адрес в Интернет http://de.ifmo.ru).

На следующей строке начинается содержание тестового задания любой формы, которое состоит из констатирующей части, описывающей ситуацию и предложения обучаемому выполнить какие-либо конкретные действия (выбрать правильный элемент из предложенного набора, установить соответствие, установить правильную последовательность, найти числовое решение задачи, назвать дату, имя, фамилию, записать название и т.д.). Необходимо следить за корректностью формулировки задания.

Состав клиентского программного обеспечения системы

В состав клиентского программного обеспечения системы в настоящее время входят следующие элементы:

• панель программ;

• тестер;

• монитор;

• транслятор;

• инструмент декана;

• генератор ключей;

• конструктор.

Панель программ предоставляет пользователю список доступных программ. Набор программ и их наименования для надписей на кнопках определяются параметрами панели, указанными в файле конфигурации. Возможно изменение набора программ рабочего места в соответствии с потребностями и возможностями конкретного пользователя.

Программа Тестер осуществляет режимы обучения и аттестации пользователя. Работа программы начинается с вывода регистрационной информации. В начале работы с системой на экран выводится приглашение к работе, в котором указывается фамилия, имя, отчество пользователя и его текущая роль. Далее работа с системой осуществляется в режиме мастера, когда пользователь последовательно проходит несколько шагов, выбирая режимы работы, предоставляемые системой. На первом шаге пользователь должен выбрать один из двух видов работы с системой:

• аттестация;

• обучение.

В режиме аттестации в базе данных фиксируются результаты выполнения каждого тестового задания. В режиме обучения фиксируется только лишь сам факт работы по сценарию.

При превышении выделенного лимита времени выполнение кадра или тестового задания прекращается и система выдает сообщение: "Время, выделенное для выполнения тестового задания, закончилось! Переход к следующему заданию" или "Время, выделенное для выполнения теста, закончилось! Оставшиеся тестовые задания считаются выполненными неправильно".

Программа Монитор предназначена для просмотра базы данных СДО. Программа позволяет пользователям получить возможность просмотра результатов тестирования. Вид отображаемой информации зависит от роли и назначенных прав конкретного пользователя. При запуске программы на экран выводится таблица, содержащая следующие столбцы:

• группы;

• фамилия, имя, отчество пользователя(ей);

• дисциплины;

• тема аттестации с оценкой.

Программа Инструмент декана предназначена для мониторинга процесса обучения и тестирования. Вызвать ее можно из панели управления. После запуска программы на экране появится окно, в верхней части которого расположен выпадающий список, средняя часть содержит окно списка групп и окно списка пользователей выбранной группы, а в нижней части расположены кнопки управления.

Программа Генератор ключей предназначена для автоматического генерирования ключей доступа на ограниченный срок. При запуске программы на экране появляется окно, в котором указывается информация о установленных ключах. Информация включает порядковый номер, два ключа (используемые для доступа в систему) и служебную информацию. При необходимости любая строка таблицы сгенерированных ключей может быть удалена.

Программа Конструктор позволяет автоматизировать процесс создания электронного курса и подготовить для загрузки в СДО весь необходимый пакет файлов. Создание курса для включения в СДО не требует от автора каких-либо знаний в области программирования. Основное внимание автор должен уделять содержательной и методической стороне проблемы, необходимо лишь четко придерживаться несложных правил руководств, предоставляемых ЦДО. Правила оформления и подготовки вышеперечисленных компонентов подробно описаны в "Техническом руководстве по разработке курсов для системы дистанционного обучения в СПб ГИТМО (ТУ)" (адрес в Интернет http://de.ifmo.ru). Представленные авторами пакеты файлов заносятся в СДО при помощи специальной программы-конвертера, которая переводит содержание пакета во внутреннюю форму и заносит в базу данных, после чего пакет становится готовым для использования. Перед принятием окончательного решения о включении пакета в эксплуатацию автор должен проделать пробные сеансы обучения и аттестации с целью выявления возможных ошибок и неточностей.

Программа Транслятор предназначена для проверки и занесения тестовых заданий и электронных учебников СДО СПб ГИТМО (ТУ). Возможны как отдельная проверка пакетов тестовых заданий и электронных учебников, так и проверка с последующим занесением в базу данных системы. Данная программа позволяет проводить проверку на наличие семантических ошибок в структуре файлов, теговых и лексемных ошибок, а также занесение проектов в базу данных. Программа Транслятор позволяет просматривать и проверять файлы проекта только в кодировке Windows-1252!

Заключение

Дальнейшее развитие системы тестирования СПб ГИТМО (ТУ) связано с совершенствованием наполнения системы, т.е. с разработкой новых пакетов тестовых заданий по циклам дисциплин высшего профессионального образования и с доработкой уже существующих пакетов. В этой работе должен учитываться полученный опыт и накопленная статистика при использовании существующих пакетов тестовых заданий. Эксплуатация разработанной системы тестирования СПб ГИТМО (ТУ) показала, что она полностью соответствует своему назначению, требованиям технического задания и мировому уровню развития подобных систем. Для дальнейшего развития системы тестирования СПб ГИТМО (ТУ) необходимо улучшить количественное и качественное наполнение системы, т.е. разработать новые пакеты тестовых заданий по циклам дисциплин высшего профессионального образования и доработать уже существующие пакеты.