CC BY
120
Обзор возможностей программных комплексов TestMaker и MyTestXPro
Мухутдинов Тимерхан Аглямович Студент группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (890)33873963 timerking@rambler.ru
Андреева Вероника Николаевна Студент группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (893)76128470 Шtleflair@,mail. га
Исмагилова Альбина Хабибрахмановна Студент группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (891)96451681 albina71994@yandex.ru
Шакиров Айдар Абдулбарович Студент группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111,(891)78796768 aidar-saa@,mail. га
Аннотация
Работа посвящена сравнению свойств программного комплекса TestMaker, предназначенного для разработки тестовых заданий и проведения контрольно-оценочного этапа учебного процесса, и системой программ для создания и проведения компьютерного тестирования знаний, сбора и анализа результатов MyTestXPro. Рассматриваетсяконструированиетестовыхзаданий, сучетоминструментариев, предоставляемыхсистемами.
Our work is devoted to comparison of properties of the program platform TestMaker intended for development of tests and carrying out a control and evaluation stage of educational process and software system for creating and testing of computer knowledge, collection and analysis of results MyTestXPro. Designing of tests, integrating the tools provided by the system.
Ключевые слова
система тестирования, обучающая система, локальные системы, учебный контент, тестовые задания
testing system , training system , local systems , learning content , tests
Введение
Существование и функционирование образовательной системы, как одного из оснований становления и развития информационного общества напрямую связано с понятием информационных технологий, которые представляют собой комплекс программ и средств, направленных на совершенствование имеющихся методов обучения. На фоне ведущихся разработок программного обеспечения всё большую популярность обретают системы компьютерного тестирования, цель которых заключается в оценке успешности овладения конкретными знаниями и даже отдельными разделами учебных дисциплин, и являются более объективным показателем обученности, чем оценка [1].
Выбор конкретной среды или программы зависит от целей тестирования, уровня подготовки и навыков работы пользователя в роли разработчика в выбранной программной среде, выбора типов тестовых заданий. Большинство разработчиков предлагает программный инструментарий, который позволит сократить время пользователя на создание набора тестовых заданий при этом не снижая качественного уровня разработанного модуля тестирования.
Ввиду разнообразия систем компьютерного тестирования на рынке программного обеспечения, пользователям без специального технического образования в сфере информационных технологий достаточно сложно остановить свой выбор на конкретном продукте без предварительного анализа и тестирования возможностей систем, что позволяет говорить об актуальности и необходимости данной работы.
Представление возможностей систем TestMaker и МуТе81ХРго
TestMaker представляет собой локальную программную систему для составления и проведения тестирования с неограниченным количеством вопросов и ответов в учебной аудитории на отдельном компьютере и в локальной сети. Программный инструментарий позволяет создавать наборы тестовых заданий для обучения и контроля знаний учащихся, открывать и вносить изменения в ранее созданные тесты, сохранять результаты тестирования в текстовом/зашифрованном формате, поддерживает сохранение вновь созданных или измененных наборов тестовых заданий в самоисполняемый файл. [2-5]
MyTestXPro - это система программ для создания и проведения компьютерного тестирования знаний в нескольких независимых друг от друга режимах: обучающий, штрафной, свободный и монопольный, применяется для сбора и анализа результатов для выявления уровня знаний обучающихся по любым учебным дисциплинам, а также для получения новых. С помощью программы предприятия и организации могут осуществлять аттестацию и сертификацию своих сотрудников. Программный комплекс предлагает три активных рабочих модуля: Модуль тестирования (MyTestStudent), Редактор тестов (MyTestEditor) и Журнал тестирования (MyTestServer)
(http://mytest.klyaksa.net/htm/download/index.html).Результаты тестирования не только показываются (хотя могут быть и скрыты) тестируемому, но, также, могут быть сохранены в файл, переданы по сети в Журнал или отправлены по электронной почте или на веб-сервер.
На рис.1 и рис.2 представлены интерфейсы программных комплексов TestMaker и MyTestXPro.
Файл Правка Вопросы Настройка Помощь
Оо 13&Ей дачш ВН .м.
а [ш I ее и ^ ► х ?
Тест по нейросетям
18. Какие из предложенных пунктов являются недостатками НС Хопфилда ?
I- ••< :-| {/ < -1-ЭГ-1 К /ГК.-.Ж!-ЛУЧ ра:'.Ю.--.Ж. ГУ ,» оЪряон
Г Исжономнх И'лоль'лжаике ЬУЯ-И
Г €иьз5Г1'эшсг= < геоме-рическим преобразованиям :>бразоз
Вопрос 1 Вопрос 2 Вопрос 3 Вопрос 4 Вопрос 5 Вопрос Б Вопрос 7 Вопрос б Вопрос 9 Вопрос 10 Вопрос 11 Вопрос 12 Вопрос 13 Вопрос 14 Вопрос 15 Вопрос 16
Вопрос 19 Вопрос 20 Вопрос 21 Вопрос 22 Вопрос 23 Вопрос 24 Вопрос 25 Вопрос 26 Вопрос 27 Вопрос 28 Вопрос 23
ё III Й
'...... := ш
Рис.1. Интерфейс программного комплекса TestMaker
Редактор тастов МуТе-дЕ.|1М| [МуТеИХРю] НЕЗАРЕГИСТРИРОВАННАЯ ВЕРСИЯ ■ лйЛ
| Файл Группы Задания Параметры теста Формат Настройка ? |
□ В □ В +• К - : Л* А" в г и $ о /,/' д Е£ Е 5 5 5 5 0Я.И Насаль
Описание группы:
1~1 Перемешать зал I I Ограничить кол
Ограничение по вреь®
Справочная информацге
-Тип задания: 0 Одиночный выбор О Множественный выбор О Истина или ложь О Указание порядка О Сопоставление О Ручной ввод числа О Ручной ввод текста О Точка на изображении О Перестановка букв О Заполнение пропусков
♦ ♦ * ± о в
Рис. 2. Интерфейс программного комплекса MyTestXPro
Функциональные возможности обоих программных систем TestMaker и MyTestXPro позволяют форматировать текст вопросов и вариантов ответа в соответствии с необходимыми требованиями и предпочтениями пользователя:
■ определение шрифта, цвета символов и фона, использование верхнего и нижнего индекса;
■ разбиение текста на абзацы и применение к ним расширенного форматирования;
■ использование изображений и формул;
■ быстрое переключение в режим просмотра создаваемого теста в режиме обучаемого.
Для повышения качества оценки знаний обучающихся программный комплекс систем МуТе81ХРго имеет возможность задать сложность каждого вопроса (количество баллов за верный ответ), прикрепить подсказку (отображение может быть за штрафные баллы) и объяснение верного ответа (выводится в случае ошибки в обучающем режиме). Программа TestMaker поддерживает возможность определения максимального времени прохождения теста, изменения порядка следования вопросов и учёта сложности вопросов.
Типы вопросов в TestMaker и МуТе81ХРго
1. Выбор одного правильного ответа:
TestMaker:закръIтъm однозначный вопрос представляет собой набор вариантов ответа, из которых только один правильный, а остальные неправильны, неточны или неполны. Имеется возможность указать любое число вариантов (сколько поместится на экран). Пример конструктора вопроса представлен на рис. 3.
МуТе^ХРго:тестируемому предлагается выбрать только один вариант ответа из нескольких предложенных. Это простейший вид заданий, в которых правильный ответ уже содержится, и задача испытуемого состоит в его узнавании. В задании может быть до десяти вариантов ответа.Пример конструктора вопроса представлен на рис. 4. _
Редактор закрытого однозначного вопроса!
Лево |27 Ширина |ЗЭ6 Щ Заголовок Верк |144 Щ Высота |162 Щ | -Ответ-
Совокупность наук об обществе, изучаемым в средней школе I Процесс развития природы и общества
; Наука об устройстве мозга и принципах его работы
Совокупность наук об обществе, изучаемых в средней школе Процесс развития природы и общества Наука об устройстве мозга и принципан его работы
Удалить | Добавить 11
Рис. 3. Создание одиночного вопроса в Тез1Макег
Рис. 4. Создание одиночного вопроса в MyTestXPro
2. Выбор нескольких правильных ответов:
TestMaker/закрытый многозначный вопрос похож на закрытый однозначный вопрос за исключением того, что правильных ответов может быть несколько (или ни одного). Имеется возможность указать любое число вариантов ответа, и любые из них могут быть правильными. Пример конструктора вопроса представлен на рис. 5.
MyTestXPro:тестируемому предлагается выбрать один или несколько вариантов ответа из нескольких предложенных. Это вид заданий, в которых правильный ответ уже содержится, и задача испытуемого состоит в его узнавании. Сложность этого задания выше, чем у задания с одиночным выбором, и угадать правильный ответ сложнее. Причем, может требоваться отметить один вариант, несколько вариантов, все варианты или даже оставить все неотмеченными. В задании может быть до десяти вариантов ответа.Пример конструктора вопроса представлен на рис. 6.
|Г 1/МП /, Г А л Е Е « « ■ Н - -
ЬГ
Рис. 6. Создание многозначного вопроса в MyTestXPro
Рис. 5. Создание многозначного вопроса в TestMaker
3. Поиск соответствия:
TestMaker:вопрос на соответствие представляет собой три списка. Требуется найти соответствие между элементами левого списка и элементами правого списка (щелкнуть мышью сначала на левый, затем на правый элементы). Ответ автоматически занесется в верхний список. Из верхнего списка правильный ответ можно удалить двойным щелчком. Один элемент любого списка может иметь несколько соответствий из другого или не иметь ни одного. Ответ на вопрос считается правильным, если указаны все заданные соответствия и не указаны ложные соответствия. Порядок ответа не играет роли. Удаленные двойным щелчком ответы из верхнего списка не учитываются. Количество вариантов, как в левом, так и в правом списках не ограничено.Пример конструктора вопроса представлен на рис. 7.
MyTestXPro:задание на сопоставление предполагает выбор номера соответствующего варианта из всех предложенных. То есть даны два столбика - для каждого варианта из первого столбика необходимо указать соответствующий вариант из второго. Задание с сопоставлением удобно применять в случаях, когда требуется упорядочить элементы или сгруппировать какие либо элементы по определенным признакам, проверить знание связи между различными предметами, свойствами, законами. Разным вариантам из первого столбика могут соответствовать одинаковые из второго. Так же во втором столбике могут быть варианты, не имеющие сопоставлений в первом. Количество вариантов в столбиках может быть одинаковым, а может быть и разным. Пример конструктора вопроса представлен на рис. 8.
Лево |36 [§] Ширина |459 [§] Разделитель | - ■ А" V 1/ИО 1М 'ЕЕ 1111 в" т
Верх ЩШ Высота ¡гоТЩ
-,,,— 1
ассоциативные НПЗ - выполняют роль детекторов признаков решающие НПЗ ■ служат для принятия решений
сенсорные НПЭ воспринимают входные образы — 5 ? --—На : + э
ассоциативные НПЭ
решающие НПЭ служат для принятия решений й Ггщчмлиня
и с^нил ¡Уч'рщк'ияшс
с-м^г, -----
сл.+нхо. Лиитуюлшнг
Удалить | Добавить] | Удалить | Добавить] |
□К | Отмена | V - ---- П .
Рис. 7. Создание вопроса на соответствие в TestMaker
Рис. 8. Создание вопроса на соответствие в MyTestXPro
4. Запрос ранжирования:
TestMaker:запрос ранжирования не является отдельным типом вопроса, так как его можно смоделировать как вопрос на соответствие.Пример конструктора вопроса представлен на рис. 9.
MyTestXPro:тестируемому предлагается упорядочить список. То есть необходимо для каждого элемента (варианта ответа) указать его порядковый номер. В списке может быть до десяти вариантов ответа. Пример конструктора вопроса представлен на рис. 10.
и
К V; ■/ и 5 о /, р А £ :
Ркпоюхшг (лшишы атаирпша Еплл-жтва пифсршаап
—------ ■ !■ и ---
: - Ь*Ят ; 1
» V КшМЫН
» . " 1
4 « Г игабайт * 1
1 - ТсраОаЛ! _3
^ 11«. 1 чж
Рис. 9. Создание запроса ранжирования в TestMaker
Рис. 10. Создание запроса ранжирования в МуТе«1ХРго
5. Открытый вопрос (запрос ввода пропущенного текста):
TestMaker:открытый вопрос представляет собой поле редактора, в которое требуется вписать некоторую строку. Эта строка и будет считаться ответом на поставленный вопрос. Можно задать текст, которым поле будет заполняться по умолчанию при его отображении. При выборе «Допускать опечатку» варианты ответа с орфографическими ошибками засчитываются верными.Пример конструктора вопроса представлен на рис. 11.
MyTestXPro:задание на ручной ввод текста предполагает введение текстовой строки или нескольких строк в качестве ответа. Можно задать не один, а несколько вариантов ответа. Ответ считается верным, если совпадает хоть с одним из вариантов. Т.е. вы можете предусмотреть возможные опечатки (например, позиционная и позиционая) или неоднозначности ввода (например, алгоритм и алгоритмом). Возможно использовать регулярные выражения для проверки
правильности ответа. Так же вы можете указать учитывать или нет регистр символов. Можно задать ввод либо одной, либо нескольких строк (до десяти). Пример конструктора вопроса представлен на рис. 12. _
Редактор открытого во.,, ЧшШ
Лево |25 Ширина [375 Берн \Ш И Высота |23 ^ Значение|
Ответ |дещригы
Допускать опечатку
ОК
Отмена
Рис. 11. Создание открытого вопроса в TestMaker
Рис. 12. Создание открытого вопроса в MyTestXPro
6. Расширенный открытый вопрос:
Те81Макег:этот элемент несколько более сложен, чем обычный открытый вопрос. Основное отличие заключается в формировании поля «Ответ» (это некоторая структура со своим алфавитом, грамматическими конструкциями и соответствующим алгоритмом проверки правильности ответа обучаемого). Расширенный открытый вопрос в отличие от обычного открытого вопроса может быть многострочным(в виде простой фразой на естественном языке). В расширенном открытом вопросе отсутствует возможность игнорирования опечаток.Пример конструктора вопроса представлен на рис. 13.
МуТе^ХРто:ответы необходимо по возможности ограничить одним словом, чтобы избежать несовпадения ответов из-за лишних пробелов между словами или порядка слов в ответе. Если ответ состоит из нескольких слов, необходимо перечислять все возможные варианты этих слов в качестве ответов, что является существенным недостатком, так как это трудоемкий процесс. Еще одним недостатком является то, что варианты ответа с орфографическими ошибками не засчитываются верными.Пример конструктора вопроса представлен на рис. 14.
Лево 25 \%\ Ширина |560 |%| Г Многострочный редактор Берн | Щ Высота |40 [%] Значение Ответ
<н|Н}<п|П}{з0}
Рис. 14. Создание расширенного открытого вопроса в MyTestXPro
Рис. 13. Создание расширенного открытого вопроса в TestMaker
7. Указание истинности или ложности утверждений:
Те81Макег:нет такого типа вопросов.
МуТе^ХРго:задание предполагает выбор утверждения "истина" или "ложь" из списка для всех предложенных вариантов. Этот тип похож на множественный выбор, но отличается тем, что требуется для каждого варианта указать одно из значений (истина или ложь), а не отметить нужные варианты. Следовательно, имеются еще различия при оценивании (при частичной правильности). В задании может быть до десяти вариантов ответа.Пример конструктора вопроса представлен на рис. 15.
* Овучмя • Двпамлт« • '«
Что входит й coetae металяургач«скок> квмпляжл (укажи аяяьак иг» ййеоиаси* с 6biciüab®íH»sw)
■ччипг 2 Z
+ У
метшаплургичеоа« комбинаты, rpo№w>w smoum, мша* металлурги*
СОД*ПЮЯПЬИ№ эацллы, &сдлом«омя млтпллуртая, nponwonifilo к<
Рис. 15. Создание вопроса на указание истинности или ложности утверждений в
МуТез1ХРго
8. Выбор места на изображении:
Те81Макег:нет такого типа вопросов.
MyTestXPro:для ответа на задание типа место на изображении необходимо указать точку на изображении. Если она попадает в указанную область ответ верен. На рисунке можно задать не одну, а несколько областей. Если выбран тип «выбор места на изображении», то рисунок к заданию будет отображаться не справа от вопроса, а внизу, в области вариантов. Для ответа тестируемый должен щелкнуть по рисунку. В месте щелчка будет нарисована мишень. До нажатия кнопки «Далее» можно изменять выбранную точку, щелкая в другие места на рисунке, сколько угодно раз. Пример конструктора вопроса представлен на рис. 16.
Мтун" |
Укажите где вводится адрес сайта. который вы желаете открыть в Интернет?
1 j¡jj - Я OICOI-TO »
+ Э >■ В х
J I < iwa/.p-an странице Moxiltf tdífox - Mocillt f«<Ox bart.n Cu &ур«»л ¿линдт |>i(iff,vfi(Tu Справа
• С X (Й tl^ ■ !-:¡'c"t r.'flo--«4--li - j W ' j йуъпЗш Ги. P\ I
Веб KapwHwt Карты Новости Группы т
Firefox Start
Google-
# Поиск ■ ИНприи* Поиск стражц ка русском
Поиск Г Googh»
Рис. 16. Создание вопроса на указание выбора места на изображении в
МуТе«1ХРго
9. Перестановка букв: Те81Макег:нет такого типа вопросов.
МуТе&ХХРго:аяаграмм&. Ответом к этому типу заданий является слово (или текст). Буквы нужного слова выводятся в отдельных областях (прямоугольных блоках) и в случайном порядке. Тестируемый может, щелкая мышью, обменивать буквы местами. Составителю теста не нужно переставлять буквы, он просто вводит нужное слово или термин, тестируемому буквы будут представлены в случайном порядке. Буквы автоматически переводятся в верхний регистр. Пример конструктора вопроса представлен на рис. 17.
Формат Настрой*« 7
fil И ' У S О I /, /' Е1Е|
• Оотавгое ф .BopHjnçotMi # • ДогвЛытеЛЛ! Ф Чсрн»*
Процесс сообщения телу электрического заряда называется...
Бвгщц >:- ЭМ4н«Е; 1
ы,П_0
Ют! + в >• В X
ЭЛЕКТРИЗАЦИЯ
э л Е К h- р и 3 А Ц И Я
Спедахгв хылине оБоос^-П!
Рис. 17. Создание вопроса на перестановку букв в MyTestXPro
10. Заполнение пропусков:
Те81Макег:нет такого типа вопросов.
МуТе^ХХРго:задание типа заполните пропуски предполагает заполнение всех пропусков в предложенном тексте. Есть два типа пропусков - текстовые поле и поле со списком. В первом случае требуется ввести текст, во втором — выбрать нужный вариант из выпадающего списка. Пример конструктора вопроса представлен на рис.
18.
• Отоопое л- Фо(х**ф{««< * Обуы»«* - £0пслытм*«0 * н
С
Залдаше типа ипо.шт« пропуски предполагает заполнение прслложенн ом
пропусков »
первеш случае ij J выпмлюшего ели с ïj Внимательна
Boriinr тиат и нпага*
Снос шивамне Март — трг
Поле со списком
Плрлнетры шла: Псм; |3 ! шри^т: ю ';"
Ст«ы»па Цскрн
нужный вариант i
+ S >■ <• В *
и охраны Марса, ^рнларях. До реформы
ш год. изнн кз семи икяцез, длиной в >1 день. В Северном полушарии Земли он является пгрвьш месяцем к^ы v Е Южном
Текст«* на*,., А Полесоспиимг,
f] Схнкито
Рис. 18. Создание вопроса на заполнение пропусков в MyTestXPro
Основные достоинства и недостатки программных комплексов
1. TestMaker-это система локального тестирования. Для мобильности системы TestMaker необходимо сделать копии на какой-либо носитель, либо в облачное хранилище данных [1]. Использование программной системы MyTestXProтакже предполагает организацию локального и сетевого тестирования. При сетевом тестировании результаты тестирования могут быть переданы по сети в модуль Журнал, а могут быть отправлены по электронной почте или на веб-сервер в Интернет методом POST, что отсутствует в случае работы с программой TestMaker.
2. Для того чтобы приступить к тестированию с помощью программы MyTestXPro пользователю необходимо представиться - ввести какую-то информацию о себе. В настройках по умолчанию предполагается ввод Фамилии Имени и другой определяющей информации, что позволяет упорядочивать сведения о проходящих тестирование с их последующей записью в Журнал, при работе в средеTestMaker не предполагается подобных возможностей.
3. Для создания тестовых заданий с помощью MyTestXPro необходима предварительная установка программного модуля с помощью инсталлятора или в виде архива, при реализации тестовых заданий в системе TestMaker установка программы не предполагается, достаточно наличия исполняемого файла на съёмном носителе или персональном компьютере.
4. MyTestXPro является условно-бесплатной программой и распространяется по принципу «Попробуй перед тем, как купить» (shareware). Вы можете использовать эту программу в ознакомительных целях на протяжении испытательного периода длительностью 30 дней. Если вы хотите пользоваться этой программой и дальше, то должны приобрести на неё лицензию. TestMaker является свободно распространяемым программным продуктом, который можно загрузить с сервера.
5. Программа MyTestXPro работает с десятью типами заданий: одиночный выбор, множественный выбор, установление порядка следования, установление соответствия, указание истинности или ложности утверждений, ручной ввод числа, ручной ввод текста, выбор места на изображении, перестановка букв, заполнение пропусков, программный инструментарий возможностей TestMaker в данном случае сравнительно меньше.
6. При создании тестов в TestMaker не возникает трудностей даже у начинающего пользователя, так как он прост в использовании, а MyTestXPro более сложен в использовании.
7. Программа MyTestXPro работает под ОС Windows XP, Vista, 7, 8. Для работы под Linux можно использовать Wine. В свою очередь, программный комплекс TestMaker также универсален и работает в любой операционной системе. TestMaker занимает небольшой объем памяти на съемных носителях, либо в облачных хранилищах данных. Объем занимаемой памяти программным комплексом TestMaker зависит от наличия графических объектов и количества вопросов (без учета тестов -1,21 Мб).
Заключение
На основе сделанного сравнительного анализа можно сделать вывод о том, что система программ MyTestXPro предлагает более широкий спектр качественных инструментальных возможностей при созданий набора тестовых заданий, но требует
определенного навыка владения компьютером, в случае работы с TestMaker не предполагается наличие определенных умений и навыков работы в компьютерной среде, являясь более универсальным продуктом для любого типа пользователя.
Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ- КАИ Галеева И.Х.
Литература
1. Тимкин С.Л. Вводный курс в информационно-образовательную среду открытого образования (ИОС ОО): Учебное пособие. - Омск: Издательство ОмГУ, 2005. -136 с.
2. Галеев И.Х., Храмов Д.Л., Светлаков А.П., Колосов О.В. Адаптивное обучение и тестирование. //Материалы Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования», 17-18 апреля 2003 г. - С. 33-35.
3. Галеев И.Х. Компьютерный контроль знаний (локально и дистанционно) // И.Х. Галеев, В.Г. Иванов, Д.Л. Храмов, О.В. Колосов; Под ред. И.Х. Галеева. - Казань: Казанский государственный технологический университет, 2005. - 126 с.
4. Галеев И.Х., Колосов О.В., Филяев А.И.. Сравнительный анализ систем компьютерного контроля знаний // Материалы Международной научно-практической конференции «Информационные технологии в многоуровневой системе образования» - 2005.- Казань: ЗАО "Новое знание" - С. 101-105.
5. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал "Образовательные технологии и общество
(EducationalTechnology&Society)" - 2007 - Т. 10 -N 3. - С.336-360. - ISSN 1436-4522.URL: http ://ifets.ieee.org/russian/periodical/j ournal. html
