CC BY
37
13. Силласте Г. Гендерная ассиметрия в образо- 14. Филлипов В.М. Высшая школа России перед вании н науке: взгляд социолога // Высшее вызовами XXI века // Высшее образование в
образование в России. 2001. № 2. России. 2001. № 2.
Поступила в редакцию 17.01.2003.
ВОПРОСЫ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ
Н.С. Данова, О.П. Пономарев
Задача оперативной оценки знаний не перестает быть актуальной. Программы для ее решения разрабатывались и ранее. Наиболее распространенными являются контролирующие программы с выборочной системой ответов. Они позволяют в течение небольшого отрезка времени объективно оценить знания студентов но любой дисциплине. При этом, с точки зрения компьютерной грамотности, от преподавателя требуются только простейшие навыки работы с текстовыми редакторами (для составления вопросов), а от студентов - умение работать с клавиатурой и манипулятором «мышь». Учитывая, что информатика, как общеобразовательный курс, введена на подавляющем большинстве специальностей, работа с такими программами доступна многим студентам.
Авторами разработан и используется пакет для тестирования знаний, состоящий из двух частей: программы настройки теста и программы проведения тестирования.
Программа настройки предназначена для преподавателя и выполняет следующие задачи:
• установку параметров теста;
• шифрование текстового файла, содержащего вопросы.
Установка параметров теста заключается в задании количества вопросов, выбираемых из базы вопросов случайным образом, системы оценки ответов и времени проведения контрольной работы. Шифрование преобразует исходный текст из формата txt в нечитаемый файл базы вопросов и добавляет к нему настройки теста. Исходные тексты вопросов и вариантов ответов могут быть подготовлены в любом из текстовых редакторов: Блокнот, Word Pad или Word.
Вторая программа предназначена для проведения тестирования. Она выбирает случайным образом из базы установленное в
настройке количество вопросов, дешифрует их и выводит на экран. Перед началом работы программа регистрирует студента. В процессе работы на экран выводятся фамилия студента, номер очередного вопроса и текущее время ответа. После чтения очередного вопроса тестируемый вводит ответ щелчком мыши по одной из кнопок, соответствующей номеру выбранного ответа. Оценка выставляется автоматически либо после ответа на все вопросы, либо по истечении времени тестирования и фиксируется в отдельном протоколе ответов.
Следует отметить, что программа для проведения тестирования не зависит от базы вопросов, что делает ее достаточно универсальной, не зависящей от темы контроля.
Последовательность действий преподавателя по подготовке теста такова:
1) разработка текстового файла, содержащего базу вопросов и номера правильных ответов к ним;
2) задание параметров тестирования и шифрование базы вопросов с помощью программы настройки;
3) размещение в локальной сети зашифрованной базы вопросов и программы проведения теста.
Опыт тестирования показал, что наиболее трудоемкой работой для преподавателя является подготовка вопросов. С одной стороны, формулировка вопросов и ответов к ним должна быть краткой и корректной, с другой - количество вопросов должно быть достаточно большим, чтобы уменьшить вероятность запоминания вариантов ответов. Так, для однократного тестирования потока в 100-200 студентов по информатике, подходящими оказались следующие параметры:
• количество вопросов в базе - около 100;
• количество вопросов в контрольной - 30;
• время ответов на вопросы - 10 минут.
Конечно, время тестирования определяется с учетом сложности вопросов. Например. вопросы по программированию могут быть сформулированы так, что для ответа потребуется вручную выполнить предлагаемый фрагмент программы. В этом случае время тестирования должно быть увеличено.
Опыт эксплуатации пакета для тестирования покачал и некоторые его недостатки, основными из которых являются:
• слабая информационная защищенность пакета;
• отсутствие системы автоматического сбора результатов тестирования;
• ограниченность диалога пользователя с компьютером, обусловленную выборочной системой ответов;
• невозможность включения иллюстраций в виде рисунков;
• отсутствие возможности группировки вопросов по темам;
• отсутствие дифференцирования вопросов по степени сложности;
• жесткая фиксация номера правильного ответа в конкретном вопросе.
Слабая информационная защищенность пакета обусловлена тем, что тестирующая программа и зашифрованная база вопросов загружаются на клиентский компьютер, т. е. попадают в полное распоряжение тестируемого. Тестирующую программу можно «взломать» через дизассемблирование или анализ ее кода в обычном пакете Norton Commander. Аналогичные действия возможны и с зашифрованной базой вопросов. За время эксплуатации пакета обнаружены две удачные попытки его взлома, после чего система зашиты была усовершенствована. Однако это не гарантирует предотвращения взлома в дальнейшем. Уровень защищенности пакета может быть существенно повышен в том случае, если тестирующая программа и база вопросов не будут попадать на компьютеры тестируемых. Это означает необходимость использования технологии клиент-сервер. когда все материалы для тестирования хранятся в защищенной области на сервере, а клиенту' пересылается только интерфейс, например, в виде интерактивной Web-страницы. Следует заметить, что ис-
пользование интернет-технологий дает возможность реализовать на этой основе различные системы дистанционного обучения.
Переход к сетевому варианту программы позволяет достаточно просто устранить и второй недостаток пакета - сбор итогов тестирования с клиентских компьютеров вручную, и, таким образом, автоматизировать процесс сбора результатов тестирования. В существующей программе результаты тестирования выводятся на экран монитора и записываются в отдельный файл. К моменту окончания тестирования преподаватель должен либо записать оценку, выводимую на экран, либо через меню программы открыть файл с результатами тестирования. Дополнительным недостатком является то, что при получении плохой оценки программа может быть быстро закрыта тестируемым, а файл с результатами - удален. В сетевом варианте ответы со всех компьютеров обрабатываются сервером и там же фиксируются протоколы итогов тестирования.
Недостатки выборочной системы ответов известны давно: это ограниченность и однообразность диалога тестируемого с компьютером: необходимость формулирования преподавателем неправильных ответов; подсознательное запоминание неправильных ответов тестируемым. Поэтому в тестирующую программу должны быть добавлены другие формы диалога, основанные на:
• вводе нескольких правильных ответов;
• ранжировании ответов по определенному признаку;
• вводе ответа словом или числом, являющимся решением сформулированной задачи:
• вводе решения задачи, исходные данные для которой генерируются случайным образом.
Некоторые из этих форм диалога не являются столь универсатьными с точки зрения темы тестирования и простыми с точки зрения подготовки материалов для тестирования. как выборочная система ответов. Например, диатог, основанный на вводе слов, удобен для тестирования знаний по дисциплинам, связанным с изучением языков, а основанный на вводе решения задачи - для математики или программирования. В последнем случае для каждой задачи требуется соз-
База задач
Г енератор Модуль решения Сравнение
исходных данных задачи решении
і
Тестируемый Встроенный Интерпретатор
текстовый редактор команд
Рис. 1. Тестирование путем интерпретации текста программы
дание достаточно большой базы исходных данных и соответствующих этим данным решений. Тестируемому формулируется условие задачи и выдаются исходные данные к ней, выбираемые из базы случайным образом. Введенное решение сравнивается с правильным из базы решений.
Для тестирования умения программировать можно вообще не хранить базу исходных данных и соответствующих им решений. В пакет для тестирования должны входить модули, выполняющие решение сформулированных задач, как показано на рисунке 1.
Генератор формирует исходные данные для задачи и посылает их в соответствующий модуль решения. Его решение является эталонным. Одновременно формулировку задачи вместе с исходными данными получает тестируемый. Его цель - разработать текст программы решения задачи средствами встроенного текстового редактора. Интерпретатор команд исполняет программу тестируемого и передает результаты в блок сравнения решения с эталонным.
Схема, показанная на рисунке 1, применима не только к программированию, но и к другим дисциплинам, требующим решения задач с числовыми данными. В этом случае возможна разработка собственных языков, описывающих решение задач по дисциплине, и соответствующих им интерпретаторов.
Таким образом, в тестирующую программу должна быть добавлена поддержка различных форм диалога. Выбор нужных форм диалога определяется преподавателем в зависимости от темы контроля, подготовленности тестируемых и других конкретных факторов. При этом должна существовать
возможность совмещать различные формы диатога в одном тесте. Для ее реализации необходимо помещать информацию о форме диалога в исходные вопросы (задания) подобно тому, как в базу вопросов помещаются номера правильных ответов при выборочной системе ответов.
Включение иллюстраций в тестирующую программу не представляет особых трудностей. Для показа рисунков можно при необходимости выделять специальную область внутри окна тестирования или выводить отдельное окно. Однако, как и в случае задания формы диалога, база вопросов должна быть снабжена специальными управляющими кодами, определяющими необходимость вывода рисунка и имя файла, содержащего рисунок. Таким образом, база вопросов дополняется папкой с рисунками.
Эксплуатация первоначальной версии пакета для тестирования показала необходимость выделения отдельных групп в базе вопросов. Вопросы могут быть сгруппированы по подтемам, уровню сложности или по другим признакам, определяемым преподавателем. Это позволяет выровнять уровень сложности теста для всех тестируемых и не допускать ситуаций, в которых одним тестируемым задается больше вопросов из сложных подтем, а другим - из относительно легких. Вопросы должны выбираться случайным образом, но не из всей базы, а из очередной группы вопросов.
Другое достоинство группировки вопросов - возможность управления уровнем сложности теста. Действительно, имея достаточно большую базу вопросов, можно применять ее для тестирования обучаемых с
различным уровнем подготовки. Для этого необходимо лишь выполнить соответствующую настройку теста, указав, какие группы вопросов будут в нем использованы.
Для дифференцирования ответов на вопросы разного уровня сложности необходимо ввести многобалльную систему оценки ответов. При существующей однобалльной системе ответ на один сравнительно простой вопрос и решение одной достаточно сложной задачи оцениваются одинаково. Это искажает общую оценку знаний тестируемого. Каждое задание теста должно содержать некоторый весовой коэффициент, оценивающий степень сложности задания. Если обозначить х, - ответ на /-ый вопрос (0 - ответ неправильный; 1 - ответ правильный), а«/- вес ответа, то общую оценку теста из N вопросов можно выполнить по формуле:
/-]
Рассмотренная оценка удобна тем, что ее верхняя граница всегда равна количеству задаваемых вопросов, т. е. как в однобалльной системе, что облегчает настройку теста преподавателем.
В существующей версии программы для тестирования вопрос и ответы к нему представляют собой текстовый блок, не предусматривающий перестановки ответов при выводе блока на экран. Это требует от преподавателя изменять позиции правильных ответов вручную при разработке базы вопросов и, следовательно, увеличивает трудоемкость подготовки теста. Это также порождает возможность формального запоминания обучаемыми номеров правильных ответов на конкретные вопросы. Кроме того, при такой системе номера правильных ответов необходимо хранить в базе вопросов, которая, хотя и в зашифрованной форме, но пересылается на компьютер тестируемого. В результате возникает соблазн взлома базы вопросов для получения правильных ответов.
Для устранения указанных недостатков необходимо отказаться от жесткого закрепления позиции правильного ответа в вопросе. Для выборочной системы ответов необходимо лишь обозначить начало каждого ответа
на вопрос специальным управляющим символом. При этом правильный ответ должен быть расположен первым после каждого вопроса с этой формой диалога. Тестирующая программа перемешивает ответы случайным образом и выводит их вместе с вопросом на экран. Таким образом, отпадает необходимость хранения номеров правильных ответов в базе. Кроме того, в процессе тестирования при выводе конкретного вопроса на разных компьютерах правильный ответ будет появляться в разных позициях. Это устраняет возможность формального запоминания номера правильного ответа.
Анализ вариантов реализации большинства из перечисленных выше усовершенствований тестирующей программы показывает, что в базу вопросов должны быть добавлены следующие управляющие символы:
• начало вопроса;
• начало ответа;
• форма диалога;
• номер группы вопросов;
• весовой коэффициент вопроса;
• ссылка на рисунок.
Таким образом, база вопросов должна быть подобна документу НТМЬ, содержащему теги, которые не воспроизводятся в окне броузера, но управляют выводом информации. Роль броузера играет тестирующая программа.
Разрабатываемая тестирующая программа ориентирована на непрофессионального пользователя компьютера, а следовательно, должна давать возможность преподавателю использовать минимальный арсенал управляющих символов. Этот минимум состоит из символов, обозначающих начало каждого вопроса и начало каждого ответа, что является достаточной информацией для реализации простейшего теста с выборочной системой ответов, без группировки вопросов, без рисунков и с весами вопросов, равными единице.
Программы, реализующие рассмотренные принципы тестирования, образуют ядро системы. Кроме них, тестирующая система должна содержать обслуживающие программные модули, задачей которых является максимальная автоматизация работы преподавателя по подготовке тестов, размещению базы тестов в компьютерной сети и по управлению базой результатов тестирования.
Способ реализации сетевой версии тестирующей системы зависит от условий ее эксплуатации. Если она является частью системы дистанционного обучения, то, желательно. чтобы на компьютере-клиенте не требовалось размещать никаких файлов этой системы. Пользователь инициирует процесс тестирования и выполняет его. используя только типовое программное обеспечение, например, броузер 1тегпе1 Е.\р1огег. Все программы, обеспечивающие тестирование, и база вопросов хранятся в этом случае на \VEB-cepBepe. Основной проблемой при разработке такой системы является обеспечение высокой скорости обмена информацией между клиентом и сервером с учетом того, что количество клиентов, одновременно работающих с сервером, может быть велико. Кроме того, \УЕВ-серверные технологии накладывают существенные ограничения на
инструментальные средства, с помощью которых программируется система.
Система тестирования, используемая в настоящее время, в определенном смысле противоположна №гЕВ-серверной: тести-
рующая программа и данные к ней полностью хранятся на компьютере пользователя. С точки зрения быстродействия такой способ наиболее эффективен. Однако он имеет ряд существенных недостатков, рассмотренных выше. Поэтому, при определенных условиях, достаточно эффективным может оказаться комбинированный способ реализации сетевой тестирующей системы, в котором одна часть управления передается клиенту, а другая - серверу. Эта проблема требует исследования, а эффективность системы может быть определена в процессе ее эксплуатации в реальных условиях.
Поступила в редакцию 2.03.2003.
АКТИВИЗАЦИЯ УМСТВЕННОЙ И ПРАКТИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ СТУДЕНТОВ ПРИ ИЗУЧЕНИИ И ПОСТРОЕНИИ БАЗЫ ЗНАНИЙ
Е.В. Клыгина
В настоящее время перед образованием стоит ряд задач по формированию и развитию умений и навыков, необходимых для жизни в информационном обществе. Это связано с тем, что ведущее место в любой сфере человеческой деятельности начинает занимать деятельность информационная, которая связана со сбором, накоплением, передачей, обработкой и использованием информации.
Для большинства из нас слово «информация» - нечто само собой разумеющееся и не требующее анализа. На современном этапе по отношению к понятию «информация» одним из первичных является «формирование знаний». Например, Д.И. Блюменау приводит следующие сопоставления понятий «информация» и «знания» [1, с. 20-21]:
• знания - это систематизированные, упорядоченные, устоявшиеся сведения; информация - сведения, такими свойствами не обладающие;
• знания - это теории, законы, положения и другие концепции; информация - фактические данные:
• знания - сведения, относящиеся к области науки и техники; информация - сведения, используемые в обыденной жизни (донаучные сведения);
• знания - сведения, уже известные обществу или индивиду; информация - сведения. обладающие новизной;
• знания - сведения, которыми располагает субъект: информация - все то. что так или иначе зафиксировано в знаковой форме в виде документов;
• информация - это то. что поступает в наш мозг из многих источников и во многих формах и, взаимодействуя там. образует структуру знаний.
Под знаниями будем понимать формализованную информацию, на которую ссылаются или которую используют в процессе решения задачи [4].
Все знания человечества представляются в различных видах и формах представления
