Модель компьютерного контроля знаний Текст научной статьи по специальности «Науки об образовании»

УДК 004.81:159.953

И. В. КУЦЕВИЧ, Н. В. БЕЛОУС (Харьковский национальный университет радиоэлектроники)

МОДЕЛЬ КОМПЬЮТЕРНОГО КОНТРОЛЯ ЗНАНИЙ

У статп описуеться модель комп'ютерного контролю знань, розглядаються основш стадн процесу контролю знань i показуеться робота представлено! моделi в процеа контролю знань. У статп наведена концеп-цiя навчання та контролю знань об'екту навчання при використанш рiзноманiтних форм тестових завдань, запропонована модифiкована система навчання й ощнювання знань для кожно! з форм тестових завдань та вщображеш переваги використання запропонованих методiв. У статп наводиться комп'ютерна система контролю знань з використанням описано! модели

В статье описывается модель компьютерного контроля знаний, рассматриваются основные стадии процесса контроля знаний и показывается работа представленной модели в процессе контроля знаний. В статье приведена концепция обучения и контроля знаний испытуемого при использовании различных форм тестовых заданий. Предлагается модифицированная система обучения и оценивания знаний для каждой из форм тестовых заданий. Показаны преимущества использования предложенных методов. В статье приводится компьютерная система контроля знаний с использованием описанной модели.

In work the description of the computer model of the knowledge control is shown. The basic stages of the knowledge control process are considered and work of the given model is shown during the knowledge control. In this article the concept of training and knowledge control testee over use of various test items forms and a technique of optimal test length from an investigated material volume are described. The modified marking and trained knowledge system for each test items form is offered. Advantages of the application of these methods are shown. The computer system of the knowledge control with using the described model is offered.

Введение

В настоящее время в процесс обучения широко внедряются информационные технологии, в частности, такие как автоматизированные обучающие системы (АОС). Под АОС будем понимать организованный на базе ЭВМ комплекс программного и учебно-методического обеспечения, предназначенный для поддержки процесса обучения и предоставляющий пользователю-непрограммисту возможность настройки на произвольную предметную область и произвольную методику преподавания.

Одной из задач, возникающих при создании АОС, является контроль знаний обучаемого. Он обеспечивает обратную связь с обучаемым и предназначен в первую очередь для определения уровня его знаний с целью организации адаптивного управления обучением.

В настоящее время существует большое количество систем контроля знаний (СКЗ), как выполненных в виде отдельных программных продуктов (например, ITEMAN, RASCAL, RSP, The Examiner testing system, FastTEST professional, C-Quest, CONTEST, ГРАММАТЕЙ-КЛАСС, ПОЛСТАР, «Контроль знаний», «Экзаменатор», «Аттестация»), так и встроенных в обучающие системы.

Для разработки качественного теста и для проверки уровня знаний по предмету рекомендуется использовать тестовые задания различ-

ных форм [3,4,5]. Разнообразие форм тестовых заданий позволяет минимизировать вероятность угадывание ответов и охватить различные виды знаний и умений обучаемого.

Существуют следующие формы тестовых заданий:

1) тестовые задания закрытой формы - задания с предложенными вариантами ответов, из которых выбирают один (или несколько) правильный. Закрытые задания делятся на многоальтернативные и одноальтернативные. Эта форма тестовых заданий является распространенной, так как требует меньше времени как для выполнения, так и для их разработки по сравнению с тестовыми заданиями других форм.

Одноальтернативные тестовые задания представляют собой задания, содержащие 3-5 вариантов ответа, один из которых правильный. Многоальтернативные задания представляют собой задания, содержащие 5-8 вариантов ответа, два и более из которых правильные. тестовые задания закрытой формы часто считают наиболее легкими, но на самом деле при необходимости их всегда можно усложнить, используя, так называемые, «ловушки», или увеличить количество правильных ответов в заданиях. «Ловушка» - это вариант ответа, очень похожий на правильный по какому-либо отдельному признаку, который предлагается вместе с действительно правильным ответом, внешне воспринимаемым менее привлекательно с точки зрения поверхностных или неполных знаний;

2) тестовые задания открытой формы - задания со свободно конструируемыми ответами. Задания открытого типа предусматривают введение ответов обучаемым. Эти тестовые задания не предусматривают вариантов ответа. Обучаемый выполняет открытые задания по собственному представлению, так как по содержанию они представляют собой утверждение с неизвестной переменной. Тестовые задания закрытой формы являются самыми трудными, так как они требуют самостоятельного воспроизведения ответа без какой-либо подсказки в виде вариантов для выбора. Однако, с их помощью можно проверить лишь знание команд, терминологии, фактов. Умение самостоятельно применять усвоенное в новых ситуациях, глубину понимания материала оценить при помощи этой формы тестовых заданий невозможно.

Одним из видов открытых тестовых заданий являются многошаговые. Многошаговое тестовое задание состоит из вопросов, решаемых последовательно, когда переход к следующему шагу задания осуществляется только после правильного ответа на предыдущий шаг. Это дает возможность обучаемому анализировать не только задание в целом, но и разбираться в каждой составляющей задания. Благодаря этому обучаемый сразу может увидеть, где им допущена ошибка и в дальнейших шагах получить правильные исходные данные, то есть ошибки в заданиях не будут накапливаться;

3) тестовое задание на установление соответствия между элементами задания. Задания данной формы представляют собой два (или более) множества понятий, названий команд, характеристик, графических изображений, цифровых или буквенных обозначений, которые заданы в форме двух (или более) столбцов. Тестируемый должен установить содержательное соответствие между их элементами и выразить его в ответе с помощью установления соответствия между кодами элементов из разных столбцов.

4) тестовые задания на установление правильной последовательности выполняемых действий. Задания на установление правильной последовательности используют, как правило, в виде модели действий. В этих заданиях от тестируемого требуется определить правильную последовательность каких-либо команд, действий, событий, этапов, которые предлагаются в задании. Эти тестовые задания обладают большим обучающим потенциалом, чем закрытые тестовые задания.

Анализ существующих СКЗ выявил ряд недостатков. Основным недостатком является ограниченное количество типов заданий. Не во всех системах реализованы даже основные формы тестовых заданий.

1. Модель компьютерного контроля знаний

Предлагается модель компьютерного контроля знаний, учитывающая выявленные недостатки СКЗ (рис. 1).

Рис. 1. Модель компьютерного контроля знаний

Блок «Система контроля» выполняет следующие функции:

- анализ деятельности студента (проверка правильности его ответов и выполняемых действий);

- управление процессом контроля знаний на основе выбранного метода;

- определение результатов контроля, которое обычно сводится к выставлению оценки студенту.

База знаний (БЗ) содержит методы и/или модели процесса контроля, а также совокупность знаний предметной области. База данных (БД) включает наборы вопросов и задач, предназначенных для проверки знаний студента и/или данные для формирования заданий. Контрольные задания могут также генерироваться автоматически на основе БЗ.

Модель студента включает разнообразную информацию о студенте: предыстория обучения; результаты текущей работы (тип выполненных заданий, время выполнения заданий, число обращений за помощью и т.д.); общий уровень подготовленности и другие.

Формировщик вопросов и задач используется для формирования и выдачи студенту очередного задания (вопроса или задачи). Контроль знаний осуществляется следующим образом: студент выполняет предложенное задание,

и результат его работы помещается в модель студента. Блок «Система контроля» на основе анализа ответа студента, целей контроля 2 и используемого метода проведения контроля, учитывая внешние ресурсы Я1 (например, возможности системы контроля) и внутренние ресурсы студента Я2 (например, время контроля), а также состояние среды Бх, определяет параметры задания, которое должно быть предложено студенту. Формировщик вопросов и задач, получив от «Системы контроля» данные о параметрах следующего задания, выбирает из БД и/или БЗ необходимую информацию I, формирует текст задания и выдает его студенту. В простейшем случае работа этого блока сводится к выбору нужного вопроса или задачи из базы данных. В модели предусмотрена обратная связь К, которая состоит в выдаче комментария на ответ студента.

2. Система контроля заданий

Процесс контроля знаний состоит из трех этапов:

- формирование вопросов для контроля знаний на основе контрольных заданий, хранящихся в БД;

- выдача вопросов студенту и получение его ответа, возможно, с обратной связью;

- выставление оценки за контроль.

Первые два этапа относятся к организации

процесса компьютерного контроля и обычно объединяются.

Для разработки качественного теста и для проверки уровня знаний по предмету рекомендуется использовать тестовые задания различных форм [1-3]. Для того, чтобы объективно оценить знания по тестовым заданиям разных форм предлагается использовать для каждой из них свою методику расчета оценки. Для оценивания одноальтернативного тестового задания достаточно применение известной и широко используемой дихотомической шкалы оценивания, где 1 соответствует правильному ответу, 0 - неправильному. При оценивании многоальтернативных заданий этой шкалы недостаточно, т.к. обучаемый может дать неполный ответ, либо один из выбранных вариантов ответа будет неточен. Такие ответы нельзя оценивать также, как и вопросы, в которых был выбран полностью неправильный ответ.

2.1. Оценивание ответов на многоальтернативное тестовое задание. Для корректировки оценки многоальтернативного тестового задания рассмотрим модифицированную систему оценивания. В случае многоальтернативного

тестового задания необходимо учитывать не только правильность ответа на задание в целом, но и процент выбора правильных вариантов ответа. Введем формулу, связывающую множество всех правильных вариантов ответа на задание, количество правильных ответов, выбранных обучаемым и количество неправильных ответов, выбранных обучаемым.

Расчет оценки за выполнение многоальтернативного тестового задания выполняется по формуле (1) [4]:

г = -

02 * В

(01 + 03) • N

(1)

где г7 - оценка 7-го задания теста, 01 - множество всех правильных вариантов ответа в задании, 02 - количество правильных вариантов ответа, выбранных обучаемым, 03 - количество неправильных вариантов ответа, выбранных обучаемым, В - шкала оценивания.

2.2. Оценивание ответов на многоальтернативное тестовое задание, заданного уровня сложности. Одним из рекомендуемых правил для построения тестов является следующее: «Вопросы, включенные в тест, могут быть разного уровня сложности». Однако при оценивании таких вопросов формулы (1) недостаточно. Для оценивания многоальтернативных тестовых заданий с разными уровнями сложности введем коэффициент трудности 27 7-го задания.

Расчет результата выполнения 7-го тестового задания с заданным уровнем сложности выполняется по формуле (2).

027 • В •

(& + 0з7) • г • N '

(2)

где г^ - оценка 7-го задания теста, содержащего 2 уровней сложности.

2.3. Оценивание ответов на задания на установление соответствия. При ответе на задание на установление соответствия каждую пару ответов можно рассматривать как отдельный вариант ответа и при выставлении результата выполнения задания следует учитывать сколько пар было выбрано верно. Следовательно, функциональная зависимость для определения результата выполнения задания на установление соответствия выглядит следующим образом (3).

г =

& • В

01 • N

(3)

где 0 - количество пар для сопоставления; 02 - количество верно составленных пар.

гг. =

В случае использования в тесте тестовых заданий с разными уровнями сложности, расчет результата выполнения /-го тестового задания с заданным уровнем сложности выполняется по формуле (4).

& • B • z

Qi • N • Z '

(4)

2.4. Оценивание ответов на задания на установление правильной последовательности. При оценивании заданий на установление правильной последовательности возможен только один заведомо правильных ответ. Следовательно, для оценивания данной формы тестовых заданий, как и для одноальтернативных, достаточно использовать дихотомическую шкалу оценивания, скорректировав результат гг на коэффициент В/N. Следовательно, результат выполнения такого задания определяется по формуле (5).

r =

Го • B

N

(5)

где т0 - результат выполнения тестовых заданий, оцененный по дихотомической шкале оценивания.

В случае использования в тесте тестовых заданий с разными уровнями сложности, расчет результата выполнения /-го тестового задания с заданным уровнем сложности выполняется по

формуле (6).

Г0 ■ B • Z N • Z

(6)

2.5. Оценивание ответов на задания на вычисление арифметических выражений

Для ответа на задание, результатом которого является арифметическое выражение определяется эталон Е (правильное значение) и допустимая погрешность е. Использование погрешности заключается в том, что если ответ А находится в е-окрестности эталона Е, то ответ считается правильным, иначе ответ неверен (7).

(E-в) < A < (E + е)

(7)

Числовые ответы могут с успехом использоваться в тестировании не только по техническим дисциплинам, но и по гуманитарным. В тех случаях, когда требуется получить точный ответ, погрешность может быть нулевой. Ненулевая погрешность позволяет учитывать ситуации, когда даты исторических событий определены неточно.

Точная дата рождения великого инквизитора Томаса Торквемады неизвестна. Считается, что он родился около 1420 года. Таким образом, в соответствии с эталоном ответы 1419, 1420, 1421 будут признаны правильными. Подобная форма записи ответа несравненно лучше, чем выбор из нескольких вариантов или перечисление нескольких эталонов ответа в явном виде.

Для решения подобных задач еще в 1966 году Ж Питра и независимо от него Дж. Робинсоном был разработан алгоритм унификации [6]. Этот алгоритм позволяет формальным методом определить идентичность любых двух выражений.

2.6. Оценивание ответов на задания со свободно конструируемыми ответами. Использование ответов, вводимых в свободной тестовой форме, является самой естественной и наиболее сложной задачей при организации системы контроля знаний обучаемых. Анализ текста предполагает использование лингвистических процессоров, выполняющих синтаксический, лексический и семантический анализ текста. Но такие программы на современном уровне развития знаний о языке могут быть ориентированы только на конкретную предметную область. Поэтому, если говорится об оболочках автоматизированных обучающих системах либо про проверку заданий людьми, не являющимися специалистами в данной предметной области, то здесь приходится пользоваться более простыми, но формализованными вариантами. При задании эталона текстового ответа преподавателю предлагается указать ключевые слова, которые должны присутствовать в ответе обучаемого, и слова, которых там быть не должно. На основании этой информации производится анализ ответа обучаемого и определяется его правильность.

Таким образом, часть работы по анализу текста ответа - разбиение его на словосочетания -выполняется преподавателем, составляющим тест. Ответ представляется набором элементов, каждый из которых может быть словом или словосочетанием. Если рассмотреть этот набор как двухуровневую структуру (например, список множеств) и использовать предложенный метод сравнения, то получаем формальную процедуру определения правильности текстового ответа, которая по своим характеристикам не уступает предлагаемой процедуре.

Другой способ организации работы с текстовыми ответами - шаблоны. Под шаблоном понимается некоторый тест, содержащий произвольное количество тестовых заданий. Во-

^ =

просы в заданиях определяют, какая информация должна быть введена в данное поле. Обучаемый может ответить не на все вопросы, но при этом его оценка, естественно, уменьшится. Для того чтобы избежать ввода слов, неизвестных системе, целесообразно предоставить обучаемому словарь, содержащий все слова, входящие в эталонные ответы для данного теста (или группы тестов).

2.7. Оценивание ответов на задания на заполнение таблиц. Одной из форм открытых тестовых заданий является заполнение таблиц. Каждая ячейка таблицы является отдельным вариантом ответа и. если одна из ячеек заполнена неправильно, такой ответ нельзя засчитывать как полностью неправильный (введение одного неверного значения в ячейку может быть лишь механическая ошибка, и поэтому оно должно не полностью обнулить результат выполнения работы, а лишь снизить результат выполнения задания). Для оценивания заданий на заполнения таблиц рекомендуется использовать показательную функциональную зависимость, представленную формулой (8).

r = -

Ql

(2 Q-1) • B

N

(8)

где 0 - количество ячеек, которые предлагается заполнить тестируемому; 02 - количество ячеек, которое тестируемый заполнил правильно.

Таким образом, следует отметить, что при оценивании выполнения задания на заполнение таблиц получается не прямолинейная зависимость, а показательная, что повышает качество оценивания знаний.

В случае использования в тесте тестовых заданий с разными уровнями сложности, расчет результата выполнения 7-го тестового задания с заданным уровнем сложности выполняется по формуле (9).

Ol

(2 Q -1) • B • z N • Z

(9)

ления результата многошагового тестового задания имеет вид:

rm =

B

ly i n • nj~t m +1'

(10)

где ЯМ - результат выполнения многошагового тестового задания, 7 - номер шага, т7 - количество ошибок, допущенных на 7-том шаге, п -количество шагов.

Формула (10) справедлива для многошаговых тестовых заданий, в которых на каждом шаге используются одноальтернативные задания или задания на установление правильной последовательности. В случае использования на каком-либо из шагов тестового задания на соответствие или многоальтернативного тестового задания целесообразно использовать формулы (11) и (12) соответственно.

RM =

B

n 1 mi Qb

У (-y^) (11)

N •n l=1 mi j=1Q

где ] - номер попытки прохождения шага, если

на нем была допущена ошибка; 02 - количест-

ч

во пар для составления на 7 -том шаге при ]-той

попытке; 01 - количество верно составленных

ч

пар на 7 -том шаге при ]-той попытке.

R в ^ m • Q2i

Rm =—:У~,-

N • n

(12)

i=1

y Q + Qs,)

j=1

2.8. Многошаговые тестовые задания.

Многошаговое задание считается пройденным, если на любом его шаге получен правильный ответ. Для объективного оценивания ответа и глубины знаний обучаемого используется счетчик допускаемых ошибок, количество которых учитывается при выставлении оценки. Однако, встает вопрос об оценивании таких вопросов. Для них простая дихотомическая шкала не подходит. Рекомендуемая формула для вычис-

где - количество правильных вариантов ответов 7-том на шаге при ]-ой попытке; -

количество правильных ответов, выбранных

тестируемым на 7-том шаге; 03 - количество

ч

неправильных ответов, выбранных тестируемым на 7-том шаге при ]-ой попытке; ] - номер попытки прохождения шага, если на нем была допущена ошибка.

В случае использования в тесте многошаговых тестовых заданий с разными уровнями сложности, расчет результата выполнения 7-го тестового задания с заданным уровнем сложности выполняется по следующим формулам.

1. (13) - для оценивания заданий, на каждом из уровней которого используются одно-альтернативные тестовые задания.

В • г,

N • n •

^ У—. (13)

•n •Z ¡=1 m +1

rz, =

Г?: =

2. (14) - для оценивания заданий, на каждом из уровней которого используются задания ^ на установление соответствия.

п т п 1 т' 01

= £ (- £ 0^)- (14)

' N ■п ■ ^ 7=1 т/ 7=1 02

7 2.

3. (15) - для оценивания заданий, на каждом из уровней которого используются многоальтернативные тестовые задания. 3'

B • , Л тг • Q r, =-— > -L

• ¿ш^ mi

N • n •

(15) 4.

E (Qi„ + Qb„ )

lJ lJ

j=1

Общая оценка за выполнение теста, со- 5. держащего тестовые задания с разными уровнями сложности, вычисляется по формуле (16).

E r,

R, =

E, '

(16)

где i = 1...N.

Выводы

Система компьютерного контроля знаний, построенная на основе описанной в статье модели компьютерного контроля знаний и использующая разработанные авторами методы представления и анализа ответов, в настоящее время сертифицирована [7; 8] и успешно применяется в Харьковском национальном университете радиоэлектроники и Харьковском торгово-экономическом институте КНТЕУ для тестирования студентов по различным дисциплинам.

БИБЛИОГРАФИЧЕСКИИ СПИСОК

Колисник М. Методическое обеспечение работает на успех. Зарубежная практика преподавания дисциплин // Аналитический журнал по менеджменту СИНЕРГИЯ. - 2003. - № 2(6) -С. 48-53.

Комплекс нормативных документов для разработки составляющих системы стандартов высшего образования. - К.: 1998. Образовательный стандарт высшей школы: сегодня и завтра / Под ред. д.п.н. Байденко, д.т.н. Селезневой. - М.: 2001. Белоус Н. В., Куцевич И. В. Автоматизированная система оценивания тестовых заданий разных форм // Вестник ХГТУ. - 2006. - № 1(24) -С. 422-426.

Белоус Н. В., Войтович И. В. Концепция непрерывного обучения на основе трехуровневой модели контроля и получения знаний// Восточно-Европейский журнале передовых технологий. - 2004. - № 4(10) - С. 63-67. Воронин А. Т. Интеллектуальная инструментальная система для WINDOWS / А. Т. Воронин, Ю. А. Чернышев // ИТНО'95. Тезисы докладов конференции. Секция B.//http://petrsu.karelia.ru/psu/General/Conference s/Data/ 19950605.

Белоус Н. В., Войтович И. В. Программный комплекс для проведения компьютерного и интерактивного обучения и тестирования знаний «КОДЭКС УМА» (Контролирующая Обучающая Дидактическая Экспериментальная Система, Учитывающая Мозговую Атаку // Свидетельство про регистрацию авторского права №

14030, Государственный департамент интеллектуальной собственности, 02.09.2005. Белоус Н. В. Компьютерный практикум по курсу «Обнови дискретной математики» («ПОДМОГА» -Понимание Основ Дискретной Математики, Описанных Главными Аспектами) // Свидетельство про регистрацию авторского права №

14031, Государственный департамент интеллектуальной собственности, 02.09.2005.

Надшшла до редколеги 10.04.07.