Разработка методики учета динамического коэффициента готовности текущего вопроса при компьютерном тестировании знаний Текст научной статьи по специальности «Математика»

н ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ■-

--------------------□ □-----------------------

Запропоновано методику оцінки знань із урахуванням динамічного коефіцієнта, що характеризує залежність результатів тестування від часу. Розроблено алгоритм ідентифікації значень динамічного коефіцієнта з урахуванням складності питання з використанням теорії нечітких множин Ключові слова: динамічний коефіцієнт, нечіткі множини, лінгвістична змінна, час відповіді, складність питання

□-------------------------------------□

Предложена методика оценки знаний с учетом динамического коэффициента, характеризующего зависимость результатов тестирования от времени. Разработан алгоритм идентификации значений динамического коэффициента с учетом сложности вопроса с использованием теории нечетких множеств

Ключевые слова: динамический коэффициент, нечеткие множества, лингвистическая переменная, время ответа, сложность вопроса

□-------------------------------------□

The method of knowledge assessment taking into account the dynamic coefficient, which characterizes the test results dependence on time, is suggested. The algorithm of identification of dynamic coefficient values taking into consideration a question difficulty with the help of the fuzzy set theory, is worked out

Key words: dynamic coefficient, fuzzy set, linguistic variable, answer time, question difficulty

--------------------□ □-----------------------

УДК 681.3:378.146

РАЗРАБОТКА МЕТОДИКИ УЧЕТА ДИНАМИЧЕСКОГО КОЭФФИЦИЕНТА ГОТОВНОСТИ ТЕКУЩЕГО ВОПРОСА ПРИ КОМПЬЮТЕРНОМ ТЕСТИРОВАНИИ ЗНАНИЙ

Ю.К. Тараненко

Доктор технических наук, заведующий кафедрой* Контактный тел.: (0562) 32-24-58 Е-mail: taranen @^1^^.™

Н . О. Р и зу н

Кандидат технических наук, доцент* Контактный тел.: (056) 713-43-99 Е-mail: [email protected] *Кафедра экономической кибернетики и математических

методов в экономике Днепропетровский университет экономики и права наб. Ленина, 18, г. Днепропетровск, Украина, 49000

Введение

Одной из важнейших задач модернизации системы высшего образования Украины является обеспечение соответствия качества подготовки специалистов международным стандартам. В сфере образования идет поиск нового содержания и новых форм, таких, как заочнодистанционное обучение, метод проектов и анализа ситуаций, рейтинговый контроль знаний. Все перечисленные формы обучения основаны на преимущественном использовании методики тестирования. Кроме того, важнейшим направлением реализации задачи улучшения существующей системы подготовки специалистов является повышение объективности оценивания знаний студентов путем обоснования и разработки эффективных методик оценки результатов тестирования [1].

Постановка проблемы

Одним из главных недостатков тестирования как метода контроля знаний является так называемый эффект ’’угадывания”, существенно снижающий доверие к результатам контроля и свидетельствующий об отсутствии полной объективности оценки. Классическими методами борьбы с данным негативным аспектом являются [2, 3, 4, 5]: увеличение количества вариантов ответов в тестовом вопросе; использование тестов открытого вида или комбинирование нескольких видов тестов; введение поправки на угадывание, корректирующей набранное количество баллов в зависимости от количества вариантов ответов в вопросе; максимальная детализация инструкций как в отношении проведения, так и в отношении подсчета.

3

Эффективность каждого из данных методов достаточно широко исследована и проанализирована в современных научных разработках. Наряду с положительными аспектами, каждый из способов имеет ряд особенностей и ограничений в зависимости от специфики дисциплин, психологических особенностей тестируемых, качества тестового материала, времени тестового сеанса, времени суток, в которые проводится тест, цели проведения теста (обучение, промежуточный или итоговый контроль) и много другого [1, 3, 6, 7].

Таким образом, проблема повышение объективности оценки качества знаний студентов является актуальной, а поиск эффективных путей её решения представляет собой важную современную научную задачу.

Анализ последних публикаций

Опыт последних исследований подтверждает, что одним из важных факторов, объективно отображающих уровень знания студента, является время, в течение которого он выполняет тестовое задание [8]. Например, чрезвычайно быстро пройденный тест чаще всего свидетельствует о так называемом ”про-щёлкивании” вопросов, факты принудительного прерывания тестирования в большинстве случаев также свидетельствуют о недобросовестности студента.

Проблема учета времени выполнения тестовых заданий также является объектом активных научных исследований. Так, в работе [9] предлагается рассчитывать весовой коэффициент задания как отношение времени, которое затрачивает квалифицированный специалист (”испытуемый-эталон”) на успешное выполнение задания. Автором [10] с целью перераспределения баланса структурных тематических блоков теста и повышения обучающего эффекта предлагается ввести понятие соотношение реального и эталонного времени прохождения всего теста, идентифицируемого с помощью теории нечетких множеств. Разработка [11] вводит понятие динамического коэффициента, вычисляемого как отношение нормативного времени выполнения отдельного задания к фактическому и используемого как корректировочный множитель к сумме набранных при тестировании баллов. Причем, если фактическое время меньше нормативного (то есть динамический коэффициент больше 1), то его значение принимают равным единице. Данная методика призвана стимулировать студентов к более прочным заданиям и повышению духа соревновательности путем увеличения скорости ответа и, соответственно, повышению общего оценочного балла.

Нерешенные части общей проблемы

Существующие разработки (в частности [11]) имеют ряд особенностей:

1. Коэффициент, пропорциональный времени выполнения задания, в предлагаемой методике используется только с целью ”штрафа” за слишком долгий ответ.

2. В факте быстрого ответа авторами не рассматривается наличие наряду с уверенными знаниями аспекта угадывания.

3. Превышение фактического времени над нормативным не всегда свидетельствует об отсутствии

знаний студента, а может зависеть от ряда психологических факторов, а соответственно не должно штрафоваться строго пропорционально полученному при расчете динамического коэффициента соотношению.

Цель статьи

Целью статьи является разработка методики учета динамического коэффициента готовности текущего вопроса, состоящей в:

- обосновании методики его идентификации с точки зрения допустимой скорости ответа и степени отклонения от нее;

- обосновании количества баллов, характеризующих зависимость оценки от времени, в течение которого был получен ответ на вопрос ;-й сложности.

Результаты исследований

В предлагаемой авторами статьи методике оценки знаний общее количество баллов (BALLs), выделенных на идентификацию результатов тестирования, будет формироваться из двух составляющих:

• количества баллов, набранных s-м тестируемым за правильные ответы ( В5 = Е V,);

• количества баллов, характеризующих зависимость оценки от времени, в течение которого был получен ответ на каждый вопрос (ВТ3 =ZVTij).

То есть

BALLS =Щ+Ж%, (1)

где BALLs - количество баллов, набранных s-м студентом за один сеанс тестирования; V; - количество баллов за правильный ответ на вопрос ; -й сложности; VТi - количество баллов, пропорциональных динамическому коэффициенту ^.

Таким образом, авторами вводится в рассмотрение показатель, характеризующий зависимость оценки от времени, в течение которого был получен ответ на вопрос ;-й сложности, - динамический коэффициент, который будет вычисляться по следующей формуле:

К, = Тф;/ТнЬ (2)

где Тф; - количество времени, фактически затраченное на вопрос; Тн; - нормативное количество времени, отведенное на один вопрос.

Из анализа существующих разработок следует, что:

• понятие скорости ответа является не строго формализуемой характеристикой, а носит более неопределенный, нечеткий, качественный характер и зависит не только от объективных, но и от субъективных факторов;

• также как и само значение динамического коэффициента нельзя воспринимать только ”буквально”

- как числовой показатель, полученный согласно соотношению (2).

В связи с этим, использование детерминированных точных методов расчетов неэффективно и нерационально.

Авторами предлагается использовать инструменты и технологии искусственного интеллекта, а точнее

Е

- системы, базирующихся на теории нечетких множеств и нечеткой логике Л. Заде [12]. Данная теория постулирует тот факт, что при принятии решений допустимо оперировать приблизительными, неточными характеристиками и понятиями подобно тому, как это делает человечий разум.

Интуитивная простота нечеткой логики как методологии решения проблем идентификации гарантирует ее успешное использование во встроенных системах контроля и анализа информации. При этом могут использоваться приемы человеческой интуиции и опыт экспертов по знаниям [13].

Решение поставленной авторами проблемы разработки методики учета динамического коэффициента готовности текущего вопроса при компьютерном тестировании знаний предлагается проводить путем последовательного решения следующих задач:

Задача 1. Разработка алгоритма идентификации значений динамического коэффициента с учетом сложности вопроса.

Задача 2. Формирования методики определения количества баллов, характеризующих зависимость оценки от времени, в течение которого был получен ответ на каждый вопрос.

Для решения задачи 1 введем следующие обозначения:

• лингвистическая переменная ’’Скорость ответа на вопрос 1-й (2-й) сложности” может принимать следующие значения: у ={”очень быстро”, ’быстро”, ’нормально”, ’медленно”, ”очень медленно”};

• универсальная шкала значений динамического коэффициента может принимать значения Ukd ={0,1; 0,2; 0,3; 0,4; 0,5; 0,6; 0,7; 0,8; 0,9; 1}.

Базируясь на теории нечетких множеств и инструментах статистической обработки мнений экспертов алгоритм решения задачи ”Разработки алгоритма идентификации значений динамического коэффициента с учетом сложности вопроса” предлагается разбить на следующие этапы:

1 этап. Формирование исходной информацией для построения функций принадлежности методом обработки статистической информации [14,15,16].

Для обоснования значений числовых характеристик скорости ответа на вопрос путем формализации нечетких высказывания типа ”Очень быстро ответили на вопрос”, ”Скорость ответа нормальная”, ”Отве-чал очень долго” группа экспертов заполняет личные опросные листы, в которых указывают свое мнение о наличии у элементов Ukdi (i=1,10) свойств нечеткого множества уj (i=1,5).

Для упрощения процедуры опроса, эксперты дают свою оценку для каждого значения динамического коэффициента сначала по 10-ти балльной шкале (где 1 - min, 10 - max), учитывая как объективные факторы (основанные на статистическом материале), так и субъективные, психологические аспекты, отражающие опыт анкетируемого как педагога.

Для перехода к универсальной шкале [0;1], все значения 10-ти балльной шкалы оценки ценности были разделены на максимальную оценку, т.е. на 10.

Пример результатов опроса экспертов по анализу вопросов 1-й сложности можно представить следующим образом (таблица 1):

Количество экспертов Интервал на универсальной шкале

0,1 0,2 0,3 0,4 0,5 0,б 0,7 0,8 0,9 1

¥1 Очень быстро 10 б 2 1 0 0 0 0 0 0

¥2 Быстро 2 10 б 3 0 0 0 0 0 0

¥3 Нор- мально 0 0 9 7 5 1 1 0 0 0

¥4 Медленно 0 0 0 0 2 3 8 10 9 2

¥5 Очень медленно 0 0 0 0 0 0 0 2 10 10

Используя свойства функции принадлежности, необходимо предварительно обработать данные с тем, чтобы уменьшить искажения, вносимые опросом. Естественными свойствами функций принадлежности являются наличие одного максимума и гладкие, затухающие до нуля фронты. Для обработки статистических данных можно воспользоваться так называемой матрицей подсказок. Предварительно удаляются явно ошибочные элементы. Критерием удаления служит наличие нескольких нулей в строке вокруг этого элемента.

Элементы матрицы подсказок вычисляются по формуле:

Г« = £М = !,п, (3)

1=1

где Ц - элемент таблицы с результатами анкетирования, сгруппированными по интервалам. Матрица подсказок представляет собой строку, в которой выбирается максимальный элемент: гшах = шахг^, и далее все ее элементы преобразуются по формуле:1

Ът -------- —

С| = —---,1 = 1Ш = 1,п (4)

1 Г

Получаем матрицу подсказок (таблица 2):

Таблица 2

Значение Cij Интервал на универсальной шкале

0,1 0,2 0,3 0,4 0,5 0,б 0,7 0,8 0,9 1

¥1 Очень быстро 5,2б 3,1б 1,05 0,53 0,00 0,00 0,00 0,00 0,00 0,00

¥2 Быст- ро 0,95 4,7б 2,8б 1,43 0,00 0,00 0,00 0,00 0,00 0,00

¥3 Нор- мально 0,00 0,00 3,52 2,74 1,9б 0,39 0,39 0,00 0,00 0,00

¥4 Мед- ленно 0,00 0,00 0,00 0,00 0,59 0,88 2,35 2,94 2,б5 0,59

¥5 Очень медленно 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,91 4,55 4,55

2 этап. Формирование нечетких множеств.

Для этого определяем функции принадлежности универсального множества значений динамического коэффициента значениям лингвистической переменной ’’Скорость ответа”:

3

^=(5) Пример значения функции принадлежности лингвистической переменной ’’Скорость ответа на вопросы

1-й сложности” (таблица 3).

Таблица 3

Функция принад лежности Интервал на универсальной шкале

0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

Очень быстро 1 0,60 0,20 0,10 0 0 0 0 0 0

Ц2 Быстро 0 1 1 0,30 0,00 0,00 0 0 0 0

Нор- мально 0 0 1 0,78 0,56 0,11 0 0 0 0

Медленно 0 0 0 0 0,20 0,30 0,80 1 0,90 0,20

^5 Очень медленно 0 0 0 0 0 0 0 0,20 1 1

Качественная характеристика Значение динамического коэффициента К^

Нижняя граница &п Верхняя граница G1b

Очень быстро 0 0,10

Быстро 0,11 0,30

Нормально 0,31 0,80

Медленно 0,81 0,95

Очень медленно 0,96 и более

• для вопросов 2-го уровня сложности (таблица 5):

Таблица 5

Качественная характеристика Значение динамического коэффициента Ка

Нижняя граница G2n Верхняя граница G2ь

Очень быстро 0 0,18

Быстро 0,19 0,40

Нормально 0,41 0,85

Медленно 0,86 0,97

Очень медленно 0,98 и более

На рис. 1 представлены диаграммы Заде (представление нечеткого множества в виде графика его функции принадлежности).

•Оченьбыстро Быстро ■ Нормально ^ Медленно НІ^Оченьмедленно

Рис. 1. График функций принадлежности значений лингвистической переменной "Скорость ответа на вопросы 1-й сложности”

Как видно из графика, функции принадлежности удовлетворяют описанным выше свойствам. Аналогичные расчеты необходимо выполнить и по вопросам

2-й степени сложности.

3 этап. Идентификация значений динамического коэффициента с учетом сложности вопроса.

Полученные функций принадлежности позволяют формализовать значения динамического коэффициента, представив их в виде числовых интервалов, соответствующих качественных описаниям значений Ка.

Примеры результатов идентификации значений динамического коэффициента:

• для вопросов 1-го уровня сложности (таблица 4):

Данные характеристики являются математическим обоснованием разработки методики учета значений динамического коэффициента Ка при оценке знаний и решения задачи 2 - формирования алгоритма определения количества баллов, характеризующих зависимость оценки от времени, в течение которого был получен ответ на каждый вопрос.

Для решения данной задачи также были выбраны инструменты теории нечетких множеств, а именно -механизм логического вывода, представленный базой знаний, содержащей лингвистические правила. Данные правила могут быть заданы экспертным путем или получены на основе числовых статистических данных [17].

Совокупность продукционных правил (нечеткой базы знаний BASA_KD), позволяющих обосновать нормативное количество баллов за одно тестовое задание в зависимости от его времени будет иметь вид:

ЕСЛИ (ТХ1= а;) И (ТХ2 = ^ )

то VTн1i = АЛГОРИТМ_Ка г (6)

иначе

ЕСЛИ.....

VTнi - отображающая количество баллов с учетом динамического коэффициента, скорректированного на сложность вопроса; ТХ1 - идентификаторы сложности вопроса (а1, а2); ТХ2 - результаты идентификации показателей скорости ответа с помощью значений границ динамического коэффициента Ка 0=1,2; ^=1,5; г=1,10).

Для реализации методики определения соответствия системы нечетких логических высказываний (6) одному из значений множества решений АЛГО-РИТМ_Ка ={АЛГОРИТМ_Ка1, АЛГОРИТМ_Ка2,...,-АЛГОРИТМ_Каю} введем следующие обозначения и расчетные формулы (таблица 6):

Е

Показатель Расчетная формула Обозначения

Значение динамического коэффициента Каі=Тф/Тн (7) Тфі- фактическое время ответа на один вопрос і-й сложности Тнц - нормативное время ответа на один вопрос і-й сложности

Нормированная граница динамического коэффициента " С —К — — ,если VTl ^ тіп С - С н К,- = - Сі1ь Сіп (8) К . - С — — ,если VTl ^ тах Сіь - Сі/ н VII - нормативное количество баллов за 1-й интервал значений динамического коэффициента (1=1,5); Каі - значения динамического коэффициента в абсолютной шкале в 1-м интервале. G1Ь - верхняя граница в 1-м интервале значений динамического коэффициента G1n - нижняя граница в 1-м интервале значений динамического коэффициента

Среднее нормативное количество баллов за один вопрос в зависимости от времени В0=ВТ/К (9) К - общее количество вопросов в одном 2 сеансе тестирования (К = ^Кі ) і=1 ВТ - суммарная норма баллов, характеризующих зависимость оценки от времени, в течение которого был получен ответ на каждый вопрос

Верхняя граница количества баллов для интервала значений динамического коэффициента ’’Быстро” или Нижняя граница количества баллов для интервала значений динамического коэффициента ’’Медленно” VT G1i = (10) / *^3ЬЇ G3ni - нижняя граница для значения динамического коэффициента ’’Нормально” G3Ьi - верхняя граница для значения динамического коэффициента ”Нормально” (скорректированные на вопрос і-й сложности)

В соответствии с введенными обозначениями и результатами идентификации значений динамического коэффициента (задача 1), на основе обработки статистики и экспертного анализа авторами предлагается следующая методика определения количества баллов, характеризующих зависимость оценки от вре-

мени выполнения одного задания, в виде базы знаний BASA_KD (таблица 7):

Примеры числового подтверждения разработанной авторами методики расчета количества баллов с учетом динамического коэффициента представлены таблицах 8-12 и диаграммах (рис. 2-6). Расчеты

Таблица 7

Элемент множества решений АЛГОРИТМ Кат Качественная характеристика скорости ответа на вопрос Степень сложности вопроса а1 (і=1,2)

АЛГОРИТМ Кат (г=1,2) Очень быстро Кд'Во*^

АЛГОРИТМ Кат (г=3,4) Быстро К^Т^1і

АЛГОРИТМ Кат (г=5,6) Нормально Во*Каі, Где Г /0 _ ^ ) Kdij рассчитывается исходя изVTн3 ^ тах,если Ка <= —— 321—+ С3пі J 2 тг л ^ 03піі ) /—і Kdi рассчитывается исходя из у!н ^тт,если Kd > — + 03пі

АЛГОРИТМ Кат (г=7,8) Медленно К;^Т_^

АЛГОРИТМ Кат (т=9,10) Очень медленно К;*Во*(1 - G5in)

3

производились для вопросов 2-й степени сложности для следующих исходных данных: общее количества баллов, характеризующих зависимость оценки от времени, в течение которого был получен ответ на каждый вопрос ВТ3=100; общее вопросов N=16; количество вопросов 1-й и 2-й сложности, равное:

• качественная характеристика Ка «Очень быстро” (таблица 8, рис. 2);

Таблица 8

Каі 0,41 0,45 0,50 0,55 0,6 0,62 0,63 0,64 0,65 0,66 0,68 0,70 0,8 0,85

Каі 0,00 0,18 0,41 0,64 0,86 0,95 1,00 1,00 0,95 0,86 0,77 0,68 0,24 0,00

vтн 3,24 3,79 4,47 5,16 5,84 6,12 6,25 6,25 6,11 5,84 5,57 5,29 3,96 3,24

Каі 0,00 0,05 0,10 0,15 0,18

Ка; 1,00 0,72 0,44 0,17 0,00

vт, -1,13 -0,81 -0,50 -0,19 0,00

0,18 Ка

Рис. 2. Значения нормативного количества баллов, характеризующих зависимость оценки от показателя динамического коэффициента "Очень быстро”

• качественная характеристика динамического коэффициента ’Быстро” (таблица 9, рис. 3);

Таблица 9

Каі 0,18 0,19 0,195 0,2 0,25 0,3 0,35 0,4

Каі 0,0 0,0 0,1 0,1 0,3 0,5 0,8 1,0

0,00 0,12 0,19 0,26 0,95 1,64 2,33 3,01

Рис. 3. Значения нормативного количества баллов, характеризующих зависимость оценки от показателя динамического коэффициента "Быстро”

• качественная характеристика динамического коэффициента ’Нормально” (таблица 10, рис. 4);

0,5 0,55 0,6 0,62 0,63 0,64 0,65 0,669 0,6ВВ 0,707 0,8 0,85

Рис. 4. Значения нормативного количества баллов, характеризующих зависимость оценки от показателя динамического коэффициента "Нормально”

• качественная характеристика динамического коэффициента ’’Медленно” (таблица 11, рис. 5);

Таблица 11

Каі 0,86 0,88 0,9 0,92 0,94 0,96 0,97

Каі 1,00 0,82 0,64 0,45 0,27 0,09 0,00

3,01 2,47 1,92 1,37 0,82 0,27 0,00

Рис. 5. Значения нормативного количества баллов, характеризующих зависимость оценки от показателя динамического коэффициента "Медленно”

• качественная характеристика динамического коэффициента ”Очень медленно” (таблица 12, рис. 6);

Таблица 12

Каі 0,98 0,99 1,00 1,10 1,20 1,30 1,40

Кї 0,00 0,02 0,05 0,29 0,52 0,76 1,00

0,00 0,00 -0,01 -0,04 -0,07 -0,10 -0,13

300

1,50

15С

Е

Рис. 6. Значения нормативного количества баллов, характеризующих зависимость оценки от показателя динамического коэффициента "Очень медленно”

Обобщенная числовая шкала формализации нормативного количества баллов с учетом динамического коэффициента (для вопросов 2-й степени сложности) приведена на следующем графике (рис. 7):

Рис. 7. Обобщенная шкала значений нормативного количества баллов, характеризующих зависимость оценки от Ка

Фрагмент реализации предложенной методики учета динамического коэффициента при оценке знаний студента приведен в таблице 13.

5.25

5.25

425

325

225

125

J,25

J. 75

№ вопроса Сложность Нормативное количество баллов за вопрос Vjj Нормативное время на вопрос Тн;- (сек) Ответ Верный/Неверный а 3 в о лл ба о в ст ф > н ° ® а § и ко е в о к с е 4 и т Фа Фактическое время ответа Тф (сек) Значение динамического коэффициента Kd а м нт он с ф в ф оэ 4 0.^ '0°> о о вк тс се еч К § ла он И я д Результирующее количество баллов BAT.T,

1 1 13,33 32 да 13,33 18 0,56 6,05 19,39

2 2 26,67 64 да 26,67 40 0,63 6,20 32,87

3 2 26,67 64 да 26,67 40 0,63 6,20 32,87

4 1 13,33 32 нет - 40 - - -

5 2 26,67 64 нет - 60 - - -

6 1 13,33 32 да 13,33 5 0,16 0,59 13,92

7 2 26,67 64 да 26,67 40 0,63 6,20 32,87

8 1 13,33 32 да 13,33 35 1,09 -0,02 13,31

Итого 384 120,00 278 25,22 145,22

Следует отметить, что в данном примере каждый вопрос имеет свой вес, выраженный как в количестве баллов, выделяемых за правильный ответ, так и нормативном количестве времени, исходя из которого рассчитывается динамический коэффициент. Кроме того, отдельный вес имеет и каждая тема, включенная в тестовый сеанс (в приведенном примере рассматриваются вопросы одной темы).

Выводы

Литература

Таким образом, предложенная авторами статьи методика учета времени выполнения тестового задания позволяет повысить объективность оценки знаний студентов, снизив влияние фактора ’’угадывания” на формирование результатов тестирования и реализовав объективный элемент необходимости учета человеческого фактора за счет:

- обоснования гибкой и интеллектуальной методики идентификации динамического коэффициента с точки зрения допустимой скорости ответа и степени отклонения от нее;

- разработки формализованного алгоритма расчета количества баллов, характеризующих зависимость оценки от времени, в течение которого был получен ответ, в зависимости от сложности вопроса (темы).

Слободин А.В., Часовских В.П. Совершенствование оценки знаний методом тестирования [Электронный ресурс] / IX Всероссийская научно-методическая конференция ”Телематика’2002” / Секция: Создание электронных средств учебного назначения общего и профессионального образования. Режим доступа: \www/ URL: http://www.ict.edu.ru/vconf /index.php?a=vconf&c=get-Form&r=thesisDesc&d=light&id_sec=62&id_thesis=2073.

- Загл. с экрана.

Аванесов В.С. Форма тестовых заданий [Текст] / В.С. Аванесов Учебное пособие, 2 изд. переработанное и расширенное. - М.: Центр тестирования, 2005.- 156 с. Павлова И.Н., Одиноков А.В. О проблеме угадывания правильного ответа в тесте [Текст] / И.Н. Павлова, А.В.

Одиноков // Международный конгресс конференций ’Информационные технологии в образовании” (ИТО-2003) Секция: 6. ИКТ в контроле и оценке результатов обучения. / Режим доступа: \wwwl URL: Ьйр://^даж ict.edu.ru/vconf/index.php? a=vconf&c=getForm&r=the-sisDesc&d=Hght&id_sec=123&id_thesis=4654. Загл. с

экрана.

4. Немировский В.Б. Реализация разновидностей открытой формы компьютерного тестирования знаний. [Текст] / В.Б. Немировский // Известия Томского политехнического университета, 2006. - Т. 309. - № 7.

5. Ким В.С. Коррекция тестовых баллов на угадывание [Текст] / В.С. Ким // Педагогические измерения, 2006.-№4. - С.47-55.

6. Олейник Н. М. Учебное пособие по спецкурсу ”Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения” [Текст] / Н. М. Олейник: Донецк, 2003. - 65 с.

7. Ким В.С. Тестирование учебных достижений. Монография [Текст] / В.С. Ким: - Уссурийск: Изд.УГПИ, 2007.

- 214 с.

8. Углев В. А. Методы нечёткой логики при уточнении результатов тестирования [Текст] / В.А. Углев // Молодёжь и наука: начало XXI века: Материалы Всероссийской научно-технической конференции студентов, аспирантов и молодых учёных: В 3 ч., Ч. 1. - Красноярск: ИПЦ КГТУ, 2006. - С. 301 304 с.

9. Крылов Ю. Н. Абсолютная временная шкала оценки знаний при компьютерном тестировании [Текст] / Ю. Н. Крылов: Тверской государственный университет (ТвГУ). - Тверь. - 2000. - С.13-15.

10. Углев. В. А. Предобработка входной информации для базы знаний, реализующей механизм адаптации обучающего тестирования [Текст] / В.А. Углев // Сборник материалов всероссийской научно-практической конференции ”Информационные технологии в профессиональной

деятельности и научной работе”. - Йошкар-Ола. - 2007.

- С.3-8.

11. Спосіб виміру рівня знань учнів при комп’ютерному тестуванні [Текст]. пат. 61415 Україна: МПК 7G06F7/00 / А. В. Велігура, Л. Р. Лехціер, В. П. Ткаченко; Замовник та патентовласник: Східноукраїнський національний університет імені Володимира Даля. - № 003010849 , заявл.

31.01.2003, опубл. 17 11 2003, Бюл №11, 2003.

12. Zadeh L.A. Fuzzy Sets // Information and Control. 8(1965), pp.338-353.

13. Способ контроля и оценивания знаний обучаемых путем тестирования с использованием нечетной логики [Текст]. пат. 2001117263 Рос. Федерация: МПК G09B19/00 / Ру-динский И. Д., Золотых С. Ю.; Заявитель и патентообладатель: Калининградский государственный технический университет. - № 2001117263/12, заявл. 9.06.2001, опубл.

10.04.2004.

14. Орлов А.И. Нечисловая статистика М.: МЗ-Пресс, 2004. [Электронный ресурс] / Режим доступа: \www/ URL: http://www.aup.ru/books/m162. - Загл. с экрана.

15. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях [Текст] / А.Е. Алтунин, М.В. Семухин ; Монография. Тюмень: Издательство Тюменского государственного университета.

- 2000. -352 с. [Электронный ресурс] / Режим доступа: \www/ URL: http://www.plink.ru/tnm/gl42.htm. - Загл. с экрана.

16. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику [Электронный ресурс] / Режим доступа: \www/ URL: http:// http://matlab.exponenta.ru/fuzz-ylogic/book1/13.php#1. - Загл. с экрана.

17. Теленик С.Ф., Бідюк П.І., Коршевнюк Л.О., Хмелюк В.С. / Метод формування нечіткого логічного висновку із залученням експертного комітету [Текст] / С.Ф. Теленик, П.І. Бідюк, Л.О. Коршевнюк, В.С. Хмелюк // Проблеми програмування. - 2008. - № 4. - С. 73-83.

£