CC BY
89
Сравнительный анализ образовательных систем тестирования по критерию функциональной полноты
Ефимов Евгений Николаевич
д.э.н., проф.каф.информационных технологий и защиты информации Ростовский государственный экономический университет (РИНХ)
[email protected] Денисов Михаил Юрьевич д.э.н., проф.каф.управления персоналом и социология Ростовский государственный экономический университет (РИНХ)
[email protected] Жилина Елена Викторовна ет.преподавателькаф. информационных технологий и защиты информации Ростовский государственный экономический университет (РИНХ)
Аннотация: В статье выполнена сравнительная оценка
функциональной полноты образовательных систем адаптивного тестирования, функциональные возможности которых определены пересечением функций между выделенными классами тестовых систем.
Ключевые слова: информационная система, адаптивное тестирование, функциональная полнота.
Abstract: In this articlethe comparative estimation of functional
completeness of educational systems of the adaptive testing which functionality is defined by crossing of functions between the allocated classes of test systems is executed.
Keywords: information system, adaptive testing, functional completeness.
Введение.В последнее время появилось множество программных продуктов, применяемых в образовании. Выбор современных информационных образовательных систем тестирования представляет собой сложнейшую задачу, решение которой требует применения специальных методик и инструментов. Основные трудности, с которыми приходится
сталкиваться при сравнительной оценке образовательных тестовых систем, -это не всегда существующая определенность и возможная сложность современных образовательных продуктов, а также отсутствие серьезных исследований в области сравнительных количественных оценок функциональной полноты систем тестирования в образовании. Поэтому, вполне обоснованным, на наш взгляд, является применение формальных процедур сравнения информационных систем по критерию функциональной полноты.
Основная часть. Оценить потребительское качество анализируемых информационных систем ^ИС) тестирования довольно сложная задача. Разработка систем тестирования в образовании ведется и в настоящее время,они зачастую значительноотличаются по качеству и цене. В связи с этим видится целесообразным решение следующих задач:
- качественный анализ наиболее известных информационных систем, применяемых для автоматизации процесса тестирования и составление перечня функций, реализуемых этими системами;
-сравнительная количественная оценка рассматриваемых систем по критерию функциональной полноты2;
- выделение перечня обязательных и вспомогательных функций для анализируемого вида системи построение «эталонной» моделиадаптивного тестирования, удовлетворяющей основным требованиям пользователей.
Особенно популярным в последнее время становится компьютерное адаптивное тестирование (ComputerizedAdaptiveTestmg — CAT), при котором компьютер отбирает задания в зависимости от предыдущих ответов, подстраивая тест к уровню тестируемого. Компьютерные адаптивные тесты
1 Информационная система- система, элементами которой являются не материальные объекты, а те или иные виды данных (информации), которые взаимодействуют и преобразуются в процессе ее функционирования; система сбора, хранения, накопления, поиска и передачи данных, применяемых в процессе управления, планирования и организации производства [Лопатников Л.И. Экономикоматематический словарь: словарь современной экономической науки / Под ред. Г.Б.Клейнера. - М.: Дело, 2003].
2
Хубаев Г.Н. Сравнение сложных программных систем по критерию функциональной полноты // Программные продукты и системы. - 1998. - №2.
считают самым значительным практическим достижением образовательного тестирования за последние два десятилетия. Они улучшают мотивацию, сокращают время тестирования, требуют меньше заданий для каждого экзаменуемого, при этом не снижают точность измерения.
Под компьютерным адаптивным тестированием понимаем «компьютеризованную систему научно обоснованной проверки и оценки результатов обучения, обладающую высокой эффективностью за счет оптимизации процедур генерации, предъявления и оценки результатов выполнения тестов»1.
Для исследования и сравнения между собой ИС с применением формализованных методов2 требуется провести их декомпозицию. Традиционно они разбиваются на подсистемы и задачи (модули) [1, 3].Построение модели начиналось с описания функционирования моделируемой системы тестирования в целом в виде контекстной диаграммы (рис. 1).
Рис. І.Контекстная диаграмма IDEF0 Система взаимодействует с окружающей средой по средствам терминов входа (на рис. 1 «Student'sanswers»-ответы студента), выхода
Сергеев В.В. Адаптивное тестирование в системах дистанционного обучения // Наука и образование. - 2007. - №4. - [Электронный ресурс]. - Режим доступа:http://techmmag.edu.m/doc/65577.htm.
2Хубаев Г.Н. Методика экономической оценки потребительского качества программных средств // Программные продукты и системы (SOFTWARE and SYSTEMS). - 1995. - № 1.
(результатвсего процесса - «Results»), управления («Rules») и MexaHroMOB(«Kemeloftestmgsystem», «Student», «Administrator», «Teacher»).
Для проведения анализа функциональной полноты проводилась декомпозиция ИС адаптивного тестирования на функции. Под функцией понимаем способность системы удовлетворять какую-либо потребность пользователя.Другой вариант декомпозиции - разбиение ИС на функциональные операции.Под функциональной операцией понимаем действия пользователя с системой в рамках реализации какой-либо функции. Функция - это возможность системы, она реализуется тогда, когда пользователь выполняет соответствующую функциональную операцию.
В рамках проведенного исследования было проанализировано более 90 образовательных тестовых систем, в том числе «Эксперт», «АСТ-Тест», «СИнТеЗ», «AUGUST4», «SunRavTestOfficePro», «0fflme-2009-10-24.TestExam» (Йошкар-Ола), «WebTester V1.00», «WebTutor (модуль "Тестирование")», IBM LotusLearningSpace, eLearningServer 3000 (модуль "Тестирование") и др. С использованием демонстрационных и рабочих версий систем тестирования, документации и литературных источников [6, 7, 8] был составлен предварительный перечень функцийИСтестирования.Этот перечень представляется достаточно полным на сегодняшней день, но в дальнейшемвозможно его расширение за счет добавления функций,выявленных путем проведения экспертных опросов.
Анализ тестовых систем позволил выделить более 100 функций, верхний уровень иерархической структуры которых приведен нарис.2.
Функции тестовых систем в образовании
Создание и редактирование тестов
Т естирование
Администрирование и планирование
Рис. 2. Верхний уровень иерархической структура функций образовательных
тестовых систем
Группа «Создание и редактирование тестов» включает около 30 функций, фрагмент которых приведен на рис.3:
Создание и редактирование тестов
Редактор тестов Слияние тестоне Проверка орфографии Выбор вида вопроса Тезаурус ответа»
|_ Се»зданне"сачо*1сполнвеньк" тестон Ге-хе!
Рис. 3. Функции группы «Создание и редактирование тестов»
Г руппа «Администрирование и планирование включает» такие функции, как: «Авторизация пользователей», «Группы пользователей», «Клиент-серверный режим» и др.
Группа «Тестирование» включает более 20 функций, фрагмент которых приведен на рис. 4.
|
Тестирование
— Пропуск вопроса
- Возврат к вопросу
- Случайный порядок вопросов
Случайный породе« расположения ответов
I— Перезапуск прохождения теста
Рис. 4. Функции группы «Создание и редактирование тестов»
Для проведения анализа ИС по критерию функциональной полноты предложено ИС тестированияразбить на 2 группы:
- дистрибутивные тестовые системы (ДТС) - системы, которые требуют установки на каждом ПК;
- веб-системы (приложения) тестирования (ВСТ) и модули тестирования в обучающих образовательных системах (МТОС).
Предложенная группировка позволяет выделить общие функции, присущие каждой группе ИС, и индивидуальные. К компьютерным адаптивным тестовым системам (КАТ) системам можно отнести любую систему: как дистрибутивную, так и веб-систему, поддерживающую функции адаптации.
Схематично объединение систем представлено на рис. 5, что позволяет выделить 2 блока анализируемых функций ИС адаптивного тестирования:
1 блок: ИС адаптивного тестирования, устанавливаемые
дистрибутивно;
2 блок: веб-системы адаптивного тестирования.
В дальнейшем общие функции, представленные во всех группах ИС тестирования, рассматриваться не будут.
Рис. 5. Схема объединения функций ИС тестирования Перечень функций (53) для проведения анализа функциональной полноты ИС адаптивного тестирования представлен в таблице 1.
Таблица 1
Фрагмент функций тестовых систем для анализа функциональной полноты _________________Название функции____________
Рейтинг тестируемых____________________
Настройка шкалы оценок_________________
Установка диапазона количества вопросов в
тесте (общее, мин, макс)__________________
Диагностика проблемных областей
тестируемого______________________________
Формирование Банка знаний
Установка/выбор отправной точки___________
Установка контрольных точек тестирования Ассигнование времени (распределение) Выбор тестируемым частоты неожиданных
ответов___________________________________
Установка критерия завершения_____________
Формирование промежуточных оценок Установление количества угаданных ответов тестируемым и количества
сделанных им случайных ошибок_____________
Расчет статистических показателей
вариации тестовых заданий_________________
Расчет коэффициента надежности тестовых заданий
Конструктивные особенности создания, применения и выбора дистрибутивных систем и веб-разработок не позволяют провести совместный анализ их функциональной полноты, поэтому данную методику применяем отдельно для каждой из двух групп.
Из полного списка анализируемых тестовых систем выделяем системы, поддерживающие анализируемые функции (таблица 1 и 2).
Таблица 1
Перечень тестовых систем, устанавливаемых дистрибутивно
Шифр Наименование
S1 Конструктор тестов
S2 «Кафедральные тесты» СГУ
S3 АСТ-Тест
S4 «МастерТест»
S5 «СИнТеЗ»
S6 Универсальный тестовый комплекс
S7 TestEdit
S8 TestYourself
S9 UniTestSystem
S10 Ревизор
S11 MentalControl
S12 Тестирование знаний студентов
S13 Vesta 1.10
S14 AUGUST 4
S15 КТС Net 2
S16 MiniTestSL
S17 Quizzz
S18 VeralTest
S19 TestBOXStandaloneBuilder
S20 SoftveaTestBOX v1.62.48.13
S21 SunRavTestOfficePro
S22 Аттестация
S23 IT Test
S24 Твой тест
S25 FastTESTProfessionalTestingSystem, 2.0
S26 Test4DL , РЭА
S27 MSCatDemo
S28 Test 2002. 2.2.0.356. ProfessoinalEdition
S29 СТ М-Тест
S30 Эталонная система
Таблица 2
Перечень веб-систем и модулей тестирования в обучающих
образовательных системах
Шифр Наименование
VS1 Тест. Программная среда «LEMON»
VS2 «KnowledgeCT»
VS3 «Т елетестинг-99»
VS4 «TESTOR.RU»
VS5 WebTester V1.00
VS6 WebTutor (модуль "Тестирование")
VS7 Chamilo (модуль "tests")
VS8 Claroline (модуль "Тесты")
VS9 5+(модуль "Тестирование")
VS10 ИС КОА(модуль "Тестирование")
VS11 eLearningServer 3000(модуль "Тестирование")
VS12 LAMS(модуль "Тестирование")
VS13 Moodle(модуль "Тест")
VS14 Sakai(модуль "Тестирование")
VS15 Прометей (модуль "Тест")
VS16 СДО "ДОЦЕНТ"(модуль "Тестирование")
VS17 LearneXact(модуль "Тестирование")
VS18 MicrosoftE-Learning(модуль "Тестирование")
VS19 IBM Lotus LearningSpace (модуль "Тестирование")
VS20 Эталонная система
Под «эталонной» системой подразумеваем систему, поддерживающую все анализируемые функции.
В таблице Зпредставлен фрагмент матрицы X, показывающий, какие из функций реализуются исследуемымидистрибутивными системами. Если функция j поддерживается системой і, то Ху=1, в противном случае Ху=0. На основе методики, предложенной в [4, 5], можно провести анализ
функциональности данных систем: оценку полноты состава
автоматизируемых функций относительно «эталонной» системы, а также степень их подобия и связи друг с другом.
Таблица З
Матрица X. Реализация функций дистрибутивными тестовыми системами (фрагмент)
F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 F11 F12 F13 F14 F52 F53
S1 1 1 1 0 0 1 0 1 0 1 0 0 1 0 0 1
S2 1 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1
S3 1 0 0 0 1 1 0 1 1 0 0 0 0 0 0 1
S4 0 0 0 0 1 1 0 1 0 1 1 0 1 0 0 1
S5 1 0 0 0 1 1 0 1 1 1 1 0 1 0 0 1
S6 0 0 0 0 1 1 0 1 0 0 0 0 0 0 0 1
S7 0 0 0 1 1 1 0 0 0 0 0 0 0 0
S8 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0
S9 1 1 1 0 1 1 1 1 0 1 0 0 1 0 0 0
S10 0 0 0 0 1 1 1 1 1 0 0 1 0 0 1
S11 0 0 0 0 1 1 1 0 1 1 0 1 0 0 0
S12 0 0 0 0 1 1 1 0 0 0 0 1 0 0 0
S13 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 1
S14 0 0 0 0 1 1 1 0 1 0 0 1 1 0 1
S15 1 0 1 0 1 1 1 1 0 1 0 0 1 0 0 1
S16 0 0 0 0 1 1 1 0 0 0 0 0 1 0 0
S17 1 0 0 0 1 1 1 1 0 1 0 0 1 0 0 1
S18 1 0 0 0 0 1 0 0 1 0 0 1 0 0 0
S19 1 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0
S23 0 0 0 1 0 0 0 1 0 1 0 0 0 1 0 1
S24 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1
S25 1 1 1 1 0 1 1 1 1 1 1 0 1 1 0 1
S26 0 0 0 0 0 0 0 1 1 1 1 0 1 0 0 1
S27 1 0 0 0 0 0 1 1 1 1 0 1 0 0 0 0
S28 1 1 0 0 1 0 1 1 1 1 1 0 0 0 0 1
S29 1 1 0 0 1 0 0 1 1 1 0 0 0 0 0 1
S30 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
Выделим системы КшКк и введем следующие обозначения:
р.!1 = п ¡б,
1к 1 к - мощность пересечения систем относительно автоматизируемых функций;
р»1 = к /к. р,;» = к/к
1к кг , к. 1 к - мощность разности соответствующих
множеств. В качестве меры рассогласования между системами^ш^к
_ р01 / р11 I р10
выберем величинуSi к гк гк гк ;
¡Бг
для оценки степени поглощения системой к системы 1 - величину
Шк= рк1 /(Рк' + Рк°);
для оценки степени подобия систем - меру подобия Жаккарда:
ок= р" /(р 1' + р,1° + РЦ').
С помощью логических матриц поглощения (включения) определяется мера взаимосвязи и подобия между сравниваемыми системами и Кк. Рассчитываются показатели:
- доля общих функций, реализуемых одновременно и 1Бк в общем объеме функций ^(матрица Н);
- количество общих функций у^шК к (матрица Р0);
- доля общих функций в общем объеме функций КшК к(матрица G). Выбирая различные пороговые значения для элементов матриц р10, ^1к,
Г'И ттгк г>гк 0 огк 0 (^Мк „гк 0
и ,И можнопостроить матрицы поглощения Р , ^ и ,И
соответственно. Элементы новых матриц получаются заменой соответствующего элемента базовой матрицы на “1”, если значение элемента больше или равно пороговому, и “0” - в противном случае. Элементы главной диагонали (номера столбца и строки, которых совпадают) в любом случае приравниваются к нулю.
По матрицам поглощения И1к0 и подобия Омк можно определить принадлежность анализируемых тестовых систем к «эталонной» (таблицы 4,
5).
Таблица 4
Матрица подобия Gi0k дистрибутивных систем (фрагмент)
S1 S2 S3 S4 S5 S6 S7 S8 S9 310 311 312 313 314 315 316 317 330
S1 1 1 0 1 1 0 0 0 1 0 1 0 0 1 1 0 0 0
S2 1 1 1 1 1 1 1 0 0 0 0 0 0 0 1 1 0 0
S3 0 1 1 1 1 1 0 0 0 0 0 0 0 0 1 0 1 1
S4 1 1 1 1 1 1 0 0 0 0 1 1 1 1 1 0 0 0
S5 1 1 1 1 1 1 0 1 1 0 1 0 1 1 1 0 1 1
S6 0 1 1 1 1 1 1 1 0 0 0 0 1 0 1 1 1 0
S7 0 1 0 0 1 1 0 0 0 0 0 1 0 0
S8 0 0 0 0 1 1 0 1 1 1 1 1 1 1 1 0 1 0
S9 1 0 0 0 1 0 0 1 1 1 1 1 1 0 1 0 1 0
810 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 1 0
811 1 0 0 1 1 0 0 1 1 1 1 1 1 1 1 1 0 0
812 0 0 0 1 0 0 1 1 1 1 1 1 0 1 0 0 0
813 0 0 0 1 1 1 0 1 1 1 1 1 1 1 1 0 1 0
814 1 0 0 1 1 0 0 1 0 1 1 0 1 1 1 0 0 0
815 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1
816 0 1 0 0 0 1 1 0 0 0 1 0 0 0 1 1 1 0
817 0 0 1 0 1 1 0 1 1 1 0 0 1 0 1 1 1 1
S18 1 1 0 1 1 0 0 0 1 0 1 1 1 1 1 0 0 0
S19 1 1 0 1 0 0 0 0 0 0 0 1 1 1 1 0 0 0
S20 1 0 0 1 1 0 0 1 1 1 0 0 1 1 0 1 0
S21 1 0 1 1 1 0 0 1 1 1 1 0 1 1 1 0 1 0
S22 0 0 0 1 1 0 0 1 1 1 1 0 1 1 1 0 1 0
S23 1 1 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0
S24 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0
S25 1 0 1 1 1 0 0 0 0 0 0 0 0 0 1 0 0 1
S26 1 0 0 1 1 0 0 0 0 0 1 0 0 0 1 0 0 1
S27 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 1
S28 1 1 1 1 1 1 0 0 0 0 1 0 1 0 1 0 0 1
S29 1 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 1
S30 0 0 1 0 1 0 0 0 0 0 0 0 0 0 1 0 1 1
Таблица 5
Матрица поглощения Hlk 0 дистрибутивных систем (фрагмент)
S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 S13 S14 S15 S16 S17 S30
S1 1 0 1 1 1 0 0 0 1 0 0 0 0 0 1 0 0 1
S2 1 1 1 1 1 1 1 0 1 0 0 0 0 0 1 1 1 1
S3 0 1 1 0 0 0 0 0 0 0 0 0 0 1 1
S4 1 0 1 1 1 1 0 0 0 0 1 0 0 1 1 0 1 1
S5 1 1 1 1 1 1 0 0 1 0 0 0 1 0 1 0 1 1
S6 1 1 1 1 1 0 0 0 0 0 0 1 0 1 0 1 1
S7 1 1 1 1 1 1 0 0 0 0 0 0 0 1 1 1
S8 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1
S9 1 0 1 0 0 0 1 0 0 0 0 0 1 0 1 1
S10 0 1 1 1 0 0 1 0 1 1 1 1 1 1 0 1 1
S11 1 0 1 1 0 0 0 0 1 1 0 0 1 1 0 1 1
S12 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1
S13 1 0 1 1 1 0 0 1 1 1 1 1 1 1 1 0 1 1
S14 1 0 1 1 1 1 0 1 1 1 1 0 1 1 1 0 1 1
S15 1 0 1 1 1 0 0 0 1 0 1 0 0 0 1 0 1 1
S16 1 1 1 1 0 0 1 0 1 0 0 0 1 1 1 1
S17 0 1 1 0 0 0 0 0 0 0 0 0 1 0 1 1
S18 1 1 1 1 1 1 0 0 1 0 1 0 1 1 1 0 1 1
S19 1 1 1 1 1 1 0 1 0 1 1 1 1 1 1 0 1 1
S20 1 0 1 1 1 0 0 1 1 1 0 0 1 1 1 0 1 1
S21 1 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 1 1
S22 1 0 1 1 1 1 0 1 1 1 0 0 1 1 1 0 1 1
S23 1 0 1 1 1 0 0 0 0 0 0 0 0 0 1 0 0 1
S24 1 1 1 1 1 1 0 0 0 0 1 0 0 1 1 0 0 1
S25 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1
S26 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 1
S27 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 1
S28 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 0 0 1
S29 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 0 0 1
S30 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
18 9 26 23 28 13
13
12
12 13 25
20
30
Аналогично был проведен анализ по критерию функциональная полнота для веб-систем тестирования.
Близкимик «эталонной» являютсядистрибутивныесистемы: S3 (АСТ-
Тест), S4 («МастерТест»), S5 («СИнТеЗ»), S15 (KTCNet 2), S17 (Quizzz), S25 (FastTESTProfessionalTestingSystem, 2.0), S26 (Test4DL ,РЭА), S27
(MSCatDemo), S28 (Test 2002. 2.2.0.356. ProfessoinalEdition), S29 (СТМ-Тест) ивеб-системы: VS6(WebTutor (модуль "Тестирование"),
VS11(eLearningServer 3000 (модуль "Тестирование"), VS12(LAMS(модуль "Тестирование"), VS14(Sakai(модуль "Тестирование"), VS15(Прометей (модуль "Тест"), VS17(LeameXact(модуль "Тестирование"), VS18(MicrosoftE-Leaming(модуль "Тестирование"), VS19(IBMLotusLearningSpace (модуль "Тестирование"). Для наглядности были выделены группы подобных тестовых систем, графы которых приведены на рис. 6 и 7.
Рис. 6. Граф подобия дистрибутивных систем, выделенных в группы
Э12
S27
S26
S3
S25
Э19
Д Э9 V ГВ10| С Э2 1 | Э28 ] Г Э5 У
(эй
Э7 | Г Э29 1
(эъу I Э17 )
S15
S30
Рис. 7. Граф подобия веб-систем, выделенных в группы ИС из одной группы в дальнейшем можно сравнивать между собой, сопоставляя другие характеристики, такие как цена, производительность, надежность, степень адаптации и другие, предоставляя пользователям возможность сделать обоснованный выбор.
Пороговые значения для элементов матриц&'к и И1к изменялись в интервале [0,25..0,8]. Оптимальным значением был подобран вариант0,4. Увеличивая пороговые значения до 0,8, количество анализируемых тестовых систем, близких к «эталонной», уменьшалось значительно. Так, близкой к «эталонной» оказалась только одна дистрибутивнаясистема FastTESTProfessionalTestingSystem, 2.0, а веб-систем, удовлетворяющих такому критерию, не нашлось.
Заключение:
1. В настоящее время на рынке образования существует большое количество контролирующих, обучающих систем. Выбрать среди них нужную ИС для конечного пользователя достаточно трудно.
2. Сравнение тестовых систем по критерию функциональной полноты позволяет осуществить следующее:
- составить полный перечень функций, реализуемых рассмотренными компьютерными образовательными системами тестирования;
- систематизировать сведения о составе и функциональной полноте существующих компьютерных тестовых систем;
- количественно оценить степень соответствия той или иной компьютерной тестовой системы требованиям пользователя к функциональной полноте;
- на стадии предварительного анализа исключить из дальнейшего рассмотрения компьютерные тестовые системы, в которых не реализуются нужные пользователю функции;
- сформировать группу компьютерных тестовых систем, имеющих одинаковую функциональную полноту;
- расширить для потребителя-пользователя возможности оптимального выбора на рынке компьютерных образовательных тестовых систем, предоставив перечень выполняемых каждой системой функций, а разработчику системы показать место его продукта среди существующих ИС тестирования.
3. Вместе с тем, результат еще не говорит о завершенном анализе функциональной полнотытестовых систем в образовании, поэтому в дальнейшем необходимо сопоставить их цены и другие характеристики (например, применяемые технические средства и операционная система, качество пользовательского интерфейса, трудоемкость работы с системой, надежность и т.п.).
Библиографический список:
1. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на C++, 2-е изд./ Пер. с англ. - М.: "Издательство Бином", СПб.: "Невский диалект", 1999 . - 560 с.
2. Сергеев В.В. Адаптивное тестирование в системах дистанционного обучения // Наука и образование. - 2007. - №4. - [Электронный ресурс]. -Режим доступа: http://technomag.edu.ru/doc/65577.htm.
3. Тельнов Ю.Ф. Интеллектуальные информационные системы в экономике: учеб.пособие для вузов. - 3-е изд., расш. и дораб. - М.: СИНТЕГ, 2002. - 316 с.
4. Хубаев Г.Н. Сравнение сложных программных систем по критерию функциональной полноты // Программные продукты и системы. -1998. - №2. - С. 6-9.
5. Хубаев Г.Н. Методика экономической оценки потребительского качества программных средств // Программные продукты и системы (SOFTWARE and SYSTEMS). - 1995. - № 1. - С. 2-8.
6. Электронный ресурс. -Режим доступа: http:// www.microsoft.com.
7. Электронный ресурс. - Режим доступа^йр: //
www.psych.umn.edu/psylabs/catcentral.
8. Электронный ресурс. - Режим доступа: http: // www.assess.com.
9. Электронный ресурс. - Режим доступа: http: //ifets.ieee.org.
