CC BY
65
где Г - выходной параметр компоненты к5; Z={zj}
- состояния обучаемого при работе с ьй темой: zj=(wj, г,, pj), где wj - признак изучения темы tj, wj={0, 1}; rj - признак прохождения аттестации по теме г,={0, 1}; uj - количество итераций аттестации, на которые накладываются ограничения; pj -признак перехода на уровень gj.
Компонента обучения определяется соотношением: к5 = (0,Е,N,^6.) , (6)
где 0, Е, N - выходные параметры компонент к3, к9, к4 соответственно; Г={1^} - множество знаний,
3
получаемых в процессе обучения, ^ е и а, , где А1
j=l
- множество знаний, получаемых в процессе восприятия, А2 - множество знаний, получаемых в процессе усвоения (осмысления), А3 - множество знаний, получаемых в результате творческой деятельности; - параметр, описывающий тактику дальнейших действий преподавателя, 6( е А .
Новое знание получается путем изменения одного вида знаний в другой под воздействием процессов сопоставления, усвоения, узнавания, анализа и т.п. Знания множества А1, полученные в процессе восприятия, закрепляются и преобразовываются во множество знаний А2, а затем знания множеств А1 и А2 - в знания множества А3.
Модель компоненты интерактивности позволяет адаптировать обучающий процесс под действия обучаемого и преподавателя:
к4 = у,,Я), (7)
где zj, у, - выходные параметры компонент к7 и к2 соответственно; Я - результат оценивания знаний, Я=(юь ю2), где ю1 - традиционная оценка, ю2 -балльно-рейтинговая оценка.
В основу модели компоненты к6 заложены модели оценивания знаний и качества ТЗ. Модель компоненты оценивания можно представить следующим образом:
к6 = (О,, Я, А,К), (8)
где О - множество тестовых материалов; Я - результат оценивания знаний; А={й, И=1,4} - реше-
ния преподавателя: öi - возврат на обучение (k5), ö2 - формирование нового контента (возврат на k3), ö3 - повторное оценивание (возврат на k6), ö4 -подтверждение оценки знаний; R - оценка тестового материала, которая получается путем отображения f3:{oxV}^ R множества тестовых материалов О с использованием показателей качества ТЗ V, o,е O, у,eV,r, eR .
Модель компоненты k6 разработана на основе модели оценивания качества ТЗ и модели оценивания знаний.
В заключение следует отметить, что предложенный компонентный подход, используемый при моделировании ИОС, позволяет:
- создавать совершенные ИОС;
- адаптировать электронный обучающий процесс под обучаемого;
- модернизировать ИОС путем изменения структуры и формы компонент;
- сокращать время на разработку системы за счет уже имеющихся разработанных компонент;
- корректировать обучающие системы путем изменения компонент по содержанию;
- повышать качество обучения.
В планах авторов работа над формализацией компонент исследования индивидуальных характеристик обучаемого, принятия решения, компоненты обучения и интерактивности.
Литература
1. Атанов Г.А., Пустынникова И.Н. Обучение и искусственный интеллект, или Основы современной дидактики высшей школы. Донецк: Изд-во ДОУ, 2002. 504 с.
2. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Издат. дом «Фи-линъ», 2003. 616 с.
3. Брусиловский П., Сосновский С., Юделсон М. Притягательные ссылки: мотивационный эффект адаптивного аннотирования в обучающей гипермедиа: Электронный журн. 3(4) 2000, URL: http://ifets.ieee.org (дата обращения: 17.12.08).
4. Галеев И.Х., Сосновский С.А., Чепегин В.И. Серия МОНАП: модели, методы, подходы / Тр. Междунар. конф. Казань: КГТУ, 2002.
5. Соловов А.В., Меньшикова А.А. Дискретные математические модели в исследовании процессов автоматизированного обучения: Электронный журн. 4(2) 2001, URL: http://ifets.ieee.org (дата обращения: 17.12.08).
ПРОГРАММНЫЙ КОМПЛЕКС RILP1
И.Н. Елисеев, к.т.н.; И.И. Елисеев; А.В. Фисунов
(Южно-Российский государственный университет экономики и сервиса, г. Шахты, [email protected])
В статье даются описание и функциональные возможности программного комплекса для измерения латентных параметров исследуемых объектов и используемых для этого индикаторов диагностических тестов по результатам их выполнения, представленным в виде дихотомической переменной.
Ключевые слова: латентные параметры, программный комплекс, индикатор, диагностический тест.
Качественное управление образовательным процессом невозможно без надежных, профессио-
нально разработанных контрольно-измерительных материалов (КИМ), представляющих собой
совокупность заданий или индикаторов с известными характеристиками, объединенными в тест. Разработка и проверка их качества - длительная и трудоемкая процедура, для ее выполнения требуются многофункциональные программно-инструментальные средства. У используемых для обработки результатов тестирования и оценки качества КИМ отечественных программ R-Latent [1] и Ana-lizator [2] ограниченная область применения. Например, объем выборки участников тестирования, результаты которых могут быть обработаны с помощью R-Latent, не должен превышать нескольких сотен; число индикаторов теста не может превышать 100. Кроме того, ни с помощью R-Latent, ни программного модуля Analizator невозможно провести дистракторный анализ КИМ, а без него нельзя полноценно оценить их качество. Результаты расчета оценок латентных переменных, полученные с помощью отечественных программных средств, могут существенно отличаться от значений, которые дает использование зарубежных программ аналогичного назначения.
Приобретение зарубежных программных продуктов, например, разработанной в Мердокском университете (Австралия) лицензионной диалоговой системы RUMM 2020, связано с установлением прямых контактов с дальним зарубежьем, что зачастую затруднительно. Кроме того, интерфейс зарубежных программ не русифицирован, а это создает большие сложности в работе.
Таким образом, задача создания отечественных программно-инструментальных средств, позволяющих рассчитать значения латентных параметров индикаторов КИМ и объектов измерения, оценить качество КИМ, является актуальной.
Для решения этой проблемы центром тестирования Южно-Российского государственного университета экономики и сервиса (г. Шахты) разработан программный комплекс RILP-1 (Рашевский измеритель латентных переменных), предназначенный для оценки характеристик объектов измерения и индикаторов теста-измерителя по результатам их выполнения, представленным дихотомической переменной. В качестве объектов измерения могут использоваться учебные достижения учащихся, процессы и подпроцессы системы менеджмента качества образования (СМКО) вуза, различные аспекты воспитательной работы и т.д.
Программный комплекс RILP-1 позволяет провести обработку результатов тестирования, получить основные статистические характеристики индикаторов КИМ и исследуемого объекта измерения (например, уровня знаний студента) и оценить качество материалов на основе классической теории тестов и теории моделирования и параметризации педагогических тестов. Результаты тестирования должны быть представлены в виде двухмерной матрицы в форматах pm или txt. Комплекс позволяет:
1) получить значения параметров общей статистики для обрабатываемых результатов, включающей в себя:
- значения оценок моментов 1-4-го порядков для индикаторов и для участников тестирования;
- значение коэффициента дифференциации участников тестирования;
- значения коэффициента надежности результатов тестирования и теста-измерителя, полученные по формулам Кронбаха, Спирмена-Бра-уна, по среднему значению коэффициента интеркорреляции индикаторов;
2) построить:
- гистограммы распределения индивидуальных баллов тестируемых и индикаторов;
- совмещенные гистограммы распределения для латентных параметров участников тестирования и трудности индикаторов в логарифмической шкале;
3) получить следующую информацию об индикаторах:
- общее количество верных ответов на каждый индикатор (индивидуальный балл индикатора) У, и доля верных ответов на него р,;
„0^ о *
- оценки начальных р, и уточненных р, значений трудности индикаторов в логитах и стандартные ошибки для них;
- дифференцирующая способность индикаторов а,;
- значения X и вероятность соответствия характеристической кривой индикатора модели Ра-ша;
- оценки коэффициентов корреляции индивидуальных баллов индикаторов с индивидуальными баллами тестируемых (бисериальных коэффициентов);
- оценки средних значений коэффициентов корреляции индикаторов друг с другом;
4) рассчитать матрицу коэффициентов корреляции каждого индикатора с другими индикаторами;
5) получить следующую информацию об участниках тестирования:
- значения первичного X! и тестового Т баллов каждого участника;
- доли верных р! и неверных qj ответов участника на все индикаторы теста;
- значения оценок латентного параметра в! участника тестирования и погрешность его расчета в логитах;
6) построить характеристические кривые:
- всех индикаторов;
- каждого индикатора в отдельности с информацией, необходимой для оценки соответствия кривой принятой модели измерения (модели Ра-ша);
- каждого индикатора с указанием графической информации о том, как работают ответы индикаторов (заданий) закрытой формы;
Панель управления
. З ^з^ ить матр и цу
О программе... Выход
Вид
О Матрица ответов © Анализируемая матрица
На с тр орла I
Матрица : 1...Э [4] Размер матрицы : 128 х 50 Количество разбиений = [ 3 ]
Пр о аыаш гзыр ов ать
Р ед ак~п 1р о в а ть
Инвертировать результат Удалить задание Удалить участника
Рис. 1. Панель управления после загрузки результатов
7) получить индивидуальные кривые участников тестирования;
8) построить информационные функции индикаторов и теста-измерителя в целом.
Программный комплекс RILP-1 обеспечивает надежную работу с матрицами результатов тестирования размером до 32000x5000.
Панель управления комплексом после загрузки матрицы результатов тестирования показана на рисунке 1. До начала обработки матрицы необходимо указать, в каком виде должны быть представлены полученные данные (опции «Отображать имена участников», «Отображать номера заданий» и т.д.). В разделе «Настройки» указывается размер загруженной матрицы (число строк и число столбцов), из каких элементов она составлена (из 0 и 1 или представлена цифрами, соответствующими номерам
выбранных ответов тестируемых). Перед началом анализа указывается число интервалов, на которые должен разбиваться массив результатов обработки. Исходя из этого разбиения подсчитываются значения X и вероятность соответствия характеристик индикаторов (заданий) модели Раша. Минимальное число разбиений - 3. Если направление влияния индикатора на объект измерения носит обратный характер, то путем выделения соответствующего ему столбца анализируемой матрицы и выполнения операции инвертирования (клавиша «Инвертировать результат») нули заменяются на единицы, а единицы на нули. После выполнения команды «Проанализировать» в левой части экрана монитора появляется панель «Результаты», структурная схема которой представлена на рисунке 2. Выбирая нужную опцию путем нажатия соответствующих клавиш, можно посмотреть полученные результаты по разделам. Сохранение полученных результатов обеспечивается вводом команды «Сохранить полный отчет».
Проведение дистракторного анализа обеспечивается загрузкой матрицы результатов тестирования, элементами которой являются номера ответов, выбранных тестируемыми. Отображение результатов анализа осуществляется в режиме просмотра характеристических кривых каждого из индикаторов нажатием клавиши «Соответствие модели измерения». После нажатия клавиши на графике характеристической кривой появляются ломаные линии, построенные для различных вариантов ответов на индикатор.
Линия, соответствующая верному ответу, помечается звездочкой.
Сравнение данных анализа, полученных для одной и той же матрицы результатов тестирования с помощью программного комплекса RILP-1 и диалоговой системы RUMM 2020, показывает, что различия между ними не превышают 10 % для легких и трудных индикаторов. Объясняется это тем, что в комплексе и в системе выбраны разные алгоритмы расчета трудности индикаторов и ла-
ПО ЗАДАНИЯМ
ПО УЧАСТНИКАМ
РЕЗУЛЬТАТЫ ОБРАБОТКИ
ХАРАКТЕРИСТИЧЕСКИЕ КРИВЫЕ
ПО ВСЕМ ЗАДАНИЯМ
: ПО УЧАСТНИКАМ
ПО ЗАДАНИЯМ
РАСШИРЕННАЯ
Рис. 2. Структурная схема панели управления «Результаты»
тентного параметра тестируемых. Кроме того, отличаются и алгоритмы распределения результатов тестирования по выбранным интервалам разбиения при оценке соответствия характеристических кривых индикаторов принятой модели измерения. Продолжая сравнение возможностей RILP-1 и RUMM 2020, следует отметить, что в диалоговой системе, в отличие от комплекса, не предусмотрены расчет бисериального коэффициента и построение информационных функций. Кроме того, управление программами в RILP-1 намного проще, чем в RUMM 2020. Но по сравнению с RILP-1 несомненным существенным преимуществом диалоговой системы RUMM 2020 является возможность обработки результатов тестирования, представленных политомической переменной, поэтому авторы работают над новой модификацией программного комплекса, обеспечивающего выполнение работ и такого рода.
Пакет программного комплекса RILP-1 может быть установлен на компьютер, оснащенный ОС Windows 2000, XP с объемом оперативной памяти
не менее 128 Мб и быстродействием процессора более 1 ГГц. Кроме того, для работы комплекса требуется пакет Microsoft Office.
Подводя итог, можно сказать, что созданный программный комплекс позволяет автоматизировать процедуру оценивания качества КИМ и их экспертизу, обеспечивая снижение трудозатрат и времени на разработку надежных индикаторов и тестов-измерителей для систем оценки качества как в педагогике, так и в социально-экономических системах.
Литература
1. Елисеев И.Н., Елисеев И.И. Технология создания педагогического теста с помощью программных средств «R-Latent // Развитие системы тестирования в России»: тез. докл. Второй всеросс. конф. М., 2000. Ч. 5. С. 31-32.
2. Елисеев И.Н., Елисеев И.И., Мальцев И.М., Гладилин А.Н Комплекс программных средств для обеспечения процедуры тестирования и оценки качества тестовых материалов // Пути совершенствования подготовки специалистов для текстильной промышленности: тез. докл. Междунар. науч.-методич. конф. М.: МГТУ им. А.Н. Косыгина, 2002. С 50-51.
3. RUMM2020 Manuals URL: http://www.rummlab.com.au/ demo/marmgetstart.pdf (дата обращения: 18.11.2008).
ПРОГРАММНЫЙ КОМПЛЕКС ФОРМИРОВАНИЯ МНОГОКОМПОНЕНТНЫХ ЭКСПЕРТИЗ
С.А. Пиявский, д.т.н.; В.Е. Кадочкин
(Самарский государственный архитектурно-строительный университет, [email protected])
Совершенствование методов экспертизы в сложных технических, экономических и социальных системах является актуальной задачей. Предлагаемый подход к ее решению позволяет использовать органически присущую экспертизам неопределенность для частичного согласования результатов, получаемых при экспертизах, проводимых по различным методикам. Для этого используется аппарат многокритериальной оптимизации.
Ключевые слова: многокомпонентная экспертиза, адаптивный этап, согласование, многокритериальная оптимизация, творческие компетенции.
Экспертиза - это исследование и установление таких фактов и обстоятельств, для выяснения которых необходимо привлечение специальных знаний, которыми обладают наиболее компетентные в отношении объекта экспертизы люди - эксперты. В настоящее время сложилась технология согласования их позиций и обработки полученной экспертной информации для количественной оценки объекта экспертизы [1]. Однако зачастую в экспертном сообществе существуют настолько различные взгляды на объект экспертизы и, соответственно, методы его количественной оценки, что их не удается объединить в рамках традиционно понимаемой экспертной процедуры.
В то же время, поскольку объект экспертизы един, необходимо разработать технологию, которая позволила бы в максимально возможной степени согласовать оценки, полученные по различным экспертным методикам.
Назовем такую согласованную экспертизу многокомпонентной (схема представлена на рисунке 1).
Ее особенность состоит в том, что обработку сведений, полученных от экспертов в различных компонентах экспертизы, предлагается проводить, используя единый аппарат многокритериальной оптимизации - ПРИНН [2]. Он позволяет рассматривать результаты ответов экспертов на вопросы экспертной анкеты в качестве значений некоторых критериев и рассчитывать комплексное значение оцениваемых экспертами параметров объекта в зависимости от ответов экспертов и степени их авторитетности (так называемой политики выбора). Поскольку каждый из компонентов экспертизы обладает некоторой неопределенностью (разноречивостью экспертных оценок внутри компонента), можно частично использовать ее для согласования итоговых оценок объекта, полученных в рамках отдельных компонентов экспертизы. Для учета этой неопределенности используется аппарат нечетких множеств Заде. Соответственно, многокомпонентную экспертизу характеризуют следующие параметры: степень определенности экспертиз по отдельным компонентам Ов, степень
