Разработка системы характеристик качества образовательных информационных ресурсов и шкал для их оценивания Текст научной статьи по специальности «Компьютерные и информационные науки»

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

РАЗРАБОТКА СИСТЕМЫ ХАРАКТЕРИСТИК КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ ИНФОРМАЦИОННЫХ РЕСУРСОВ И ШКАЛ ДЛЯ ИХ ОЦЕНИВАНИЯ

В.Г. ДОМРАЧЕВ, проф. каф. электроники и микропроцессорной техники МГУЛ, д-р техн. наук, О.М. ПОЛЕЩУК, проф. каф. высшей математики МГУЛ, д-р техн. наук,

Е.Г. КОМАРОВ, доц. каф. информационно-измерительных систем МГУЛ, канд. техн. наук,

И.В. АНТОШИНА, доц. каф. электроники и микропроцессорной техники МГУЛ, канд. техн. наук

В последнее десятилетие все более широкое распространение получают образовательные информационные ресурсы, что влечет трансформацию традиционных представлений об образовательном процессе. Даже при дневной форме обучения все большую долю времени отводят на занятия с такими образовательными информационные ресурсами, как электронные учебники, виртуальные лабораторные практикумы, средства автоматизированного контроля знаний и прочими.

Кроме того, появилась новая форма - дистанционное образование, которое базируется на использовании различных классов электронных ресурсов, и, кроме того, информационное средство дистанционного обучения должно включать модуль администрирования учебного процесса, который фиксирует достижения обучающихся, позволяет корректировать траекторию обучения исходя из уровня усвоения материала.

Популярность информационных образовательных ресурсов и наличие средств, упрощающих процесс их разработки, привели к тому, что их созданием занялись многие преподаватели. Однако к качеству информационных образовательных ресурсов нельзя относиться легкомысленно и следует предъявлять достаточно жесткие требования. Очевидно, что в отсутствие преподавателя грамотно разработанный ресурс имеет прямое влияние на уровень усвоения материала.

На сегодняшний день всем понятны преимущества электронных образовательных ресурсов по сравнению с их бумажными аналогами, например, это положительный эффект от незамедлительной обратной связи, нелинейность представления информации (возможность перехода по гиперссылкам), большая наглядность представления материалов посредством мультимедийных данных. Однако электронное представление материала имеет свои правила, которыми нельзя пренебрегать и которые не всегда известны разработчикам «из народа». Например, известно,

что электронный текст воспринимается на 25 % хуже бумажного аналога. Вся информация, представленная на одном экране, должна быть определенным образом структурирована, так, например, каждый кадр (экран) не должен быть перегружен и в то же время содержать логически законченную информацию.

Для того чтобы грамотно выбрать информационный образовательный ресурс из множества уже существующих аналогов или грамотно разработать свой вариант, следует произвести оценку качества ресурса, опираясь на систему характеристик качества.

Разработка системы характеристик качества для информационных образовательных средств является нетривиальной задачей. Она разрабатывается группой экспертов, основными инструментами которых являются не только знания, но и интуиция. Тем не менее, от полноты и адекватности системы зависит точность полученных оценок качества. Кроме того, предметная область, объем курса и, наконец, возраст потенциальных обучаемых порождают свои требования к контенту. Система характеристик качества должна быть динамичной, т.к. информационные образовательные ресурсы развиваются, а вместе с ними должна развиваться и она.

В данной статье предлагается методика составления системы характеристик качества, включающая следующие этапы.

I этап. Набор группы экспертов.

В эту группу должны быть привлечены специалисты в области информационных образовательных ресурсов, для которых составляется система характеристик, например разработчики или опытные пользователи.

II этап. Создание проекта системы характеристик качества.

Группа экспертов составляет проект системы характеристик качества, причем на этом этапе каждый эксперт имеет право добавить новую характеристику качества в систему, но никто не

ЛЕСНОЙ ВЕСТНИК 4/2007

131

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

имеет право исключать. При разработке проекта необходимо учитывать следующие требования:

1. Система характеристик качества должна иметь иерархическую структуру, причем ее построение производится сверху вниз, это позволяет не упустить из рассмотрения отдельные характеристики. На верхнем уровне иерархии находятся наиболее значимые факторы, существенно влияющие на качество оцениваемых ресурсов. Как правило, эти факторы не учитывают качество реализации конкретных функций ресурса или его конкретные свойства, а оценивают ресурс в целом. Известно, что экспертная оценка таких комплексных характеристик (факторов) затруднительна из-за психофизических особенностей мозга человека и вследствие этого менее точна, чем оценка конкретных единичных характеристик качества.

Для информационных образовательных ресурсов в качестве факторов предлагается использовать следующие три составляющих: дидактическая, психоэргономическая и, наконец, технологическая. Дидактическая составляющая характеризует, насколько грамотно подобран с дидактической точки зрения контент информационного образовательного ресурса и насколько полно он позволяет использовать существующие методы преподавания. Психоэргономическая составляющая характеризует, насколько грамотно с точки зрения физического и психологического комфорта обучаемого реализован данный ресурс. Технологическая составляющая характеризует, насколько удачно разработчикам ресурса с технологической точки зрения удалось реализовать все решения методического и психоэргономического характера.

Факторы качества на следующем уровне иерархии раскрываются в подхарактеристиках, каждая из которых конкретизирует одну из сторон их проявления. Эти подхарактеристики раскрываются на следующем уровне иерархии. Подобная процедура продолжается до тех пор, пока на нижнем уровне иерархии не разместятся характеристики, описывающие конкретные функциональные возможности и свойства информационного образовательного ресурса. Известно, что характеристики качества зачастую носят качественный характер и могут быть оценены только экспертно. Их экспертная оценка значительно проще, как уже было отмечено.

2. Ясность формулировок наименований характеристик. Для однозначности толкования

характеристик всеми экспертами разрабатываются их определения.

3. Соответствие установившимся понятиям и терминологии.

4. Полнота. В системе должны присутствовать характеристики, описывающие все основные возможности и свойства ресурса.

5. Информативность. Каждая характеристика качества должна описывать важное свойство ресурса.

6. Неизбыточность. Все подхарактеристики качества, раскрывающие содержание одной характеристики, должны быть независимы. Обычно независимость характеристик определяется экспертами умозрительно. Авторами для проверки гипотезы о независимости характеристик предлагается описанная ниже методика.

Система характеристик качества, как уже было отмечено, не является статичной системой. Она развивается с течением времени. По мере накопления статистических данных об оценках характеристик качества для различных ресурсов (или различных версий одного ресурса) можно уточнить их независимость. Для этого рассчитывается коэффициент корреляции для количественных показателей и коэффициент ранговой корреляции для качественных показателей.

Как известно, характеристики качества могут носить как количественный, так и качественный характер. Линейная независимость характеристик может быть подтверждена близостью к нулю значения коэффициента корреляции.

Для количественных характеристик коэффициент корреляции рассчитывается как

=__________^ ~£ хЕ .у______________

x 2 - (Zx)2 ] [ nZ у2 - (Е у)2 ]

где n - количество оцененных ресурсов;

x у. - оценки характеристик X и Y для /-го ресурса.

Так как оценка коэффициента корреляции проводится на ограниченной выборке, то допустимо отклонение его значения от нуля при линейной независимости количественных характеристик качества. Гипотеза об их независимости подтверждается справедливостью следующего неравенства

ryln - 2

VT~

< t

где ta - определяется распределением Стьюдента при (n - 2) степенях свободы.

2

132

ЛЕСНОЙ ВЕСТНИК 4/2007

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

Пусть для качественной характеристики Х. задана лингвистическая шкала (хл, x.2,..., xtk), имеющая к градаций. Тогда коэффициент ранговой корреляции рассчитывается как

6Е d

r = 1-----j

s n(n2

1)’

где d - разность значений рангов, расположенных в двух рядах значений характеристик качества j-го ресурса.

Для того чтобы перевести оценки, полученные по лингвистической шкале в значения рангов, используется следующая формула

тк-.+1 + тк-.

r = £ I/ тк - j+l.,

I = Шк_, +1

где mj - число оценок для данной характеристики, соответствующих j-му уровню градации лингвистической шкалы.

Для подтверждения гипотезы о линейной независимости двух характеристик с уровнем значимости а = 0,05 необходимо, чтобы выполнялось условие

I I 1,96

r < , .

* Vn -1

Таким образом, если гипотеза о независимости двух характеристик не подтверждается, то такую систему характеристик необходимо скорректировать:

- при близости значения модуля коэффициента корреляции к единице следует удалить одну из характеристик из системы;

- при менее слабой линейной зависимости следует объединить эти две характеристики в одну.

III этап. Отсев неважных характеристик из проекта.

При проведении этой процедуры для каждой характеристики нижнего уровня иерархии проводится экспертный опрос, в ходе которого каждый эксперт выносит свое решение о значимости ее влияния на качество ресурса в целом. После проведения экспертного опроса рассчитывается согласованность мнений экспертов для каждой характеристики качества

h = b, / b,

где b . - число экспертов, согласных, что влиянием .-й характеристики на качество ресурса пренебречь нельзя;

b - общее число экспертов, участвующих в опросе.

Для отсева характеристик, влиянием которых на качество ресурса можно пренебречь, вводится пороговое значение согласованности цпор. Характеристики, для которых функция согласованности не достигла порогового уровня, исключаются из системы характеристик качества. Пороговый уровень согласованности назначается группой экспертов и должен принадлежать интервалу [0,5; 1].

Итак, в статье предложена методика и рекомендации по составлению системы характеристик качества для информационных образовательных ресурсов. На их основе авторами были составлены системы характеристик качества для ряда классов информационных образовательных ресурсов: класса электронных учебников, виртуальных лабораторных практикумов, сред автоматизированного контроля знаний, электронных энциклопедий, средств дистанционного обучения и других.

Для оценивания или описания характеристик эксперты могут применять разные множества их лингвистических значений. Одни множества доставляют трудности экспертам в связи с недостаточностью значений, другие - в связи с избыточностью. В результате этих трудностей следует ожидать увеличения нечеткости и рассогласованности поступающей от экспертов информации.

Естественным вопросом при оценивании экспертом проявлений признаков является такой: «По каким критериям должен производиться выбор оптимального множества значений лингвистической шкалы, которая применяется при оценивании той или иной характеристики?». Были определены следующие критерии оптимальности.

1. Под оптимальным множеством лингвистических значений характеристик понимается такое множество значений, используя которое эксперты испытывают минимальную неопределенность при описании реальных объектов.

2. Под оптимальным множеством лингвистических значений характеристик понимается такое множество значений, которое обеспечивает максимальную согласованность экспертной информации.

Будем предполагать, что для оценивания или описания характеристики X привлекаются к экспертов.

После этого формулируются множества Т = XX2}, Т2 = {Гр Гр X ..., ТпЛ = Z Zp ..., Z } лингвистических значений характеристики X, которые могут применяться для ее оценивания.

ЛЕСНОЙ ВЕСТНИК 4/2007

133

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

После этого экспертам предлагается оценить (или описать) эту характеристику последовательно в рамках каждого из сформулированных множеств ее лингвистических значений.

Пусть

Т1 = X X} Т2 = Y ^ Yз}, ..., Tn-1 = iZV ^ ..., Ц

терм-множества полных ортогональных семантических пространств, построенных в рамках этих множеств на основе информации, полученной от каждого из k экспертов. _____ _____

Обозначим через Pip, i = 1, n -1, p = 1, k модель экспертного оценивания или описания признака X p-м экспертом в рамках терм-множества Т (полное ортогональное семантическое пространство p-го эксперта с терм-множеством Т), а через P, i = 1, n -1 обобщенную модель экспертного оценивания или описания признака X в рамках терм-множества T .

Обозначим___функции принадлежности

Pp, i = 1, n -1, p = 1, k через _____

Y ip (x) = (a1P, a?, aLp , aR ), l = U +1, а функции принадлежности P, i = 1, n - 1 через

fa (x)=(a1, a2, aL, aR)l =1, i+1.

Определим потери информации между

Pp, i = 1, n -1, p = 1, k и P, i = 1, n -1 при фиксированном следующим образом

1 i+1 1 ___

d (P p, P)=- SJ К (x)- f (x )ldx, p=1 k.

2 I=1 0

Потерей информации при построении обобщенной модели в рамках терм-множества Т, i = 1, n -1, назовем среднее значение потерь информации между Pp, i = 1, n -1, p = 1, k и обобщенной моделью P, i = 1, n -1:

1 k ______

° = tSd(PiP,P) . = 1,n -1.

k p =1

Построение обобщенной модели в рамках терм-множества Т, i = 1, n -1 осуществляется таким образом, чтобы потери информации были минимальны. _____

Обозначим через Ъ,(Т.),i = 1,n -1 - степень нечеткости модели P,i = 1,n -1, а через к. - показатель общей согласованности моделей Pp, p = 1, k . _____

Степенью нечеткости P, i = 1, n -1 называется число

m=

U.

2 U.

где U. - универсальное множество P, i = 1, n - 1, а U - подмножество универсального

множества, на котором функции принадлежности термов принимают значения больше нуля и меньше единицы. Показателем (аддитивным) общей согласованности моделей Pp, p = 1, k назовем число 1

к

J min (yйp (x), y2p (xX-- Y,i+1 p (x))dx

=1S т----------------------------------

p=1 J max (y,! p (x), Y i 2 p (X),..., Yii+1 p (x))dx

0

i = 1, n - 1.

Построим для показателя согласованности полное ортогональное семантическое пространство с универсальным множеством [0,1], термами «низкий», «высокий» и функциями принадлежности термов Y1(x), Y2(x) (например, не ограничивая общности Y1(x) - (0; 0,25; 0; 0,50), Y2(x) - (0,75; 1; 0,25; 0)). Построим для степени нечеткости ПОСП с универсальным множеством [0,0.5], термами «малая», «большая» и функциями принадлежности термов n1(x), n2(x) (например, не ограничивая общности n1(x) - (0; 0,20; 0; 0,20), n2(x) - (0,40; 0,50; 0,20; 0)).

Вычислим в рамках всех множеств лингвистических значений признаков значения принадлежности степеней нечеткости обобщенных моделей к терму «малая» - n1(^(T)), i = 1, n -1 и значения принадлежности показателей согласованности моделей экспертов к терму «высокий»

- Y2(k,), i = 1, n -1.

Определим _____

0, = тт^ВД)), Y2(k,)], i = 1,n -1.

Тогда множество Т лингвистических значений признака считается оптимальным множеством [4], если

0 . = max 0..

j 1<i<n-1 1

На основе разработанного метода было определено оптимальное множество лингвистической шкалы, используемой при оценивании возможности учета индивидуальности обучаемого электронными учебниками. Как показывают многочисленные исследования, построение оптимального множества лингвистической шкалы для оценивания одной характеристики может быть использовано для определения оптимального множества лингвистической шкалы для оценивания другой характеристики, которая с точки зрения экспертов доставляет им те же трудности, что и первая.

Были рассмотрены 25 электронных учебников, для оценивания которых пять экспертов

134

ЛЕСНОЙ ВЕСТНИК 4/2007

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

сформировали три множества значений лингвистической шкалы.

1. «низкая», «средняя», «высокая»;

2. «практически нулевая», «низкая», «средняя», «высокая»;

3. «практически нулевая», «низкая», «средняя», «высокая», «очень высокая».

Оценивая возможность учета электронными учебниками индивидуальности обучаемого по шкале «практически нулевая», «низкая», «средняя», «высокая», эксперты были получили результаты, занесенные в табл. 1.

В табл. 2 представлены относительные результаты оценивания пятью экспертами возможности учета электронными учебниками индивидуальности обучаемого.

Т а б л и ц а 1

Результаты оценивания экспертами возможности учета электронными учебниками инди-

видуальности обучаемого

№ эксп. Практически нулевая Низкая Средняя Высокая

1 4 9 9 3

2 3 11 9 2

3 3 10 7 5

4 4 8 9 4

5 3 7 10 5

Т а б л и ц а 2

Относительные результаты оценивания экспертами возможности учета электронными учебниками индивидуальности обучаемого

№ эксп. Практически нулевая Низкая Средняя Высокая

1 0,16 0,4 0,32 0,12

2 0,12 0,48 0,32 0,08

3 0,12 0,4 0,32 0,16

4 0,16 0,36 0,36 0,12

5 0,12 0,28 0,4 0,2

На основании метода [5] получены функции принадлежности терм-множеств пяти полных ортогональных семантических пространств, графики которых изображены на рис. 1-5.

После этого были вычислены аддитивный показатель к общей согласованности моделей экспертов

1

к = — m

I

l = 1

1

J min (цц (x) ц21 (х)^., ц51 (х ))dx

jmax (Цц (x) Ц21 (х)— Ц51 (x))dx

0

0

и мультипликативный показатель к общей согласованности моделей

1C =

П

1

Jmin (hl (x), Ц2l Ц51 (x))dx

1 J maX (Цц (x), ^2l (xЦ51 (x))d

Вычисления позволили получить результаты к = 0,602, iC = 0,595.

На основании полученных значений был сделан вывод о достаточной согласованности моделей экспертного оценивания возможности учета электронными учебниками индивидуальности обучаемого.

Обобщенная модель экспертного оценивания возможности учета электронными учебниками индивидуальности обучаемого по шкале «практически нулевая», «низкая», «средняя», «высокая» была построена в следующем виде

X = {f (x)l = 1,4}= jl®Al (x),l = 1,4

i=1

f(x) - (a/, a2l, aLl, aR) =

5 5 5 ___

= \ E®ia1l (x) I®i a2l, I®iaL, I®iaR, l =1,4

i =1 i =1 i =1 i =1

0

0

f1(x) - (0, 0,066, 0, 0,132), f2(x) - (0,198, 0,318, 0,132, 0.328), f3(x) - (0,646, 0,788, 0,328, 0,141), f4(x) - (0,929, 1, 0,141, 0)

Весовые коэффициенты были взяты равными 1/5. Степень нечеткости обобщенной модели равна 0,332.

Проведенные исследования в рамках шкалы «низкая», «средняя», «высокая» позволили получить обобщенную модель V с функциями принадлежности

f11(x) - (0, 0,060, 0, 0,261), f21(x) - (0,321, 0,378, 0,261, 0,432), f31(x) - (0,810, 1, 0,432, 0). Аддитивный показатель к общей согласованности моделей экспертов равен 0.604, мультипликативный показатель К равен 0,582, степень нечеткости модели V равна 0,331.

При использовании шкалы «практически нулевая», «низкая», «средняя», «высокая», «очень высокая» была получена обобщенная модель Y с функциями принадлежности

f12(x) - (0, 0,061, 0, 0,117), f>2(x) - (0,178, 0,246, 0,117, 0,212), f32(x) - (0,458, 0,645, 0,212, 0,172), f[2(x) - (0,817, 0,825, 0,172, 0,162), f52(x) - (0,987, 1, 0,162, 0).

ЛЕСНОЙ ВЕСТНИК 4/2007

135

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

Рис. 1. Функции принадлежности термов модели первого эксперта

Рис. 2. Функции принадлежности термов модели второго эксперта

Рис. 3. Функции принадлежности термов модели третьего эксперта

Рис. 4. Функции принадлежности термов модели четвертого эксперта

Рис. 5. Функции принадлежности термов модели пятого эксперта

136

ЛЕСНОЙ ВЕСТНИК 4/2007