Латентная модель стобалльной оценки на основе бета-распределения Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

УДК 519.24

В. В. Братищенко

Байкальский государственный университет экономики и права,

г. Иркутск, Российская Федерация

ЛАТЕНТНАЯ МОДЕЛЬ СТОБАЛЛЬНОЙ ОЦЕНКИ НА ОСНОВЕ БЕТА-РАСПРЕДЕЛЕНИЯ

АННОТАЦИЯ. Для измерения влияния на стобалльную оценку подготовленности студента и сложности экзамена в статье предлагаются соответствующие латентные параметры, являющиеся параметрами распределения вероятностей оценок, а в качестве закона распределения вероятностей — бета-распределение. При этом как и в модели Раша, применяемой для обработки результатов тестирования, параметр подготовленности увеличивает вероятность получить высокую оценку, а параметр сложности уменьшает. Разработаны численные методы определения латентных параметров по множеству оценок. Выполнена проверка гипотезы о соответствии модели имеющимся оценкам по критерию хи-квадрат. На основе неравенства Рао-Крамера выведены формулы для расчета дисперсии оценок латентных параметров. Результаты статистических проверок свидетельствуют о возможности применения модели на основе бета-распределения для исследования стобалльных оценок. Модель может использоваться для выявления слишком трудных или слишком легких экзаменов.

КЛЮЧЕВЫЕ СЛОВА. Модель Раша; латентный параметр; бета-распределение; критерий хи-квадрат; неравенство Рао-Крамера; дисперсия оценки.

ИНФОРМАЦИЯ О СТАТЬЕ. Дата поступления 7 сентября 2015 г.; дата принятия к печати 20 сентября 2015 г.; дата онлайн-размещения 30 сентября 2015 г.

V. V. Bratishchenko

Baikal State University of Economics and Law, Irkutsk, Russian Federation

LATENT MODEL OF A 100-POINT GRADE ON THE BASIS OF BETA DISTRIBUTION

ABSTRACT. For measurement of influence of the student's preparedness and examination difficulty on a 100-point grade, the article offers corresponding latent parameters which are the parameters of grade probabilities distribution, while as a law of probabilities distribution it offers to use the beta distribution. At that, like in the Rasch model used for processing the results of testing, the preparedness ability parameter increases the chance to get a high grade, while the difficulty parameter decreases it. The article develops numerical methods for determination of latent parameters by a set of grades, as well as checks a hypothesis of compliance of the model to the available grades by the chi-square criterion. It draws formulas for calculating dispersion of estimating the latent parameters on the basis of the Rao-Kramer's inequality. The results of statistical checks testify the possibility of using the model on the beta distribution basis for investigating hundred-grades. The model can be used to identify too difficult or too easy examinations.

KEYWORDS. Rasch model; latent parameter; beta distribution; criterion of chi-square; Rao-Kramer inequality; dispersion of assessment.

ARTICLE INFO. Received September 7, 2015; accepted September 20, 2015; available online September 30, 2015.

Латентные модели нашли широкое применение для анализа результатов тестирования. В частности, в параметрической теории тестирования (Item Response Theory) применяется модель Раша [3; 6; 11; 12], в которой вероятность

© В. В. Братищенко

Baikal Research Journal

электронный научный журнал Байкальского государственного университета экономики и права

р<8-9)=

правильного ответа на тестовое задание зависит от «трудности» задания, характеризуемой параметром 5, уровня «подготовленности» тестируемого, задаваемого параметром 0.

Область применения идей Раша непрерывно расширяется на многие другие области, в которых влияние нескольких факторов можно описать латентными параметрами [2, с. 35; 5]. В частности, продемонстрирована возможность применения таких моделей для анализа экзаменационных оценок в высшей школе [1] и сформированности компетенций студентов [7; 8].

Достаточно часто наблюдаемым результатом в таких случаях является не дихотомическая (правильно / неправильно), а политомическая величина (три и более градаций). Это приводит к применению политомических моделей [9; 10]. Количество параметров в этих моделях увеличивается в несколько раз по количеству градаций, что существенно снижает точность оценивания каждого параметра. Это может стать непреодолимым препятствием при построении политомических моделей для распространенных в современном обучении стобалльных оценок. Таким образом, актуальной становится задача построения латентной модели для политомических оценок с большим количеством градаций.

Модель стобалльной оценки можно получить, используя непрерывное распределение, просто считая наблюдаемые оценки непрерывными величинами. Основаниями для такой модели выступают следующие допущения. Во-первых, предполагается, что оценка будет не только порядковой (чем выше оценка, тем лучше знания), но и метрической (разница в знаниях с оценками 55 и 50 одинакова с разницей в знаниях с оценками 95 и 90). Во-вторых, оценка — непрерывная величина, измеряемая с определенной точностью. Оба допущения являются весьма спорными. Обоснованием первого может служить психологическое отношение к оценкам как к метрическим измерениям, которое только усиливается при увеличении градаций. Второе допущение можно связать с ошибкой моделирования, которая также должна уменьшаться с увеличением градаций.

Из известных непрерывных распределений наиболее подходящим для моделирования стобалльных оценок представляется бета-распределение. Благодаря наличию двух параметров оно позволяет менять числовые характеристики случайной величины в широких пределах. Поделив стобалльную оценку на сто, получаем величину из интервала от 0 до 1, что соответствует области значений бета-распределения. Далее по тексту под оценкой понимается именно такое значение.

Пусть Х/ — оценка ¿-го студента (Ь = 1, ..., п) на /-м экзамене (/ = 1, ..., т). Будем считать, что все оценки независимым в совокупности и подчиняются бета-распределению, а плотность X/

fu (x) =

m+5; ) Щ )Г(5.)

xe'-1(1 - x)5-1,0 < x < 1

зависит от параметров 0 > 0 «подготовленности» ¿-го студента и 5/ > 0 «сложности» /-го экзамена.

Данная модель близка по свойствам к модели Раша. Чем выше подготовленность студента, тем больше вероятность сдать экзамен с высокой оценкой. Например, на графиках вероятностей (рис. 1) представлена возможность получения оценки выше 0,5 в зависимости от уровня подготовленности при разных уровнях сложности экзамена. При любой сложности экзамена больше шансов заработать высокий балл у лучше подготовленного студента. В модели Раша вероятность получить оценку выше 0,5 (сдать экзамен) также равна 0,5 при совпадении «подготовленности» студента и «сложности» экзамена. Аналогично, на графиках вероятностей (рис. 2) показана возможность получения оценки выше 0,5 в зависимости от сложности при разных уровнях подготовленности студентов.

Baikal Research Journal

электронный научный журнал Байкальского государственного университета экономики и права

- ~ .-•

0

10

20

30

1,0 - р {ще 0,1) > 0,5}

0,8 — р {ще 0,5) > 0,5}

0,6 -- р {ще 2) > 0,5}

0,4 - • р {ще 4)> 0,5}

0,2 — р {ще 8) > 0,5}

0 --- р {ще 12) > 0,5}

р {ще 16) > 0,5}

Рис. 1. Зависимость вероятности получить оценку выше 0,5 от уровня подготовленности в для экзаменов разной сложности

I • ч ч \ \

Л

ХХА

ул. \Х

о

10

20

-1,0 _ P {X(0,1; 5) > 0,5}

--0,8 _ P {X(0,5; 5) > 0,5}

-0,6-- P {X(2; 5) > 0,5}

-0,4 — P {X(4; 5) > 0,5}

0,2 0 30 ...... P {X(8; 5) > 0,5} P {X(12; 5) > 0,5}

P {X(16; 5) > 0,5}

Рис. 2. Зависимость вероятности получить оценку выше 0,5 от уровня сложности экзамена 5 для студентов разной подготовленности

Для оценки параметров модели можно воспользоваться методом моментов. Используя формулу

0.

М[Х. ] =-

11 0. +5.

1 1

для математического ожидания случайной величины X. и выполняя суммирования по I и 1, получаем уравнения для сумм оценок каждого студента и сумм оценок каждого экзамена:

т 0 т

Ъ^ГХ1 = ° 1 = !'...' п;

7=1 ^ + 5| I = 1

е..

(1)

У—i—У = о, i=1,

^е.+5 ^ 11

i = 1

., m.

i = 1

Для поиска решения применим метод Ньютона

f (xw)

x(k +1) = x(k)

Подставляем в эту формулу производные

/ _е<

f '(xw)

У

VI = 1 ei +Sj

5.

(

е..

f=1 ei+5i г=1

m ) m

I = 1 J I=1

n 1 n

-У xn

i=1 J i = 1

5i

(ei+5i )2 ei

i^m+5i )2

левых частей системы (1) и получаем выражения для итерационных вычислений

Baikal Research Journal

электронный научный журнал Байкальского государственного университета экономики и права

8(k +1) = 8(k) -

m C\(k) m

__у x

UL18(k) + 5jk) Xij

У(8(к) + 5(/>)2

n 8(k) n

У 8(k) + 5W -У XU

5(* +1) = 5W + i = 1 ^ j i =1

п 0(А)

Йсе™ + 5«)2

Для вычисления начальных значений предположим, что в первом уравнении системы (1) все параметры экзаменов одинаковые 5Х =... = 5т =5. Уравнение

т е(0) т у =ух

позволяет найти начальные значения параметров подготовленности

е(0> =■

5У

Х„

j = 1

m

-У

x„

j = 1

Аналогично в предположении одинаковых значений параметров подготовленности решение второго уравнения системы (1)

8

У Л , s(0) У

£ 8 + 5(j0)

x

ij

i = 1

позволяет найти начальные значения параметров сложности экзаменов

( п \

пХь/

5(0) =■

u

V i =1 У

У

i = 1

Оценки параметров 5, е можно найти методом моментов в предположении, что все наблюдения имеют бета-распределение с данными параметрами. Решение системы

x = 1 У У = 8 nm Т=1 U=1 ij 8 + 5'

а2 =-

nm -

i = 1 j =

позволяет вычислить искомые значения

n m ft X

_УУ(-Г -x)2 = _ _ 85 __

1 £ jri u (8 + 5)2( 8 + 5 + 1)

8 (1 - x) x2 - xa2

a2

5= ^ 8 = (1 -x) x-a2 (1 - x).

x

a2

Baikal Research Journal

электронный научный журнал Байкальского государственного университета экономики и права

Для проверки найденных оценок параметров применим статистику хи-квадрат, построенную следующим образом. Все оценки {Хц, j = 1, ..., m} разделим на fe-классов: l-й класс характеризуется множеством индексов Jl. Для каждого класса определим случайную величину

= 1 X.

j е Jl

В условиях применения модели (а именно независимости в совокупности величин Хц, имеющих бета-распределение с параметрами 0г и 5j, Y,) будет иметь асимптотически нормальное распределение со следующими параметрами:

д

а, = M[Yi ] =Х

а? = DY ] = £

j. J 0, +8/ 0,8/

J (0, +8j)?(0, +8j +1)

Статистика

X? = £

4 f Y - a/

i=i

v ai y

будет иметь хи-квадрат распределение с ^-степенями свободы. Предложенная статистика позволяет проверять по критерию хи-квадрат гипотезы о равенстве истинных

значении параметров модели наиденным значениям

0, = lim 0(4) и 88 f = lim 8™. Статисти-

ческая обработка одного потока оценок подтвердила гипотезы о применимости предложенной модели статистическим данным.

Для оценки точности оценок параметров можно воспользоваться неравенством Рао-Краммера [4]:

D[еi] >—-1—-, D[5;] >

где I(0l;{Xll}) = M

( д ln(L)^?

50,.

I(0, ;{X,j}) LjJ I(8j ;{X,j}) — количество информации о параметре 0,;

L = ГГ ТГ —(0-— X.' (1 - Х-)S' 1 — функция правдоподобия.

Г(0, )Г(8 j ) 11 11

i = 1 1 = 1- \1> Частная производная будет иметь вид

д ln(L)

д0.

j = 1

(

1 дГ(0, +8 j ) 1 дГ(0, )

Г(0, +8. )

д0

Г(0, ) д0,

ln(X)

(?)

= £ (е; +5/)е;)+1п( хц )),

/=1

где у(х) — дигамма-функция.

Используя независимость в совокупности величин Хц, можно выразить количество информации в виде сумм математических ожиданий

ч2"

I (0,;{Х,1} ) = M

f d ln(L) Л?

d0:

= M

f m Л

£ (2(0, +8 j )-y(0; ) + ln(X,j ))

v j =1

= £ M[(y(0; +8j ) - y(0; ) + ln(Xj )) • (2(0, + 81 ) -2(0, ) + ln(Xu ))] =

j, i = 1

Baikal Research Journal

электронный научный журнал Байкальского государственного университета экономики и права

= у mK^ +5|)-y^)+in(Xj))]• m[(y^+5г)-y^)+ln(x„))]

+

i, i=1 i * i

+ £ М[(у(0; +5.) - у(0,) + 1п(Х1 ))2 ].

1=1

Приравнивая производные (2) к нулю, можно получить уравнения для оценок параметров методом максимального правдоподобия. Поскольку оценки, полученные методом максимального правдоподобия и методом моментов, сходятся к одним и тем же истинным значениям параметров, то в последней сумме слагаемые для 1 Ф I близки к нулю, и ими можно пренебречь. Таким образом,

Щ ;{X„}) = M

( d ln(L)^

de

i J

: У M[( V(ei+51) - ^)+in(Xj ))2 ].

i=1

Аналогичные выкладки можно привести для параметров экзаменов

д ln(7)

55;

=У

f 1 dr(ei +51) 1 дГ(5|) ^

1 1 1 ln(1 - x.j)

i = 1

га +5,)

де.

Г(5,) 55,

= У (ei +5|)-y( 51) + ln(1 - хц));

7(5, ;{X,}) = M

f Л2

' dln(7)1

d5

i J

= M

У (Л +5|)-y(5|)+ln(1 - Xj))

= У M[(y(ei +51)-y(5j) + ln(1 -X,i))• (у(ел +5|)-y(5j) + ln(1 -Xa))];

i, h = 1

< У M[( ei + 5|) - 5|) + ln(1 - Xj ))2].

; = 1

Зависимость нижней границы дисперсии параметра экзамена от величины параметра для оценок одного потока студентов (рис. 3) демонстрирует рост нижней границы дисперсии при увеличении значения параметра. Тем не менее, нижняя граница дисперсии будет уменьшаться при увеличении количества оценок студента. Аналогично ведет себя нижняя граница дисперсии оценки параметра экзамена — повышается при увеличении параметра и уменьшается при увеличении оценок одного экзамена.

3,0 — 2,52,0 1,5 1,0 0,50 2 4 6 8 Рис. 3. Зависимость нижней границы дисперсии оценки параметра в; от величины параметра

В целом, приведенные формулы и обработка оценок одного потока студентов демонстрируют возможность применения данного метода определения параметров под-

Baikal Research Journal

электронный научный журнал Байкальского государственного университета экономики и права

i = 1

готовленности студентов и сложности экзаменов. Предложенная модель стобалльной оценки на основе бета-распределения может использоваться для исследования подготовленности студентов и сложности экзаменов, в частности выделения неоправданно легких или сложных экзаменов.

Список использованной литературы

1. Братищенко В. В. Параметрическая модель экзаменационных оценок / В. В. Братищен-ко // Качество. Инновации. Образование. — 2012. — № 3. — C. 32-35.

2. Дубина И. Н. Математические основы эмпирических социально-экономических исследований : учеб. пособие / И. Н. Дубина. — Барнаул : Изд-во Алт. ун-та, 2006. — 263 с.

3. Ким В. С. Тестирование учебных достижений : монография / В. С. Ким. — Уссурийск : Изд-во Уссур. гос. пед. ин-т, 2007. — 214 с.

4. Крамер Г. Математические методы статистики : пер. с англ. / Г. Крамер ; ред.: А. С. Мо-нин, А. А. Петров, А. Н. Колмогоров. — 2-е изд. — М. : Мир, 1975. — 648 с.

5. Маслак А. А. Измерение латентных переменных в образовании и других социально-экономических системах: теория и практика / А. А. Маслак. — Славянск н/Кубани : Изд. центр Славян.-на-Кубани гос. пед. ин-та, 2007. — 424 с.

6. Нейман Ю. М. Введение в теорию моделирования и параметризации педагогических тестов / Ю. М. Нейман, В. А. Хлебников. — М. : Прометей, 2000. — 168 с.

7. Родионов А. В. Модификация рейтинговой параметрической модели оценки латентных факторов для измерения уровня сформированности компетенций / А. В. Родионов // Известия Иркутской государственной экономической академии. — 2014. — № 6 (98). — С. 168-174. — DOI : 10.17150/1993-3541.2014.24(6).168-174.

8. Родионов А. В. Применение IRT-моделей для анализа результатов обучения в рамках компетентностного подхода / А. В. Родионов, В. В. Братищенко // Современные проблемы науки и образования. — 2014. — № 4. — URL : www.science-education.ru/118-13858.

9. Andrich D. A rating formulation for ordered response categories / D. Andrich // Psychometrika. — 1978. — Vol. 43, iss. 4. — P. 561-573.

10. Masters G. N. A Rasch model for partial credit scoring / G. N. Masters // Psychometrika. — 1982. — Vol. 47, no. 2. — P. 149-174.

11. Rasch G. Probabilistic models for some intelligence and attainment tests / G. Rasch. — Chicago : The University of Chicago Press, 1980. — 199 p.

12. Wright B. D. Rating Scale Analysis. Rasch Measurement / B. D. Wright, G. N. Masters. — Chicago : Mesa Press, 1979. — 206 p.

References

1. Bratishenko V. V. Parametric model of examination grades. Kachestvo. Innovatsii. Obrazo-vanie = Quality. Innovations. Education, 2012, no. 3, pp. 32-35. (In Russian).

2. Dubina I. N. Matematicheskie osnovy jempiricheskih social'no-jekonomicheskih issledovanij [Mathematical bases of empiric socio-economic studies]. Barnaul, Altai State University Publ., 2006. 263 p.

3. Kim V. S. Testirovanie uchebnyh dostizhenij [Testing academic achievements]. Ussuriysk State Pedagogical Institute Publ., 2007. 214 p.

4. Cramer H. Mathematical Methods of Statistics. Princeton University Press, 1962. 590 p. (Russ. ed.: Cramer H. Matematicheskie metody statistiki. Moscow, Mir Publ., 1975. 648 p.

5. Maslak A. A. Izmerenie latentnyhperemennyh v obrazovanii i drugih social'no-jekonomicheskih sistemah: teorija i praktika [Measuring latent variables in education and other socio-economic systems: theory and practice ]. Slavyansk-on-Kuban' State Pedagogical University Publ., 2007. 424 p.

6. Neyman Ju. M., Khlebnikov V. A. Vvedenie v teoriju modelirovanija iparametrizaciipedagog-icheskih testov [Introduction to theory of modelling and parametrization of training tests]. Moscow, Prometey Publ., 2000. 168 p.

7. Rodionov A. V. Modification of the rating parametric model of latent factors estimation for assessing the level of competence formation. Izvestiya Irkutskoy gosudarstvennoy ekonomicheskoy akademii = Izvestiya of Irkutsk State Economics Academy, 2014, no. 6 (98), pp. 168-174. (In Russian). DOI: 10.17150/1993-3541.2014.24(6).168-174.

8. Rodionov A. V., Bratischenko V. V. Application of irt-model for analysis training results within the competence approach. Sovremennye problemy nauki i obrazovaniya = Modern Problems of Science and Education, 2014, no. 4. (In Russian). Available at: www.science-education.ru/118-13858.

Baikal Research Journal

электронный научный журнал Байкальского государственного университета экономики и права

9. Andrich D. A rating formulation for ordered response categories. Psychometrika, 1978, vol. 43, iss. 4, pp. 561-573.

10. Masters G. N. A Rasch model for partial credit scoring. Psychometrika, 1982, vol. 47, no. 2, pp. 149-174.

11. Rasch G. Probabilistic models for some intelligence and attainment tests. Chicago, The University of Chicago Press, 1980. 199 p.

12. Wright B. D., Masters G. N. Rating Scale Analysis. Rasch Measurement. Chicago, Mesa Press, 1979. 206 p.

Информация об авторе

Братищенко Владимир Владимирович — кандидат физико-математических наук, доцент, заведующий кафедрой информатики и кибернетики, Байкальский государственный университет экономики и права, 664003, г. Иркутск, ул. Ленина, 11, e-mail: [email protected].

Author

Vladimir V. Bratishchenko — PhD in Physics and Mathematics, Assistant Professor, Head of Chair of Computer Science Cybernetics department, Baikal State University of Economics and Law, 11 Lenin St., 664003, Irkutsk, Russian Federation; e-mail: [email protected].

Библиографическое описание статьи

Братищенко В. В. Латентная модель стобалльной оценки на основе бета-распределения / В. В. Братищенко // Baikal Research Journal. — 2015. — Т. 6, № 5. — DOI : 10.17150/2411-6262.2015.6(5).9.

Reference to article

Bratishchenko V.V. Latent model of a 100-point grade on the basis of beta distribution. Baikal Research Journal, 2015, vol. 6, no. 5. DOI : 10.17150/2411-6262.2015.6(5).9. (In Russian).

Baikal Research Journal

электронный научный журнал Байкальского государственного университета экономики и права