Модификация рейтинговой параметрической модели оценки латентных факторов для измерения уровня сформированности компетенций Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

Izvestiya of Irkutsk State Economics Academy, Известия Иркутской государственной экономической академии.

2014, no. 6 (98), pp. 168-174. ISSN 1993-3541 2014. № 6 (98). С. 168-174. ISSN 1993-3541

MATHEMATICAL MODELING, SYSTEMS ANALYSIS

УДК 519.23

DOI 10.17150/1993-3541.2014.24(6).168-174

А. В. РОДИОНОВ

Байкальский государственный университет экономики и права, г. Иркутск, Российская Федерация

МОДИФИКАЦИЯ РЕИТИНГОВОИ ПАРАМЕТРИЧЕСКОМ МОДЕЛИ ОЦЕНКИ ЛАТЕНТНЫХ ФАКТОРОВ ДЛЯ ИЗМЕРЕНИЯ УРОВНЯ СФОРМИРОВАННОСТИ КОМПЕТЕНЦИИ

Аннотация. Внедрение федеральных государственных стандартов третьего поколения поставило перед учебными заведениям задачу оценки компетенций, набор которых определен в основной образовательной программе для каждого направления и профиля подготовки. Анализ литературы, посвященной компетенциям, показывает отсутствие единого устоявшегося подхода к оценке сфор-мированности компетенций. В статье рассматривается подход, основанный на определении компетенций как латентных факторов, которые оказывают влияние на поведенческие аспекты человека, и в частности, на получаемые студентами экзаменационные оценки по изучаемым дисциплинам. Для оценки латентных факторов (компетенций) предложено использование моделей ^-теории. Описаны политомические параметрические модели оценивания: модель частичного оценивания и рейтингового оценивания, а также предложена модификация модели рейтингового оценивания, учитывающая особенности используемых индикаторов — экзаменационных заданий. Проведено сравнение моделей в случае оценки компетенции направления «Прикладная информатика».

Ключевые слова. Компетенция; компетентностный подход; латентный фактор; параметрические модели оценивания.

Информация о статье. Дата поступления 10 октября 2014 г.; дата принятия к печати 29 октября 2014 г.; дата онлайн-размещения 29 декабря 2014 г.

A. V. RODIONOV

Baikal State University of Economics and Law, Irkutsk, Russian Federation

MODIFICATION OF THE RATING PARAMETRIC MODEL OF LATENT FACTORS ESTIMATION FOR ASSESSING THE LEVEL OF COMPETENCE FORMATION

Abstract. Implementation of the federal government standards of the third generation set the task of assessing the competencies defined in the general educational program for each training course. The analysis of the literature on competencies denotes a lack of a unified established approach to assessing the level of competence formation. In this regard, the article reviews an approach defining the competencies as latent factors which have an impact on behavioral aspects of people, namely, on the marks obtained by students. It is offered to estimate the latent factors of competencies on the basis of the IRT. Two parametric polytomous IRT models such as the partial credit model and the rating scale model are described. The modification of the rating scale model considering the characteristics of the used indicators — the examination tasks — is offered. A comparison of the models intended to assess the competence of the students taught by the program «Information Technology in Economics» is provided.

Keywords. Competence, competence approach, item response theory, latent factor, parametric assessment models.

Article info. Received October 10, 2014; accepted October 29, 2014; available online December 29, 2014.

Наибольшую трудность при внедрении в образовательную практику компетентностного подхода составляет требование измеримости. В общем случае под измерением понимается процедура, с помощью которой объект сравнивается с некоторым эталоном и получает числовое выражение в определенном масштабе [10, с. 63]. Измерения можно подразделить на

© А. В. Родионов, 2014

физические, характерные для естественных наук, и нефизические, встречающиеся в науках эмпирических [3]. Отличие этих двух видов измерений заключается в следующем: в физических измерениях присутствуют реальные физические объекты, а в эмпирических оцениваемые объекты представляют собой некий мысленный конструкт, который не измеряется в явном виде.

Izvestiya of Irkutsk State Economics Academy, Известия Иркутской государственной экономической академии.

2014, no. 6 (98), pp. 168-174. ISSN 1993-3541 2014. № 6 (98). С. 168-174. ISSN 1993-3541

A. V. RODIONOV

Таким образом, оценке подвержены не сами объекты (латентные факторы), а наблюдаемые признаки проявления (индикаторные факторы или переменные).

Исходя из определений, данных в работах [4; 6; 9; 12], компетенция представляет собой скрытую личностную черту, напрямую не наблюдаемую, но проявляющуюся в какой-либо практической деятельности. В этом случае, из большого числа математических моделей оценивания наибольшего внимания заслуживает латентно-структурный анализ и, в частности, IRT-теория.

Пусть под индикаторным заданием понимается экзамен, который сдают студенты. Тогда результатом выполнения задания будет экзаменационная оценка, которую получит студент, сдав экзамен. Для описания качественных признаков в образовательном процессе широкое применение находит вербальная шкала — форма фиксации данных в шкалах измерительных, опирающаяся на набор суждений о наличии или степени выраженности изучаемого признака [8, с. 71]. Для того, чтобы было возможно применять соответствующие математические методы обработки, уровням вербальной шкалы ставятся в соответствие числовые значения (баллы). В этом случае говорят о вербально-число-вой шкале. Наиболее характерным примером является стандартная 4-уровневая (строго говоря, 5-уровневая, но оценка «1» практически не используется) вербальная шкала {«Отлично», «Хорошо», «Удовлетворительно», «Неудовлетворительно»} и соответствующая ей числовая — {5, 4, 3, 2}. По классификации С. Стивенсона данная шкала относится к классу порядковой (ранговой) шкалы [1].

Следовательно, в связи с тем, что шкала экзаменационных оценок имеет больше двух категорий, то такие индикаторные задания относятся к классу политомических. Рассмотрим модели, которые могут применяться в случае политоми-ческих заданий — это Partial credit model (PCM, модель частичного оценивания) и Ratings scale model (RSM, модель рейтингового оценивания).

RSM была предложена D. Andrich в 1978 г. [11]. Она исходит из предположения, что оценка за выполнение задания есть результат суждения в какой-либо шкале (первоначально модель предназначалась для шкалы Лайкерта, применяемой в социологических опросниках). Пусть Yij = k е (0, K) — случайная величина, отражающая результат выполнения задания; K — общее количество градаций (пунктов, шагов) шкалы;

I = 1, N, N — общее количество испытуемых; у = 1, п, п — количество заданий. Тогда RSM можно записать в следующем виде:

P(Yn = k)=

Е (е-(8;+т„)) e„=i

K Е (е,.-(8 j+т„)) Е е-

V=1

где 0i — «personability», параметр, описывающий латентную характеристику /-го человека (как правило, это способность или уровень достижений, связанный с выполняемыми заданиями); 5у- — «itemdifficulty», характеристика трудности j-го задания; ти — характеристика u-го пункта рейтинговой шкалы оценивания (может также трактоваться как параметр пересечения или трудности категории «stepdiffi-culty»), т0 = 0.

В 1982 г. G. N. Masters [14] была предложена модель, получившая название Partial credit model:

P(Y j = k) =

Е (е-8„) i»=i

^ Е (e-8u)

Е e"=°

V=0

где k — оценка по j-му заданию; j — «thre-shold» (пороговой параметр), который определяет сложность достижения u — шага задания (пункта шкалы или оценки за задание); mj — максимальная оценка j-го задания.

PCM предполагает, что задание состоит из нескольких независимых частей возрастающей сложности, и чтобы получить более высокий балл, нужно решить как можно более сложную часть (части) задания, причем, строго говоря, решение предыдущей менее сложной части не обязательно. Применение PCM для анализа результатов обучения было рассмотрено в предыдущей работе автора [7].

Рассмотрим далее эти модели применительно к задаче численной оценки компетенции. В большинстве случаев экзаменационное задание состоит из нескольких частей различной сложности, и по этому параметру наиболее подходящей моделью является PCM. Однако количество этих частей далеко не всегда соответствует конкретным баллам. Преподаватель в свою очередь является экспертом, который на основании выполненных заданий ставит оценку по 5-балльной шкале, что более соответствует RSM модели, но очевидно, что для каждого экзамена сложности «шага» шкалы (трудности категории) различны.

Izvestiya of Irkutsk State Economics Academy, Известия Иркутской государственной экономической академии.

2014, no. 6 (98), pp. 168-174. ISSN 1993-3541 2014. № 6 (98). С. 168-174. ISSN 1993-3541

MATHEMATICAL MODELING, SYSTEMS ANALYSIS

Предположим, что каждое j-е экзаменационное задание у = 1, п состоит из I = 1, 1_. подзаданий (задач, вопросов и пр.). Обозначим за т = 0, М] пункты шкалы, в которой будет отражен итоговый результат выполнения задания (оценка за экзамен). Тогда существует функция 1(1), которая позволяет переводить результаты выполнения подзадач в какое-либо значение шкалы т = 1(1), начальное значение шкалы — 0. Например, экзаменационное задание состоит из 5 задач, при решений трех задач студенту выставляется оценка «уд.» (1), при решении четырех — «хор.» (2), при решении всех пяти — «отл.» (3), а при решении одной или двух — «неуд.» (0). Тогда можно записать 1(1) = 1(2) = 0; 1(3) = 1; 1(4) = 2; 1(5) = 3. Введем также уточнение, что сложности каждого пункта шкалы отличаются по каждому заданию. Тогда, взяв за основу модель, можно записать ее в следующем виде:

' (I)

I (в,-(6, +Т, ))

ри=0

Р(Уу = f (I)) = ---= Р(У у = т) =

' I (в-(6у +Т,))

I е"=°

V=1

S (в,-(5 ! ))

тв - mS j -£т„.

u=0

М I (в ,-(6 у +Т„)) М. тв-т6,-II т.

I е"=° £ е -=0

где 0, — латентный параметр (компетентность); 5у — параметр (сложность) задания; Тщ — параметр (сложность категории) «шага» шкалы оценки по каждому экзаменационному заданию j, т0у- = 0.

Исследуем применяемость рассматриваемых моделей для оценки сформированности компетенций студента высшего учебного заведения. Для оценки параметров моделей использовали метод максимального правдоподобия, основанный на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия [5]. Для обработки данных была написана утилита на языке к.

Критериями применяемости модели является значения ^-статистик 1кТ-моделей. Основная цель А^статистик — помощь в контроле качества измерений. Они позволяют выявить те части данных (задания), которые соответствуют (или наоборот, не соответствуют) исследуемой модели. Несоответствие эмпирических данных 1кТ-моде-ли может означать, что имеются неточности в формулировке заданий, были нарушения в процедуре оценки заданий и т. д. Несоответствую-

щие модели задания подлежат более детальному анализу, по результатам которого принимается решение либо о модификации задания, либо об его исключении из исследуемого набора. Таким образом, в соответствии с философией IRT-измерений для оценки латентного фактора стоит использовать только те задания, которые отвечают данной модели измерения. Выделяют четыре вида статистик: общую статистику согласия Outfit, взвешенную общую статистику согласия Infit и их стандартизованные версии, согласно преобразованию Вилсона-Хилферти — Outfit(t) и Infit(t) [7; 13; 15]. Возможная интерпретация данных статистик согласно J. M. Linacre [13] приведена в табл.1-2.

Таблица 1

Интерпретация значений статистик Outfit и Infit

Значение Задание

> 2 Нарушает систему измерений

1,5-2,0 Малопродуктивно для измерения, но может быть использовано без редактирования

0,5-1,5 Может быть использовано для измерения

< 0,5 Малопродуктивное, может ошибочно породить ощущение высокой надежности заданий

Таблица 2 Интерпретация значений статистик Outfit(t) и Infit(t)

Значение Данные

> 3 Не вписываются в модель либо слишком мал объем выборки

2,0-2,9 Мало предсказуемы

-2,0 — +2,0 Хорошо предсказуемы

< -2 Слишком предсказуемы

Исходными данными послужили экзаменационные оценки обучавшихся студентов Байкальского государственного экономического университета по направлению «Прикладная информатика». Преобразование первичных баллов выполнялось в шкалу {«уд.», «хор.», «отл.»}. Отсутствие оценки «неуд.» объясняется тем, что данное исследование относится к оценкам, полученным за все время обучения. Неуспевающие студенты отчисляются, и их результаты в выборку не попадают. Начальные наборы индикаторных заданий для каждой компетенции были определены согласно матрицы компетенций образовательной программы. Приведем результаты расчетов, их анализ и интерпретацию для нескольких компетенций:

1. Компетенция ПК-1. Способен использовать нормативные правовые документы в профессиональной деятельности.

Izvestiya of Irkutsk State Economics Academy, Известия Иркутской государственной экономической академии.

2014, no. 6 (98), pp. 168-174. ISSN 1993-3541 2014. № 6 (98). С. 168-174. ISSN 1993-3541

A. V. RODIONOV

При анализе табл. 3-5, очевидно, что модифицированная RSM точнее всех других моделей описывает имеющиеся эмпирические данные. Стоит обратить внимание на задания «Информационная безопасность» и «Защита информации в банках», возможно экзаменационные задания этих предметов не оценивают компетенцию ПК-1. Иными словами, это сигнал обратить внимание либо на содержание этих предметов, либо на экзаменационные задания, либо на матрицу компетенций. Их исключение из набора приводит к хорошему соответствию модели эмпирическим данным (табл. 6).

На втором месте рейтинговая модель. Значения статистики Infit(t) для оценки «хор.» и «отл.» (см. табл. 4) подтверждают предположение, что нельзя подходить к различным предметным дисциплинам с одной единственной шкалой сложности пунктов. Различия в методиках преподавания предметов и оценивания экзаменационных знаний статистически обоснованы в работе [2]. Самые слабые результаты получены при использовании частичной модели оценивания.

Таблица 3

Значения fit-статистик PCM

Таблица 4 Значения fit-статистик RSM

Параметр Outfit Outfit(t) Infit Infit(t)

Предмет Правоведение 0,84 —1,17 0,83 —1,53

Основы бизнеса 0,87 —0,92 0,93 —0,51

Информационная безопасность 1,38 2,60 1,36 2,67

Проектирование информационных систем 0,81 —1,47 0,73 —2,40

Предметно-ориентированные экономические информационные системы 0,87 —0,70 0,92 —0,58

Защита информации в банках 1,36 1,90 1,32 1,88

Автоматизированные банковские системы 1,14 0,86 1,18 1,22

Налогообложение 1,00 0,05 0,97 —0,18

Оценка Хор. 1,42 0,77 1,29 5,58

Отл. 1,25 0,63 1,22 7,91

Таблица 5

Значения fit-статистик модифицированной RSM

Параметр Значения

Предмет Оценка Outfit Outfit(t) Infit Infit(t)

Правоведение Уд. 0,00 — 0,00 —

Хор. 0,06 —0,27 0,86 —1,13

Отл. 1,69 0,93 0,94 —0,48

Основы бизнеса Уд. 0,04 19,39 0,46 —0,92

Хор. 0,54 —0,05 0,73 —2,73

Отл. 1,00 1,05 0,98 —0,07

Информационная Уд. 0,22 22,64 1,21 0,52

безопасность Хор. 1,85 2,13 1,35 3,15

Отл. 1,83 2,64 1,09 0,69

Проектирование Уд. 0,45 12,22 0,71 —0,74

информационных Хор. 0,70 —0,28 0,86 —1,31

систем Отл. 0,38 4,17 0,77 —1,57

Предметно- Уд. 0,02 30,13 0,41 —0,92

ориентированные Хор. 0,75 0,77 1,16 0,80

экономические Отл. 0,46 1,04 0,39

информационные

системы

Защита информа- Уд. 0,55 2,73 1,02 0,24

ции в банках Хор. 1,31 1,26 1,31 2,25

Отл. 3,03 1,34 1,32 1,30

Автоматизирован- Уд. 0,23 2,89 0,84 —0,37

ные банковские Хор. 1,22 0,58 1,23 1,50

системы Отл. 1,11 5,27 0,80 —1,47

Налогообложение Уд. 0,04 7,39 0,62 —0,45

Хор. 0,70 —0,56 0,79 —2,24

Отл. 0,59 2,05 0,95 —0,32

Параметр Значения

Предмет Оценка Outfit Outfit(t) Infit Infit(t)

Правоведение — 0,99 —0,04 1,01 0,09

Хор. 1,74 1,61 1,03 0,31

Отл. 0,85 — 1,24 0,91 —1,74

Основы бизнеса — 0,86 —0,89 0,90 —0,75

Хор. 1,08 0,40 0,92 —0,57

Отл. 0,82 —0,71 0,91 — 1,18

Информационная — 1,41 2,24 1,23 1,80

безопасность Хор. 1,70 1,58 1,31 1,80

Отл. 1,39 1,32 1,11 1,21

Проектирование — 0,76 —1,10 0,77 —2,06

информационных Хор. 0,73 —1,21 0,80 —1,35

систем Отл. 0,87 —0,54 0,90 —1,75

Предметно-о- — 0,96 —0,18 1,00 0,06

риентированные Хор. 0,92 —0,41 0,98 —0,22

экономические информационные Отл. 0,87 —0,80 0,96 —0,69

системы

Защита информа- — 1,50 2,42 1,41 2,28

ции в банках Хор. 1,70 1,52 1,36 1,41

Отл. 1,28 1,36 1,16 1,64

Автоматизирован- — 1,06 0,42 1,12 0,87

ные банковские Хор. 0,70 —1,87 0,74 —2,29

системы Отл. 1,04 0,27 0,99 —0,05

Налогообложение — 0,97 —0,17 1,00 0,03

Хор 0,76 —0,80 1,06 0,45

Отл 0,91 —0,29 0,95 —0,59

Izvestiya of Irkutsk State Economics Academy, Известия Иркутской государственной экономической академии.

2014, no. 6 (98), pp. 168-174. ISSN 1993-3541 2014. № 6 (98). С. 168-174. ISSN 1993-3541

MATHEMATICAL MODELING, SYSTEMS ANALYSIS

Таблица 6

Значения fit-статистик модифицированной RSM

Параметр Значения

Предмет Оценка Outfit Outfit(t) Infit Infit(t)

Правоведение - 0,93 —0,38 0,95 -0,41

Хор. 1,03 0,28 1,13 0,98

Отл. 0,87 -0,79 0,96 -0,60

Основы бизнеса Уд. 1,01 0,10 0,96 -0,29

Хор. 1,14 0,51 0,98 -0,12

Отл. 0,87 -0,40 0,98 -0,19

Проектирование информационных систем - 0,91 -0,76 0,92 -0,68

Хор. 0,63 -1,43 0,79 -1,41

Отл. 0,85 -0,47 0,96 -0,63

Предметно- ориентированные экономические информационные системы - 0,87 -0,60 0,99 -0,05

Хор. 0,83 -0,75 0,95 -0,41

Отл. 1,04 0,23 1,02 0,29

Автоматизированные банковские системы - 1,08 0,46 1,11 0,77

Хор. 0,88 -0,39 0,92 -0,50

Отл. 0,89 -0,25 0,98 -0,20

Налогообложение - 0,91 -0,49 0,89 -0,81

Хор. 1,12 0,44 1,21 1,21

Отл. 1,01 0,14 1,04 0,47

Окончание табл. 7

Параметр Значения

Предмет Оценка Outfit Outfit(t) Infit Infit(t)

Модели Уд. 0,21 19,08 0,85 -0,23

и методы Хор. 0,57 -0,33 0,76 -2,63

прогнозиро- Отл. 0,38 2,13 0,74 -1,79

вания

Базы данных Уд. 0,39 9,68 1,51 0,92

Хор. 0,64 -0,02 0,82 -2,02

Отл. 0,52 0,82 0,81 -1,22

Проектирова- Уд. 1,60 3,94 0,88 -0,26

ние информа- Хор. 1,16 0,45 0,94 -0,57

ционных Отл. 0,46 1,51 0,83 -1,07

систем

Сетевая Уд. 0,08 180,30 0,80 -0,07

экономика Хор. 2,57 1,26 1,38 2,66

Отл. 1,03 0,37 1,06 0,63

Интеллек- Уд. 0,02 611,09 0,19 -1,79

туальные Хор. 0,58 1,20 0,99 0,00

информа- Отл. 0,84 -0,03 1,00 0,01

ционные

системы

Основы алго- Уд. 0,00 - 0,00 2 481 210,00

ритмизации Хор. 1,99 1,32 1,35 2,40

Отл. 6,05 2,53 1,54 2,70

2. Компетенция ПК-5. Способен осуществлять и обосновывать выбор проектных решений по видам обеспечения информационных систем.

Анализируя последующие данные (табл. 7-9), мы видим примерно такую же картину. Лучшие результаты показывает модифицированная рейтинговая модель. Не соответствует модели предмет «Основы алгоритмизации». Исключив ее из рассматриваемого набора и проведя повторные вычисления, определенно, что модели слабо соответствуют предметы «Информатика и программирование», а также «Модели и методы прогнозирования». В итоге сформирован набор индикаторных заданий, результаты обработки которых представлены в табл.10.

Таблица 7

Значения fit-статистик PCM

Параметр Значения

Предмет Оценка Outfit Outfit(t) Infit Infit(t)

Теория систем и системный анализ Уд. 0,12 41,53 0,80 -0,45

Хор. 0,57 0,21 0,82 -1,64

Отл. 1,18 1,61 0,94 -0,48

Информатика и программирование Уд. 0,00 - 0,00 -

Хор. 1,04 0,26 1,20 1,65

Отл 0,85 2,03 1,07 0,50

Исследование операций Уд. 0,03 24,48 0,55 -0,70

Хор. 0,77 -0,24 0,99 -0,09

Отл. 0,78 0,97 0,94 -0,43

Таблица 8

Значения fit-статистик RSM

Параметр Outfit Outfit(t) Infit Infit(t)

Предмет Теория систем и системный анализ 0,94 -0,34 0,94 -0,47

Информатика и программирование 0,98 -0,09 1,08 0,70

Исследование операций 1,03 0,25 0,98 -0,15

Модели и методы прогнозирования 0,70 -2,28 0,75 -2,27

Базы данных 0,66 -2,57 0,67 -3,19

Проектирование информационных систем 0,90 -0,72 0,93 -0,57

Сетевая экономика 1,51 2,71 1,53 3,74

Интеллектуальные инфор мационные системы 0,86 -0,43 0,82 -1,48

Основы алгоритмизации 1,32 1,97 1,36 2,62

Оценка Хор. 1,63 0,95 1,29 5,72

Отл. 1,24 0,55 1,16 7,16

Таблица 9 Значения fit-статистик модифицированной RSM

Параметр Значения

Предмет Оценка Outfit Outfit(t) Infit Infit(t)

Теория систем и - 0,87 -0,87 0,93 -0,58

системный анализ Хор. 0,91 -0,40 0,92 -0,63

Отл. 0,82 -0,81 0,93 -1,27

Информатика и - 1,10 0,47 1,02 0,18

программирова- Хор. 1,02 0,36 1,05 0,38

ние Отл. 1,09 0,39 1,03 0,27

Izvestiya of Irkutsk State Economics Academy, 2014, no. 6 (98), pp. 168-174. ISSN 1993-3541

A. V. RODIONOV

Окончание табл. 9

Параметр Значения

Предмет Оценка Outfit Outfit(t) Infit Infit(t)

Исследование операций - 0,85 —0,97 0,88 -1,01

Хор. 1,07 0,36 1,03 0,28

Отл. 1,13 0,72 1,00 -0,06

Модели и методы прогнозирования - 0,70 -2,29 0,75 -2,18

Хор. 0,83 -0,66 0,89 -0,74

Отл. 0,84 -0,49 0,90 -1,57

Базы данных - 0,77 -1,91 0,82 -1,59

Хор. 0,85 -0,41 0,80 -1,31

Отл. 0,79 -1,29 0,84 -2,66

Проектирование информационных систем - 0,91 -0,71 0,92 -0,65

Хор. 0,75 -1,08 0,76 -1,60

Отл. 0,88 -0,34 0,95 -0,76

Сетевая экономика - 1,20 1,05 1,21 1,62

Хор. 1,11 0,56 1,12 1,07

Отл. 0,98 -0,01 1,03 0,44

Интеллектуальные информационные системы - 0,88 -0,50 0,99 -0,06

Хор. 0,90 -0,48 0,98 -0,18

Отл. 0,85 -1,06 0,94 -0,96

Основы алгоритмизации - 3,33 4,10 1,39 2,46

Хор. 3,68 1,85 1,57 3,05

Отл. 1,34 0,86 1,17 1,15

Таблица 10

Значения fit-статистик модифицированной RSM

Параметр Значения

Предмет Оценка Outfit Outfit(t) Infit Infit(t)

Теория систем и системный анализ - 0,77 —1,39 0,88 -0,97

Хор. 1,00 0,07 0,83 -1,38

Отл. 0,78 -1,04 0,90 -1,74

Исследование операций - 1,23 1,48 1,26 2,08

Хор. 1,07 0,33 1,13 0,97

Отл. 0,92 -0,45 1,00 0,05

Известия Иркутской государственной экономической академии.

2014. № 6 (98). С. 168-174. ISSN 1993-3541

Окончание табл. 10

Параметр Значения

Предмет Оценка Outfit Outfit(t) Infit Infit(t)

Базы данных - 0,86 —1,01 0,85 -1,29

Хор. 1,23 0,71 0,98 -0,02

Отл. 0,88 -0,57 0,92 -1,27

Проектирование информационных систем - 0,82 -1,47 0,85 -1,36

Хор. 0,88 -0,37 0,76 -1,48

Отл. 1,51 1,57 0,96 -0,60

Сетевая экономика - 1,49 1,79 1,25 1,83

Хор. 0,91 -0,28 1,01 0,16

Отл. 1,02 0,16 1,09 1,31

Интеллектуальные информационные системы - 0,86 -0,54 0,93 -0,45

Хор. 0,76 -1,33 0,91 -0,81

Отл. 1,05 0,32 0,96 -0,57

Аналогичные результаты получены и по другим компетенциям, входящим в федеральные государственные стандарты по направлению «Прикладная информатика». Результаты вычислений демонстрируют хорошую применимость предложенной модификации рейтинговой модели, которая позволяет получить как численные оценки уровня сформированности компетенции, так и обоснованные статистические оценки экзаменационных заданий, что может послужить основой для выработки рекомендаций по внесению изменения либо в матрицу компетенций, либо в экзаменационные задания. Разумеется, любые статистические выводы не допускают чисто механического применения, так что значения ^-статистик экзаменационных заданий, не прошедших по критериям (см. табл. 1-2), являются только индикаторами для более глубокого анализа содержания предметных дисциплин и экзаменационных заданий.

Список использованной литературы

1. Большой психологический словарь / под ред. Б. Г. Мещерякова, В. П. Зинченко. — 3-е изд., испр. и доп. — М. : Прайм-Еврознак, 2002. — 672 с.

2. Братищенко В. В. Статистический анализ экзаменационных оценок / В. В. Братищенко // Известия Иркутской государственной экономической академии (Байкальский государственный университет экономики и права) (электронный журнал). — 2011. — № 3. — URL : http://eizvestia.isea.ru/reader/article.aspx?id=8014.

3. Звонников В. И. Контроль качества обучения при аттестации: компетентностный подход / В. И. Звонников, М. Б. Челышкова. — М. : Логос : Унив. кн., 2010. — 993 с.

4. Зимняя И. А. Ключевые компетенции — новая парадигма результата образования / И. А. Зимняя // Высшее образование сегодня. — 2003. — № 5. — С. 34-42.

5. Магнус Я. Р. Эконометрика. Начальный курс / Я. Р. Магнус, П. К. Катышев, А. А. Пересецкий. — М. : Дело, 2007. — 504 с.

6. Равен Д. Компетентность в современном обществе. Выявление, развитие и реализация / Д. Равен. — М. : Коги-то-Центр, 2002. — 396 с.

7. Родионов А. В. Применение irt-моделей для анализа результатов обучения в рамках компетентностного подхода / А. В. Родионов, В. В. Братищенко // Современные проблемы науки и образования. — 2014. — № 4. — URL : www.science-education.ru/1 18-13858.

8. Современный образовательный процесс: основные понятия и термины / авт.-сост. М. Ю. Олешков, В. М. Уваров. — М. : Компания Спутник+, 2006. — 191 с.

Izvestiya of Irkutsk State Economics Academy, Известия Иркутской государственной экономической академии.

2014, no. 6 (98), pp. 168-174. ISSN 1993-3541 2014. № 6 (98). С. 168-174. ISSN 1993-3541

MATHEMATICAL MODELING, SYSTEMS ANALYSIS

9. Хуторской А. В. Ключевые компетенции и образовательные стандарты / А. В. Хуторской // Эйдос. — 2002. — 23 апр. — URL : http://eidos.ru/journal/2002/0423.htm.

10. Ядов В. А. Стратегия социологического исследования / В. А. Ядов. — М. : Академкнига : Добросвет, 2003. — 596 с.

11. Andrich D. A rating formulation for ordered response categories / D. Andrich // Psychometrika. — 1978. — № 43. — Р. 61-73.

12. Hutmacher W. Keu competencies for Europe / W. Hutmacher // Report of the Symposium. — Berne : Switzeland. — 1996. — Р. 27-30.

13. Linacre J. M. What do Infit and Outfit, Mean-square and Standardized mean? / J. M. Linacre. — URL : http://www. rasch.org/rmt/rmt162f.htm.

14. Masters G. N. A Rasch model for partial credit scoring / G. N. Masters// Psychometrika. — 1982. — № 47. — Р. 149-174.

15. Wilson E. B. The distribution of chi-squared / E. B Wilson, M. M. Hilferty. — URL : http://www.pnas.org/ content/17/12/684.full.pdf+html.

References

1. Meshcheryakov B. G., Zinchenko V. P. (eds). Bol'shoi psikhologicheskii slovar' [The Great Psychology Dictionary]. 3rd ed. Moscow, Praim-Evroznak Publ., 2002. 672 p.

2. Bratishenko V. V. Statistic analysis of examination grades. Izvestiya Irkutskoy gosudarstvennoy ekonomicheskoy aka-demii (Baykalskiy gosudarstvennyy universitet ekonomiki i prava) (elektronnyy zhurnal) = Izvestiya of Irkutsk State Economics Academy (BaikalState University of Economics and Law) (online journal), 2011, no. 3. (In Russian). Available at: http:// eizvestia.isea.ru/reader/article.aspx?id=8014.

3. Zvonnikov V. I., Chelyshkova M. B. Kontrol' kachestva obucheniya pri attestatsii: kompetentnostnyipodkhod [Teaching Quality Control while Attestation: a Competence Approach]. Moscow, Logos Publ., Universitetskaya kniga Publ., 2010. 993 p.

4. Zimnyaya I. A. Key competencies as a new paradigm of education results. Vysshee obrazovanie segodnya = The Higher Education Today, 2003, no. 5, pp. 34-42. (In Russian).

5. Magnus Ya. R., Katyshev P. K., Peresetskii A. A. Ekonometrika. Nachal'nyi kurs [Econometrics. An introductory course]. Moscow, Delo Publ., 2007. 504 p.

6. Raven D. Kompetentnost' v sovremennom obshchestve. Vyyavlenie, razvitie i realizatsiya [Competence in the modern society. Detection, development and implementation]. Moscow, Kogito-Tsentr Publ., 2002. 396 p.

7. Rodionov A. V., Bratischenko V. V. Application irt-model for the analysis training results within the competence approach. Sovremennye problemy nauki i obrazovaniya = Modern Problems of Science and Education, 2014, no. 4. (In Russian). Available at: www.science-education.ru/118-13858.

8. Oleshkov M. Yu., Uvarov V. M. Sovremennyi obrazovatel'nyi protsess: osnovnye ponyatiya i terminy [The modern educational process: basic concepts and terms]. Moscow, Kompaniya Sputnik+ Publ., 2006. 191 p.

9. Khutorskoi A. V. Key competencies and educational standards. Eidos, 2002, Apr. 23. Available at: http://eidos.ru/ journal/2002/0423.htm.

10. Yadov V. A. Strategiya sotsiologicheskogo issledovaniya [Strategy of Sociological Research]. Moscow, Akademkniga Publ., Dobrosvet Publ., 2003. 596 p.

11. Andrich D. A rating formulation for ordered response categories. Psychometrika, 1978, no. 43, pp. 61-73.

12. Hutmacher W. Keu competencies for Europe. Report of the Symposium. Berne, Switzeland, 1996, pp. 27-30.

13. Linacre J. M. What do Infit and Outfit, Mean-square and Standardized mean? Available at: http://www.rasch.org/ rmt/rmt162f.htm.

14. Masters G. N. A Rasch model for partial credit scoring. Psychometrika, 1982, no. 47, pp. 149-174.

15. Wilson E. B., Hilferty M. M. The distribution of chi-squared. Available at: http://www.pnas.org/con-tent/17/12/684.full.pdf+html.

Информация об авторе Родионов Алексей Владимирович — старший преподаватель, кафедра информатики и кибернетики, начальник отдела научно-практического развития воспитательной деятельности и социальной работы, Байкальский государственный университет экономики и права, 664003, г. Иркутск, ул. Ленина, 11, e-mail: [email protected].

Библиографическое описание статьи Родионов А. В. Модификация рейтинговой параметрической модели оценки латентных факторов для измерения уровня сформированности компетенций / А. В. Родионов // Известия Иркутской государственной экономической академии. — 2014. — № 6 (98). — С. 168-174. — DOI: 10.17150/1993-3541.2014.24(6).168-174.

Author

Alexey V. Rodionov — Senior Lecturer, Department of Computer Science and Cybernetics, Head of the Department of Scientific and Practical Development of Educational Activities and Social Work, Baikal State University of Economics and Law, 11 Lenin St., 664003, Irkutsk, Russian Federation, e-mail: [email protected].

Reference to article Rodionov A. V. Modification of the rating parametric model of latent factors estimation for assessing the level of competence formation. Izvestiya Irkutskoy gosudarstvennoy ekonomicheskoy akademii = Izvestiya of Irkutsk State Economics Academy, 2014, no. 6 (98), pp. 168-174. (In Russian). DOI: 10.17150/1993-3541.2014.24(6).168-174.