Мониторинг компетентности обучающихся с использованием лингвистических переменных Текст научной статьи по специальности «Математика»

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

МОНИТОРИНГ КОМПЕТЕНТНОСТИ ОБУЧАЮЩИХСЯ С ИСПОЛЬЗОВАНИЕМ ЛИНГВИСТИЧЕСКИХ ПЕРЕМЕННЫХ

Е.Г. КОМАРОВ, доц. каф. электроники и микропроцессорной техники МГУЛ, канд. техн. наук, О.М. ПОЛЕЩУК, проф. каф. высшей математики МГУЛ, д-р техн. наук

При мониторинге компетентности обучающихся обычно используется информация, которая имеет достаточно разнородный характер. Основная причина этой разнородности состоит в том, что используются числовые и нечисловые характеристики, причем нечисловых характеристик существенно больше. Выводы, полученные в результате проведенного мониторинга, могут быть адекватны реальности тогда и только тогда, когда они не зависят от того, в каких единицах измеряются эти характеристики. То есть эти выводы должны быть инвариантны относительно допустимого преобразования значений характеристик, измеренных в той или иной шкале.

Когда эксперты для измерения качественных характеристик используют порядковые шкалы, то для нахождения агрегирующих показателей достаточно часто используют средние значения балльных экспертных оценок [1-5]. Есть несколько способов вычисления средних значений: среднее арифметическое, среднее геометрическое, среднее гармоническое, среднее квадратичное, мода, медиана. Рассмотрим применение в порядковой шкале среднего арифметического как наиболее часто используемого. Предположим, что два обучающихся получили по одной дисциплине оценки 4, 3, а по другой дисциплине соответственно оценки 4, 5. Как хорошо известно, оценки знаний обучающихся являются элементами порядковой шкалы. Суммы баллов и средние арифметические баллов у обучающихся одинаковые и равны 8 и 4. Отсюда можно сделать вывод, что обучающиеся имеют одинаковые рейтинговые оценки. Поскольку знания измеряются в порядковой шкале, то применим строго возрастающее преобразование этой шкалы Ф: Ф(3) = 3, Ф(4) = 4, Ф(5) = 7. В соответствии с проведенным преобразованием (которое является допустимым) сумма баллов и среднее арифметическое баллов пер-

вого обучающегося остались прежними, а у второго обучающегося стали равняться соответственно 10 и 5. Таким образом, рейтинговая оценка второго обучающегося стала больше, чем первого. Устойчивость результатов после допустимого преобразования нарушается, что говорит о некорректности применения арифметических операций в порядковых и номинальных шкалах [6] и заставляет искать пути ее устранения.

Для оценивания качественных характеристик и для описания количественных характеристик эксперты достаточно часто используют вербальные шкалы. Значениями вербальных шкал являются слова, выражающие степень интенсивности проявления характеристик. Эти слова называются уровнями или градациями вербальных шкал. Например, для оценивания знаний обучающихся используется вербальная шкала «неудовлетворительно», «удовлетворительно», «хорошо», «отлично». Будем рассматривать только те вербальные шкалы, на которых можно определить линейный порядок, то есть отношение «меньше - больше».

Определение множеств уровней вербальных шкал и количественных значений проявлений качественных характеристик в рамках этих уровней являются одними из основных задач экспертного оценивания [7]. С целью применения известных математических моделей обработки информации уровням вербальных шкал в соответствие ставятся числовые баллы. В результате такой процедуры вербальная шкала отображается на вербально-числовую шкалу. Определение значений баллов, поставленных в соответствие уровням вербальных шкал, является отдельной задачей, от решения которой зависит устойчивость полученных результатов, поэтому использование конкретных значений в рамках той или иной задачи требует обоснования. Например, оценки «2», «3», «4», «5», поставленные в соответствие вербальным

160

ЛЕСНОЙ ВЕСТНИК 4/2008

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

значениям «неудовлетворительно», «удовлетворительно», «хорошо», «отлично», образуют в совокупности вербально-числовую шкалу. Конечно, не стоит забывать, что числа, поставленные в соответствие вербальным уровням качественной характеристики, являются элементами порядковой шкалы и на них распространяются все ограничения, связанные с порядковой шкалой, о которых говорилось ранее.

Однако если в рамках конкретной задачи обосновано использование определенной вербально-числовой шкалы, в реальных условиях ее использования эксперты испытывают существенные трудности в связи со скачкообразными переходами от одного уровня к другому, не позволяющими уловить и оценить промежуточные состояния оцениваемого признака. Для оценивания промежуточных состояний применяется процесс искусственного размывания числовых баллов, соответствующих уровням вербальных шкал. Например, в учебном процессе при оценивании, без ограничения общности, «хороших» знаний учащихся нередко используется не только оценка 4, но и целый диапазон оценок [3,5, 4,5]. Подобный процесс размывания баллов моделирует плавность оценочной деятельности экспертов, но не облегчает процесс описания реальных объектов с оценками, расположенными вблизи границ размытых областей.

Устранить этот недостаток позволяют лингвистические шкалы [8-9], которые ставят в соответствие лингвистическим значениям характеристики нечеткие множества или их функции принадлежности. Подобное соответствие разрешает проблему скачкообразных переходов от одного уровня к другому вблизи границ, поскольку значения функций принадлежности плавно меняются в диапазоне от 0 до 1.

Построение лингвистической шкалы для качественных характеристик происходит достаточно сложно. Если вербально-числовая шкала для качественной характеристики является набором вербальных уровней с поставленным в соответствие ему набором чисел (элементов порядковой шкалы), то лингвистическая шкала представляет собой набор

вербальных уровней с поставленным ему в соответствие набором нечетких множеств, заданных на некотором универсальном множестве. Поскольку качественные характеристики не поддаются объективному (техническому) измерению, то для них нельзя однозначно определить универсальные множества, как для количественных характеристик. Определение универсального множества производится в рамках каждой качественной характеристики и требований каждой конкретной задачи.

Таким образом, целесообразными значениями лингвистических шкал для качественных характеристик являются нечеткие множества. В теории нечетких множеств вербальные уровни и соответствующие им нечеткие множества называют лингвистическими (нечеткими) значениями характеристик.

Определение лингвистических значений характеристик (на основе теории нечетких множеств) обеспечивает возможность оперирования не со значениями самих характеристик, несопоставимых между собой по сути и содержанию (оцененных в разных шкалах и имеющих разные размерности), а с безразмерными величинами - значениями функций принадлежности.

Мониторинг качественных

показателей обучающихся

Прежде чем приступать к непосредственному описанию модели мониторинга знаний и компетентности обучающихся, остановимся на содержательной и компетент-ностной моделях специалиста. Исходя из анализа содержания таблиц 1 и 2, где эти модели представлены, можно сделать вывод, что все характеристики являются качественными, а поэтому к ним применимы все рассуждения, приведенные выше.

Рассмотрим совокупность N обучающихся, у которых оцениваются проявления качественных характеристик X}., j=1,k, которыми являются показатели успеваемости (знаниевая грамотность), показатели интеллекта и логичности мышления (функциональная грамотность), показатели творческого подхода к обучению (креативная и корпоративная грамотности) и показатели социальной грамотности.

ЛЕСНОИ ВЕСТНИК 4/2008

161

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

Таблица 1

Вербальноструктурированная содержательная модель специалиста

Характеристиче ские признаки Высококвалифицированный специалист-технократ Компетентный специалист

Основное назначение (содержательная парадигма). Компетентный в конкретной предметной области технический специалист, способный качественно выполнять различные виды профессионального труда. Творческая личность, способная самостоятельно добывать знания и на их основе порождать новое информационное содержание (специалист с наработанным индивидуальным стилем профессиональной деятельности).

Характер знаний, умений и навыков. Владеет необходимым объемом профессионально важных систематизированных знаний, умений и навыков, предназначаемых для использования при выполнении как репродуктивных, так и продуктивных видов профессиональной деятельности. Способен выполнять творческие формы профессиональной деятельности, владеет необходимым для этого набором высших психических функций, включающих в себя помимо научнотехнической еще и социализированную и эмоционально-волевую составляющие.

Характер активизируемых мыслительных механизмов и функциональных систем головного мозга. Активность уже существующих психологических механизмов с целью накопления «готовых» (известных) знаний, умений и навыков с опорой на память. Активность и расширение целенаправленно формируемых систем головного мозга, связанных с самообразованием (креативных схем, когнитивных карт, психотехнологических структур) и саморазвитием (рефрейминга, им-притинга и психологических мутаций).

Тип мыслительной деятельности. Предметно-логиче ско е (конвергентно е) мышление. Внелогическое (дивергентное) мышление в «зоне ближайшего развития».

Вид образовательной системы. Традиционная (классическая) педагогическая технология (знаниевое образование). Нетрадиционная (гуманизированная) (личностно-развивающее образование).

Таблица 2

Табличная содержательная модель специалиста

Базовые Ключевые Основные типы Репрезентативные Учебно-воспитательные

компетенции компетенции интеллекта индексы средства

Знаниевая Ментально-структури-

Умение учиться грамотность Формально- Индекс рованные лекции

Функциональная логический интеллектуальности Управляемые

грамотность семинары

Креативная Адресные

Умение грамотность Процедурно- Индекс творческого семинары

делать Корпоративная созидательный потенциала Тематические

грамотность эвросеминары

Умение жить Социальная грамотность Социально- этический Индекс жизненной силы Контрольно-обучающие тренинги

В совокупности все эти характеристики оказывают существенное влияние на характеристику Y - успешность освоения профессиональным полем деятельности. Характеристика Y оценивается в рамках шкалы: Yj = «предельно неуспешно», Y2 = «неуспешно», Y3 = «средне успешно», Y4 = «относительно успешно», Y5 = «предельно успешно».

Пусть Xv, l=1,m}. - уровни вербальных шкал, применяемых для оценивания соответственно характеристик Xj, j = 1,k . Уровни расположены в порядке возрастания

интенсивности проявления этих характеристик. Построим к + 1 ПОСП с названиями Y, Xj, j=1,k_2_ терм-множествами соответственно Yi,i = 1,5, Xj, l=1,mj, j=1,k и функциями принадлежности ц (x),i=1,5, ^ (x), l=1,mj,

j=1,k [10]. В качестве универсальных множеств всех ПОСП выбирается U = [0,1]. Будем называть оценками обучающихся нечеткие числа Xj, l=1,mj, j = 1,k или их функции принадлежности ^ (x) l=1,m}., j = 1,k . Обозначим через X и jx) = (я/, a n, ajLn, aR), n=1,N, j = 1,k, оценку n-го обучающегося в

162

ЛЕСНОЙ ВЕСТНИК 4/2008

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

рамках характеристики X, an, aj2n - абсциссы вершин верхнего основания трапеции, которая является графиком функции цп(х), a.Ln, a.Rn - длины соответственно левого и правого крыльев трапеции. Нечеткое число X с функцией принадлежности jx) равно одному из нечетких чисел Ху,l= 1,m,, j=\,k. Обозначим весовые коэффициенты оцениваемых характеристик через &.,j=\,k,

к

Ею, =1.

j=i

Для определения ю,,j=1,k предлагается использовать шкалу Фишберна [11], согласно которой весовые коэффициенты характеристик, ранжированных по мере убывания их значимости (в рамках определенного критерия), находятся по формуле

2(к- j+1) —

ю, =^^----X, j=1,k .

j к (к+1) _

Обозначим через 5,,j=1,k функцию, которая принимает значение 1, если рост характеристики Xj, j=1,k сопровождается ростом Y, и принимает значение -1, если рост характеристики Xj, j=1,k сопровождается уменьшением Y.

Нечеткая рейтинговая оценка n-го обучающегося, п=1, N в рамках характеристик Xj, j = 1,k определяется в виде нечеткого числа ю 5 n ю 5

A =

Е ю, 5

-0X Ф...0 t

1 k

Jk^k

■® x"

Ею, 5 j

Yn (x) =

n=1, N.

j=1 j=1

с функцией принадлежности

% 541 Ею, 5422

5=1____2=1______

Ею,5/ Ej ’

j=1 j=1

Еюaol Еюjdjj ________________

. Ею,5, ’ е,

V j=1 j= у

Определим доверительный интервал

для четкой рейтинговой оценки у характеризующей проявления характеристик X,, j=1,k у n-го обучающегося, п=1, N. При уровне доверия цп(уп) ^ а, 0 < а < 1 рейтинговая оценка лежит в интервале

Е“,5j

j =1

Ею, 54L

Ею, 5

j =1

-(1-а)

j =1

Ею,5

=1

-<

Ею5,42

< У < ~ 1г

n

-+(1-а)

Ею,5 j

,=1

Е<»А Ею,5,

,=1 ,=1

Дефаззифицируем нечеткое A,п=1,N, по методу центра тяжести:

1

J хц (xx)dx

A = 0--------

jYn (x)dx

число

Число A" ,n=1,N называется точечной рейтинговой оценкой проявления качественных характеристик X,, j=1,k у n-го обучающегося п=1, N.

Для распознавания успешности будущей профессиональной деятельности обучающихся необходимо идентифицировать нечеткое число с функцией принадлежности цп (x) n=1, N с одним из термов ПОСП с названием Y (с одним из нечетких чисел Y,/=1,5 с функциями принадлежности ц (x) i=1,5 ). Для этого вычислим идентификационные показатели

J тЦц. (x)^ (x))dx _ _______

в" = 1--------------, i=1,5, n=1, N.

J тах(ц. (х)ц (x))dx

0

Если pP = maxP" , то успешность будущей профессиональной деятельности n-го обучающегося определяется p-м уровнем шкалы Y1 = «предельно неуспешно», Y2 = «неуспешно», Y3 = «средне успешно», Y4 = «относительно успешно», Y5 = «предельно успешно», p = 1,5.

Обозначим соответственно через AJ, Лп2 рейтинговые оценки n-го обучающегося за периоды 1 и 2. В зависимости от соотношений между Л"1, Л2 делаются следующие выводы: если AJ > Лп2, то успешность будущей профессиональной деятельности п-го обучающегося ухудшилось; если AJ < Лп2, то успешность будущей профессиональной деятельности n-го обучающегося улучшилось; если A"1 = Л2, то успешность будущей профессиональной деятельности n-го обучающегося осталась без изменений.

Основная проблема при мониторинге компетентности обучающихся состоит в том, что она определяется разнородными характеристиками, для которых не всегда корректны

ЛЕСНОИ ВЕСТНИК 4/2008

163