Аспид-методология как инструмент измерения качества подготовки специалистов в вузе Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

М. В. Михайлов

АСПИД-МЕТОДОЛОГИЯ КАК ИНСТРУМЕНТ ИЗМЕРЕНИЯ КАЧЕСТВА ПОДГОТОВКИ СПЕЦИАЛИСТОВ В ВУЗЕ

Проблема оценивания качества обучения представляется важной и актуальной задачей на всем протяжении подготовки и обучения молодых людей, начиная со школы и заканчивая профессиональной подготовкой и переподготовкой. Это связано, прежде всего, с введением единых стандартов обучения, единых экзаменов — как выпускных, так и вступительных, признания аттестационных документов всеми заинтересованными организациями разных стран.

Работы в этом направлении ведутся начиная с 60-х годов прошлого века. Предлагаются различные модели и методы, основывающиеся прежде всего на статистических методах анализа результатов различных испытаний, которым подвергаются учащиеся в течение всего времени обучения.

Качество подготовки специалиста представляется не самым простым объектом для оценивания. На него оказывает влияние огромное количество факторов. Определение множества факторов, имеющих определяющее влияние на качество подготовки специалиста, является самостоятельной важной и достаточно трудной задачей, от которой зависит качество и точность получаемой оценки. Это множество должно обладать необходимой полнотой. Значения показателей по характеристикам, определяющим выбранные факторы, должны обладать, прежде всего, достоверностью и необходимой точностью. Эти и некоторые другие вопросы формирования и подготовки исходных данных рассматриваются в экономической литературе1.

Таким образом, задачу определения качества подготовки специалиста можно отнести к задачам многокритериального оценивания2. Более того, для получения адекватных оценок качества эту задачу необходимо рассматривать в условиях иерархической системы критериев3.

В настоящей статье будет рассмотрен только один аспект качества подготовки специалиста, а именно — оценка качества полученных знаний. С большой степенью уверенности

Михаил Витальевич МИХАЙЛОВ — канд. экон. наук, доцент кафедры экономической кибернетики СПбГУ. В 1982 г. окончил экономический факультет ЛГУ. В 1998 г. защитил кандидатскую диссертацию. Область научных интересов — многокритериальное оценивание в условиях неопределенности. Автор более 20 научных публикаций, в том числе 8 учебных пособий.

© М. В. Михайлов, 2007

можно утверждать, что на качество подготовки специалиста сильно влияет его успеваемость по отдельным предметам, по смежным группам предметов в течение всего времени подготовки и обучения. Предполагается, что качество и количество полученных и подтвержденных знаний в значительной степени определяют качество специалиста. Это положение находит свое практическое подтверждение в использовании различного рода синтетических числовых показателей: сумма набранных баллов, средний балл и т. п. для определения лучшего студента, ранжирования и т. д. Недостатком подобных сводных показателей является предположение о равной значимости отдельных разделов полученных знаний на общую подготовленность специалиста. Например, трудно согласиться с утверждением, что для специалиста в области бухгалтерского учета знания, полученные им из области философских наук, и знания о модели баланса предприятия одинаково важны. На протяжении всего времени обучения студент должен освоить значительное количество предметов и дисциплин, каждая из которых имеет вполне конкретную, но трудно определимую значимость при оценке общей успеваемости. Здесь есть дефицит информации, который необходимо преодолеть.

В данной статье предлагается использовать метод рандомизированных сводных показателей (МРСП)4, который является основой АСПИД5-методологии, для измерения качества подготовки специалиста. Метод МРСП хорошо зарекомендовал себя при оценивании сложных финансово-экономических объектов, когда существует значительный недостаток информации о природе влияния отдельных характеристик исследуемых объектов на общую их предпочтительность по выбираемым критериям оценивания.

Вкратце модель метода МРСП может быть представлена следующим образом.

Множество объектов оценивается по множеству критериев (характеристик). Необходимо построить сводный показатель (глобальный критерий), вбирающий в себя значения исходных показателей, описывающих соответствующие характеристики).

В методе МРСП используется функция средневзвешенного

т

<2{Ч, й) = Х ЧгЙг , (1)

1=1

где т — количество исходных показателей, ч = {4} — вектор значений исходных показателей, V = {й}, г = 1...т — вектор весовых коэффициентов (значимостей), б — функция сводного показателя.

Элементы вектора весовых коэффициентов удовлетворяют следующему условию:

т

Йг ^ 0 X Йг = 1 . (2)

г =1

Поскольку точные значения весовых коэффициентов неизвестны, вектор весовых коэффициентов заменяется рандомизированным вектором = {wi}, г = 1...т, где wi — случайная величина, удовлетворяющая условию (2). Случайные величины {т~г-}, г = 1...т

имеют совместное равномерное распределение.

Тогда выражение (1) заменяется следующим:

~ т (3)

б = Й) = Х ЧгЙг .

~ г=1

Сводный показатель б становится случайной величиной, оценками которой являются математическое ожидание, стандартное отклонение и вероятность доминирования. АСПИД-методология использует эти оценки для получения информации, необходимой для принятия решения.

АСПИД-методология расширена на применение в условиях иерархической системы построения сводного показателя, когда вся процедура разбита на уровни (итерации), на каждом из которых формируется вектор сводных показателей на базе непересекающих-ся подмножеств исходных показателей. В свою очередь, построенные сводные показатели являются исходными для вектора сводных показателей следующего уровня. Такая структура имеет вид пирамиды, в вершине которой находится сводный показатель (один), вбирающий в себя информацию всех нижележащих показателей.

В общем случае для пирамидальных структур с непересекающимися множествами выражение (2) приобретает вид:

б(‘) = б (г)(б(г-1), ~~(‘)) = 1б(г-1) й(‘\ г = 1...Т, (4)

. 1 / /

г=1

где £ — номер уровня пирамидальной иерархии уровня Т.

В качестве иллюстративного примера приводится технология расчета качества подготовки специалиста по утвержденному учебному плану на базе данных об успеваемости (только экзамены) студентов специальности «экономическая кибернетика», вечернее отделение (табл. 1). Здесь используются сокращенные наименования дисциплин и групп дисциплин. Классификатор сокращений приведен в табл. 2.

На практике по отдельной дисциплине студенты должны сдавать несколько экзаменов. В этом случае под отдельной дисциплиной может пониматься часть учебной дисциплины, ограничиваемой объемом, который выносится на отдельный экзамен. Дисциплинам с одинаковыми названиями присваивается дополнительный номерной идентификатор, например, линейная алгебра 1 (ЛА1), линейная алгебра 2 (ЛА2).

В табл. 1 указан средний балл и нормированный средний балл для каждого студента. Студенты упорядочены по убыванию среднего балла. Это привычная система выставления общей оценки успеваемости, которая, как предполагается, отражает качество подготовки студента, будущего специалиста. В этой системе оценок все дисциплины равноценны в деле подготовки достаточно узкого специалиста, что в некоторой степени является недостатком.

Предлагается ввести иерархическую систему с непересекающимися множествами оценок. Описание структуры этой иерархии приведено в шапке табл. 1. Шапка таблицы состоит из четырех строк. На нижней строке шапки указаны сокращенные наименования дисциплин, по которым оценивается успеваемость студентов на нижнем нулевом уровне иерархии. На вышележащей строке шапки таблицы указаны наименования групп дисциплин, по которым оценивается успеваемость студентов на первом уровне иерархии. Дальше будет показан расчет оценок сводных показателей по каждой группе дисциплин. Дисциплины сгруппированы в таблице таким образом, что название каждой группы охватывает названия входящих в нее дисциплин. Видно, что ни одна дисциплина не входит в состав более одной группы. В нашем случае представлена трехуровневая иерархия.

В данной иерархической системе оценивания успеваемости можно сравнивать успеваемость студентов не только одной, но и нескольких родственных специальностей, у которых учебный план отличается количеством часов, набором изучаемых тем по одинаковым дисциплинам. Это утверждение можно пояснить следующим примером. Преподавание математических дисциплин для экономистов-математиков и экономистов-не-математиков отличается по объему и составу дисциплин. Однако «укороченный» курс для нематематиков является достаточным для подготовки специалиста в соответствии с учебным планом. Оценки, полученные нематематиками и математиками, можно

Успеваемость группы студентов специальности «экономическая кибернетика»

№ Студенты У СБ НСБ

опд сд К/р

ОМД огд оэд ЭТ ММ1 ММ2 ММФ К/р

ЛА1 ЛА2 МА1 МА2 т н и ж К н к С © К ИЭУ 2 О Мк/р СЭС и т С и ЭТ1 ЭТ2 ЭТк/р МиЭ МаЭ МИ1 МИ2 ТМО 2 с 2 К т ЭПП ФМ МЦБ МОИ КР1 КР2

1 Абашеева Е. К. 5 4 5 4 5 5 5 4 5 4 5 5 4 5 5 5 4 5 5 5 5 5 5 5 5 5 5 5 4 5 4 5 5 5 4,765 1

7 Иванова К. Б. 3 5 4 5 5 5 5 4 5 4 5 5 5 5 5 5 5 5 5 5 5 5 3 4 4 5 4 5 5 4 5 4 5 5 4,647 0,92

12 Полякова К. К. 5 5 4 4 3 5 4 5 5 4 5 4 5 5 5 5 3 5 5 5 4 5 4 4 4 5 5 4 4 5 4 4 5 5 4,5 0,82

2 Андреева М. Л. 4 5 5 5 4 5 5 4 5 4 3 4 5 5 5 5 4 4 3 5 5 5 3 4 4 5 4 4 4 4 5 4 5 5 4,412 0,76

3 Бутомо К. В. 5 5 4 5 3 4 5 5 5 4 4 5 3 4 5 4 3 5 5 5 4 5 4 4 5 5 3 5 3 4 4 3 5 5 4,324 0,7

11 Остроумова Е. П. 5 5 5 4 5 5 3 4 4 4 5 5 3 5 4 3 3 5 4 5 3 5 5 5 5 5 3 4 5 4 3 4 4 5 4,294 0,68

5 Голубев Г. А. 3 4 5 5 4 4 4 4 5 4 4 5 5 5 5 5 3 5 4 5 4 5 3 3 4 5 3 4 5 4 5 4 4 4 4,265 0,66

6 Григорьева Е. Б. 5 5 3 4 5 5 3 5 5 4 5 5 5 5 5 4 4 5 5 5 3 4 3 3 3 3 3 3 5 5 3 5 5 4 4,235 0,64

22 Клюшкин А. И. 5 4 4 5 5 3 3 5 5 3 4 4 3 4 5 4 4 4 5 5 4 5 4 4 5 5 3 4 3 4 5 5 4 4 4,206 0,62

18 Станишевская А. С. 3 3 3 4 5 5 3 4 5 4 5 4 5 5 5 4 4 4 4 4 4 5 3 4 5 5 3 4 5 4 4 4 4 5 4,176 0,6

21 Чирик А. А. 3 4 3 5 5 5 3 5 5 4 3 5 5 4 5 5 3 5 5 5 4 5 3 5 4 4 3 4 4 3 3 3 5 5 4,176 0,6

19 Федорова Т. В. 3 3 4 4 5 5 3 3 4 4 5 3 4 5 5 3 3 3 3 5 4 4 4 3 5 4 3 3 4 3 4 3 5 4 3,824 0,36

17 Сергеев Д. Б. 4 3 5 4 5 4 3 5 4 4 4 4 3 5 5 3 3 5 4 5 3 4 3 3 4 4 3 3 3 3 3 3 3 3 3,735 0,3

20 Хомутнникова М.В. 4 4 4 3 3 4 3 4 5 3 4 4 4 5 5 4 3 3 3 4 3 5 3 3 5 3 3 3 4 3 3 3 4 5 3,706 0,28

8 Кочетова В. В. 3 3 4 4 4 4 3 5 4 3 3 4 3 4 5 3 3 5 4 5 3 4 3 3 4 3 3 4 3 3 3 5 4 4 3,676 0,26

15 Сафонова Т. В. 3 3 3 4 4 5 3 4 4 3 3 3 4 5 5 3 3 5 5 4 3 4 3 3 3 3 3 3 3 4 4 4 4 5 3,676 0,26

10 Налимова А. Б. 3 4 3 3 4 4 3 5 5 3 3 5 4 4 5 4 3 4 4 4 3 4 3 4 3 3 3 3 4 3 3 3 3 4 3,618 0,22

13 Приходько Е. И. 3 3 3 4 3 5 3 4 4 4 5 3 4 4 5 4 3 3 3 4 3 4 3 3 5 3 3 3 5 3 3 3 3 5 3,618 0,22

16 Семилетова Е. О. 3 4 3 4 3 4 3 4 4 3 4 4 3 5 5 3 3 3 3 5 3 3 3 3 5 4 3 3 5 3 5 3 3 4 3,618 0,22

9 Лапенкова Н. Н. 3 4 3 3 3 4 3 4 4 3 3 3 4 5 5 4 3 4 4 4 4 5 3 3 4 3 3 3 4 3 3 4 4 3 3,588 0,2

4 Спецакова В. Е. 3 3 3 3 3 3 3 4 5 3 3 3 3 4 4 4 3 3 3 4 3 4 3 3 4 3 3 3 4 3 4 3 4 5 3,412 0,08

14 Рыхлицкий А. Б. 3 3 3 3 3 3 3 3 5 3 3 3 4 4 5 3 3 3 3 4 3 3 3 3 3 3 3 3 4 3 3 3 3 5 3,294

сравнивать между собой не в смысле математической подготовки вообще, а в смысле достаточности математической подготовки соответствующего специалиста.

Таблица 2

Классификатор сокращений названий дисциплин

Линейная алгебра 1 ЛА1 Мат. методы исследования операций 1 МИ1

Линейная алгебра 2 ЛА2 Мат. методы исследования операций 2 МИ2

Мат. анализ 1 МА1 Теория массового обслуживания ТМО

Мат. анализ 2 МА2 Производственный менеджмент ПМ

Теория вероятности ТВ Имитационное моделирование ИМ

Мат.статистика МС Эконометрика Э

Теория игр ТИ Экономика природопользования ЭПП

История И Финансовый менеджмент ФМ

Политология П Мат. методы в анализе рынка ценных бумаг МЦБ

Философия Ф Методы обоснования инвест. решений МОИ

Иностранный язык ИЯ К/р по спец. 1 КР1

История экон. учений ИЭУ К/р по спец. 2 КР2

Общий менеджмент ОМ Успеваемость У

Менеджмент (к/р) Мк/р Общепрофессиональные дисциплины ОПД

Социально-экономическая статистика СЭС Общие математические дисциплины ОМД

Экономика страхования ЭС Общие гуманитарные дисциплины ОГД

Системный анализ СА Общие экономические дисциплины ОЭД

Экономическая теория 1 ЭТ1 Экономическая теория ЭТ

Экономическая теория 2 ЭТ2 Мат. методы в экономике 1 ММ1

Экономическая теория (к/р) ЭТк/р Мат. методы в экономике 2 ММ2

Микроэкономика МиЭ Специальные дисциплины СД

Макроэкономика МаЭ Мат. методы в финансах ММФ

Приведенная иерархическая система (может быть с небольшими изменениями) пригодна для оценивания успеваемости студентов, не обязательно родственных специальностей. При помощи множества показателей оценивания 2-го уровня иерархии можно сравнить успеваемость, например, экономистов и социологов.

При построении оценок сводных показателей в соответствии с АСПИД-методологией предоставляется возможность использовать имеющуюся информацию о значимости исходных показателей в различном виде: точном числовом, неточном числовом и нечисловом. Эта информация не обязательно должна быть полной. Но та информация, которая имеется, должна быть достаточно обоснованной. Если те или иные данные вызывают сомнения или значительную критику, то от них лучше отказаться. Чем больше будет введено этой дополнительной информации, тем более точные оценки качества подготовки можно получить. В табл. 3 представлена информация о значимости отдельных исходных оценок, полученных студентами на экзаменах, в сводных показателях соответствующих групп дисциплин. Эта информация получена в результате неформального обсуждения с ведущими преподавателями кафедры экономической кибернетики и не является истиной в последней инстанции. С течением времени эта информация может

как изменяться, так и видоизменяться. Ввод дополнительной информации позволяет увеличить точность и достоверность получаемых оценок сводных показателей.

Таблица 3

Дополнительная (ординальная ) информация

ОМД ОГД ЭТ ММ1

ЛА2 > ЛА1 ИЯ > Ф ЭТ2 > ЭТ1 МИ2 > МИ1

МА2 > МА1 ИЭУ > Ф МиЭ > ЭТ2

ЛА1 > МА2 МаЭ > ЭТ2

ТВ = ЛА1

Результаты применения метода МРСП для расчета оценок сводных показателей первого уровня приведены в табл. 4. Здесь показаны числовые оценки сводных показателей. В табл. 5 приведены оценки точности (дисперсии).

Таблица 4

Числовые оценки сводных показателей первого уровня иерархии

Студенты ОПД СД К/р

ОМД ОГД ОЭД ЭТ ММ1 ММ2 ММФ

Абашеева Е. К. 0,77 0,91 0,80 1,00 1,00 0,83 0,83 1,00

Иванова К. Б. 0,80 0,91 1,00 1,00 0,57 0,83 0,67 1,00

Полякова К. К. 0,72 0,85 0,80 0,82 0,62 0,67 0,67 1,00

Андреева М. Л. 0,80 0,45 0,90 0,87 0,57 0,50 0,67 1,00

Бутомо К. В. 0,77 0,85 0,30 0,82 0,74 0,33 0,33 1,00

Остроумова Е. П. 0,88 0,74 0,20 0,57 1,00 0,50 0,33 0,75

Голубев Г. А. 0,45 0,76 0,80 0,75 0,35 0,50 0,67 0,50

Григорьева Е. Б. 0,88 1,00 0,80 0,46 0,00 0,33 0,67 0,75

Клюшкин А. И. 0,68 0,66 0,40 0,81 0,74 0,17 0,83 0,50

Станишевская А. С. 0,32 0,76 0,80 0,62 0,69 0,50 0,50 0,75

Чирик А. А. 0,55 0,69 0,60 0,82 0,67 0,33 0,00 1,00

Федорова Т. В. 0,32 0,34 0,50 0,50 0,40 0,17 0,17 0,75

Сергеев Д. Б. 0,38 0,52 0,40 0,39 0,24 0,00 0,00 0,00

Хомутнникова М. В. 0,32 0,57 0,60 0,36 0,24 0,17 0,00 0,75

Кочетова В. В. 0,18 0,33 0,20 0,39 0,12 0,17 0,33 0,50

Сафонова Т. В. 0,22 0,09 0,50 0,32 0,00 0,00 0,50 0,75

Налимова А. Б. 0,32 0,66 0,40 0,25 0,22 0,17 0,00 0,25

Приходько Е. И. 0,12 0,43 0,40 0,18 0,24 0,33 0,00 0,50

Семилетова Е. О. 0,27 0,40 0,40 0,13 0,35 0,33 0,33 0,25

Лапенкова Н. Н. 0,22 0,09 0,60 0,62 0,12 0,17 0,17 0,25

Спецакова В. Е. 0,00 0,26 0,10 0,18 0,12 0,17 0,17 0,75

Рыхлицкий А. Б. 0,00 0,18 0,30 0,00 0,00 0,17 0,00 0,50

Оценки точности сводных показателей первого уровня иерархии

Студенты ОПД СД К/р

ОМД ОГД ОЭД ЭТ ММ1 ММ2 ММФ

Абашеева Е. К. 0,00 0,01 0,02 0,00 0,00 0,02 0,02 0,00

Иванова К. Б. 0,00 0,01 0,00 0,00 0,02 0,02 0,02 0,00

Полякова К. К. 0,00 0,01 0,04 0,00 0,01 0,02 0,02 0,00

Андреева М. Л. 0,00 0,02 0,01 0,00 0,02 0,00 0,02 0,00

Бутомо К. В. 0,00 0,01 0,04 0,00 0,02 0,07 0,02 0,00

Остроумова Е. П. 0,01 0,03 0,04 0,02 0,00 0,05 0,02 0,03

Голубев Г. А. 0,00 0,01 0,04 0,00 0,04 0,05 0,02 0,00

Григорьева Е. Б. 0,01 0,00 0,02 0,01 0,00 0,07 0,07 0,03

Клюшкин А. И. 0,00 0,01 0,04 0,00 0,02 0,02 0,02 0,00

Станишевская А. С. 0,01 0,01 0,02 0,01 0,03 0,05 0,00 0,03

Чирик А. А. 0,00 0,03 0,06 0,00 0,01 0,02 0,00 0,00

Федорова Т. В. 0,01 0,03 0,05 0,01 0,03 0,02 0,02 0,03

Сергеев Д. Б. 0,00 0,02 0,06 0,01 0,02 0,00 0,00 0,00

Хомутнникова М. В. 0,00 0,01 0,04 0,02 0,05 0,02 0,00 0,03

Кочетова В. В. 0,00 0,03 0,04 0,01 0,01 0,02 0,07 0,00

Сафонова Т. В. 0,01 0,01 0,05 0,01 0,00 0,00 0,00 0,03

Налимова А. Б. 0,00 0,03 0,04 0,01 0,01 0,02 0,00 0,03

Приходько Е. И. 0,01 0,03 0,04 0,00 0,05 0,07 0,00 0,10

Семилетова Е. О. 0,00 0,01 0,06 0,02 0,04 0,07 0,07 0,03

Лапенкова Н. Н. 0,00 0,01 0,04 0,01 0,01 0,02 0,02 0,03

Спецакова В. Е. 0,00 0,03 0,01 0,00 0,01 0,02 0,02 0,03

Рыхлицкий А. Б. 0,00 0,03 0,04 0,00 0,00 0,02 0,00 0,10

При расчете оценок сводных показателей следующего второго уровня используется дополнительная информация (табл. 6). Числовые оценки сводных показателей представлены в табл. 7.

Таблица 6

Дополнительная (ординальная ) информация

ОПД СД

ЭТ > ОЭД ММ2 > ММ1

ОМД > ОГД

Результаты применения метода МРСП для верхнего уровня удобно представить в графическом виде при помощи АСПИД-диаграммы (рис. 1). На диаграмме приведены оценки сводного показателя «Успеваемость». Числовая оценка обозначается точкой в середине вертикальной тонкой линии, размер которой определяется двойным значением стандартного отклонения. Шкала измерения для этих оценок расположена в правой

Числовые оценки сводных показателей второго уровня иерархии

Студенты ОПД СД К/р

Абашеева Е. К. 0,92 1,00 1,00

Иванова К. Б. 0,95 0,88 1,00

Полякова К. К. 0,81 0,78 1,00

Андреева М. Л. 0,84 0,66 1,00

Бутомо К. В. 0,79 0,44 1,00

Остроумова Е. П. 0,72 0,59 0,75

Голубев Г. А. 0,65 0,63 0,50

Григорьева Е. Б. 0,76 0,47 0,75

Клюшкин А. И. 0,74 0,52 0,50

Станишевская А. С. 0,54 0,61 0,75

Чирик А. А. 0,70 0,31 1,00

Федорова Т. В. 0,42 0,23 0,75

Сергеев Д. Б. 0,41 0,03 0,00

Хомутнникова М. В. 0,39 0,14 0,75

Кочетова В. В. 0,28 0,25 0,50

Сафонова Т. В. 0,27 0,19 0,75

Налимова А. Б. 0,34 0,14 0,25

Приходько Е. И. 0,19 0,25 0,50

Семилетова Е. О. 0,24 0,39 0,25

Лапенкова Н. Н. 0,40 0,19 0,25

Спецакова В. Е. 0,09 0,19 0,75

Рыхлицкий А. Б. 0,03 0,11 0,50

части АСПИД-диаграммы. Достоверность числовой оценки описывается матрицей вероятностей доминирования сводной оценки студента над всеми остальными. На диаграмме указана вероятность доминирования сводной оценки студента над следующим в порядке убывания числовой оценки сводного показателя. Величина этой оценки определяет высоту колонки. Шкала измерения для этой оценки расположена в левой части АСПИД-диаграммы.

При анализе АСПИД-диаграммы (рис. 1) необходимо обратить внимание на следующие моменты. Все студенты ранжированы в порядке убывания числовой оценки сводного показателя «успеваемость», на диаграмме центры отрезков вертикальных линий спускаются вниз при смещении внимания вправо.

Если проекции этих отрезков на правой шкале диаграммы не пересекаются, то можно утверждать об отличии в успеваемости студентов, например, Абашеева Е. К. имеет выявленное предпочтение перед Клюшкиным А. И. В противном случае для выявления

предпочтения необходимо получить значения вероятностей доминирования (надежности полученных числовых оценок). Так, в случае пары Абашеева Е. К., Иванова К. Б. точность полученных оценок (длина отрезков вертикальных линий) применительно к числовым оценкам (центры этих отрезков) не дает оснований делать вывод о безоговорочном доминировании какой-либо студентки. Полученная вероятность доминирования первой студентки над второй (равно 1) указывает, что при любом допустимом векторе весовых коэффициентов первая студентка всегда имеет большую числовую оценку, хотя и незначительно. Это дает основание говорить о незначительной предпочтительности Абашеевой Е. К.

В случае пары Станишевская А. С., Остроумова Е. П. вероятность доминирования равна 0,5. Эти студентки примерно одинаковы по успеваемости. По одним предметам лучше первая, по другим — вторая.

При анализе полученных данных условно всех студентов можно разделить на следующие группы:

- отличники: Абашеева Е. К., Иванова К. Б., Полякова К. К., Андреева М. Л.;

- хорошисты: Станишевская А. С., Остроумова Е. П., Бутомо К. В., Голубев Г. А., Григорьева Е. Б., Чирик А. А.;

- средненькие: Федорова Т. В., Сафонова Т. В., Семилетова Е. О., Кочетова В. В., Спецакова В. Е., Хомутнникова М. В., Приходько Е. И.;

- минималисты: Лапенкова Н. Н., Рыхлицкий А. Б., Налимова А. Б., Сергеев Д. Б.

Группа отличников целиком и полностью соответствует рейтингу средних оценок.

Полученные оценки достаточно точные и достоверные для последующего использования полученных числовых оценок.

0,2

0,2

0

Абашеева

Е.К

Андреева

М.Л.

Бутомо КВ. Клюшкин А.И. Сафонова Хомутнникова Лапенкова

Т.В. М.В. Н.Н.

Сергее в Д.Б

1.2

1.2

0,8

0,8

0,6

0,6

0,4

0,4

0

Рис. 1. АСПИД-диаграмма оценок сводного показателя верхнего уровня иерархии

по отдельным студентам.

По группе хорошистов применение метода МРСП не дает новой точной и достоверной информации. Порядок следования немного изменился, но и только.

По двум оставшимся группам есть новая информация, которая достаточно точная и достоверная. Семилетова Е. О. поднялась в группу средненьких, а Налимова А. Б., наоборот, опустилась в группу минималистов. Эти изменения связаны с использованием дополнительной информации о значимых, профилирующих дисциплинах. Первая студентка получает преимущества над второй за счет более успешной учебы по экономикоматематическим дисциплинам. Мы считаем такой подход к оценке качества подготовки специалиста правильным и естественным.

В группе средненьких Федорова Т. В. показывает достоверно лучшие результаты, остальные находятся примерно на одном уровне.

В группе минималистов на последнем месте достоверно Сергеев Д. Б.

Как видно из проведенного анализа, использование дополнительной информации дало не так много, как хотелось. Количество, точность и достоверность получаемой информации сильно зависит от количества используемой дополнительной информации о значимости исходных данных успеваемости и, конечно, от собственно оценок успеваемости по отдельным дисциплинам. Добавление дополнительной информации будет способствовать получению новой, более точной и достоверной информации.

Полученные оценки сводного показателя для каждого студента могут быть использованы при решении самых различных задач, в том числе, например, экономической оценки молодого специалиста.

Ниже рассмотрим задачу оценки качества подготовки специалистов в подразделениях вуза (факультет).

Сначала попробуем оценить качество подготовки студентов по конкретным предметам. В качестве исходных данных используем транспонированную матрицу оценок успеваемости студентов группы (см. табл. 1). Объектами оценивания будут изучаемые дисциплины, а характеристиками — студенты. Таким образом, студенты выступают в роли экспертов. Мы считаем, что такая постановка задачи вполне корректна. Предполагаем, что значимость экспертов различна и зависит от общей успеваемости эксперта-студента. Все эксперты разделены на четыре группы на основании результатов предыдущего применения метода МРСП. В общем случае возможно деление на большее или меньшее количество групп. В табл. 8 приведены исходные данные в нужной форме с указанием разбиения на подмножества в соответствии с выбранной иерархией. Оценки студентов сгруппированы по выбранным множествам студентов. Порядок следования групп не играет никакой существенной роли. Это же относится и к порядку внутри групп. Таким образом, оценки сводных показателей будем строить, исходя из двухуровневой иерархической системы. На первом этапе строим оценки сводных показателей по каждой отдельной группе, на втором — оценки сводного показателя по всей группе студентов.

Для генерирования дополнительной информации о значимости экспертов будем использовать информацию об общей успеваемости студентов по всем предметам, которую мы имеем на основе применения АСПИД-методологии при анализе студенческой успеваемости. В табл. 9 представлены формальные записи этой информации. Кроме этого, предполагаем, что оценки (мнение) отличников более ценно, чем хорошистов, и т. д. Оценки сводного показателя по отдельным предметам представлены на АСПИД-диаграмме (рис. 2).

о

чо

34 со со 32 со 30 29 28 27 26 25 24 23 22 ю 20 со --а о сл со ю £ о со --а СГ> сл со ю №

КР2 КР1 мои МЦБ ФМ эпп о; им пм тмо МИ2 МИ1 МаЭ МиЭ ЭТк/р ЭТ2 ЭТ1 СА эс СЭС Мк/р ом ИЭУ ИЯ © я я ти мс ТВ МА2 МА1 | ЛА2 ЛА1 Название дисциплины

сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл Абашеева Е. К. Отличники

сл сл сл сл сл сл со сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл сл со Иванова К. Б.

сл сл сл сл сл сл сл сл сл со сл сл сл сл сл сл сл сл со сл сл Полякова К. К.

сл сл сл сл со сл сл сл со сл сл сл сл со сл сл сл сл сл сл Андреева М. Л.

сл сл со сл сл со сл сл сл сл сл сл со сл сл со со со Станишевская А. С. Хорошисты

сл со сл со сл сл сл сл сл со сл сл со со сл со сл сл со сл сл сл сл сл Остроумова Е. П.

сл сл со со сл со сл сл сл сл сл сл со сл со сл сл сл сл со сл сл сл Бутомо К. В.

сл сл со сл со со сл сл сл со сл сл сл сл сл сл сл сл со Голубев Г. А.

сл сл со сл сл со со со со со со со сл сл сл сл сл сл сл сл сл сл со сл сл со сл сл Григорьева Е. Б.

сл сл со со сл сл сл сл сл сл со со сл сл со со сл сл сл Клюшкин А. И.

сл сл со со со со сл со сл сл сл сл со сл сл сл сл со сл сл со сл сл сл со со Чирик А. А.

сл со со со со сл со сл со со со со сл сл со сл со со сл сл со со Федорова Т. В. Средненькие

сл со со со со со со со со сл сл со со сл сл со со со со сл со со со Сафонова Т. В.

со со сл со сл со со сл со со со со сл со со со со сл сл со со со со со со Семилетова Е. О.

сл со со со со со со со со сл сл со со сл со со со сл со со со Кочетова В. В.

сл со со со со со со со со со со со со со со со сл со со со со со со со Спецакова В. Е.

сл со со со со со со сл со со сл со со со со сл сл со сл со со со Хомутнникова М. В.

сл со со со со сл со со со сл со со со со со со сл со сл со сл со со со со Приходько Е. И.

со со со со со со со со сл со сл сл со со со со со со со со Лапенкова И. И. Минима- листы

сл со со со со со со со со со со со со со со со со сл со со со сл со со со со со со со со Рыхлицкий А. Б.

со со со со со со со со со со со сл сл со со сл сл со со со со Налимова А. Б.

со со со со со со со со со со со сл сл со со сл сл со сл со сл сл со Сергеев Д. Б.

4,5 4,136 3,727 3,773 3,636 4,091 3,636 3,273 4,227 3,591 3,364 4,455 3,636 4,636 4,045 4,227 со со со 3,955 4,909 4,636 4,091 3,591 4,636 4,273 3,455 4,364 4,045 4,045 3,773 3,909 3,682 СБ

0,75 0,528 I 0,278 0,306 I 0,222 0,5 I 0,222 о 0,444 о сл со со 0,194 0,056 I 0,722 0,222 I о со со со 0,472 I о сл со со о о ю со 0,417 - о со со со 0,444 I 0,5 I 0,444 0,194 I о со со со 0,611 I 0,111 0,667 I 0,472 0,472 I 0,306 о со со 0,25 НСБ

а3

Оо

Успеваемость студентов по отдельным дисциплинам

Таблица 9

Дополнительная информация (ординальная) о значимости студентов как экспертов

Отличники Средненькие

Абашеева Е. К. > Иванова К. Б. Федорова Т. В. > Сафонова Т. В.

Иванова К. Б. > Полякова К. К. Федорова Т. В. > Семилетова Е. О.

Полякова К. К. > Андреева М. Л. Федорова Т. В. > Кочетова В. В.

Федорова Т. В. > Спецакова В. Е.

Хорошисты Федорова Т. В. > Хомутнникова М. В.

Федорова Т. В. > Приходько Е. И.

Минималисты

Сергеев Д. Б. < Лапенкова Н. Н.

Сергеев Д. Б. < Рыхлицкий А. Б.

Сергеев Д. Б. < Налимова А. Б.

Следует отметить, что полученные оценки измерены при помощи исходных данных успеваемости только выбранной группы студентов. В целом по факультету необходимо использовать данные по всем студентам, которые занимаются по одному и тому же учебному плану.

1,2

0,8

0,4

МаЭ МС ЭИ ИЯ ИЭУ ЭС

ФМ МОИ МИ2 ИМ ОМ МИ1

Рис. 2. АСПИД-диаграмма оценок сводного показателя верхнего уровня иерархии

по отдельным дисциплинам.

1,2

0,8

0,4

Для получения оценок качества подготовки специалистов по отдельным группам дисциплин можно использовать данные, полученные на одном из этапов оценивания отдельных студентов. В нашем случае это оценки сводных показателей отдельных

0,6

0,6

0,2

0,2

0

0

п

Э

И

Ф

К/р ММФ ММ2 ММ1 эт оэд огд омд Группа дисциплин

О о о о о о о о о о о о о Абашеева Е. К.

о о о о о о о о о <Г) <Г) о о <Г) со ^1

о ю ю о о ю о о со со о о о

о о о о о о о о о о о о о Иванова К. Б. о

о о о о о о о о о гг> <х> 01 о о со (*■)

о ю ю ю о о о о со о о о к

о о о о о о о о о о о о о о о Полякова К. К. к

о о о о о о о о о гг> гг> ГГ> сг> сг> сг> ^1 N

о ю ю о о о ю ю о СЛ ю я м

о о о о о о о о о о о о о о о Андреева М. Л.

о о о о о о о о о гг> 01 01 <Г) со <Г) ±

о ю о ю о ю о о о о СЛ о

о о о о о о о о о о о о о о о о Станишевская А. С.

о о о о о о о о ^1 СЛ СЛ ГГ> ГГ> <х> ^1 со

со о и1 со ю и1 о о со ю о ю

о о о о о о о о о о о о о о о Остроумова Е.П.

о о о о о о о о ^1 со 01 о 01 м ^1 <Г)

со ю СП о ю со СП со о о о 4^4 (X

о о о о о о о о о о о о о о о Бутомо К. В.

о о о о о о о о о со со ^1 <Г) со <Г) ^1

о ю ю о 4^4 о о со со ю о и1

о о о о о о о о о о о о о о о о Голубев Г. А. та п

о о о о о о о о СЛ гг> сл со ^1 <х> ^1 4^4 с

о ю и1 о о о о и1 и1 о и1 к

о о о о о о о о о о о о о о о Григорьева Е. Б. н

о о о о о о о о ^1 гг> со о <Г) о <Г)

со о ю о СП со о о о (X

о о о о о о о о о о о о о о о о Клюшкии А. И.

о о о о о о о о с л сг> ^1 сг> ^ч гг> гг>

о ю ю ю о 4^4 о о со 4^4 о (X

о о о о о о о о о о о о о о о Чирик А. А.

о о о о о о о о о о со гг> <х> гг> гг> СЛ

о о ю о съ со о о о со ю о со и1

о о о о о о о о о о о о о о о о Федорова Т .В.

о о о о о о о о ^1 н^- н^- с л с л СлО со

со ю ю со СП со СП о о о ю

о о о о о о о о о о о о о о о о Сафонова Т. В.

о о о о о о о о ^1 с л о о со с л о N*5

со о о о СП СП о о о ю о со ю

о о о о о о о о о о о о о о о о Семилетова Е. О.

о о о о о о о о ю со СО со |_^ 4*ч 4*ч N*5 п

со ю съ о СП со со СЛ со о о та

о о о о о о о о о о о о о о о о Кочетова В. В. т

о о о о о о о о с л со СО ю со гг>

о ю со о о со ю со о со (X к

о о о о о о о о о о о о о о о о Спецакова В. Е. я к

о о о о о о о о ^1 н^- н^- н^- н^- н^- м о (й

со ю ю о со о СП ю (X о о

о о о о о о о о о о о о о о о о Хомутнникова М. В.

о о о о о о о о ^1 о н^- N■5 со гг> 01 СлО

со о ю СП ю 4^4 о СП о 4^4 о ю

о о о о о о о о о о о о о о о о Приходько Е. И.

о о о о о о о 01 о СО м н^- 4^4 н^-

о о СП о со о о со (X о со ю

о о о о о о о о о о о о о о о о Лапенкова Н. Н.

о о о о о о о о ю н^- н^- н^- гг> ГГ> о N*5

со ю ю 4^4 о СП ю ю о со ю

о о о о о о о о о о о о о о о о Рыхлицкий А. Б. к

о о о о о о о 01 о н^- о о СО н^- о

о о ю о о со о о о о о о (X о

о о о о о о о о о о о о о о о о Налимова А. Б. р

о о о о о о о о Ю о ю ю ГГ5 со к

со о ю 4^4 со о СП о ю СЛ о ю о н

о о о о о о о о о о о о о о о о Сергеев Д. Б. &4

о о о о о о о о о о о Ю со 4^4 с л со

о о о ю ю о о о о 4^4 со о ю (X

53

Исходные данные для оценивания по отдельным группам дисциплин

студентов на первом уровне иерархии (см. табл. 4). Будем применять транспонированные матрицы числовых оценок и дисперсий сводных показателей успеваемости студентов по группам дисциплин (табл. 10). В качестве характеристик используется успеваемость студентов. Выбранная группа студентов выступает как эксперты для оценивания качества преподавания по отдельным группам дисциплин и получения оценок одного сводного показателя по группе студентов «экономическая кибернетика». Количество таких сводных показателей на первом уровне иерархии совпадает с количеством групп, для которых структура учебного плана совпадает по выбранным группам дисциплин. Напомним, что внутри группы дисциплин возможны отличия как по составу, так и по количеству часов. Более того, при получении аналогичных оценок по группам других специальностей соотношение значимостей отдельных дисциплин может отличаться от выбранной специальности. На втором уровне оценки сводных показателей отдельных групп дисциплин, измеренных по каждой группе, сворачиваются в глобальную оценку качества подготовки студентов по специальностям, родственным по выбранному множеству групп дисциплин. Для экономического факультета — это все или почти все специальности. Таким образом, можно построить сводный показатель, характеризующий уровень качества подготовки экономиста на экономическом факультете.

Следует отметить, что успеваемость студентов — это один из главных факторов качества подготовки специалиста, но не единственный. Приведенный пример иерархической системы оценивания качества требует дальнейшего расширения и совершенствования.

При построении оценок по обобщенным группам дисциплин исходными данными являются результаты, полученные на основе применения АСПИД-методологии. А они носят вероятностный характер. Поэтому необходимо применять не только собственно числовые оценки исходных показателей, но и оценки их точности. Современная программная версия метода МРСП позволяет это делать.

На уровне отдельного вуза на разных факультетах учебные планы имеют значительные различия. Однако на втором уровне иерархии (см. табл. 1) находятся показатели, которые применимы к любой специальности на любом факультете в любом вузе. Используя эту особенность, можно построить сводный показатель, оценивающий качество подготовки специалиста в каждом вузе.

1 Михайлов М. В. Модель оценки качества институтов высшего профессионального образования // Вестн. С.-Петерб. ун-та. Сер. 5: Экономика. 2006. Вып. 4. С. 74-82.

2 Васенёв Ю. Б., Михайлов М. В., Хованов Н. В.Оценка деятельности субъектов учебного процесса // Материалы Конференции КС и УМО вузов в области инновационных междисциплинарных образовательных программ 14-15 апреля 2005 г. СПб., 2005. С. 42-51.

3 Михайлов М. В. Иерархическая модель оценки качества подготовки специалистов высшего профессионального образования // Материалы VIII Всероссийской научно-методической конференции «Развитие тестовых технологий в России» 11-15 ноября 2006 г. СПб., 2006. С. 31-32.

4 Колесов Д. Н., Михайлов М. В., Хованов Н. В. Оценка сложных финансово-экономических объектов с использованием системы поддержки принятия решений АСПИД-З”: Учеб.-метод. пособие. СПб., 2004.

5 АСПИД — автоматизированная система принятия решения в условиях информационного дефицита.

Статья поступила в редакцию 19 апреля 2007 г.