CC BY
16
МОДЕЛЮВАННЯ I УПРАВЛ1ННЯ
УДК 519.769
М.ДЖ. МАРДАНОВ*, Р.Р. РЗАЕВ** ***■ ****, Н.С. ИБРАГИМОВ*****, З.Р. ДЖАМАЛОВ*
ФОРМИРОВАНИЕ РЕЙТИНГОВ УНИВЕРСИТЕТОВ НА ОСНОВЕ КОМПИЛЯЦИИ ЭКСПЕРТНЫХ ОЦЕНОК В ЛОГИЧЕСКОМ БАЗИСЕ НЕЙРОННОЙ СЕТИ
Институт математики и механики НАН Азербайджана, г. Баку, Азербайджан Институт систем управления НАН Азербайджана, г. Баку, Азербайджан Азербайджанский технический университет, г. Баку, Азербайджан
Азербайджанский государственный университет нефти и промышленности, г. Баку, Азербайджан Ленкоранский государственный Университет, г. Ленкорань, Азербайджан
Анотаця. У cmammi пропонуеться методика конструктивног оцтки ефективностг дгяльностг yHieepcumemie i3 залученням безлiчi критерпв, скоригованих nid регiональну специфту. Дана безлiч складаеться з 18 критерИ'в i розбита на три роздти за ключовими показниками: «Потенщал», «Активтсть i яюсть освти», «Мiжнароднe визнання». Деяю з них обчислюються як частки об'ектiв або рeзультатiв дiяльностi утверситету певног якостi щодо загального гх числа або об-сягу. Iншi показники носять виключно яюсний характер, наприклад, так як nривабливiсть серед абiтурiентiв та/або репутащя серед роботодавщв. Ряд показниюв е розрахунковими за тими чи тшими схемами, як, наприклад, рiвeнь участi утверситету в мiжнародниx програмах. Iншi пред-ставляють собою абсолютн значення вимiрювань. Запропонована методика враховуе той факт, що рiзнi показники дiяльностi унiвeрситeтiв мають рiзнi ваги у визначенн гх рейтингу, а гх nрiоритeти повинн змтюватися в залeжностi вiд специфти утверситету, його розмiру, вту та ряду тших характеристик. У рeзультатi такого аналiзу проводиться не ттьки ранжування унiвeрситeтiв, але й намiчаеться мехатзм його поступального розвитку. Виходячи з цих мiрку-вань, у рамках зазначеног методики пропонуеться niдxiд до багатокритeрiальног оцтки освттх послуг i ранжування унiвeрситeтiв, заснований на комбтованому застосуванн експертних оцток i нейромережевого моделювання. Отриман на основi експертних висновюв знання як зовншне ставлення до зважених сумарних оцток унiвeрситeтiв комтлюються в ефективн внутршн уяв-лення про них у логiчному базис тришаровог feedforward нейронног мeрeжi.
Ключовi слова: рейтинг утверситету, експертна оцтка, коефщент конкордацп, комтлящя знань, нейронна мережа.
Аннотация. В статье предлагается методика конструктивной оценки эффективности деятельности университетов с привлечением множества критериев, скорректированных под региональную специфику. Данное множество состоит из 18 критериев и разбито на три раздела по ключевым показателям: «Потенциал», «Активность и качество образования», «Международное признание». Некоторые из них вычисляются как доли объектов или результатов деятельности университета определённого качества относительно общего их числа или объёма. Другие показатели носят исключительно качественный характер, например, такие как привлекательность среди абитуриентов и/или репутация среди работодателей. Ряд показателей являются расчётными по тем или иным схемам, как, например, уровень участия университета в международных программах. Остальные представляют собой абсолютные значения измерений. Предлагаемая методика учитывает тот факт, что различные показатели деятельности университетов имеют разный вес в определении их рейтинга, а их приоритеты должны меняться в зависимости от специфики университета, его размера, возраста и ряда других характеристик. В результате подобного анализа производится не только ранжирование университетов, но и намечается механизм его поступательного развития. Исходя из этих соображений, в рамках указанной методики предлагается подход к многокритериальной оценке образовательных услуг и ранжированию университетов, основанный на комбинированном применении экспертных оценок и нейросетевого моделирования. Полученные на основе экспертных заключений знания как внешние представления о взве-
© Марданов М.Дж., Рзаев Р.Р., Ибрагимов Н.С., Джамалов З.Р., 2019 ISSN 1028-9763. Математичш машини i системи, 2019, № 1
шенных суммарных оценках университетов компилируются в эффективные внутренние представления о них в логическом базисе трёхслойной feedforward нейронной сети.
Ключевые слова: рейтинг университета, экспертная оценка, коэффициент конкордации, компиляция знаний, нейронная сеть.
Abstract. The article proposes a method of constructive assessment of the effectiveness of university activities involving a variety of criteria, adjusted for regional specificity. This set consists of 18 criteria and it is divided into three sections - according to the key indicators «Potential», «Activity and quality of education», «International recognition». Some of them are calculated as fractions of objects or results of the university activity of the certain quality relative to their total number or volume. Other indicators are exceptionally qualitative, such as attractiveness among applicants and/or reputation among employers. A number of indicators are calculated by various schemes, such as, for example, the level of university participation in international programs. The rest are absolute measurement values. The proposed methodology takes into account the fact that different indicators of university activities have different weights in determining their ranking, and their priorities should vary depending on the specifics of the university, its size, age and the number of other characteristics. As a result of such analysis, not only the ranking of universities is made, but also the mechanism of its progressive development is outlined. Based on these considerations, within the framework of this methodology, an approach to multi-criterion evaluation of educational services and ranking of universities based on the combined use of expert evaluations and neural network modeling is proposed. The knowledge obtained on the basis of expert opinions, as external representations of weighted total estimates of universities, is compiled into effective internal representations about them in the logical basis of a three-layer feedforward neural network.
Keywords: university rating, expert evaluation, coefficient of concordance, knowledge compilation, neural network.
1. Введение
Комплексный показатель качества образовательных услуг в университете отражает очень широкий спектр разнородных параметров, характеризующих степень соответствия образовательных программ, материально-техническое обеспечение учебного процесса, научно-методическую базу, кадровый состав и пр. Согласно Дж. фон Нейману, стремление получить адекватную модель для оценки слабоструктурированной системы, каковым, несомненно, является образовательный процесс в университете, теряет смысл, поскольку её сложность становится соизмеримой со сложностью самого процесса. Очевидно, что применение такой модели не может позволить относительно просто и наглядно интерпретировать механизм образовательного процесса, воспользоваться какими-либо формальными процедурами для исследования его характеристик и синтеза системы управления им. Более того, для образовательного процесса как сложной, открытой и динамически развивающейся системы применим принцип несовместимости Л. Заде [1], согласно которому невозможно получить точные и в то же время имеющие практическое значение суждения о её текущем и будущем состояниях. Поэтому многими рейтинговыми агентствами статистический расчёт ключевых показателей качества образовательных услуг производился путём взвешенного суммирования их составляющих с заранее выбранными весами, для идентификации которых прибегают к применению экспертных систем, где основным ресурсом выступают эвристические знания профильных специалистов.
Обычно экспертные системы обоснованно критикуют за то, что они не отражают причинно-следственные связи [2]. Аналитический же подход к оценке альтернатив позволяет сравнивать альтернативы посредством индекса, обобщающего в себе относительное влияние конечного числа факторов в виде многофакторной функции вида F — F(xl7 х2, ..., хп). Тем не менее, в условиях отсутствия достаточного объёма количественных данных, формирующих числовое представление об оцениваемых показателях, информацию о критериях оценки, информацию о предпочтениях, применяемые в принятии решений эконометрические модели вида F страдают сложностью обеспечения теку-
щими источниками данных факторов. Поэтому рабочую модель целесообразно представлять в виде «чёрного ящика», входы и выходы которого определяются экспертными оценками.
Исходя из последней парадигмы, в статье рассматривается подход к оценке качества образовательных услуг, основанный на компиляции экспертных знаний в логическом базисе многослойной нейронной сети.
Основной целью исследования является создание адаптивной методики для конструктивной оценки эффективности деятельности вузов посредством компиляции экспертных знаний в логическом базисе нейронной сети с привлечением многочисленных критериев, которые соответствуют региональной специфике.
2. Постановка задачи
Пусть X — {хк1,хк2,... ,хы} представляет собой совокупность факторов влияния (ФВ) на ключевые показатели (КП) ук (к = 1 г), характеризующие качество образовательных услуг альтернативных университетов из определённого набора A-{al,a2, ...,as}. Для согласованного отбора ФВ хы (г = 1 -ь ri) привлекаются m профильных специалистов, каждый из которых к тому же формирует ранговую оценку отобранного i -го фактора в виде r и соответствующее ему нормированное значение оценки обобщённого веса ФВ в виде atj так, чтобы для каждого j = \ + т выполнялось следующее равенство:
п
IX=1- (1)
?—i
В этом случае оценку ФВ xh.(i = 14-щ к = 1г) следует осуществить на основе двух методов анализа: сравнительную качественную оценку - методом простого ранжирования (или методом предпочтений экспертов) и количественную оценку - методом задания соответствующих весовых коэффициентов. Исходя из этих предпосылок, необходимо определить степень согласованности экспертных оценок относительно приоритетности ФВ хм (/ = 14 ri), идентифицировать их обобщённые веса и инициировать вывод взвешенного
суммарного индекса университета, теоретически располагающегося в пределах, например, отрезка [0; 100]. Для согласованной компиляции (consistent compilation) причинно-следственных связей между ФВ хм (/ = 1 ^п) и КП ук {к = 1 н- г), а далее суммарными индексами университетов или, другими словами, с целью компиляции приобретённых знаний (knowledge compilation) путём перевода внешнего представления знаний о взвешенных суммарных оценках университетов, полученных на основе экспертных заключений, в эффективное (адекватное) внутреннее представление, необходимо разработать аналитическую модель в логическом базисе многослойной feedforward нейронной сети.
3. Предварительный экспертный анализ относительного влияния факторов
Предварительный анализ влияния ФВ, отражающих качество образовательных услуг, включает: 1) отбор собственно ФВ, оказывающих существенное влияние; 2) идентификацию обобщённых весов для отобранных ФВ, исходя из их относительного влияния; 3) формирование КП образовательных услуг и, соответственно, взвешенных суммарных индексов - рейтингов университетов.
Для установления ранговых оценок ФВ хы (/ = 1 + п), оказывающих относительное влияние на соответствующие ключевые показатели университетов, привлекаются экспер-
ты, которым предлагается ранжировать переменную хи по следующему принципу: наиболее важную индексировать цифрой «1», следующую, менее важную, - цифрой «2» и далее по убыванию в порядке предпочтения эксперта. Полученные таким образом ранговые оценки суммируются и оцениваются на согласованность.
Для определения степени согласованности экспертных заключений относительно приоритетности ФВ ха(г = 1 , как правило, применяется коэффициент конкордации Кендалла, демонстрирующий множественную ранговую корреляцию экспертных мнений. Согласно [3], этот коэффициент вычисляется по формуле
(2)
т (п —п)
где т - число привлечённых экспертов, п - число ФВ, $ - отклонение экспертных заключений от среднего значения ранжирования ФВ х (/ = 1 и), которое вычисляется как [4]
т(п +1)
¿=1 ^
(3)
где Гу е {1, 2,... ,п} - ранг / -го фактора влияния, установленный ] -ым экспертом.
На предварительном этапе независимого анкетирования каждому из приглашённых экспертов также предлагается с учётом (1) установить значения нормированных оценок обобщённых весов ФВ хм(/ = 1 п) в виде , которые используются для последующей
идентификации весов переменных хм{г = 1 . Вначале рассчитываются групповые оценки ФВ и числовые характеристики (степени) компетентности экспертов. В частности, чтобы вычислить среднюю величину а. по /-ой группе нормированных оценок обобщённых весов ФВ хм(г = 1 +п), применяется равенство
(4)
где wj (V) - коэффициент, характеризующий степень компетентности ] -го эксперта (у = 1 т) на момент времени /. Как видно из (4), процесс нахождения групповых оценок нормированных значений обобщённых весов ФВ является итерационным и завершается при выполнении условия
шах{ |агг (7 +1) — (/)|} < ^, (5)
где е - допустимая точность расчётов, которая устанавливается заблаговременно. В рассматриваемых ниже примерах точность выбрана единой для всех случаев, а именно как е =0,0001.
Показатели компетентности экспертов wj (?) ( / = 1 т) на момент времени I вычисляются на основании следующих равенств:
I » _
= — У = 1> тЛ)'
т (6)
т 4 '
т-1
м?
т
где Wj(t) - показатель компетентности j -го эксперта в /-ом приближении, а ц(/) - нормирующий множитель, вычисляемый по формуле
п т
= О)
¿=1 3= 1
4. Ранжирование университетов на основе экспертных оценок ФВ
Каждый альтернативный университет ar(r = 1 -¡-s) из совокупности А характеризуется комбинированной системой различных (в том числе и по природе) показателей, отражающих качество образовательных услуг. Поэтому ранжирование университетов из заявленной совокупности A осуществляется посредством количественных оценок факторов, оказывающих на ключевые показатели существенное влияние. При этом рейтинг университета как консолидированный индикатор его оценки агрегирует относительное влияние рассматриваемого числа ФВ посредством взвешенного суммирования их экспертных оценок. Согласно рекомендациям, вытекающим из международного стандарта ISO 9001:2015 (ISO -International Organization for Standardization) [4, 5], под качеством образовательного бизнес-процесса понимается способность основных его свойств отвечать требованиям участников процесса. При этом основными составляющими показателями здесь являются качество целей образовательного бизнес-процесса; качество средств и условий достижения целей образовательного процесса; качество конечного результата образовательного процесса.
Исходя из этих соображений, нами был выбран набор ФВ, характеризующих деятельность университета по трём основным КП: «Потенциал», «Активность и качество образования» и «Международное признание», который был также использован нами в [6] для оценки деятельности университетов посредством применения техники нечёткого вывода.
На стадии предварительной экспертизы оценка приоритетности и нормированных значений обобщённых весов ФВ хш (/ = 1 + список которых в составах, обозначенных выше КП yk(k = 1-=-3), представлен в табл. 1, осуществляется путём независимого анкетирования специально приглашённых для этого трёх групп профильных специалистов, например, по 15 экспертов в каждой.
Таблица 1 - Ключевые показатели образовательного бизнес-процесса и факторы влияния
x1 - «Потенциал» x2 - «Активность и качество образования» x3 - «Международное признание»
x11 Квалификация научно-педагогических кадров x21 Подготовка бакалавров и магистров x31 Привлечённые зарубежные специалисты
x12 Перспективность кадрового обеспечения x22 Подготовка докторантов x32 Членство в международных организациях
x13 Членство в структуре Академии наук x23 Эффективность специализированных советов x33 Уровень участия в международных программах
x14 Обладатели международных, государственных наград, почётных званий и т.п. x24 Привлекательность со стороны абитуриентов x34 Выигранные гранты (за последние 2 года)
x15 Материально-техническая база (материально-техническое обеспечение) x25 Репутация среди работодателей x35 Число обучающихся иностранных студентов и студентов, обучающихся за рубежом
Продолж. табл. 1
х16 Социально-культурная база (в том числе обеспеченность общежитиями и спортивными площадками) х26 Качество исследований (апробация научных результатов в стране и за рубежом)
х27 Трудоустройство выпускников
4.1. Идентификация обобщённых весов ФВ для ключевого показателя «Потенциал»
Пусть на этапе предварительной экспертизы путём независимого анкетирования 15-ти экспертов из профильной группы получены ранговые оценки г^ ФВ ху (/ = 14- 6) для ключевого показателя х «Потенциал», которые сведены в табл. 2. В данном случае, то есть при п-6 и т —15, коэффициентом конкордации, рассчитанным по формуле (2), при величине =2751,5, вычисленной на основании (3) и данных из табл. 2, будет число
2 3
Ш -12-2751,5/[ 15 (6 -6)]=0,6988. Величина Ж существенно превышает ключевой порог согласованности в размере 0,6, что свидетельствует о достаточно приемлемом уровне согласованности экспертных оценок по шестибалльной системе оценивания приоритетности ФВ л-„ (/ = 1 -=- 6).
На предварительном этапе независимого анкетирования каждому эксперту было также поручено установить значения нормированных оценок обобщённых весов ФВ ху (/ = 14-6) в виде гх , не нарушая условия (1). По результатам проведённого анкетирования выставленные экспертами значения также сведены в табл. 2.
Таблица 2 - Экспертные оценки рангов и нормированных значений весов ФВ ху (/ = 14- 6)
Эксперты Обозначение и индексация ФВ
хи х12 х13 х14 х15 х16
Оценки приоритетности (^ ) и нормированных значений обобщённых весов (а^ )
«1, ОС2, , ОС3, Г4) «4, Г5, ОС5, ^ ОС6,
01 1 0,300 2 0,250 3 0,150 4 0,125 5 0,100 6 0,075
02 1 0,350 3 0,175 2 0,200 5 0,100 4 0,150 6 0,025
03 0,300 1 0,350 4 0,100 3 0,150 5 0,075 6 0,025
04 1 0,250 3 0,175 2 0,200 4 0,150 6 0,100 5 0,125
05 0,250 1 0,300 4 0,150 3 0,200 5 0,075 6 0,025
06 1 0,400 4 0,125 2 0,200 3 0,150 6 0,025 5 0,100
07 1 0,275 2 0,250 3 0,200 4 0,175 6 0,025 5 0,075
08 0,250 3 0,200 4 0,175 1 0,300 5 0,050 6 0,025
09 1 0,450 2 0,250 4 0,100 3 0,125 5 0,050 6 0,025
10 0,200 1 0,300 2 0,275 4 0,100 5 0,075 6 0,050
11 1 0,500 2 0,200 6 0,025 4 0,075 3 0,150 5 0,050
12 1 0,450 2 0,200 6 0,025 4 0,100 5 0,075 3 0,150
13 0,250 1 0,300 3 0,200 4 0,100 6 0,025 5 0,125
14 1 0,250 2 0,200 5 0,125 4 0,150 3 0,175 6 0,100
15 1 0,500 2 0,250 5 0,050 3 0,100 4 0,075 6 0,025
х 21 4,975 31 3,525 55 2,175 53 2,100 73 1,225 82 1,000
На основании данных, представленных в табл. 3, проведём предварительные расчёты для идентификации обобщённых весов ФВ ху (/ = 14-6). Так, полагая на начальном эта-
пе £ = 0 степень компетентности экспертов единой и равной и>(0) = 1/15, определим средние значения нормированных оценок обобщённых весов ФВ хи по всем группам / = 1 + 6, которые в 1-ом приближении находятся по формуле (4) в виде
бУг ( 1) = У ^/(О)^,-,- = У аи ^ ■ В результате искомыми оценками будут являться следующие числа: с^ (1)=0,33167; а2( 1)=0,23500; а3 (1)=0,14500; а4 (1)=0,14000; а5 (1)=0,08167; а6 (1)=0,06667. Не трудно заметить, что при £=0,0001 требование (5) для 1-го приближения не выполняется. Поэтому, чтобы перейти на следующий этап итерации, вычислим нормирующий множитель 77(1) по формуле (7) в виде
6 15
Г!(\) = =0,33167-4,9750+0,23500-3,5250+0,14500-2,1750 +
¿=1 У=1
+ 0,14000- 2,1000+ 0,08167-1,2250+ 0,06667-1,0000 = 3,2545.
Тогда, на основании формулы (6) показатели компетентности экспертов корректируются с учётом следующих равенств:
1 6 14
Е«гак; ^ 15(1) = 1-1>;а) с/=1*14).
ЧКЧ ¿=1 /-1
В результате данной коррекции получены соответствующие значения показателей компетентности экспертов: щ (1)=0,0647; щ (1)=0,0658; щ (1)=0,0691; щ (1)=0,0585; щ (1)=0,0648; щ (1)=0,0678; щ (1)=0,0647; щ (1)=0,0624; щ (1)=0,0755; щ0 (1)=0,0615; щ (1)=0,0745; щ2 (1)=0,0707; щ (1)=0,0635; щ4 (1)=0,0584; щ (1)=0,0779.
В этом случае средними значениями групповых нормированных оценок весов ФВ хи во 2-ом приближении, рассчитанных в виде д. (2) = У*.^ м?, (1 )ап, будут числа: ах (2)=0,33934; а2 (2)=0,23531; (2)=0,14063; а4 (2)=0,13815; а5( 2)=0,08119; а6(2)=0,06538.
Проверяя эти значения на выполнение условия (5) и убедившись, что оно вновь не выполняется, а именно:
шах{|аг (2) - аг (1)|} = шах {|0,33934- 0,33167|;|0,23531- 0,2350С|; |0,14063- 0,1450С(;
|0,13815-0,14000|;|0,08119-0,08167|;|0,06538-0,06667]} = 0,00767> £, приступим к вычислению нормирующего множителя г}(2):
6 15
г/{2) = УУ^аг{2)аг] =0,33934-4,975 + 0,23531-3,525 + 0,14063-2,175 +
¿=1 У=1
+ 0,13815-2,100 + 0,08119-1,225 + 0,06538-1,000 = 3,2785.
В этом случае соответствующими показателями компетентности экспертов щ (2) (7 = 1415) уже будут: ^ (2)=0,0647; м>2 (2)=0,0658; м>3 (2)=0,0691; м>4 (2)=0,0583; щ (2)=0,0646; щ (2)=0,0679; щ (2)=0,0645; щ (2)=0,0621; щ (2)=0,0758; щ0 (2)=0,0611; щ (2)=0,0751; щ2 (2)=0,0711; щ (2)=0,0633; щ4 (2)=0,0582; щ (2)=0,0784. Тогда, полагая
на основании (3) а1 (3) = У*.^ и1, (2)ог.., получим средние значения нормированных оценок
ФВ Ху по группам / = 1 -н 6 в 3-ем приближении в виде следующих чисел: ах (3)=0,33975; а2(3)=0,23525; (3)=0,14037; а4 (3)=0,13804; а5 (3)=0,08123; а6 (3)=0,06537. Как видно из
шах{|аг(3) -аг(2)|} = шах{|0,3398 -0,3393 |;| 0,2352— 0,2353 |;| 0,1404-0,14061;
|0,1380-0,1381|;|0,0812-0,08121;| 0,0654-0,06541} = 0,0004 >е,
условие (5) вновь не выполняется. Поэтому переходим к следующей итерации, то есть к вычислению нормирующего множителя:
6 15
^(3) = ^^аг(3)ау =0,3 398-4,975+ 0,23 52-3,525+ 0,1404-2,175 +
¿=1 У=1
+ 0,1380-2,100 + 0,0812-1,225 + 0,0654-1,000 = 3,2796,
благодаря которому новыми показателями компетентности экспертов будут числа: щ (3)=0,0647; щ (3)=0,0658; щ (3)=0,0692; щ (3)=0,0583; щ (3)=0,0646; щ (3)=0,0679;
щ (3)=0,0645; щ (3)=0,0621; щ (3)=0,0759; щ0 (3)=0,0611; щ (3)=0,0751; щ2 (3)=0,0711;
1Г13(3)=0,0633; м>и (3)=0,0583; м>15 (3)=0,0781.
Тогда, с учётом (3), а точнее его частного выражения агг-(4) = ^ м? ,(Ъ)аи , получим
1 У J
окончательные средние по группам / = 1 + 6 нормированные оценки обобщённых весов ФВ Х1} в 4-ом приближении: а1(4)=0,33972; а2 (4)=0,23524; а3 (4)=0,14038; а4(4)=0,13804;
а5 (4)=0,08123; а6 (4)=0,06538, как видно из следующего:
шах{|аг(4)-ц(3)|} = шах{|0,33972-0,33975|;|0,23524-0,23525|;|0,14038-0,14037|;
|0,13 804 - 0,13 804|; |0,08123 - 0,08123|; |0,0653 8 - 0,06537|} = 0,000028 < е,
условие (5) уже выполняется. Другими словами, средние значения нормированных оценок весов ФВ хи по группам / = 1 + 6 в 4-ом приближении, то есть числа {«г (4)} (/ = 14-6) будем считать обобщёнными весами ФВ хи (/ = 1 + 6).
4.2. Идентификация обобщённых весов ФВ для ключевого показателя «Активность и качество образования»
Как и в предыдущем случае, результаты предварительной экспертизы ФВ хъ (/ = 14- 7) по
ключевому показателю х2 - «Активность и качество образования», проведённой усилиями
другой группы 15-ти профильных специалистов, сведены в табл. 3. При п = 1 и да = 15 коэффициентом конкордации Кендалла при величине отклонения экспертных заключений от среднего значения ранжирования Я =3992, вычисленной на основании (3) и данных из
2 3
табл. 3, будет число Ж - 12-3992/[15 (7 -7)]=0,6337, которое в силу Ж >0,6 отражает приемлемость согласованности экспертных оценок приоритетности ФВ хъ (/ = 1 + 7) , проведённой по семибалльной системе оценивания.
Таблица 3 - Экспертные оценки рангов и нормированных значений весов ФВ хъ (/ = 14- 7)
Эксперты Обозначение и индексация ФВ
х21 х22 х23 х24 х25 х26 х27
Оценки приоритетности (г ) и нормированных значений обобщённых весов (а^ )
ги «1, Г2, «2, Г3/ ОС3, Г4, «4, Г5, «5, Г6, «6/ а1}
01 1 0,300 2 0,250 3 0,150 4 0,125 5 0,100 6 0,050 7 0,025
02 2 0,200 3 0,150 1 0,400 4 0,100 5 0,075 6 0,050 7 0,025
03 1 0,250 2 0,200 3 0,175 5 0,125 4 0,150 6 0,075 7 0,025
04 1 0,350 2 0,250 3 0,150 4 0,100 5 0,075 7 0,025 6 0,050
05 3 0,200 4 0,150 2 0,205 1 0,250 5 0,100 6 0,070 7 0,025
06 2 0,175 3 0,125 4 0,100 5 0,075 1 0,450 6 0,050 7 0,025
07 2 0,225 1 0,250 3 0,200 5 0,100 4 0,175 7 0,015 6 0,035
08 4 0,100 5 0,075 3 0,150 2 0,250 1 0,350 6 0,050 7 0,025
09 1 0,450 2 0,250 6 0,035 4 0,075 5 0,050 3 0,125 7 0,015
10 2 0,225 3 0,200 4 0,175 5 0,100 6 0,035 1 0,250 7 0,015
11 3 0,150 2 0,250 1 0,350 4 0,100 7 0,025 6 0,050 5 0,075
12 1 0,500 2 0,200 3 0,125 6 0,035 5 0,050 4 0,075 7 0,015
13 1 0,350 2 0,250 3 0,125 5 0,075 4 0,100 6 0,065 7 0,035
14 2 0,225 3 0,200 1 0,275 5 0,075 4 0,150 6 0,050 7 0,025
15 1 0,450 2 0,150 5 0,075 3 0,125 4 0,100 6 0,065 7 0,035
I 27 4,150 38 2,950 45 2,690 62 1,710 65 1,985 82 1,065 101 0,450
Путём аналогичных действий, представленных в разд. 4.1, а также в полном соответствии с техникой экспертной оценки, рассмотренной в разд. 3, идентифицированы обобщённые веса факторов ключевого показателя «Активность и качество образования» в 4-ом приближении в виде следующих чисел: ах (4)=0,28770; а2(4)=0,20001;
а3 (4)=0,17630; а4(4)=0,11022; (4)=0,12519; а6 (4)=0,07068; а7 (4)=0,02990.
4.3. Идентификация обобщённых весов ФВ для ключевого показателя «Международное признание»
Результаты предварительной экспертизы ФВ х31. (/' = 1 * 5) по ключевому показателю хз -«Международное признание», проведённой 3-ей группой профильных специалистов, сведены в табл. 4. При п = 5 и т = 15 коэффициентом конкордации Кендалла при величине отклонения экспертных заключений от среднего значения ранжирования $ - 1448, вычис-
2 3
ленной на основании (3) и данных из табл. 4, будет Ж - 12-1448/[15 (5 -5)]=0,6436, которое является приемлемым с точки зрения согласованности экспертных оценок по пятибалльной системе оценивания приоритетности ФВ х31- (/ = 145).
Путём аналогичных действий, проведённых в разд. 4.1, а также в полном соответствии с техникой экспертной оценки, рассмотренной в разд. 3, идентифицированы обобщённые веса факторов ключевого показателя «Международное признание» в 4-ом приближении в виде следующих чисел: ах (4)=0,29642; а2(4)=0,26484; а3(4)=0,16573;
а4(4)=0,15367; а5 (4)=0,11933.
Таблица 4 - Экспертные оценки рангов и нормированных значений весов ФВ х31 (7 = 1 + 5)
Эксперты Обозначение и индексация ФВ
Х31 х32 х33 х34 х35
Оценки приоритетности (г ) и нормированных значений обобщённых весов (а^ )
ги аи «2, г3, «3, г4/ «4, Г5/ «5,
01 1 0,300 2 0,250 3 0,175 4 0,150 5 0,125
02 1 0,450 3 0,175 2 0,200 5 0,075 4 0,100
03 0,225 1 0,250 4 0,175 3 0,200 5 0,150
04 1 0,300 3 0,250 2 0,275 4 0,100 5 0,075
05 0,200 1 0,400 4 0,125 3 0,175 5 0,100
06 1 0,250 4 0,175 2 0,225 3 0,200 5 0,150
07 1 0,300 2 0,250 3 0,175 5 0,125 4 0,150
08 0,275 3 0,150 4 0,125 1 0,350 5 0,100
09 1 0,300 2 0,250 4 0,125 3 0,175 5 0,150
10 0,150 1 0,450 2 0,200 4 0,125 5 0,075
11 1 0,500 2 0,250 5 0,025 4 0,075 3 0,150
12 1 0,250 2 0,225 4 0,175 3 0,200 5 0,150
13 0,300 1 0,350 3 0,250 4 0,075 5 0,025
14 1 0,350 2 0,300 5 0,075 4 0,125 3 0,150
15 1 0,250 2 0,225 4 0,175 3 0,200 5 0,150
х 21 4,400 31 3,950 51 2,500 53 2,350 69 1,800
4.4. Идентификация обобщённых весов КП образовательного процесса
Для идентификации обобщённых весов КП ук{к-1 + 3), характеризующих образовательный процесс в университетах в целом по трём направлениям, также привлекается независимая группа экспертов, которые, как и в предыдущих трёх случаях, представляют свои ранговые оценки г^ и нормированные оценки их обобщённых весов ащ с учётом (1). Результаты предварительной экспертизы представлены в табл. 5.
Таблица 5 - Экспертные оценки рангов и нормированных значений весов КП ук(к = 1 + 3)
Эксперты Оцениваемые КП, их ранговые оценки (г^ ) и нормированные оценки их обобщённых весов (а^ )
у - «Потенциал» у2 - «Активность и качество образования» у3 - «Международное признание»
«1/ Г2/ Щ Г3/ «3/
01 1 0,400 2 0,350 3 0,250
02 1 0,450 3 0,150 2 0,400
03 1 0,500 2 0,300 3 0,200
04 1 0,450 3 0,150 2 0,400
05 1 0,500 2 0,350 3 0,150
06 1 0,400 3 0,250 2 0,350
07 1 0,600 2 0,250 3 0,150
08 1 0,700 2 0,200 3 0,100
09 1 0,500 2 0,400 3 0,100
10 2 0,400 1 0,450 3 0,150
11 1 0,500 2 0,300 3 0,200
12 1 0,550 2 0,250 3 0,200
13 1 0,400 3 0,250 2 0,350
14 1 0,550 2 0,250 3 0,200
Продолж. табл. 5
15 1 0,400 2 0,350 3 0,250
16 7,300 33 4,250 41 3,450
При п = 3 и т = 15 коэффициентом конкордации Кендалла при величине отклонения экспертных заключений от среднего значения ранжирования £ =326, вычисленной на
2 3
основании (3) и данных из табл. 5, будет Ш = 12-326/[15"(3 -3)]=0,7244. Значение Ж также является приемлемым с точки зрения согласованности экспертных оценок по трёхбалльной системе оценивания приоритетности КП ук (к = 1 * 3). Это послужило основанием для идентификации обобщённых весов уже в привычной манере и получения в 4-ом приближении их соответствующих значений: ах (4)=0,49146; а2(4)=0,28280; а3 (4)=0,22575.
5. Формирование взвешенных индексов образовательных услуг в университетах
Метод экспертных оценок предполагает обсуждение факторов на предмет их влияния на уровни ключевых показателей и рейтинги университетов в целом. Каждому из приглашённых экспертов предлагается в индивидуальном порядке оценить степень влияния факторов хшк = 1 3; ^=1*6; /2 = 1 * 7; /3 = 1 * 5) на ключевые показатели ук и, соответственно,
влияние показателей ук на значения индексов образовательных услуг в альтернативных университетах из конечного множества А = {а1, о2,а: \ по пятибалльной шкале: 5 - чересчур сильное; 4 - существенно сильное; 3 - сильное; 2 - слабое; 1 - незначительное; 0 - чересчур слабое.
Полученные таким образом экспертные оценки подвергаются анализу на предмет их согласованности (или противоречивости) по правилу: максимально допустимая разница между двумя экспертными заключениями по любому из ФВ хи не должна превышать 3.
Данное правило позволяет отфильтровать недопустимые отклонения в экспертных оценках альтернатив по каждому конкретному фактору влияния и ключевому показателю. Вывод суммарной взвешенной оценки к -го ключевого показателя ук (к = 1, 2, 3),
теоретически располагающегося в пределах от 0 до 100, осуществляется посредством следующего критерия оценки:
1 ^/"к
Ск=^-„-хЮО, П = 6,7,5, (8)
'к п
шах^аг, еи
, — 4 1 ; -1
Ч-1
где аг. - обобщённый весовой коэффициент ¿к -го фактора влияния, - экспертная
оценка степени влияния фактора на ключевой показатель по пятибалльной шкале. При этом максимальный индекс означает консолидированно чересчур сильное влияние всех факторов.
На основе применения критерия оценки (8) в табл. 6 представлены 50 альтернативных сценариев консолидированных экспертных оценок на предмет влияния факторов хы
на соответствующие КП ук (к = 1, 2, 3) в гипотетических университетах.
Вывод окончательного рейтинга ] -го университета (7=1* 50) , теоретически располагающегося в пределах от 0 до 100, осуществляется посредством взвешенного суммирования в следующем виде:
п
к
=0,49145-^ + 0,28280-+ 0,22575-(9)
к=1
где - обобщённые веса ключевых показателей, установленные в разд. 4.4. На основе значений КП ук (к = 1, 2, 3) и на основе (9) получены рейтинги заявленных 50-ти альтернативных университетов, которые также сведены в табл. 6.
Таблица 6 - Сценарии формирования ключевых показателей и рейтингов университетов
рии Ключевые показатели образовательных услуг в университете Значения ключевых показателей Рейтинг
хх - «Потенциал» «Активность и качество образования» «Международное признание»
Сцена] Факторы влияния Факторы влияния Факторы влияния
х11 1 х12 1 х13 1 х14 1 х15 1 х16 х21 1 х22 1 х23 1 х24 1 х25 1 х26 1 х27 х31 1 х32 1 х33 1 х34 1 х35 У1 У2 1 У3
Обобщённые веса Обобщённые веса Обобщённые веса еса
аи «12 «13 «14 0-15 «16 «21 0-22 «23 «24 «25 «26 «27 «31 «32 «33 «34 «35 а2 а3
0,33972 0,23524 0,14038 0,13804 0,08123 0,06538 0,28770 0,20001 0,17630 0,11022 0,12519 0,07068 0,02990 0,29642 0,26484 0,16573 0,15367 0,11933 0,49146 0,28280 0,22575
01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
02 2,58 3,28 3,48 3,80 2,58 3,44 0,41 0,17 0,41 0,02 0,86 0,95 0,52 1,00 1,00 1,00 0,46 0,78 61,95 8,31 17,82 36,82
03 3,16 3,97 3,61 4,76 2,39 0,68 1,00 0,52 0,52 0,11 1,08 1,25 0,34 2,03 3,40 0,46 4,44 3,03 68,16 14,55 52,45 49,45
04 4,25 1,39 2,26 3,09 0,39 0,10 4,71 1,61 3,81 2,13 3,95 4,00 2,84 1,60 2,49 1,05 0,50 3,88 51,08 68,91 36,95 52,93
05 0,29 2,51 3,67 2,39 0,39 1,80 1,14 4,47 0,47 2,92 2,18 3,48 4,05 0,16 4,41 1,83 4,70 4,02 33,63 45,34 54,41 41,63
06 0,34 2,01 3,24 2,02 3,50 4,36 1,15 0,26 3,51 3,36 0,24 3,88 2,82 4,14 4,71 1,24 4,57 2,59 37,82 35,23 73,83 45,22
07 1,99 0,25 0,32 0,82 0,07 2,25 1,13 1,07 3,42 1,20 4,65 2,26 2,92 0,99 0,45 4,22 1,40 0,88 20,89 42,11 28,64 28,64
08 3,20 0,58 2,14 2,95 2,33 2,82 3,01 1,92 2,50 0,99 3,60 2,72 4,28 1,34 0,80 4,06 3,86 0,12 46,08 51,45 37,79 45,73
09 0,21 0,36 1,20 0,90 1,74 1,96 3,08 0,54 3,12 4,80 3,75 3,49 0,71 3,16 1,46 0,99 1,23 3,11 14,41 56,23 40,95 32,23
10 1,79 1,18 1,60 1,36 0,28 0,60 1,32 1,05 1,75 0,30 3,57 2,58 2,92 4,48 0,93 4,25 3,47 0,70 27,26 32,96 57,91 35,79
11 0,11 4,37 3,50 1,87 4,12 0,07 0,17 4,06 4,50 2,45 0,48 3,28 0,67 4,21 0,27 0,86 0,20 3,15 43,01 44,73 37,37 42,22
12 3,23 4,17 0,01 4,63 2,77 2,38 0,79 0,87 1,37 1,98 4,51 1,74 3,47 4,33 4,76 3,23 1,81 0,86 62,01 33,02 69,20 55,44
13 4,37 1,29 3,04 2,86 3,03 1,49 2,74 0,94 2,29 1,53 2,64 0,54 0,28 4,89 2,97 0,89 2,81 0,06 59,04 38,49 56,45 52,64
14 1,79 2,37 4,37 2,18 0,56 2,64 1,85 0,89 0,27 3,90 3,97 2,83 1,36 2,39 2,95 3,33 2,89 0,49 45,95 38,47 50,88 44,95
15 0,06 3,66 4,04 0,96 4,03 3,92 2,83 3,11 1,13 0,96 0,19 0,03 1,68 4,39 3,17 2,23 4,04 1,95 43,31 36,33 67,28 46,75
16 4,91 4,91 2,78 1,31 3,94 3,33 2,79 0,50 3,40 0,69 3,21 3,72 0,98 1,38 0,19 2,84 2,18 0,95 78,61 45,45 27,57 57,71
17 4,80 2,65 3,70 1,03 0,08 4,69 1,47 0,51 4,68 0,67 0,63 4,38 3,36 4,63 0,59 3,54 1,73 3,44 64,58 38,23 55,83 55,15
18 1,47 1,13 4,31 2,47 3,27 3,17 3,30 4,76 4,11 3,56 1,65 4,75 2,20 0,84 0,17 4,17 4,15 0,55 43,69 72,56 33,77 49,61
19 1,92 3,36 3,92 3,67 4,58 3,65 2,42 1,27 4,13 0,74 2,29 2,89 2,82 0,58 1,01 3,61 4,55 0,58 62,15 46,74 36,12 51,92
20 1,18 2,30 2,18 3,27 0,62 0,45 0,38 4,97 0,94 1,12 1,00 0,74 4,71 0,98 1,09 0,36 0,32 0,03 35,58 34,20 13,83 30,28
21 4,54 4,64 2,95 3,78 4,80 2,24 1,17 2,14 2,24 0,99 4,96 1,05 3,99 4,72 0,85 4,04 3,51 4,53 82,10 41,70 67,47 67,37
22 3,56 4,22 4,59 3,55 3,29 4,15 4,16 1,47 3,15 3,96 1,59 0,30 4,87 3,73 0,15 1,5 1,11 3,89 77,53 56,97 40,58 63,37
23 0,94 3,57 4,19 0,15 4,71 2,54 2,57 0,33 3,45 4,67 4,92 2,85 2,59 1,74 0,31 4,27 2,52 5,00 46,35 56,48 45,79 49,09
24 1,40 1,77 0,59 1,81 1,29 1,26 2,22 3,86 4,63 1,36 1,93 3,74 4,86 3,38 4,72 2,42 3,27 2,00 28,27 60,56 67,88 46,34
25 2,48 1,19 2,44 2,78 2,02 0,82 1,58 0,31 0,61 2,23 4,54 3,46 1,67 2,13 0,52 1,53 2,85 1,87 41,33 34,66 33,68 37,72
26 0,80 4,98 0,96 2,39 2,41 2,96 0,84 0,59 1,69 2,99 2,45 4,39 4,36 3,55 0,38 0,86 1,87 1,78 45,93 34,69 35,90 40,49
27 0,78 2,50 3,25 3,47 1,77 3,76 0,34 0,06 1,37 4,26 0,20 1,14 2,62 4,73 2,74 4,73 3,97 2,57 43,59 20,08 76,57 44,39
28 3,41 4,68 3,56 3,25 3,98 2,93 2,95 3,96 0,49 3,48 3,61 2,42 4,79 0,39 4,26 1,31 4,99 2,94 74,46 57,53 51,57 64,51
29 4,89 0,35 1,51 3,25 3,10 0,97 1,41 1,09 2,04 4,80 2,02 0,25 3,70 0,85 1,61 1,55 0,11 4,85 54,37 37,85 30,62 44,34
30 4,65 3,06 2,74 1,21 1,97 3,00 1,95 2,11 3,93 2,71 1,24 0,16 3,27 2,99 1,51 3,27 2,31 0,47 64,19 44,78 44,78 54,32
31 2,93 3,40 0,74 2,22 2,32 2,70 3,24 3,37 3,41 4,30 0,78 0,97 3,16 1,76 3,95 0,72 2,59 0,07 51,44 58,83 41,87 51,37
32 0,61 3,04 4,01 1,70 2,15 2,99 0,03 1,50 0,24 0,92 4,97 1,83 1,12 2,99 2,2 4,76 2,23 4,83 41,78 24,79 63,54 41,89
33 2,38 4,26 0,67 2,01 0,62 3,97 2,14 4,36 0,11 4,22 4,25 0,44 4,94 0,15 1,81 3,59 2,52 3,21 49,91 53,68 37,78 48,24
34 1,97 1,95 3,71 3,19 1,09 0,35 0,17 2,31 3,84 1,80 0,06 0,41 1,33 2,19 4,99 4,92 4,4 3,48 43,99 29,25 77,55 47,40
35 1,83 4,43 2,80 4,86 4,61 1,01 1,00 1,73 3,95 4,71 2,60 1,21 3,26 3,24 3,46 2,05 3,91 2,40 63,34 47,15 62,08 58,48
36 1,34 2,79 2,37 3,54 1,12 4,11 3,06 3,38 1,65 1,76 1,40 0,23 2,91 1,57 2,28 3,92 0,57 1,78 45,86 46,39 40,38 44,77
37 4,08 1,77 3,04 0,23 0,90 3,48 3,88 1,94 1,44 4,02 0,28 3,03 0,98 2,89 0,52 0,84 1,94 0,20 51,22 49,61 29,11 45,77
38 0,33 0,45 0,30 0,32 0,02 0,01 5,00 4,26 4,53 5,00 4,90 5,00 5,00 1,19 1,05 2,95 3,53 2,61 6,15 95,10 39,47 38,83
39 4,12 2,58 0,77 2,07 1,83 1,39 2,24 2,56 3,06 0,79 1,76 4,40 4,44 2,75 4,61 0,46 3,66 4,47 52,77 48,96 64,16 54,26
40 4,21 2,20 4,94 4,68 0,08 4,22 1,99 4,96 2,77 4,23 4,30 0,57 0,47 2,12 2,02 2,88 1,11 1,66 71,42 62,24 40,19 61,77
41 4,88 4,88 4,69 4,72 4,96 4,98 4,03 4,06 4,85 3,77 1,64 2,49 4,09 4,16 4,72 3,53 3,85 1,75 96,85 74,93 77,37 86,25
42 2,94 3,27 3,45 1,06 2,91 1,81 4,56 3,51 1,96 0,34 4,30 0,82 0,97 4,72 3,11 1,94 3,63 3,35 55,04 60,47 70,04 59,96
43 2,32 3,02 2,89 0,91 0,99 3,32 4,80 1,71 2,24 3,01 1,36 3,79 2,51 1,61 0,85 2,98 1,42 1,70 46,55 59,24 32,35 46,93
44 1,30 3,50 3,97 2,71 2,03 3,87 2,54 1,03 2,09 3,44 2,66 4,28 1,32 3,54 3,22 0,62 2,14 2,00 52,28 47,16 51,45 50,64
45 1,37 2,53 1,59 2,28 4,89 4,56 1,56 0,63 0,94 2,47 4,32 1,64 4,84 2,28 3,13 4,66 3,17 1,03 45,86 36,33 57,74 45,85
46 2,89 3,50 0,39 3,59 3,25 2,48 1,13 0,45 0,81 0,39 0,49 0,34 2,74 3,30 3,18 4,6 4,27 2,99 55,64 15,37 71,91 47,93
47 0,75 0,73 0,98 1,17 1,05 0,00 1,73 2,97 0,01 1,17 2,72 3,64 3,03 1,10 0,59 4,51 4,58 4,98 16,24 38,25 50,56 30,21
48 1,80 1,69 4,37 1,17 1,12 1,70 3,12 1,91 2,97 0,11 1,31 2,81 3,81 4,72 2,38 4,82 3,10 3,84 39,70 45,88 75,26 49,47
49 4,69 4,43 4,38 4,71 4,29 4,46 4,94 2,39 0,05 2,89 2,27 1,21 3,66 5,00 4,89 4,56 4,64 5,00 90,80 54,13 96,85 81,80
50 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 5,00 100,0 100,0 100,0 100,00
6. Компиляция экспертных оценок в логическом базисе нейронных сетей
В рассматриваемой задаче внешние знания о 50-ти гипотетических университетах представляются в виде информационной модели (ИМ) !(>'1;,>'2;,>з;)—>г (табл. 6), где г; -количественный индекс (рейтинг) ] -го университета, рассчитанный по формуле (9), кото-
рая взвешенно суммирует консолидированные экспертные оценки относительного влияния КП ук (к = 1*3). Данная ИМ является отражением трёх других:
• ИМ1 КП «Потенциал» - {{х}и,х{2,х}и,х}ы,х(5,х(6) ;
• ИМ2 КП «Активность и
и > ./= качество
образования»
{(Х21,Х22,Х23,Х24,Х25,Х26,Х27) ^ У2] } /=15
• ИМз КП «Международное признание» - f(x(,,х32,xL,xk4,х(5) —> }^.
Мы исходим из того, что экспертные оценки относительного влияния величин ФВ на КП и, соответственно, КП на итоговый рейтинг университета не вызывают сомнения. Тогда предполагаемые многофакторные функции F, как отражающие причинно-следственные связи в рамках ИМ/; (к = 1, 2, 3), можно аппроксимировать трёхслойными feedforward нейронными сетями (рис. 1), индуцирующими на своих выходах сигналы вида
m 1
р=1
(10)
Neural Network
«wj _ 1
4
1
/
CK I—I
Рисунок 1 - Трёхслойная feedforward нейронная сеть в нотации пакета MATLAB
нелинейного нейрона
-t
из «скрытого»
где r - число компонентов входного вектора, m - число нелинейных нейронов в «скрытом» слое, подбираемом пользователем в процессе симуляции методом проб и ошибок,
w , и с - веса входных и выходных синоп-
pi р
тических связей, соответственно, в - порог
(смещение) р-то нелинейного нейрона из «скрытого» слоя, <р(-) - функция активации слоя, например, сигмоидального типа
^(0 = 1/(1+0-
На вход нейронной сети netk(k = 1 *3), компилирующей знания относительно к-го КП, поступают сигналы в виде значений из отрезка [0; 5], как вектор входа с компонентами по числу ФВ. Это необходимо, чтобы для каждого к = 1*3 аппроксимировать непрерывные функции Fk :R" —»i?1 (п = 6, 7, 5), представленные в виде таблиц (см. табл. 6). То
же самое необходимо и для компиляции знаний относительно обобщённого индекса образовательных услуг (рейтинга университета), а именно, чтобы аппроксимировать непрерывную функцию F : R3 —> R1 , представленную в табличном виде (табл. 6).
Для каждого случая единственный выход нейронной сети net ДА; = 1 *3) должен представлять величину соответствующего КП. В частности, чтобы работать правильно для аппроксимации функции F2: R7 —» R1, описывающей КП «Активность и качество образования», нейронная сеть net2 должна ответить, например, значением 8,31 в положении входного вектора (0,41; 0,17; 0,41; 0,02; 0,86; 0,95; 0,52) (см. сценарий 02 в табл. 6). При этом сеть имеет один «скрытый» слой, который включает 10 нелинейных нейронов с log-sigmoid функциями активации, диапазон которых позволяет реализовать выход в пределах отрезка [0; 100].
После обучения, тестирования и валидации нейронных сетей netк(к = 1*3) (см. рис. 2) по каждому из трёх КП формируются соответствующие продукции (результаты пар «вход» - «выход»), которые сведены в табл. 7.
Рисунок 2 - Результаты обучения, тестирования и валидации нейронной сети в нотации пакета МАТЬАВ для аппроксимации функции 1'\ : Н1 —>
Аналогичным образом строится нейронная сеть для агрегации итоговой оценки образовательных услуг в университетах, которая после аналогичного обучения, тестирования и валидации (см. рис. 3) формирует продукции в виде пар «Ключевые показатели» - «Рейтинг», также сведённые в табл. 7.
Рисунок 3 - Результаты обучения, тестирования и валидации нейронной сети в нотации пакета МАТЬАВ для аппроксимации функции Р : Р1 Р1
Таблица 7 - Формирование рейтингов университетов
Ключевые показатели Рейтинг университета
« & «Потенциал» «Активность и качество образования» «Международное признание»
Я е ц Экс- Нейросе- Эксперт- Нейросе- Эксперт- Нейросе- Экс- Нейросе
и пертная тевая ная тевая ная тевая пертная тевая
оценка оценка оценка оценка оценка оценка оценка оценка
01 0,00 0,0188 0,00 0,0686 0,00 0,8829 0,00 0,0316
02 61,95 61,9618 8,31 8,2359 17,82 17,9551 36,82 36,7539
03 68,16 68,1635 14,55 14,3692 52,45 52,4463 49,45 49,1038
04 51,08 51,0764 68,91 69,3700 36,95 36,9519 52,93 53,1984
05 33,63 33,6372 45,34 45,3455 54,41 54,4128 41,63 41,7246
06 37,82 36,8508 35,23 35,2199 73,83 73,7717 45,22 44,6864
07 20,89 20,8684 42,11 42,1265 28,64 28,6435 28,64 28,6908
Продолж. табл. 7
08 46,08 46,0857 51,45 51,6152 37,79 37,7762 45,73 45,3735
09 14,41 14,9971 56,23 56,2592 40,95 40,9515 32,23 32,5685
10 27,26 27,2331 32,96 32,9895 57,91 57,9082 35,79 35,7886
11 43,01 46,3261 44,73 44,7310 37,37 37,3721 42,22 43,4675
12 62,01 61,0264 33,02 33,0218 69,20 69,0470 55,44 54,6531
13 59,04 59,0469 38,49 38,3724 56,45 56,4514 52,64 52,5672
14 45,95 45,9496 38,47 38,4727 50,88 50,8841 44,95 44,8849
15 43,31 43,3068 36,33 36,3425 67,28 67,2792 46,75 46,5558
16 78,61 78,7962 45,45 45,4738 27,57 27,5686 57,71 57,8767
17 64,58 64,5871 38,23 38,2428 55,83 55,7920 55,15 55,1402
18 43,69 43,2915 72,56 72,6081 33,77 33,7698 49,61 49,5669
19 62,15 62,1774 46,74 46,6890 36,12 36,1225 51,92 51,8912
20 35,58 35,5564 34,20 34,2025 13,83 14,0862 30,28 30,3019
21 82,10 82,0656 41,70 41,8080 67,47 67,4749 67,37 67,0037
22 77,53 77,5959 56,97 56,9625 40,58 40,5751 63,37 63,2245
23 46,35 45,4093 56,48 56,4829 45,79 45,7892 49,09 48,5099
24 28,27 27,2830 60,56 60,5835 67,88 67,8841 46,34 46,5832
25 41,33 40,5524 34,66 34,8391 33,68 33,6756 37,72 37,4457
26 45,93 45,9250 34,69 34,4846 35,90 35,9049 40,49 40,3335
27 43,59 43,5918 20,08 20,0764 76,57 76,5683 44,39 44,5969
28 74,46 75,7915 57,53 57,5314 51,57 51,5720 64,51 64,7700
29 54,37 54,3733 37,85 37,8162 30,62 30,6292 44,34 44,0033
30 64,19 64,1980 44,78 44,8043 44,78 44,7845 54,32 54,3279
31 51,44 51,4410 58,83 58,8400 41,87 41,8704 51,37 51,2910
32 41,78 41,9174 24,79 24,7793 63,54 63,5641 41,89 41,9520
33 49,91 49,9084 53,68 53,6445 37,78 37,7822 48,24 47,9444
34 43,99 43,9741 29,25 29,2550 77,55 77,5220 47,40 47,3110
35 63,34 63,3474 47,15 47,1431 62,08 62,0964 58,48 58,3752
36 45,86 45,8651 46,39 46,4984 40,38 40,3779 44,77 44,4424
37 51,22 51,2232 49,61 49,9315 29,11 29,1209 45,77 45,5301
38 6,15 5,8152 95,10 95,0974 39,47 39,4730 38,83 38,7952
39 52,77 52,7713 48,96 48,9417 64,16 64,1703 54,26 54,3150
40 71,42 71,4253 62,24 62,2274 40,19 40,1874 61,77 61,5729
41 96,85 96,8443 74,93 74,9164 77,37 77,3735 86,25 86,2348
42 55,04 55,0467 60,47 60,4659 70,04 70,0230 59,96 60,1358
43 46,55 46,5473 59,24 59,4817 32,35 32,3463 46,93 46,6740
44 52,28 52,2910 47,16 47,1489 51,45 51,4424 50,64 50,5335
45 45,86 45,8835 36,33 36,2929 57,74 57,7432 45,85 45,7881
46 55,64 55,6425 15,37 15,3674 71,91 71,9148 47,93 47,9654
47 16,24 16,2502 38,25 38,2698 50,56 50,5571 30,21 30,1938
48 39,70 39,6985 45,88 45,8905 75,26 75,2391 49,47 49,6487
49 90,80 91,7047 54,13 54,1279 96,85 96,8525 81,80 81,7967
50 100,00 99,9931 100,00 99,3224 100,00 100,000 100,00 100,0035
7. Выводы
В статье предлагается методика конструктивной оценки эффективности деятельности вузов с привлечением множества критериев, скорректированных под региональную специфику. Список представленных в табл. 1 критериев не является полным и всеобъемлющим. Тем не менее, предлагаемая модель на основе экспертных заключений является типовой, которая при необходимости может быть диверсифицирована до более широкого списка критериев.
Для компиляции экспертных знаний относительно формирования рейтингов университетов в рамках данного подхода предлагается использовать нейросетевую модель (рис. 4), включающую на своём входе три сети пе1^ {к = 1 * 3), аппроксимирующие много-
факторные функции Fk :R" Rl (n = 6, 7,5), а на выходе feedforward - нейронную сеть
net, агрегирующую итоговую оценку образовательных услуг в университете в виде соответствующего рейтинга.
Для эффективного обучения, тестирования и валидации нейронных сетей в нотации пакета MATLAB использованы достаточные наборы экспертных оценок, которые определяли «внешние» представления о качестве образовательных услуг на всех уровнях иерархической структуры университета. Собственно, исходя из данных соображений и был выбран достаточно большой список различных альтернативных сценариев для формирования как ключевых показателей, так и суммарных взвешенных индексов, или, проще говоря, рейтингов университетов в целом.
Таким образом, предлагаемый подход к оценке образовательных услуг в университетах может быть достаточно быстро и легко адаптирован под решение задачи многокритериальной оценки альтернатив из разных областей и для любого числа факторов влияния. Основным преимуществом этого подхода, как нам кажется, является его возможность выявлять внутренние закономерности образовательного бизнес-процесса и, в определённом смысле, делать их транспарентными. В результате становится возможным не только интерпретировать текущую ситуацию в университете, но и указать пути разрешения проблем, стоящих перед ним и его структурными подразделениями. Очевидно, что для этого необходимо собрать достаточную статистику консолидированных экспертных оценок по всем критериям - факторам влияния и ключевым показателям образовательных услуг.
Данная работа выполнена при финансовой поддержке Фонда развития науки при Президенте Азербайджанской Республики - Грант № EiF/MQM/Elm-Tehsil-1-2016-1(26)-71/15/5).
СПИСОК ИСТОЧНИКОВ
1. Zadeh L.A. Outline of a new approach to the analysis of complex systems and decision processes. IEEE Trans. Syst. Man, Cybern. 1973. Vol. SMC-3. P. 28-44.
2. Bell M.Z. Why expert systems fail. Journal of Operational Research Society. 1985. Vol. 36, N 7. P.613-619.
3. Lin L., Hedayat A.S., Wu W. Statistical Tools for Measuring Agreement. New York: Springer, 2012. 173 p.
оценок образовательных услуг
4. Международный стандарт ISO 9001:2005. URL: https://pqm-online.com/assets/files/ pubs/translations/std/iso-9001-2015-(rus).pdf (дата обращения: 04.01.2019).
5. Site of International Organization for Standardization. URL: https://www.iso.org/standard/62085.html (дата обращения: 04.01.2019).
6. Марданов М.Дж., Рзаев Р.Р. Два подхода к комплексной оценке и ранжированию вузов. Проблемы управления и информатики. 2017. № 4. С. 36-55.
Стаття над1йшла до редакцп 11.01.2019
