CC BY
182
бзоры
УДК 519.862; 519.863; 330.43; 378.4
МОДЕЛИ 0Б0Л0ЧЕЧН0Г0 АНАЛИЗА ДАННЫХ И АНАЛИЗА СТ0ХАСТИЧЕСК0Й ГРАНИЦЫ В ЗАДАЧЕ 0ЦЕНКИ ЗФФЕКТИНН0СТИ
Ф.Т. Алескеров, В.Ю. Белоусова, В.В. Петрущенко
Систематизированы результаты эмпирических работ по расширению понятия эффективности вузов, способам корректировки моделей оболочечного анализа данных (ОАД) для неоднородных выборок, обоснованию выбора входных и выходных параметров модели, способам повышения эффективности университетов. Особое внимание уделено согласованности результатов, полученных с помощью различных моделей.
Ключевые слова: высшее образование; оболочечный анализ данных; стохастическая граница; оценка эффективности.
ВВЕДЕНИЕ
В течение последних 10 лет принятие управленческих решений (например, по разработке и реализации программ финансирования университетов) в сфере высшего профессионального образования базируется на оценке эффективности деятельности высших учебных заведений (вузов). Так, в некоторых странах-членах ОЭСР (Великобритании, Испании, Италии, Норвегии и Новой Зеландии) разработаны системы оценки результативности научно-технической деятельности университетов, на основе которых принимается реше-
1 Статья подготовлена в результате проведения исследования в Лаборатории анализа и выбора решений и Лаборатории экономики инноваций в рамках Программы фундаментальных исследований НИУ ВШЭ с использованием средств выделенной НИУ ВШЭ субсидии на государственную поддержку ведущих университетов РФ в целях повышения их конкурентоспособности среди ведущих мировых научно-образовательных центров. Кроме того, работа выполнялась при финансовой поддержке Минобрнауки РФ в рамках договора № 13.G25.31.0033 от 07.09.2010 г., заключенного между Минобрнауки РФ и ЗАО «Авикомп Сервисез» в целях реализации комплексного проекта «Создание высокотехнологичного производства инновационных программно-аппаратных комплексов для эффективного управления предприятиями и отраслями экономики современной России».
ние об объеме их финансирования из бюджетных источников [1].
Со стороны университетов также проявляется интерес к построению внутренних систем мониторинга результативности как учебно-образовательной, так и научно-исследовательской деятельности. Порой при реализации подобной системы учитываются результаты вуза в части интеграции науки и образования, коммерциализации и достижений в сфере исследований и разработок, а также кооперации с органами государственной власти и предприятиями реального и финансового секторов экономики. При расчете интегральной оценки результативности подразделений учебного заведения во внимание могут приниматься баллы, которые выставляют эксперты при проведении внешней экспертизы достигнутых результатов вуза в целом и его структурных подразделений в отдельности. Например, в Нидерландах подобный механизм используется уже более 15 лет [2]. В России, как показал опрос отечественных высших учебных заведений в 2005 г., также наблюдалось активное внедрение и развитие аналогичных систем, включая обратную связь от внешних экспертов [3].
Как для внутреннего мониторинга работы вуза, так и для оценки эффективности реализации государственных программ поддержки университетов,
02710289
требуется построение итогового ранжирования последних. Это позволит проводить сравнительный анализ вузов (так называемый benchmarking). Для этих целей необходимо решить как минимум две задачи — выбрать критерии для сравнения университетов и установить степень важности каждого из них. Решение первой задачи всецело зависит от содержательного контекста, для решения второй могут быть использованы исследуемые ниже математические модели оценки эффективности.
Первая часть обзора посвящена описанию основных математических моделей, вторая представляет собой обзор практики реализации методов, применяемых при оценке эффективности университетов. Приложение содержит подробную информацию о моделях, используемых различными авторами.
1. ОБЗОР МОДЕЛЕЙ
1.1. Оболочечный анализ данных
Оболочечный анализ данных (ОАД) представляет собой классический метод оценки эффективности различных фирм, в том числе и вузов [4]. Пусть имеется R университетов, каждый из которых характеризуется N входными и M выходными параметрами (ресурсами и результатами, соответственно). Запишем задачу: найти
max
при ограничениях
( м \ E и#ис 9k = i=1
N
Vix
11k
(1)
j = 1
M
E ui1il
^-< 1, l = 1,..., R;
N
E vxji j = 1
Vi, j: Uj > 0, vj > 0,
(2)
#г7 — 1-й выходной параметр к-го университета, х.х — }-й входной параметр к-го университета, и. и V. — весовые коэффициенты.
Задача (1) может быть преобразована в задачу линейного программирования [5]: найти
min 9
k
(3)
Рис. 1. Интерпретация ОАД в случае одного параметра входа и одного параметра выхода
при ограничениях
-qk + QX> 0; 9kxk-XX> 0; X> 0,
(4)
где Q, X — матрицы выходных и входных параметров всех университетов размера MsR и Ns R, соответственно, qk и xk — векторы выходных и входных параметров k-го университета, X — набор из R констант, а 9k — скаляр. Оптимальное в смысле минимума (3) значение величины 9k принадлежит отрезку [0, 1] и интерпретируется как эффективность k-го университета, причем чем вуз эффективнее, тем ближе значение 9 к единице.
Модель (1) работает в условиях постоянной отдачи от масштаба (англ. Constant Return to Scale — CRS). При отсутствии данного предположения требуется, чтобы в дополнение к ограничениям сумма компонент вектора X равнялась единице [6] (англ. Variable Return to Scale — VRS). Кроме того, разработана модель, в которой предусмотрена возможность считать часть показателей, подчиняющимися переменной отдаче от масштаба, а часть — постоянной [7].
Графическая интерпретация стандартного ОАД в случае единственного ресурса и результата приведена на рис. 1.
Эффективность фирмы B в моделях CRS и VRS
равна
00 оо°
и
оо
оо°
соответственно.
и> vj
Таким образом, ОАД позволяет оценить эффект масштаба SE = ® CRS (англ. Scale Economies);
9
VRS
здесь в числителе значение эффективности, полученное с помощью модели СЯ^, в знаменателе — с помощью модели
Принято говорить, что модель (3) является ориентированной на вход. Можно, напротив, максимизировать отношение линейной свертки входных параметров к выходным. Это приводит к модели ОАД, ориентированной на выход.
Иногда на компоненты вектора X накладывают дополнительные ограничения (ценностные суждения), например, вида
c < X < C.
(5)
Для выбора векторов c и С могут использоваться как экспертные оценки, так и поиск оптимальных обменных соотношений между параметрами входа и выхода [8]. К примеру, с помощью ОАД и статистических методов было построено ранжирование 21-го факультета Университета Бен-Гурион (Израиль) [9]. Авторы отмечают, что веса параметров u, v в задаче (1) для каждого университета разные, поэтому на основе модели ОАД невозможно составить ранжирование оцениваемых объектов. Для j-го факультета предполагалось
Zj = Vixij + ... + VNxNj,
W = Uiqij + ... + um qMj.
Далее общие для всех объектов веса V, U выбирались так, чтобы коэффициент корреляции между векторами Z, W был наибольшим. В качестве ранжирующего показателя использовалась величина T = W/Z. Позднее, используя идеи работы [10], авторы статьи [11] на основе ОАД построили модель, с помощью которой стало возможно определять целевые показатели ресурсов-результатов с учетом ценностных суждений. Эта методика была применена для оценки 42-х испанских университетов, для каждого университета были выделены целевые параметры с учетом экспертного мнения и без него.
1.2. Методы анализа стохастической границы (АСГ)
Идея этих методов заключается в экономет-рической оценке параметров производственной функции или функции издержек (или прибыли) исследуемой организации. Если говорить о производственной функции, то в качестве зависимой переменной может выступать качество образования, которое вуз дает студенту. К примеру, в Бразилии в качестве этого индикатора использовалось различие между баллами экзамена (аналог государственных экзаменов в России) выпускника и
первокурсника [12]. В Италии за качество и количество результатов образовательной деятельности вузов отвечала численность выпускников в соответствующий учебный год [13].
Однако для вузов наиболее широкое распространение получила оценка функции издержек
lnC. = Xiß - Pi + ер
(6)
где С{ — издержки 1-го университета, х. — набор объясняющих параметров, в — набор коэффициентов, подлежащих оценке, — компонента, отвечающая за случайное отклонение от границы эффективности, р; — компонента, отвечающая за отклонение от границы эффективности по причине неэффективности учебного заведения (в зависимости от вида функции получается техническая эффективность, эффективность по издержкам (или Х-эффективность) или эффективность по прибыли).
Отметим, что набор объясняющих переменных х, как правило, не ограничивается только ценами на входные параметры (факторы производства) и объемами (или ценами) выходных параметров (объемами производства) — для функции издержек или прибыли, или как в случае производственной функции — факторами производства. Дополнительно учитывается ряд контрольных переменных, как это было сделано, например, в работе [12]. Такими показателями могут быть демографические данные: доля студентов, работающих более 20 ч в неделю; доля светлокожих студентов; уровень образования матери студента; доля студентов женского пола; уровень отчисления студентов; средний возраст студентов. Кроме того, могут быть учтены показатели, характеризующие среду, такие как средний уровень дохода и среднее число лет обучения в школе в регионе, в котором находится университет. Дополнительно к переменным, характеризующим половую принадлежность студентов, место жительства, возраст, тип школы и уровень успеваемости, могут включаться и другие переменные, к примеру, размер университета (рассчитанный исходя из численности студентов) и направления подготовки студентов [13].
Также важен выбор закона распределения для случайной ошибки и компоненты неэффективности, соответственно. К примеру, в работе [14] предполагается, что компоненты р; и независимы и имеют полунормальное и нормальное распре-
+ 22 2 деление N+(0, стр) и N(0, стЕ). Параметры в, стр,
2
стЕ, а также р; и , как правило, оцениваются с помощью метода максимального правдоподобия. Оценку можно проводить и с помощью метода
наименьших квадратов (МНК), не вводя дополнительных предположений о законах распределения компонент, отвечающих за неэффективность и случайное отклонение от границы [15]. Однако в этом случае оценки коэффициентов вектора в будут смещенными, именно поэтому широкое распространение получил первый подход. Необходимо заметить, что имеются и эмпирические подтверждения тому, что оценки эффективности могут быть весьма чувствительны к спецификации модели и выбору закона распределения для компоненты неэффективности [13].
В качестве примера, где использовался АСГ, приведем работу [16], в которой проводилась оценка эффективности 121 английского университета за период с 2000 по 2003 г. и подобно работе [17] вычислялись эффекты масштаба и диверсификации. В статье [16] выбирается подход, основанный на том, что некоторым компонентам вектора разрешается быть случайными величинами с нормальным распределением. Используются
две различные версии . Результат — эффективность вузов снижается от наиболее престижного кластера к наименее престижному. Однако авторы ставят под вопрос высокую эффективность престижных университетов, так как, по их мнению, они вряд ли могут быть эффективными по издержкам. Возможная причина такого поведения модели заключается в том, что имеющиеся данные охватывают короткий период.
Другим примером применения АСГ может служить работа [18], в которой исследуется эффективность по издержкам 80-ти английских университетов за период с 1995 по 1999 г. Выбор авторов остановился на транслогарифмической форме границы эффективности. Оцениваемая модель имела вид
1пСй = хи'ви + Р,7 + ей
Й'
(7)
где Сй — суммарные издержки 1-го университета в 1-й год, хи — вектор объясняющих переменных (среди которых выделяются Q — вектор выходных параметров, № — вектор издержек, связанных с персоналом, и Z — вектор качества абитуриентов. Кроме того, в этот вектор входят квадратичные члены этих объясняющих переменных, а также произведения различных объясняющих переменных. Таким образом, учитывается перекрестное влияние параметров), в и — вектор оцениваемых коэффициентов, рй и ей — техническая неэффективность и случайная компонента соответственно.
Возникающие при этом технические тонкости описаны в тексте статьи.
Затем в этой работе поднимался вопрос, какие факторы приводят к неэффективности университетов. Использовались два основных объясняющих фактора — профессорско-преподавательский состав (ППС) и контингент студентов, причем каждый из них характеризовался отдельным набором параметров. Таким образом, сначала оценивалась модель (7), а после строилась регрессия полученных значений ии на объясняющие переменные. Методика, которой пользуются авторы, впервые была изложена в работе [19].
Таким образом, поскольку эконометрическая модель АСГ предполагает наличие единственного выходного параметра (объема производства, издержек или прибыли), то это сильно ограничивает возможность ее использования при оценке эффективности многоаспектной деятельности вузов. Еще одним препятствием к ее широкому распространению служит недостаточная численность выборки. Неоднократно было показано [17, 18], насколько высока роль функциональной зависимости формы границы эффективности в определении балла эффективности университета. Так, в транслогарифмической форме учтено перекрестное влияние объясняющих переменных и нелинейность зависимости зависимой переменной от объясняющих параметров, но для ее спецификации требуется существенное число наблюдений. Тем не менее, в большинстве случаев модель АСГ используется для того, чтобы сделать качественные выводы о структуре издержек университета, а также о факторах, оказывающих на нее влияние. По этой причине в литературе чаще всего встречается непараметрический (на основе ОАД) подход к оценке деятельности университетов.
2. ОБЗОР РАБОТ
На основе проведенного сравнительного анализа эмпирических исследований по оценке эффективности вузов представляется возможным выделить шесть направлений развития методологического инструментария в этой сфере, о которых далее речь пойдет более подробно:
• расширение понятия эффективности вузов;
• корректировка моделей ОАД для неоднородных выборок;
• обоснование выбора входных и выходных параметров модели;
• проверка согласованности результатов между разными наборами входных и выходных параметров модели;
• оценка факторов роста эффективности;
• проверка согласованности результатов по моделям АСГ и ОАД.
2.1. Расширение понятия эффективности вузов
В последнее время наблюдается расширение классического понимания эффективности, которая теперь не ограничивается только технической эффективностью, эффектом масштаба, эффективностью по издержкам или прибыли. Так, в работе [20] изучается разложение стандартной эффективности в смысле ОАД (обозначена как TE) на компоненты TE = SE- CE- PTE. Здесь SE — эффект масштаба, про этот индекс упоминалось в § 1. Под CE понимается эффективность загрузки , под которым понимается коэффициент, показывающий, насколько эффективно используются ресурсы, не возникает ли ситуаций, когда сокращение ресурса приведет к увеличению эффективности. Наконец, PTE — чистая техническая эффективность, показатель, игнорирующий эффект масштаба (см. также работу [15]).
Авторы проанализировали изменение эффективности и ее составляющих для 45 английских университетов с 1980 по 1993 г. Среднее значение эффективности TE увеличилось на 6 процентных пунктов, в основном благодаря чистой технической эффективности PTE и эффективности загрузки CE, тогда как эффект масштаба SE сыграл меньшую роль. Кроме подсчета значений эффективности ими была вычислена совокупная производительность факторов производства (Total Factor Productivity, TFP). Для этого был использован так называемый индекс Мальмквиста, идея построения которого заключается в определении функции расстояния между входными и выходными параметрами заданного университета в определенный момент времени относительно фиксированной технологии производства (более подробно см. работы [15], [22]). Индекс Мальмквиста также используется для анализа университетов Великобритании [23, 24], Австралии [25], Германии [26], Италии [27].
В работе [28] на основе модели ОАД оцениваются три различных аспекта эффективности 36-ти австралийских университетов. Прежде всего, вычисляется общая эффективность (Overall Efficiency), в качестве входных переменных учитываются численность научных работников и численность административных сотрудников, а в качестве выходных — численность студентов, численность аспирантов и объем грантов. Кроме того, учитывается оценка качества преподавания (Performance on delivery of educational services), доля отчисленных студентов и студентов, работающих полный рабочий день в течение обучения, средняя успе-
ваемость студентов. В исследуемый период наблюдалось существенное сокращение объемов государственного финансирования университетов, поэтому австралийские вузы вынужденно привлекали платежеспособных студентов, эта деятельность стала третьим аспектом анализа эффективности (Performance on fee-paying enrollments). Для этого были использованы такие данные, как численность иностранных студентов, оплачивающих обучение, численность отечественных аспирантов, не оплачивающих обучение. Общая эффективность и качество преподавания оказались достаточно высокими, не в пример привлекательности университетов для иностранных студентов.
Наряду с этим в литературе отдельное внимание стали уделять эффекту диверсификации деятельности вузов. К примеру, вычисляются эффекты масштаба и диверсификации, проводится качественный анализ структуры издержек [17]. В этом случае эффект диверсификации заключается в том, что более эффективными вузами оказываются те, у которых присутствует больший набор специальностей и факультетов. Модель имеет вид
C = f(Pv P2, Qx, Q2, Q3),
где С — суммарные издержки, P1 — цена капитала (основных средств), P2 — цена трудовых ресурсов, Qi, Q2, Q3 — три выходных параметра (исследовательская активность, численность аспирантов и магистров, численность бакалавров).
Для вычисления эффекта масштаба относительно трех выходных параметров применяется нормализация вида
% =
3
X QkCk(Q) k = 1
Эффективность загрузки отдельно исследуется в работе [21], где применяются три спецификации модели ОАД к выборке, состоящей из 45 английских вуза за период 1994—2004 гг.
где C(Q) — издержки от производства всех трех
выходных параметров и С, (О) = д—(С) , значения
к д0к
^ > 1, ^ = 1 и ^ < 1 соответствуют случаям возрастающей, постоянной и убывающей отдачи от масштаба, соответственно. Строится алгоритм вычисления эффекта масштаба для каждого входного и выходного параметра в отдельности.
Эффектом ассортимента считается величина = [С(Ор 0, 0) + С(0, О2, 0) + С(0, 0, О3) -- С(0]/С(0, где С(Ор 0, 0) С(0, О2, 0) и С(0, 0, О3) — издержки от производства только первого, второго и третьего выходных параметров, С(О) — суммарные издержки исследовательской деятельности, а также подготовки бакалавров и аспирантов.
Было получено, что отдача от масштаба для вузов носит возрастающий характер, а эффектов диверсификации выявлено не было. Последний результат, на первый взгляд, неочевидный. Однако университет действительно может не получать выгоды от одновременного производства всех трех выходных параметров, так как они необходимы для функционирования вуза. Аналогично вычисляются эффекты масштаба и диверсификации для 121 английского университета за период 2000—2003 гг. [16].
2.2. Корректировка моделей ОАД для неоднородных выборок
Для включения информации о неоднородности вузов в модели ОАД наиболее распространен расчет баллов эффективности внутри однородных групп учреждений. Так, в статье [29], аналогично работе [30], предпринята попытка выявить структурные различия между тремя категориями британских университетов. Первая из них состояла из 47 вузов, имевших статус университета до вступления в силу закона о высшем и дальнейшем образовании 1992 г. (Further and Higher Education Act 1992). Вторая включала в себя 34 вуза, получившие статус университета после 1992 г., а третья — 28 колледжей, специализирующихся на подготовке специалистов в творческих областях деятельности. Позднее разбиение всех вузов в выборке было осуществлено уже на пять групп не только в зависимости от даты основания университета, но и от его престижности [16].
В Германии разнесение вузов на группы производилось в зависимости от направления деятельности (исследовательская и образовательная) и специализации подготовки выпускников (социальные и естественные науки) [31]. В России сравнение эффективности проводилось отдельно для 79 университетов технического профиля и 59 классических университетов [32]. Было показано, что оценки для большинства технических и классических вузов получились сопоставимыми.
Использовалась также идея разбиения выборки на части [33]. Критерием послужило отношение размера полученных грантов к численности студентов (в эквиваленте полной занятости). При оценке выборки в целом, а также двух однородных групп большинство университетов получило высокие баллы эффективности.
Реализован поэтапный расчет эффективности вузов по издержкам, а также с учетом затраченных ресурсов [34], идеи которого впервые были изложены в работе [35]. При анализе данных выяснилось, что вузы, рассматривающие в качестве приоритетных задач научно-исследовательскую деятельность, имеют более высокие издержки, чем
те, которые сосредоточены на подготовке специалистов по прикладным областям. В связи с этим было выделено три группы университетов в зависимости от стратегии их развития: а) научной; б) сбалансированной; в) прикладной. Далее на первом шаге используемой авторами процедуры в выборку были включены только представители группы а), на втором — представители групп а) и б), на третьем — первоначальная выборка, состоящая из 45 университетов. В качестве итоговой оценки эффективности вуза, входящего в к-ю подгруппу, стал тот результат, который был ими получен на к-м шаге алгоритма. Это позволило учесть зависимость издержек университета от занимаемой им ниши на рынке научных исследований. При оценке эффективности по ресурсам использовались ценностные суждения, однако это не оказало влияния на основные выводы исследования.
Другой подход [36] к тестированию согласованности оценок эффективности в группах однородных вузов заключается в том, чтобы проверить влияние отдельных факторов на итоговые оценки эффективности как для полного и усеченного наборов параметров, так и с включением ценностных суждений аналогично работе [37]. В итоге оказалось, что для всех групп вузов характерна высокая результативность (около 90 %). Несмотря на менее высокие оценки для модели с усеченным набором данных, результаты по обеим моделям дали согласованные баллы, а именно, около половины университетов оказались эффективными. В результате основная гипотеза авторов о различии эффективности университетов, принадлежащих к различным категориям, не нашла подтверждения.
Кроме того, в последнее время применительно к учреждениям сферы высшего образования стали разрабатывать специальные модификации ОАД, позволяющие учитывать неоднородность объектов выборки в самой модели. Например, авторы работы [33] дополнительно строят типологию университетов с учетом географического расположения на базе кластерных методов (К-средних, метода ближайшего соседа). Однако было получено, что проведение оценки эффективности этих учреждений внутри кластеров дает результаты, схожие с методикой разбиения вузов на группы на основе критерия «размера полученных грантов к численности студентов». Другим примером может служить работа [38], в которой авторы, применяя метод последовательного исключения альтернатив, оценили эффективность 28 российских университетов при трех различных значениях индекса неоднородности. Было показано, что ранжирование университетов по эффективности несущественно зависит от степени неоднородности. Для иллюстрации предлагаемого метода оценки неоднород-
Рис. 2. Интерпретация алгоритма последовательного исключения альтернатив
ности выборки рассмотрим здесь простейший двумерный случай, когда имеется один входной и один выходной параметры (обобщение этого подхода дано в работе [38]).
Если достаточно много вузов располагается далеко от границы эффективности (см. рис. 1), то это означает, что в выборке присутствует неоднородность. Общая идея модели состоит в том, чтобы сдвинуть СЯ^-границу в сторону центра масс выборки, тем самым уменьшив влияние неоднородности на оценки эффективности. Рассмотрим пример. Пусть выборка состоит из шести университетов ¥1, ..., ¥ (рис. 2). Обозначим центр масс через В. Пусть также ц е (0, 1] — параметр, характеризующий неоднородность выборки, где ц = 1 означает наибольшую возможную неоднородность. Формируется фантомный университет О = цВ + (1 — ц)^, где ¥1 — эффективный университет. Менее эффективные, чем О, университеты ¥3, ..., ¥ оцениваются относительно новой границы.
После того как ¥3, ..., ¥6 прошли оценку относительно новой границы, они исключаются из выборки, и алгоритм запускается на оставшемся множестве альтернатив, в данном случае — для вузов ¥х, ¥2. Алгоритм останавливается, когда все университеты прошли оценку, это обязательно происходит по построению.
Другой подход к оценке эффективности при неоднородности представлен в работе [37]. Клю-
чевая идея состоит в том, что модель должна учитывать, что университеты имеют научную и образовательную цели. Авторы рассматривали задачу: найти
(
тах
л
X Ък
г = 1
X у]Хк }=1
к = 1, ..., Я,
при ограничениях
X и#1к
0 < К :=
._ г = 1
< 1, к = 1.....Я
0 < л, :=
X Р} уХ}к } = 1
8
X иЯгк
г = 3
< 1, к = 1, ..., Я (8)
X (1 - Р}) У х }к + у3х3к } = 1
0 < р1 < 1; 0 < р2 < 1; и{ > 0; у > 0,
где Я — число университетов в выборке, — значение 1-го выходного параметра, I = 1,, 8, для к-го университета, х}к — значение у-го входного параметра, у = 1, 2, 3, для к-го университета, и, у. — веса выходных и входных параметров, 9к — эффективность к-го университета, р1 и р2 — доли общих и технических расходов, связанных соответственно с образовательной деятельностью факультета, — эффективность учебно-образовательной деятельности к-го университета4, гк — эффективность исследовательской деятельности к-го университета5.
Далее задача (8) сводилась к задаче линейного программирования, строилась система ценностных суждений, аналогичная системе (5). Таким образом, в работе [37] построена модель, позволяющая оценивать различные компоненты эффективности. Авторы применили эту модель к оценке 52 факультетов физики и химии английских университетов.
В работе [39] с помощью двух рассмотренных выше моделей исследуется эффективность 45 ту-
4 Здесь предполагается, что за образование отвечают первые два входных и выходных параметра, представленные в списке выше.
5 За исследовательскую деятельность отвечают все остальные параметры, которые не включены в показатель tk.
2
2
рецких университетов. Следуя работе [37], автор предполагает, что университеты имеют две цели — образование и научные исследования. Применяя модель [38], автор делает вывод о существенной разнородности турецких вузов.
Наконец, в работе [40] с помощью иерархических алгоритмов в зависимости от потенциала вузов в области исследований и разработок, научной и инновационной активности выборка из 219 университетов была разбита на шесть кластеров или пять экономически обоснованных категорий: ни-шевые вузы (два объединенных кластера), вузы неопределенной позиции, потенциальные и реальные научно-образовательные лидеры, маркет-ли-деры, вузы на хорошем счету. В свою очередь, эффективность вузов оценивалась как в однородных группах, так и с поправкой ОАД на неоднородность [38]. В отличие от работы [32] была рассмотрена более полная классификация специализаций вузов: кроме классических и технических были дополнительно исследованы педагогические, социально-экономические, архитектурные и гуманитарные вузы. На втором шаге этой процедуры оценки эффективности вузов были совмещены с типологией вузов. Наиболее высокие показатели эффективности продемонстрировали вузы, входящие в группу «маркет-лидеров». В то же время большая часть вузов характеризовалась ограниченным потенциалом для научной активности, что, безусловно, отразилось на баллах эффективности. Проведя пообъектный анализ вузов, авторы пришли к выводу, что для практической реализации ОАД в российских условиях востребована модель, которая позволяла бы устанавливать пороговые значения выходных переменных, характеризующих уровень публикационной активности отечественных вузов, так как для многих из них этот параметр служит существенным источником неэффективности.
2.3. Обоснование выбора входных и выходных параметров модели
При спецификации входных и выходных переменных моделей исследователи руководствуются, в первую очередь, доступностью данных и основами микроэкономического анализа, где впервые упоминаются факторы производства и границы производственных возможностей, многие авторы также пытаются учесть универсальность стратегических задач университетов. Отмечается, что иногда трудно определить, является ли конкретный параметр оценки ресурсом или результатом [41]. В этой работе построена модификация ОАД, которая позволяет считать переменные ресурсными и результативными в зависимости от университета. Модель применена к оценке университетов по данным из [37].
В работе [16] для оценки функции издержек выбираются: численность бакалавров, обучающихся на фундаментальном и прикладном направлениях подготовки, численность аспирантов и магистрантов, доход от научной деятельности. В работе [42] особое внимание уделяется прогнозированию численности выпускников. Так, авторы строят линейные регрессионные модели
У = а + Ь1ХИ + Ь2ХИ + Ь3Х3/ + ЬЛ/ + ^
и
у = а + ьЛг. + Ь2Х2{ + ЬзХз{ + ^ + Ь5Х5{ + £г,
где у. — численность выпускников 1-го университета, Х1г — операционные расходы, Х2г — численность ППС, Х3{ — численность ненаучных работников, Х4г — численность студентов, Х5г — доход от научно-исследовательской деятельности.
С помощью МНК оцениваются коэффициенты а, bj. Оценка эффективности 1-го университета равна УЫ1 УасР где уы — прогнозное значение численности выпускников, а уас1 — действительное ее значение. При анализе эконометрических моделей авторы обнаружили высокую мультиколлинеар-ность, для минимизации ее влияния на оценки коэффициентов модели был проведен факторный анализ.
В работе [42] также использовалась модель ОАД с двумя наборами выходных переменных, в одном случае в качестве результата рассматривалась только численность выпускников (без учета их оценок в дипломе), во втором случае к выходным параметрам добавляли доходы университета. В результате оказалось, что вторая модель дает более высокие оценки эффективности (в среднем на 15—20 %), чем первая.
Наконец, университеты ранжируются в соответствии с показателями, выбранными согласно следующим рекомендациям [43]: а) учитывать стратегические задачи университета (образование, наука или и то, и другое); б) отражать специфику вуза и быть измеримыми и стандартизуемыми; в) быть понятными, легко измеряемыми и соответствовать деятельности, для оценки которой они выбраны; г) соответствовать всем объектам, подлежащим оценке. Следуя этой концепции, авторы остановились на операционных издержках на одного выпускника, отношении численности выпускников к численности ППС, отношении численности обучающихся к численности выпускников, отношении доходов от научных исследований к численности ППС, отношении численности зачисленных студентов (включая тех, кто находится в академическом отпуске или рекомендован к отчислению) к численности выпускников.
Существует ряд работ, в которых отдельное внимание уделяется спецификации выходных параметров, чтобы кроме исследовательской активности университета учесть его репутацию (см. например, работу [44]). В частности, в ходе подготовки и верификации данных авторами было выявлено, что число публикаций по результатам научных ис-
следований6 для многих университетов было равно нулю или весьма близко к этому уровню. На основании того, что репутационный индекс коррелирован (~90 %) с числом опубликованных работ, было принято решение в трех из четырех используемых моделей все же исключить из рассмотрения последний параметр. К сожалению, авторы подробно не раскрыли разделы опросной анкеты, критерии выбора респондентов, процедуры агрегирования разделов опросника для конструирования итогового репутационного индекса. Однако авторы обратили внимание на недостатки подобного инструмента оценки академической результативности университетов: «данная мера является субъективной, в связи с этим отражает предвзятость и приверженность респондентов; репутация всего университета может быть создана лишь небольшой общественно активной группой; она оценивается в большей степени по прошлым результатам, чем по текущим, таким образом она может быть неадекватным отражением текущей научно-исследовательской деятельности университета (репутация существует и после момента ее создания)» [44, с. 687].
В статье [45] была разработана и апробирована на 18-ти финских университетах модель, позволяющая соединить непараметрическую оценку ОАД с учетом важности параметров. Приведем лишь ключевую идею с помощью иллюстрации, взятой из текста статьи. Пусть выборка характеризуется двумя выходными параметрами и фиксированным уровнем ресурса. Можно видеть, что согласно ОАД эффективность университета В на рис. 3 рассчитывается как отношение длины отрезка ОВ к длине отрезка ОВ1. Зафиксируем функцию полезнос-
К подобным публикациям авторы отнесли работы, которые были проиндексированы в 2003—2004 гг. как в международных указателях научного цитирования (к примеру, в Science Citation Index, Social Science Citation Index, Arts and Humanities Citation Index, Index to Science and Technology, Engineering Index), так и в национальных китайских (Statistics of Chinese Technical Thesis and Quotation Data Base, Social Science Quotation Data Base of China). Число публикаций из этих баз данных было взвешено на численность ППС и аспирантов в зависимости от их области научных интересов [44, с. 687].
7 Репутационный индекс был рассчитан на основе опросных данных, в которых учитывались вклад университета в академическое сообщество, успеваемость студентов, результативность вузов. В качестве респондентов были выбраны ведущие ученые, научные сотрудники, эксперты в области высшего образования, ректоры университетов [44, с. 687].
Рис. 3. Добавление предпочтений в модель ОАД
ти, тогда идеальной мерой эффективности было
бы отношение OB к OB4. В действительности функция полезности неизвестна, поэтому авторы аппроксимируют истинное значение эффективности следующим образом. Выбирается соответствующий участок границы эффективности (в нашем случае CD) и вдоль него проводится прямая до пересечения с лучом OB. Тогда эффективность объекта B рассчитывается как отношение OB к OB .
В работе [46] ОАД применяется к оценке 25 американских университетов, попавших в топ рейтинга агентства «U.S. News and World Report». Данный рейтинг основан на следующих показателях: а) репутация (по опросу рейтингового агентства); б) качество отбора студентов (определяется такими показателями, как средний балл при поступлении, средний балл в школе и т. п.); в) качество ППС (сюда входят такие параметры, как удельный вес численности ППС с ученой степенью PhD в общей численности, удельный вес численности ППС, работающего по совместительству (на неполной ставке), в общей численности); г) степень удовлетворенности студентов обучением в вузе (оценивается следующими показателями: удельный вес численности студентов, закончивших бакалавриат за 6 лет, и удельный вес численности первокурсников, не перешедших на второй курс, в общей численности); д) издержки в расчете на одного студента.
Два параметра, отвечающие за степень удовлетворенности студентов обучением в вузе, выбираются в качестве выходных параметров для ОАД, а в качестве ресурсных переменных выступают средний балл вступительного экзамена поступивших абитуриентов, процент ППС с ученой степенью PhD, отношение численности ППС к численности студентов, издержки. Независимо от параметров
оценки «U.S. News World Report» авторы также включают размер платы за обучение в качестве ресурса, мотивируя это тем, что данный параметр имеет непосредственное влияние на степень удовлетворенности студентов обучением в вузе. Существование связи между ресурсами и результатами устанавливается с помощью регрессионного анализа.
В итоге ранжирования вузов, построенных рейтинговым агентством «U.S. News World Report» и с помощью ОАД, получились существенно различными. Например, согласно рейтингу «U.S. News World Report», первые семь университетов (Harvard, Yale, Stanford, Princeton, Caltech, MIT, Duke) не оказались эффективными в смысле модели ОАД. Однако стоит отметить, что большинство университетов находились близко к границе эффективности (только у двух вузов из 25 значение эффективности оказалось ниже 90 % — 87 и 86 %).
В работе [47] оценивается эффективность 44 испанских университетов с учетом успешности внедрения университетских разработок в бизнес (knowledge transfer). В итоговой модели используются четыре ресурсных и три результативных показателя. В качестве входных параметров выбраны численность ППС, численность технических и административных работников, издержки и доходы от научных исследований. В качестве результатов — численность выпускников (образовательная составляющая), количество опубликованных работ (исследовательская составляющая), число компаний, основанных на результатах научно-исследовательской деятельности группы ученых, работающих в университете (так называемые спин-офф (spin-off) компании). Эта составляющая отвечает за успешность внедрения университетских разработок в реальный бизнес). Авторы также используют кластеризацию (алгоритм K-means) для проведения более подробного анализа результатов. Выборка разбивается на три кластера в пространстве 10-ти параметров, при разбиении учитывается число спин-оффов компаний.
2.4. Проверка согласованности результатов между разными наборами входных и выходных параметров модели
Следующее направление работ заключается в проверке согласованности оценки потенциала вузов на основе нескольких моделей ОАД, отличающихся набором входных и выходных параметров. Из отечественных источников выделим работу [48], в которой модель ОАД применяется к оценке 29 российских университетов. Было выявлено, что более точные и согласованные с международной практикой оценки наблюдаются, когда в модели учитываются показатели финансирования вузов. Позднее проводился сравнительный анализ
эффективности образовательной, а также одновременно по образовательной и научной, деятельности российских вузов внутри однородных групп и подчеркивалась важность проведения анализа внутри именно таких групп [32]. Выявлено, что более половины университетов в обеих группах (технических и классических) характеризуются результативностью на уровне 80 %. Отдельное внимание в отечественной литературе уделяется построению типологии университетов на основе эмпирических данных [49] и социологических опросов [3]. Среди подобных критериев были рассмотрены экономическая модель вуза, стратегия адаптации вуза к условиям внешней среды и др.
Для 109 китайских университетов была выявлена чрезвычайно высокая эффективность вузов [44] вне зависимости от выбора первых двух наборов входных и выходных показателей из используемых четырех (где средняя эффективность составила около 91 %). Третья и четвертая модели оказались чуть менее оптимистичны, среднее значение эффективности не превысило 83 %. В зависимости от модели доля эффективных университетов варьировалась от 20 до 40 %.
В ряде работ используются модели, концептуально схожие с ОАД. Рассмотрим основную идею модели, предложенной в работе [50]. Пусть, как и раньше, выборка характеризуется N ресурсами и M результатами, — ресурсы и результаты конкретного университета. Определяется допустимое множество
T = {(x, q) е + M |имея х, можно произвести q}.
Пусть дана V: — [+, q — V(q) — ценностная
функция результата, а р е — цены ресурсов. Эффективность каждого университета оценивается как
9 = min {px *|V(q *) > V(q)}/px, (9)
x*, q* e T
где x, q — ресурсы и результаты вуза. Рассматриваются обобщения на случай неизвестной ценностной функции Vи неизвестных цен р. Оптимизационная задача (9) сводится к задаче линейного программирования.
Авторы используют три различные комбинации параметров и оценивают 79 исследовательских программ в восьми голландских университетах за период с 1996 по 2000 г. Сравниваются ранжировки, полученные с помощью оригинальной методики, а также экспертным путем в Ассоциации голландских университетов (VSNU). Анализ данных показал, что результаты схожи, но не эквивалентны (корреляции на уровне 25—64 %). Сравниваются группы исследовательских программ,
для чего авторы выделяют три признака: университет-организатор программы, год, специализация. Показано, что некоторые университеты имели стабильно более эффективные программы. В результате было выделено три специализации, являющиеся лидерами в эффективности на протяжении всего периода.
Для модели ОАД было выбрано два ресурсных и четыре результативных параметра [9]. После анализа результатов выяснилось, что один из результативных параметров (численность аспирантов) не оказывает существенного влияния на оценки, поэтому далее применялась другая модель с двумя ресурсными и тремя результативными переменными. С помощью статистических тестов показано сходство оценок, полученных с помощью ОАД и ранжировок, построенных по методу авторов. Ранжировки, полученные на основе различных наборов вход-выходных параметров, также оказались очень близки (корреляция на уровне 90 %).
2.5. Оценка факторов роста эффективности
Особое внимание некоторые исследователи уделяют выявлению факторов, которые объясняют разброс эффективности вузов. В таких работах на первом этапе оценивается эффективность вузов, на втором — исследуются факторы, определяющие уровень этой эффективности. Например, для этого применяется квантильная регрессия для оценки 73 вузов за период с 1997 по 1999 г. [31]. Авторы, следуя работе [51], квантильную регрессию представили в виде: У = Хв + б, где У — набор значений зависимой переменной, X — матрица объясняющих переменных, б — случайная компонента, в — вектор оцениваемых коэффициентов.
Тогда квантильная регрессия уровня т может быть сведена к решению задачи:
+ ШШ+ _{т • 1Тп и+ + (1 - т)1Т • и-},
в , в , и , и
где в/ = тахф,, 0), в, = -тт(ву, 0), и+ = тах(и,, 0),
и, = -тт(и,, 0).
Вектор У представляет собой значения эффективности. В работе используются два значения параметра т: 0,75 и 0,25. В первом случае находятся оценки параметров в для высокоэффективных университетов, во втором — для низкоэффективных. Однако оказалось, что эти коэффициенты оказались статистически незначимыми.
Интересен и набор объясняющих эффективность параметров. Так, было построено пять различных модификаций ОАД в зависимости от направлений стратегического развития университетов (см. таблицу). Как в итоге выяснилось, немецкие вузы отличались более высокой образовательной, нежели научно-исследовательской эффективностью. Кроме того, наблюдалась небольшая положительная корреляция между модификациями, характеризующими «конкурирующие» направления развития университетов.
Позднее было выявлено [50], что размер образовательной программы вуза несущественно влияет на его эффективность по издержкам. Напротив, внешнее финансирование существенно сказывается на полученных баллах. В заключении авторы дают рекомендации по использованию полученных результатов. В свою очередь, в работе [18] показано, что чем старше ППС университета, тем меньшие издержки вуз несет.
Набор объясняющих переменных для проведения регрессии и выявления стратегических групп университетов
Стратегические переменные: направление деятельности университета (исследовательская, образовательная) Стратегические переменные: направление подготовки выпускников (естественно-научные или гуманитарные дисциплины)
Число публикаций по естественным наукам в расчете на 100 выпускников. Число публикаций по гуманитарным наукам в расчете на 100 выпускников Удельный вес публикаций по естественно-научным дисциплинам в общем числе. Удельный вес численности выпускников, обучавшихся естественным наукам, в общей численности выпускников
Общие для обеих моделей объясняющие переменные
Число полученных грантов. Численность студентов. Возраст университета. Численность населения, живущего рядом с университетом. Нахождение университета на западе (фиктивная переменная*). Наличие образовательных программ медицинской специальности (фиктивная переменная). Число университетов в округе *При наличии признака принимает значение 1, 0 — в противном случае.
Авторы работы [2] оценивают эффективность вузов, но уже в разрезе 169 исследовательских программ в голландских университетах, определяют, какую роль играет размер и тип финансирования, анализируют, в чем состоит ключевая причина различной степени продуктивности. Делается попытка сравнить библиометрический подход и метод внешней экспертизы (peer review) при оценке результатов исследовательской деятельности.
Кроме того исследовалась зависимость полученных оценок эффективности китайских университетов от факторов среды [44]. К примеру, было показано, что в рамках всех четырех моделей эффективность вуза зависит от его расположения. Напротив, тип финансирования (федеральное или региональное) не имеет существенного влияния. Позднее влияние среды на эффективность немецких вузов было изучено в работе [26], где авторы показали, что рост ВВП на 1 % обеспечивает повышение эффективности на 4 %. При этом в среднем университеты из Восточной Германии оказались менее эффективными, чем из Западной. В работе [52] для канадских университетов была восстановлена функция, объясняющая разброс оценок результативности из-за влияния переменных окружающей среды. Кроме того, авторы пробовали строить отдельную регрессию для значения эффективности. В результате учет влияния параметров окружающей среды сказался на числе эффективных университетов. В среднем эффективность по выборке составила около 90 %. Тем не менее, для конкретных университетов оценки, полученные различными методами, сильно разнились.
В дополнение к отмеченным выше факторам получено, что не существует устойчивой связи между размером университета и его эффективностью [26]. Результативными оказались как крупные, так и малые университеты. Наличие медицинских и инженерных факультетов, как оказалось, сказывается на эффективности вуза отрицательно (в среднем падение эффективности составляло около 6—7 % при открытии факультетов, указанных направлений). Отчасти этот результат авторы объяснили тем, что университеты, в состав которых входят подобные факультеты, имеют структуру управления финансами и персоналом, отличную от других вузов. С одной стороны, эти университеты обременены дополнительными расходами на содержание таких факультетов. С другой стороны, именно эти факультеты приносят более высокий доход от исследований и разработок, чем другие факультеты, особенно это характерно для медицинских факультетов.
Интересен случай Бразилии [12], где был использован широкий круг переменных, объясняющих уровень качества образования в 164 вузах (из них 88 — частные) для 2007 г. Но влияние боль-
шого числа этих факторов оказалось статистически незначимым. Примером такого фактора служит удельный вес студентов женского пола в общей численности (изначально он был включен авторами, чтобы учесть эффект от разработки и апробации курсов, в основе которых лежат предпочтения студенток). Кроме того, учитывался уровень отчисления студентов, чтобы проконтролировать неоднородность выборки между первокурсниками и студентами более старших курсов, но этот фактор также оказался статистически незначимым. Чтобы учесть разнородность среды, были использованы такие показатели, как уровень доходов, число лет обучения в школе на территории, где находится вуз, однако и эти переменные не повлияли на основные результаты модели.
В то же время было получено, что в первую очередь качество образования зависит от качества ППС. Так, невысокая численность профессоров в расчете на одного студента отрицательно влияет на качество образования. Однако, когда успеваемость студентов рассчитывалась отдельно для каждой категории студентов, было показано, что этот показатель влияет только на успеваемость первокурсников. Этот результат весьма неожиданный и, вероятно, сомнительный. Авторы объяснили его тем, что вузы привлекают сильных студентов, а впоследствии (на старших курсах) вклад профессоров в уровень знаний студентов снижается. Этот эффект может быть вызван тем, что в ППС авторы статьи учитывали только профессоров, однако не проводили анализ результативности их научно-исследовательской работы и стажа работы. Кроме того, в исследовании не учитывалась классификация наук по дисциплинарному принципу.
Аналогичный эффект был получен для педагогической составляющей образовательного процесса (требования по полному выполнению учебного плана, где указаны образовательные курсы и формы контроля, в качестве прокси-показателя для уровня используемой образовательной технологии). Кроме того, наличие развитой университетской инфраструктуры (число компьютеров в расчете на одного студента, например) повышает успеваемость студентов. Наконец, вузы с превалирующей долей частной собственности показали более высокие результаты, чем вузы в государственной собственности, при этом качество образования в вузах обоих типов собственности было достаточно низким. Это, в свою очередь, вызвало особую озабоченность авторов, поскольку в Бразилии государственные вузы полностью финансируются из государственного бюджета.
Противоположные результаты получили исследователи качества образования в итальянских университетах. На примере 59 государственных вузов они показали, что мотивация студентов к учебе и
их демографические данные определяют эффективность преподавания в вузе. Более низкая эффективность вузов наблюдалась на юге по сравнению с севером [13].
2.6. Проверка согласованности результатов по моделям АСГ и ОАД
Наконец, в ряде работ сравниваются результаты оценок, полученных с помощью АСГ и ОАД. Например, в работе [26] исследуется эффективность 72-х университетов Германии за период с 1998 по 2003 г. В первой части работы для немецких вузов вычисляется индекс Мальмквиста, во второй — применяется ОАД. Расчеты индекса Мальмквиста показали, что вузы Восточной Германии (несмотря на более низкую среднюю эффективность) продемонстрировали больший по сравнению с западными университетами рост совокупной производительности факторов производства.
Во второй части работы с помощью АСГ оценивается функция издержек университетов. Учитывается перекрестное влияние параметров, делаются выводы о структуре издержек университетов. Большое внимание уделяется учету наличия инженерных и медицинских факультетов и их влиянию на издержки университетов. Корреляция итоговых значений эффективности, полученных с помощью различных моделей, составила примерно 60 %.
В работе [52] к выборке, состоящей из 45 канадских университетов за период 1992—1993 гг., также применялись одновременно АСГ и ОАД. Отметим, что единственным входным параметром для модели ОАД (зависимой переменной для модели АСГ) были совокупные издержки. Для модели ОАД было использовано два различных набора входных и выходных параметров (некоторые выходные переменные в одной модели становились переменными среды в другой). Отдельно в работе был проведен анализ корреляционной матрицы результатов, который не выявил устойчивой корреляции между результатами, полученными с помощью различных моделей.
ЗАКЛЮЧЕНИЕ
Проведен детальный анализ прикладных исследований по оценке эффективности университетов, а также структурных подразделений различных уровней (от факультетов до микроподразделений и исследовательских программ). Оказалось, что метод анализа стохастической границы (АСГ), как и индекс Мальмквиста, применяются весьма редко. Только немногие исследователи эконометричес-ки оценивают границу эффективности в транслогарифмической форме, которая, к примеру, для многих учреждений банковского сектора уже стала эталонной [53]. Как правило, АСГ применяют в
целях анализа структуры издержек университетов, а также факторов, их определяющих. На основе этих данных могут приниматься решения по оптимизации расходов вуза. С помощью АСГ также вычисляются эффекты масштаба и диверсификации.
Было показано, что для оценки эффективности вузов широкое распространение получил оболо-чечный анализ данных (ОАД). При постановке оптимизационной задачи ОАД могут использоваться оценочные суждения о важности тех или иных входных параметров или результатов вузов (выходных параметров). Кроме того, модификации ОАД позволяют по-разному учесть неоднородность первоначальной выборки. Некоторые авторы разбивают множество университетов на группы в зависимости от их статуса или специфики научно-исследовательской деятельности. Ряд авторов принимают во внимание различия в областях наук и направлениях стратегического развития высших учебных заведений, некоторые используют информацию об условиях внешней среды и конкурентного окружения, что также является поправкой на неоднородность. В последнее время появляются работы, в которых применяется кластерный анализ для получения однородных групп вузов. Также применяется метод последовательного исключения альтернатив для учета неоднородности внутри модели ОАД. Однако до сих пор в сфере высшего образования не нашли должного отражения такие модели учета неоднородности выборки, как проективный ОАД и многозадачный ОАД, которые активно применяются для анализа других типов организаций (см., например, работу [54]).
В ряде работ было показано, что оценки эффективности существенно не зависят от метода (индексного, параметрического или непараметрического) их получения. Исключением может служить только пример Канады, где коэффициент корреляции, рассчитанный на основе баллов эффективности вузов в рамках моделей ОАД и АСГ, был невысок.
Особую озабоченность исследователей вызывают обоснование выбора входных и выходных параметров модели и приближение его к реальным условиям, в которых функционируют вузы. Здесь наблюдается разброс подходов к постановке задачи: от спецификации базовых факторов производства до включения репутационных характеристик университета. Наиболее распространено применение не менее двух различных составов этих переменных в целях проверки согласованности результатов между разными наборами входных и выходных параметров модели. Кроме того, примерно с 2004 г. стали появляться исследования, цель которых состоит в выявлении факторов, определяющих уровень эффективности вузов.
Отметим что, несмотря на стремительное развитие подходов к оценке эффективности вузов, все еще остается ряд нерешенных вопросов. Так, отсутствуют работы, в которых учитывалась бы вариативность баллов эффективности с течением времени, включались бы альтернативные издержки и степень диверсификации деятельности вузов, проводилось бы сопоставление результатов по концепциям эффективности (функция прибыли, издержек, производственная функция). К примеру, подобные проблемы уже были решены в банковской отрасли в конце 1990-х гг. [53]. Кроме того, для более корректного сравнения результатов параметрических и непараметрических методов полезно иметь в виду следующие рекомендации, опять же впервые предложенные для финансового сектора [55]:
— полученные разными методами оценки эффективности должны иметь сравнимое среднее значение, дисперсию (др. моменты распределения);
— ранжирования организаций по уровню эффективности в соответствии с разными методами должны быть примерно одинаковыми;
— методы должны одинаково определять группы учреждений, которые наиболее и наименее эффективны;
— оценки эффективности должны быть устойчивыми во времени (не должно наблюдаться значительных колебаний баллов эффективности от одного периода времени к другому, если только в эти периоды не было существенных структурных и/или методологических изменений в системе управления вузом);
— оценки эффективности должны соответствовать условиям среды (в том числе и конкурентным), в которой функционируют учреждения;
— оценки эффективности не должны входить в противоречие с результатами, полученными при использовании традиционных показателей эффективности таких, как доходность активов (ROA), соотношение доходов и расходов (income/cost ratio), если организация преследует цель — получение прибыли.
Авторы выражают благодарность профессору А.А. Дорофеюку за ценные замечания и рекомендации.
ПРИЛОЖЕНИЕ
Входные и выходные параметры для модели DEA
Источник Входные параметры Выходные параметры
[29] Качество обучающихся в университете студентов. Численность аспирантов. Численность ППС. Амортизация основных фондов вуза. Расходы на библиотечные нужды и компьютерное оснащение. Административные расходы вуза, за исключением амортизационных отчислений Показатель исследовательской деятельности. Количество ученых степеней, выданных на программах послевузовской подготовки. Качество выпускников.
[34] Эффективность по издержкам Эффективность по ресурсам Эффективность по издержкам Эффективность по ресурсам
Совокупные издержки. Расходы на научные проекты Численность студентов. Численность аспирантов. Численность ППС. Рейтинг качества абитуриентов. Расходы на научные проекты. Расходы на библиотечный фонд и компьютерное оснащение Численность выпускников. Численность обладателей ученых степеней, защитившихся в данном университете Рейтинг научной и публикационной активности Численность выпускников. Численность обладателей ученых степеней, защитившихся в данном университете. Рейтинг научной и публикационной активности
[37] Общие издержки. Расходы на техническое оборудование. Расходы на исследования Численность студентов бакалавриата. Численность студентов магистратуры. Численность студентов аспирантуры. Рейтинг публикационной и научной деятельности. Четыре фиктивные переменные, отражающие оценку работы департамента
Источник Входные параметры Выходные параметры
[20] Численность работников университета. Численность студентов бакалавриата. Численность магистров и аспирантов. Совокупные расходы (включаются все издержки, кроме фонда оплаты труда работникам профессорско-преподавательского состава) Доход от исследовательской и консультационной деятельности вуза. Число выданных дипломов: бакалавриата; дипломов магистратуры и число защищенных диссертаций на получение степени PhD
[42] Численность: ППС; административных работников; студентов Операционные издержки, за исключением фонда оплаты труда сотрудникам университета Численность выпускников. Доходы от научно-исследовательской деятельности университета
[28] Численность: научных работников; административных сотрудников Численность: студентов; аспирантов. Сумма средств, полученных университетом на гран-товой основе на исследования. Процент отчисленных студентов. Средняя успеваемость студентов. Удельный вес студентов, работающих полный рабочий день в течение обучения, в общей численности студентов
[33] Численность ППС: в эквиваленте полной занятости; неакадемического персонала. Издержки университета, за исключением фонда оплаты труда. Внеоборотные активы как прокси-переменная для акционерного капитала Численность студентов в эквиваленте полной занятости. Размер грантов, полученных университетом для проведения научных исследований
[26] Численность технического персонала. Численность ППС. Текущие расходы Число грантов. Численность выпускников
[31] Модель по оценке общей эффективности
Фонд оплаты труда. Все прочие издержки. Число публикаций по естественным наукам. Численность выпускников по естественным наукам. Число публикаций по социальным наукам; Численность выпускников по социальным наукам
[48] Модель А Модель В Модель А Модель В
Численность студентов (бюджетный и внебюджетный контингенты). Удельный вес штатных ППС с ученой степенью (д-р экон. наук и канд. экон. наук) в общей численности ППС. Фондовооруженность Рейтинг качества приема (среднее значение ЕГЭ). Рейтинг научной и публикационной активности Рейтинг качества приема (среднее значение ЕГЭ). Рейтинг научной и публикационной активности. Объем внебюджетных доходов/объем бюджетного финансирования
[32] Модель 1 Модель 2 Модель 1 Модель 2
Удельное бюджетное финансирование вузов. Удельный вес обладателей ученых степеней ППС в общей численности ППС. Совокупная численность ППС Удельное бюджетное финансирование вузов. Удельный вес обладателей ученых степеней ППС в общей численности ППС. Средний балл ЕГЭ Средний балл первокурсников, поступивших по ЕГЭ. Численность студентов, обучающихся на бюджетных и платных местах Взвешенный удельный вес молодых ППС и научных работников в общей численности ППС и научных работников. Публикационная активность работников вуза, а именно, число научных статей в рецензируемых журналах в расчете на 100 сотрудников
Источник Входные параметры Выходные параметры
[39] Инвестиционные издержки. Общие издержки Численность бакалавров; магистров; аспирантов. Число публикаций. Число проектов
[45] Среднемесячные издержки на проведение исследований Качество исследовательской работы. Активность исследования. Вклад исследования. Активность в области обучения молодых специалистов. Активность в научной среде
[50] Численность PhD студентов. Ресурсные показатели, характеризующие исследовательскую деятельность вуза Число: PhD диссертаций; статей в зарубежных рецензируемых журналах; статей в зарубежных нерецензируемых журналах; книг в (со) авторстве; глав монографий и статей в сборниках конференций; статей в рецензируемых немецких журналах; статей в нерецензируемых немецких журналах; отчетов по проектам, выполненным на гранто-вой основе, и различных профессиональных отчетов
[44] Отношение численности занятых на полную ставку профессоров к численности студентов. Удельный вес профессоров, трудящихся на позиции доцента (англ. associate professor) и выше, в общей численности ППС. Численность студентов, обучающихся в магистратуре или аспирантуре. Издержки на проведенные исследования. Индекс, измеряющий количество библиотечных ресурсов. Индекс, измеряющий площадь кампуса Репутационный индекс. Число публикаций. Число публикаций в расчете на одного профессора
[21] Численность бакалавров. Численность магистров. Затраты на ППС. Другие затраты Доход от исследовательской деятельности. Количество дипломов бакалавра с учетом оценок. Количество магистерских дипломов
[27] Численность: принятых абитуриентов; принятых абитуриентов с высоким проходным баллом; студентов; ППС; число мест в аудиториях, библиотеках и лабораториях Численность: выпускников; выпускников у программ длительностью 4 и 5 лет
[23] Численность персонала; Затраты на персонал и студенческие сервисы; Затраты на академические сервисы; Численность бакалавров и студентов, получающих первую степень; Численность магистрантов Количество дипломов: бакалавриата; магистратуры, аспирантуры. Доходы от исследований
[24] Операционные издержки Численность: бакалавров медицины; бакалавров по научным специальностям; бакалавров по остальным специальностям; магистрантов и аспирантов. Доходы от исследований. Другие доходы
Источник Входные параметры Выходные параметры
[46] Средний балл абитуриентов при поступлении. Процент ППС со степенью PhD. Отношение численности ППС к численности студентов. Образовательные и общие издержки в расчете на одного студента Уровень выпуска студентов; коэффициент сохранения студентов
[25] Численность: ППС; административных сотрудников; бакалавров; магистрантов и аспирантов. Операционные издержки Количество дипломов: бакалаврских; магистерских; аспирантских. Государственные гранты. Гранты от бизнеса. Число публикаций
[47] Численность: ППС; административных сотрудников. Административные издержки. Доходы от исследований Число: выпускников; публикаций; спин-оффов (spin-off)
[9] Операционные издержки. Зарплаты сотрудников Размер полученных грантов. Число: публикаций; магистрантов и аспирантов; учебных часов
[11] Отношение: численности ППС к численности студентов; численности административных сотрудников к численности студентов; издержек к численности студентов; площади университетских кампусов к численности студентов Уровень выпуска студентов; коэффициент сохранения студентов; коэффициент прогресса студентов
ЛИТЕРАТУРА
1. OECD. Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings, 2010.
2. Garcia-Valderrama T, Groot T. Research Quality and Efficiency — an Analysis of Assessments and Management Issues in Dutch Economics and Business Research Programs // Research Policy. — 2006. — N 35. — P. 1362—1376.
3. Титова Н.Л. Стратегии развития российских вузов: ответы на новые вызовы. — М.: МАКС Пресс, 2008.
4. Charnes A, Cooper W., Rhodes E. Measuring the efficiency of decision-making units // European Journal of Operational Research. — 1978. — N 2. — P. 429—444.
5. Charnes A., Cooper W. Programming with linear fractional functional Cooper // Naval Research Logistics. — 1962. — N 9. — P. 181—186.
6. Banker R.D., Charnes A., Cooper W.W. Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis // Management Science. — 1984. — N 30. — P. 1078—1092.
7. Podinovski V. Bridging the gap between the constant and variable returns-to-scale models: selective proportionality in data envelopment analysis // Journal of the Operational Research Society. — 2004. — N 55. — P. 265—276.
8. Podinovski V. The explicit role of weight bounds in models of data envelopment analysis // Journal of the Operational Research Society. — 2005. — N 56. — P. 1408—1418.
9. Friedman L., Sinuany-Stern Z. Scaling units via the canonical correlation analysis in the DEA context // European Journal of Operational Research. — 1997. — N 100. — P. 629—637.
10. Aparicio J., Ruiz J., Sirvent I. Closest targets and minimum distance to the Pareto-efficient frontier in DEA // Journal of Productivity Analysis. - 2007. - N 28. - P. 209-218.
11. Ruiz J., Segura J., Sirvent I. Benchmarking and target setting with expert preferences: An application to the evaluation of educational performance of Spanish universities // European Journal of Operational Research. - 2015. - N 242. - P. 594-605.
12. Mattos E, Rocha F, Zoghbi A. Education production efficiency: Evidence from Brazilian universities. - 2013. - N 31. -P. 94-103.
13. Biggeri L., Laureti T, Secondi L. Measuring the efficiency of teaching activities in Italian universities: An information theoretic approach // Economics of Education Review. - 2014. -N 42. P. 147-164.
14. Aigner D, Lovell C, Schmidt P. Formulation and estimation of stochastic frontier production functions // Journal of Econometrics. - 1977. - N 6. - P. 21-37.
15. Coelli T, Rao D., O'Donnell C, Battese G. An Introduction to Efficiency and Productivity Analysis. - N.-Y.: Springer, 2005.
16. Johnes G, Johnes J. Higher education institutions' costs and efficiency: taking the decomposition a further step // Economics of Education Review. - 2009. - N 28. - P. 107-113.
17. Glass J., McKillop D, Hyndman N. Efficiency in the provision of university teaching and research: An empirical analysis of UK universities // Journal of Applied Econometrics. - 1995. -N 10. - P. 61-72.
18. Stevens P. A Stochastic Frontier Analysis of English and Welsh Universities // Education Economics. - 2005. - N 13. -P. 355-374.
19. Battese G., Coelli T. A model for technical efficiency effects in a stochastic frontier production function for panel data // Empirical Economics. - 1995. - N 20. - P. 325-332.
20. Allen D, Flegg A, Field K, Thurlow T. Measuring the Efficiency and Productivity of British Universities: An Application of DEA and the Malmquist Approach / unpublished. — 2004. — 47 p.
21. Allen D.O, Flegg A.T. Does expansion cause congestion? The case of the Older British universities, 1994—2004 // Education Economics. - 2007. - N 15. - P. 75-102.
22. Fare R., Grosskopf S., Norris M, Zhongyang Z. Productivity growth, technical progress and efficiency change in industrialized countries // The American Economic Review. — 1994. — N 84. — P. 66—83.
23. Johnes J. Eddiciency and productivity change in the English higher education sector from 1996/97 to 2004/5 // The Manchester School. — 2008. — N 76. — P. 653—674.
24. Johnes J., Johnes G, Kortelainen M, Thanassoulis E. Costs and efficiency of higher education institutions in England: a DEA analysis // Journal of Operational Research Society. — 2011. — N 62. — P. 1282—1297.
25. Lee B.L., Worthington A.C. Efficiency, technology and productive change in Australian universities, 1998—2003 // Economics of Education Review. — 2008. — N 27. — P. 285—298.
26. Kempkes G, Pohl C. The efficiency of German universities — some evidence from nonparametric and parametric methods // Applied Economics. — 2010. — N 42. — P. 2063—2079.
27. Agasisti T, Dal Bianco A. Reforming the university sector: effects of teaching efficiency — evidence from Italy // Higher Education. — 2009. — N 57. — P. 477—498.
28. Avkiran N.K. Investigating technical and scale efficiencies of Australian Universities through data envelopment analysis // Socio-Economic Planning Sciences. — 2001. — N 35. — P. 57—80.
29. Johnes J. Data envelopment analysis and its application to the measurement of efficiency in higher education // Economics of Education Review. — 2006. — N 25. — P. 273—288.
30. Charnes A., Cooper W, Rhodes E. Evaluating Program and Managerial Efficiency: An Application of Data Envelopment Analysis to Program Follow Through // Management Science. — 1981. — N 27. — P. 668—697.
31. Warning S. Performance Differences in German Higher Education: Empirical Analysis of Strategic Groups, Review of Industrial Organization. — 2004. — N 24. — P. 393—408.
32. Оценка результативности университетов с помощью обо-лочечного анализа данных / И.В. Абанкина, Ф.Т. Алеске-ров, В.Ю. Белоусова и др. // Вопросы образования. — 2013. — № 2. — С. 5—38.
33. Abbott M, Doucouliagos C. The efficiency of Australian universities: a data envelopment analysis // Economics of Education Review. — 2003. — N 22. — P. 89—97.
34. Athanassopoulos A.D., Shale E. Assessing the Comparative Efficiency of Higher Education Institutions in the UK by the Means of Data Envelopment Analysis // Education Economics. — 1997. — N 5. — P. 117—134.
35. Banker R.D., Morey R.C. Use of Categorical Variables in Data Envelopment Analysis // Management Science. — 1986. — N 32. — P. 1613—1627.
36. Pastor T, Ruiz L., Sirvent I. A statistical test for nested radial DEA models // Operations Research. — 2002. — N 50. — P. 728—735.
37. Beasley J. Determining teaching and research efficiencies // Journal of the Operational Research Society. — 1995. — N 46. — P. 441—452.
38. Aleskerov F, Petrushchenko V. An Approach to DEA for Heterogeneous Samples // Modelling, Computation and Optimization in Information Systems and Management Sciences, Advances in Intelligent Systems and Computing 360, H.A. Le Thi, et al. (eds.). — Switzerland: Springer, 2015. — P. 15—21.
39. Cinar Y. Research and Teaching Efficiencies of Turkish Universities with Heterogeneity Considerations: Application of «Multi-Activity DEA» and «DEA by Sequential Exclusion of Alternatives' Models». — 2013. HSE WP7, 04.
40. Performance-Based Typology Of Universities: Evidence From Russia / I.V. Abankina, F.T. Aleskerov, V.Y. Belousova, et al. // Working papers by NRU Higher School of Economics. Series WP BRP «Science, Technology and Innovation». — 2015. — N WP BRP 33/STI/2015.
41. Cook W.D., Zhu D. Classifying inputs and outputs in data envelopment analysis // European Journal of Operational Research. — 2007. — N 180. — P. 692—699.
42. Katharakis G, Katharaki M. A comparative assessment of Greek universities' efficiency using quantitative analysis // Intern. Journal of Educational Research. — 2010. — N 49. — P. 115—128.
43. Hbfner K. Accountability in Higher Education. In Altbach, Philip (ed.) International Higher Education: An Encyclopedia. N 1. — N.Y.: Garland Publishing, 1991. — P. 47—58.
44. Johnes J., Yu L. Measuring the research performance of Chinese higher education institutions using data envelopment analysis // China Economic Review. — 2008. — N 19. — P. 679—696.
45. Korhonen P., Tainio R., Wallenius J. Value efficiency analysis of academic research // European Journal of Operational Research. — 2001. — N 130. — P. 121—132.
46. Breu T.M., Raab R.L. Efficiency and perceived quality of the nation's «top 25» national universities and national liberal arts colleges: An application of data envelopment analysis to higher education // Socio-Economic Planning Science. — 1994. — N 28. — P. 33—45.
47. Berbegal-Mirabent J., Lafuente E, Sole F. The pursuit of knowledge transfer activities: An efficiency analysis of Spanish universities // Journal of Business Research. — 2013. — N 66. — P. 2051—2059.
48. University efficiency evaluation with using its reputational component / I.V. Abankina, F.T. Aleskerov, V.Y. Belousova, et al. // Proc. of the 4th Intern. Conf. on Applied Operational Research. — Bangkok, 2012. — P. 244—253.
49. Экономическое положение вузов в условиях бюджетной реформы, повышения автономии и введения ЕГЭ / И.В. Абанкина, Т.В. Абанкина, Е.А. Николаенко и др. — М.: Изд. дом ГУ-ВШЭ, 2010.
50. Cherchye L., Vanden Abeele P. On research efficiency: A micro-analysis of Dutch university research in Economics and Business Management // Research Policy. — 2005. — N 34. — P. 495—516.
51. Koenker R. Quantile Regression. — Cambridge: Cambridge University Press, 2005.
52. McMillan M, Wing H.C. University Efficiency: A Comparison and Consolidation of Results from Stochastic and Non-stochastic Methods // Education Economics. — 2006. — N 14. — P. 1—30.
53. Berger A.N, Humphrey D.B. Efficiency of financial institutions: International survey and directions for future research // European Journal of Operational Research. — 1997. — N 98. — P. 175—212.
54. Петрущенко В.В. Учет неоднородности в оболочечном анализе данных // Проблемы управления. — 2013. — № 5. — С. 2—11.
55. Bauer P.W., Berger A.N., Ferrier G.D., Humphrey D.B. Consistency Conditions for Regulatory Analysis of Financial Institutions: A Comparison of Frontier Efficiency Methods // Journal of Economics and Business. — 1998. — N 50. — P. 85—114.
Статья представлена к публикации членом редколлегии А.А. Дорофеюком.
Алескеров Фуад Тагиевич — д-р техн. наук, зав. лабораторией, Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ); зав. лабораторией, Институт проблем управления им. В.А. Трапезникова РАН, г. Москва, И [email protected],
Белоусова Вероника Юрьевна — канд. экон. наук, зав. отделом, НИУ ВШЭ, г. Москва, И [email protected],
Петрущенко Всеволод Владимирович — стажер-исследователь, НИУ ВШЭ, г. Москва, И [email protected].
