CC BY
46
ОБРАЗОВАНИЕ
УДК 331, 338
DOI 10.17223/19988648/30/14
М.С. Каз
ОЦЕНКА РЕЗУЛЬТАТИВНОСТИ ДЕЯТЕЛЬНОСТИ И «ОТРИЦАТЕЛЬНЫЙ ОТБОР»
Понятие «отрицательный отбор» все чаще упоминается в контексте проблем высшего образования. В статье проведен анализ критериев принятия решений межведомственной комиссией в отношении вузов, признанных неэффективными по результатам мониторинга деятельности учреждений высшего образования. Автором обсуждаются теоретические основы систем мониторинга образовательной деятельности. На примере анализа данных о результатах научной деятельности одного из старейших учебных заведений Сибири показана целесообразность использования для этой цели метода DEA.
Ключевые слова: результативность деятельности, мониторинг, рейтинг, множественная регрессия.
Понятие «отрицательный отбор» все чаще упоминается в контексте проблем высшего образования [1]. Пытаясь бороться с этим явлением, Министерство образования и науки Российской Федерации на протяжении ряда лет осуществляет мониторинг деятельности образовательных учреждений. Его цель - анализ эффективности работы вузов и реорганизация неэффективных учреждений высшего образования.
Оценка высших учебных заведений проводится по показателям: образовательная деятельность, научно-исследовательская работа, международная деятельность, финансово-экономическая деятельность, инфраструктура, трудоустройство. При достижении пороговых значений по любым трем показателям вуз включается в группу эффективных. В противном случае - в группу вузов, имеющих признаки неэффективности.
В отношении образовательных учреждений, включенных в последнюю группу, специальной межведомственной комиссией принимается решение об оптимизации или реорганизации их деятельности [2] .
Нами проведен анализ данных мониторинга деятельности 280 вузов за 2013 г., среди которых 19 попали в группу учебных заведений, имеющих признаки неэффективности деятельности [3].
Установлено, что вузы, отнесенные в разряд неэффективных, рабочей группой межведомственной комиссии были разделены на три подгруппы:
- требующие оптимизации деятельности;
- требующие реорганизации деятельности;
- вузы, по которым не было принято единогласное решение.
Какими критериями руководствовалась рабочая группа межведомственной комиссии при принятии своих решений?
Чтобы определить эти критерии, нами было рассчитано уравнение множественной линейной регрессии. Показатель «характер принятого комиссией решения» получил статус результативного признака (у). Ему присваивались следующие значения: 3 - оптимизация деятельности, 2 - не принято единогласное решение, 1 - реорганизация деятельности. В качестве признаков факторов (хг) - утвержденные показатели оценки эффективности вузов: образовательная деятельность, научно-исследовательская деятельность, международная деятельность, финансово-экономическая деятельность, инфраструктура, трудоустройство (табл. 1).
Таблица 1. Данные по вузам, признанным неэффективными (фрагмент)
Наименование учебного заведения Х1 Х2 Х3 х4 х5 х6 У
Дагестанский государственный педагогический университет 56,82 25,96 1,12 862,65 7,43 98,286 3
Башкирский государственный педагогический университет им. М. Акмуллы 58,93 91,78 0,42 1434,58 7,75 97,128 2
Санкт-Петербургский государственный университет аэрокосмического приборостроения 63,27 349,51 5,08 2226,29 6,41 98,937 1
Амурский государственный университет 0 63,92 0,61 1426,19 8,7 95,084 3
Рязанский государственный университет им. С. А. Есенина 59,3 31,42 1,5 956,8 5,25 99,503 3
Новосибирская государственная архитектурно-художественная академия 65,68 12,87 4,06 1015,58 8,88 97,462 3
Костромской государственный университет им. Н.А. Некрасова 57,59 52,5 0,18 1062,78 11,72 97,008 2
Челябинский государственный педагогический университет 55,87 37,78 0,75 1135,25 8,83 97,572 2
Чеченский государственный педагогический институт 55,59 12,47 0 741,95 9,2 96,727 3
Комсомольский-на-Амуре государственный технический университет 51,88 147,21 0,87 2056,5 10,46 95,116 3
В результате проведенных расчетов было получено уравнение регрессии следующего вида:
>=8,61 - 0,00557x^.0,000967 х2 - 0,092 х3 - 0,000681 х4 + 0,035 х5 - 0,0524 х6.
Из уравнения следует, что наибольшая положительная связь показателя «характер принятого решения» (у) наблюдается с критерием «инфраструктура». Это означает, что на положительный характер заключения межведомственной комиссией (оптимизация, а не реорганизация) в отношении вузов, попавших в группу неэффективных, решающее влияние оказывает значение лишь данного показателя. С остальными параметрами связь показателя «характер принятого решения» намного слабее и даже отрицательная.
О достоверности полученного результата свидетельствует множественный коэффициент корреляции (К), оценивающий тесноту совместного влияния признаков-факторов на результативный признак. Он может принимать
значения от 0 до 1. Чем дальше полученное значение R находится от 0, тем лучше уравнение регрессии описывает фактические данные. В рассматриваемом нами случае выявленная взаимосвязь может быть оценена как умеренная (R= 0,57).
Такой во многом неожиданный результат, полученный при анализе, позволяет поставить вопрос об обоснованности используемых методов оценки результативности деятельности вузов и принимаемых на их основе решений.
Концепцией, получившей в международной практике наибольшее признание для выбора критериев результативности, является концепция «добавленной стоимости» (Value Added) [4]. Высшее образование в ней рассматривается как процесс, способный трансформировать студентов. Приверженцы такого взгляда представляют одно из направлений более широкого научного движения, получившего наименование «трансформационный подход» (transformation approach). Его сторонники утверждают, что измерение показателей развития компетенций студентов на входе и выходе образовательного процесса позволяет представить зримые доказательства воздействия образования на учащихся и их трансформацию под влиянием указанных воздействий [5]. Однако, как показывают результаты нашего анализа, важным этапом в применении данной концепции является не только выбор наиболее результативных показателей оценки трансформационного воздействия образовательного процесса на студентов, но и выбор метода свертки показателей. Следует также отметить, что принципы трансформационного подхода могут быть распространены и на отдельные аспекты деятельности вуза, например, на его научную деятельность.
Нами они были применены в процессе анализа данных о результатах научной деятельности одного из старейших учебных заведений Сибири.
С целью определения эффективности использования научного потенциала, уровня научных исследований, их динамики, актуальности и конкурентоспособности разработок научным управлением данного вуза ежегодно проводится рейтинговая оценка его подразделений.
При формировании руководством вуза структуры и содержания рейтинга за основу были приняты показатели по науке, учитываемые при его аттестации, аккредитации, а также входящие в различные независимые системы рейтингов высших учебных заведений.
В результате в рассматриваемом вузе итоговое место подразделения определяется как сумма мест по ряду основных показателей:
K1 - коэффициент, характеризующий выполнение основных плановых показателей;
К2 - вклад подразделения в показатели вуза по науке;
К3 - объем госбюджетных средств;
К4 - объем внебюджетных средств;
К5 - результативность деятельности подразделения и некоторым дополнительным показателям.
Рейтинг составляется отдельно для научно-исследовательских подразделений и факультетов (табл. 2).
Насколько справедливы и информативны результаты оценки деятельности, определяемые указанным выше способом?
М.С. Каз
Мы применили метод DEA (Data Envelopment Analyses) для анализа результатов деятельности вуза. Он может использоваться в случаях, когда не все оцениваемые данные имеют стоимостное выражение.
Таблица 2. Рейтинг подразделений по научной деятельности (фрагмент)
Подразделение Выполнение плановых показателей Вклад в показатели вуза Внебюджетное финансирование Итоговый рейтинг
А 3 2 1 1
Б 2 3 2 2
В 1 1 3 3
Г 7 1 1 1
Д 5 3 4 2
Е 10 6 2 3
Ж 3 4 9 4
З 2 12 6 5
И 6 2 10 6
К 8 5 8 7
Л 4 7 5 8
М 1 8 7 9
Н 11 10 3 10
О 9 11 13 11
П 12 9 11 12
Р 13 13 12 13
Таблица 3. Оценка подразделений с помощью метода DEA (фрагмент)
Подразделение Вклад в показатели вуза Результативность деятельности подразделения Эффективность
А 4,626 0,093 1
Г 9,41 0,061 1
Е 6,766 0,078 1
К 7,457 0,063 0,996
Ж 7,666 0,077 0,833
Б 4,136 0,061 0,79
Д 8,374 0,058 0,778
В 5,144 0,055 0,774
И 9,232 0,058 0,771
Л 5,447 0,057 0,652
З 2,828 0,05 0,631
М 4,213 0,027 0,469
П 3,574 0,014 0,456
О 3,317 0,033 0,454
Н 3,509 0,023 0,347
Р 1,555 0,015 0,231
Эффективность деятельности подразделений в рамках указанного метода определяется на основе соотношения входов (используемых ресурсов) и выходов (конечных результатов деятельности) [6]. В основе БЕЛ-анализа лежит метод линейного программирования. Цель моделирования - определить весовые значения иг и V, связанные с видом продукта или услуги на выходе (г) и видом используемых ресурсов на входе (г).
Метод позволяет составить рейтинг подразделений по научной деятельности на основе оценки эффективности их работы.
Для реализации процедур Data Envelopment Analyses применительно к научной деятельности подразделений исследуемого вуза в качестве входного нами был выбран показатель, характеризующий потенциал соответствующего подразделения, - данные о профессорско-преподавательском персонале, имеющем научную степень. В качестве параметров, характеризующих результаты научной деятельности, выбраны три показателя, так как при большом количестве показателей и небольшом количестве оцениваемых единиц различительная способность метода DEA снижается.
Таким образом, в качестве выходных были использованы следующие показатели: вклад подразделения в показатели вуза по науке, объем привлеченных финансовых средств, результативность деятельности подразделения. Некоторые результаты проведенных расчетов представлены в табл. 3.
Также с помощью данного метода были вычислены целевые значения оценочных показателей для подразделений, признанных по результатам расчетов недостаточно эффективными (показатель эффективности меньше 1). Они позволяют каждому такому подразделению наметить направление движения к результатам, достигнутым лидерами. Последние начинают играть, роль эталонных объектов, с которыми производится сопоставление, а сам DEA-анализ становится, также и инструментом бенчмаркингового исследования (табл. 4).
Таблица 4. Целевые значения показателей для подразделений (фрагмент)
Подразделение Вклад в показатели вуза Результативность деятельности подразделения
А 5,237 0,086
В 6,647 0,078
Д 10,77 0,075
Ж 9,206 0,092
З 4,479 0,079
И 11,98 0,078
К 7,484 0,063
Л 8,348 0,087
М 8,986 0,058
Н 10,107 0,066
О 7,3 0,073
П 7,844 0,051
Р 6,741 0,065
Результаты сравнения эффективности подразделений, рассчитанные на основе метода DEA, с рейтинговой оценкой на основе принятой в вузе методики (табл. 5) выявили, что лучших показателей, чем представлялось ранее, достигли такие подразделения, как Е, К, П, Л. Хуже оказались результаты у подразделений Д, З, Н. Что же касается научно-исследовательских подразделений, то их положение не изменилось.
М.С. Каз
156 -
Таблица 5. Сравнение рейтинга подразделений вуза, рассчитанного двумя методами
Подразделение Место в рейтинге по DEA Место в рейтинге по методу, используемому в вузе
Научно-исследовательские подразделения
А 1 1
Б 2 2
В 3 3
Факультеты
Г 1 1
Д 5 2
Е 2 3
Ж 4 4
З 8 5
И 6 6
К 3 7
Л 7 8
М 9 9
Н 12 10
О 11 11
П 10 12
Р 13 13
Таким образом, оценка подразделений вуза с помощью метода DEA существенно изменяет представление о результативности деятельности подразделений и позволяет выявить их потенциальные возможности.
Литература
1. Каз М.С. Концепции и дилеммы двухуровневой системы университетского образования // Вестн. Том. гос. ун-та. Экономика. 2012. №-3. С. 63-65.
2. Методика расчета показателей мониторинга эффективности образовательных организаций высшего образования [Электронный ресурс]. URL: http://base.consultant.ru/cons/ cgi/ online. cgi?req=doc;base=EXP;n=586415 (дата обращения: 09.01. 2015)
3. Информационно-аналитические материалы по результатам анализа показателей эффективности образовательных организаций высшего образования [Электронный ресурс]: Информационно-аналитические материалы по образовательным организациям. Электрон. дан. 2013. URL: http://miccedu.ru/monitoring/ (дата обращения: 15.03.2014).
4. Hanushek Eric A. and Rivkin Steven G. Generalizations about the Use of Value-Added Measures of Teacher Quality // American Economic Review. May 2010. № 100(2). P. 267-271.
5. Mezirow Jack. Transformative Learning: Theory to Practice // New Directions for Adult and Continuing Education. 1997, no. 74. P. 5-12.
6. EmrouznejadAli, Cabanda Emilyn. Managing Service Productivity. Using Frontier Efficiency Methodologies and Multicriteria Decision Making for Improving Service Performance. Berlin: Springer, 2014. 394 p.
M.S. Kaz. Department of System Management and Business Economics, National Research Tomsk State University, Tomsk, Russia. Department of Economics, National Research Tomsk Polytechnic University, Tomsk, Russia. E-mail: [email protected]
PERFORMANCE ASSESSMENT AND "ADVERSE SELECTION"
Keywords: Performance; Monitoring; Ranking; Multiple linear regression.
The concept of "adverse selection" is repeatedly mentioned in relation to the problems of higher education. This paper analyzes the results of the monitoring of higher education institutions' activity, conducted annually by the Ministry of Education and Science of the Russian Federation.
It was found that universities recognized by the working group of the interdepartmental commission as inefficient had been divided into three groups, namely, universities requiring optimization of
activity, universities requiring restructuring of activity, and universities that could not be unanimously classified by the experts.
What had criteria had the working group used?
Multiple linear regression was calculated to determine those criteria. The calculations showed that the highest degree of association was between the parameter "nature of the decision made" (y) and the indicator "infrastructure". This implied that only "infrastructure" had had decisive influence on the positive conclusion (in favor of optimization, not reorganization) of the interdepartmental commission in relation to higher education institutions that were qualified as inefficient. The degree of association of the parameter "nature of the decision made" and the rest of the parameters was appeared to be rather low or even with a negative value.
This largely unexpected result obtained in the course of the analysis enabled us to pose a question on validity of the methods used to assess the performance of universities and decisions based on them.
The paper discusses the theoretical basis for systems of monitoring educational activity, viz. the concept of "added value", "the transformational approach". Following the results of the analysis, the author considers the need for a more careful approach not only to the selection of the most effective indicators for assessing the transformational impact of educational process on students but also to the selection of folding techniques for parameters. For this purpose, it is expedient to use Data Envelopment Analysis, which is demonstrated by the example of data analysis of one of the oldest educational institutions of Siberia. This method makes it possible to rank scientific based on the assessment of their performance; to calculate the target values of indicators for assessment for those departments that are recognized as ineffective according to the results of calculations; to outline the actions to be taken on the pathway towards the achievement of results demonstrated by the leaders. This confirms the fact that Data Envelopment Analysis also performs the functions of a tool for benchmarking research.
References
1. Kaz M.S. Kontseptsii i dilemmy dvukhurovnevoy sistemy universitetskogo obrazovaniya [The concepts and dilemmas of the two-tier system of higher education]. Vestnik Tomskogo gosudarstven-nogo universiteta. Ekonomika - Tomsk State University Journal of Economics, 2012, no. 3, pp. 63-65.
2. Methodology for the calculation of indicators in the framework of monitoring the performance of higher education establishments. Available at: http://base.consultant.ru/ cons/cgi/ online.cgi? req=doc;base=EXP;n=586415 (accessed 09 January 2015).
3. Data of the analysis of the performance indicators of higher education establishments, 2013. Available at: http://miccedu.ru/monitoring/ (accessed 15 March 2014).
4. Hanushek E. A., Rivkin S.G. Generalizations about the Use of Value-Added Measures of Teacher Quality. American Economic Review, 2010, vol. 100(2), pp. 267-271.
5. Mezirow J. Transformative Learning: Theory to Practice. New Directions for Adult and Continuing Education, 1997, no. 74, pp. 5-12.
6. Emrouznejad A., Cabanda E. Managing Service Productivity. Using Frontier Efficiency Methodologies and Multicriteria Decision Making for Improving Service Performance. Berlin, Springer, 2014. 394 p.
Поступила в редакцию 21.05.2015 Received June 21.05, 2015
For referencing:
Kaz M.S. Otsenka rezul'tativnosti deyatel'nosti i "otritsatel'nyy otbor" [Performance assessment and "adverse selection"]. Vestnik Tomskogo gosudarstvennogo universiteta. Ekonomika - Tomsk State University Journal of Economics, 2015, no. 2 (30), pp. 151-157.
