К вопросу о методике проведения мониторинга эффективности деятельности вузов Текст научной статьи по специальности «Науки об образовании»

ISSN 2311-8725 (Online) ISSN 2073-039X (Print)

Математические методы и модели

К ВОПРОСУ О МЕТОДИКЕ ПРОВЕДЕНИЯ МОНИТОРИНГА ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ВУЗОВ*

Илья Анатольевич СЛОБОДНЯК a*, Аюна Валерьевна БАЕНХАЕВАь

а доктор экономических наук, заведующий кафедрой бухгалтерского учета и аудита, Байкальский государственный университет экономики и права, Иркутск, Российская Федерация [email protected]

ь старший преподаватель кафедры математики и эконометрики,

Байкальский государственный университет экономики и права, Иркутск, Российская Федерация [email protected]

* Ответственный автор

Аннотация

Предмет и тема. С 2012 г. Министерство образования и науки Российской Федерации проводит ежегодный мониторинг эффективности деятельности высших учебных заведений для выявления группы неэффективных вузов, подлежащих реорганизации. Проблема заключается в том, что методика и критерии мониторинга являются спорными и поэтому актуальной является задача его совершенствования.

Цели. Обоснование применения методов многомерного статистического анализа для совершенствования методики оценки эффективности вузов на примере четырех субъектов Российской Федерации.

Методология. Использованы методы математической статистики и многомерного статистического анализа, в частности, кластерного анализа.

Результаты. Проведено разбиение на кластеры качества всех вузов и филиалов, расположенных на территории рассматриваемых субъектов Федерации. Это позволило системно взглянуть на ситуацию и выявить качественные характеристики и слабые места. Предложения авторов заключаются в необходимости уточнения методики оценки эффективности с помощью методов кластерного анализа.

Выводы и значимость. Сделан вывод, что оценка формального выполнения критериев, положенных в основу мониторинга, является недостаточным условием признания деятельности эффективной или неэффективной.

© Издательский дом ФИНАНСЫ и КРЕДИТ, 2015

История статьи:

Принята 22.05.2015 Принята в доработанном виде 08.07.2015 Одобрена 04.08.2015

УДК 519.86

Ключевые слова: мониторинг, вуз, пороговые значения, статистический анализ, кластер

Введение

В последнее время ведется активная дискуссия об эффективности деятельности федеральных образовательных учреждений высшего профессионального образования. Для определения неэффективных вузов Министерство образования и науки Российской Федерации с 2012 г. ежегодно проводит мониторинг высших учебных заведений в масштабах всей страны. Первые результаты показали, что из 502 обследованных вузов имеют

* Работа выполнена при финансовой поддержке государственного задания № 2014/52 на выполнение государственных работ в сфере научной деятельности в рамках базовой части проекта № 597 «Разработка методологии финансового обеспечения социально значимых расходов». (Номер госрегистрации в ФГАНУ ЦИТиС № 01201458899).

признаки неэффективности 1351. Это послужило поводом для реорганизации ряда вузов, в том числе присоединения неэффективных учреждений к эффективным, а также сокращения числа учебных заведений.

Вместе с тем мониторинг вызвал и справедливые претензии со стороны самих вузов, которые, не оспаривая в принципе значимости проводимой работы по оптимизации сети учебных заведений, высказали отрицательное отношение к методике проведения мониторинга и формирования его результатов. И это справедливо, поскольку из всех возможных вариантов выявления неэффективных

1 Мигунова Д.Ю. Веское слово ректора. Оценка руководителями вузов мониторинга эффективности // Аккредитация в образовании. 2014. № 72. С. 44-47.

вузов был выбран простейший: простое отслеживание соблюдения неких пороговых значений по ряду показателей, предложенных министерством, без какого-либо анализа масштабов отклонений от установленных пороговых значений. То есть в методике оценки эффективности преобладал предельный формализм: пороговое значение может быть либо достигнуто, либо не достигнуто. А каков размер превышения или недостижения соответствующего порога было абсолютно неважно. Кроме того, определенные нарекания вызывали и определения этих пороговых значений.

Такой подход с установлением предельно жестких пороговых значений является неоправданным, что определяет актуальность проблемы по совершенствованию существующей методики оценки эффективности.

Объектом авторского исследования стали критерии мониторинга эффективности деятельности вузов. Предметом - изучение возможности применения кластерного анализа как дополнения к уже существующему мониторингу. Была поставлена задача обосновать применение методов многомерного статистического анализа для совершенствования методики оценки эффективности вузов. Для этого предстояло провести критический анализ существующей модели мониторинга вузов; собрать показатели мониторинга 25 вузов и 50 филиалов, расположенных на территории Иркутской области, Республики Бурятия, Забайкальского и Красноярского краев; рассмотреть применимость методов многомерного статистического анализа; разработать рекомендации к модели оценки качества деятельности вузов.

Гипотеза исследования состояла в том, что с применением методов кластерного анализа можно выделить сравнительно небольшое число групп вузов, как можно более схожих между собой внутри группы и как можно более различающихся в разных группах. Параллельно это позволило бы решить задачу по исследованию адекватности существующих критериев оценки эффективности вузов, провести структурный анализ учебных заведений.

Мониторинг эффективности вузов

Прежде всего уделим внимание определению мониторинга (от англ. to monitor - наблюдать, следить). Как правило, под мониторингом понимается непрерывное измерение параметров деятельности (индикаторов) и анализ наблюдаемых изменений для принятия обоснованных управленческих

решений по улучшению деятельности (процесса, системы). Разные источники трактуют мониторинг в более широком или узком смысле применительно к конкретным прикладным видам деятельности, в частности, как:

— систематическое наблюдение за каким-нибудь процессом, чтобы фиксировать соответствие или несоответствие результатов этого процесса первоначальным предположениям2;

— методика и система наблюдений за состоянием определенного объекта или процесса, дающая возможность наблюдать их в развитии, оценивать, оперативно выявлять результаты воздействия различных внешних факторов3;

— систематическое сопоставление действительного состояния дел фирмы или организации с желаемым;

— наблюдение, оценка и прогноз состояния окружающей среды в связи с хозяйственной деятельностью человека;

— массовый комплексный сбор информации, сведений в средствах массовой коммуникации путем ведения радиоперехвата4.

Таким образом, можно выделить несколько существенных моментов при проведении любого мониторинга:

— массовый характер исследования;

— систематический характер исследования;

— проведение исследования путем сбора информации;

— изначальное наличие неких критериев, позволяющих оценить соответствие им фактических параметров исследуемой системы.

С этой точки зрения проводимое исследование эффективности вузов вполне можно признать мониторингом, поскольку оно удовлетворяет всем названным критериям. Он представляет собой целостную систему, реализующую множество функций, и обладает следующими особенностями:

— непрерывностью (сбор данных происходит постоянно);

— диагностичностью (подразумевается наличие критериев, с которыми можно соотнести

2 Комлев Н.Г. Словарь иностранных слов. М.: ЭКСМО, 2006. 476 с.

3 Словарь бизнес-терминов. URL: http://dic.academic.ru/dic. nsf/business/7942/.

4 Большой словарь иностранных слов. М.: ИДДК, 2007. 1000 с.

реальное состояние отслеживаемого объекта, системы или процесса);

— информационной оперативностью (критерии для отслеживания включают наиболее проблемные показатели, на основании которых можно делать вывод об искажениях в отслеживаемых процессах);

— обратной связью, которая позволяет вносить коррективы в отслеживаемый процесс;

научностью.

При этом следует иметь в виду, что собственно мониторинг лишь предоставляет информацию, а ее анализ и интерпретация лежат вне сферы проводимого мониторинга. И если организацию сбора сведений можно признать хорошо разработанной, то методика анализа результатов предельно проста. В то же время целью мониторинга эффективности деятельности вузов в России является формирование статистических и аналитических материалов для последующего принятия решений о группе неэффективных образовательных учреждений и их филиалов, подлежащих реорганизации.

С учетом выявленных специфических признаков мониторинга можно утверждать, что с его помощью решается ряд важных задач:

мониторинг позволяет получить предупреждение о каком-либо неблагополучном явлении, опасности для эффективного функционирования объекта;

мониторинг выступает в качестве инструмента поддержки потребителей образовательных услуг, позволяет ориентироваться в разнообразии вузов и предлагаемых ими услуг;

мониторинг является достоверным источником данных для глобальных и региональных рейтингов.

Применительно к мониторингу эффективности деятельности вузов можно сказать, что в целом он способствует достижению поставленной перед национальной системой образования цели -повысить эффективность системы высшей школы.

Первый мониторинг проводился с 15 августа по 15 сентября 2012 г. Вузу, участвующему в мониторинге, необходимо было в срок до 5 октября отчетного года

сдать два документа отчетности в статистическое управление по форме ВПО-1 и ВПО-2, а также заполнить установленную форму в централизованной программе «1-Мониторинг». Далее данные обобщались в Минобрнауки России, после чего размещались на сайте главного информационно-вычислительного центра министерства6. По аналогичной схеме, но с небольшими изменениями обследование проводилось в последующие годы.

Проблематикой оценки эффективности занимается немало научных коллективов и достаточно разносторонне эта тематика исследуется на протяжении последних десятилетий. Можно отметить работы А.И. Субетто7, Г.Г. Азгальдова8, С.А. Айвазяна и др.

Показатели, пороговые значения и критерии, на основе которых проводится выделение образовательных учреждений, имеющих признаки неэффективности, подготовлены в соответствии с рекомендациями Ассоциации федеральных университетов, национальных исследовательских университетов, Московского государственного университета им. М.В. Ломоносова и Санкт-Петербургского государственного университета. Протокол совета Ассоциации ведущих университетов от 20.09.2012 № С-03/2012 одобрен решением президиума Российского союза ректоров от 12.10.2012 № 1, принят решением межведомственной комиссии по проведению мониторинга деятельности государственных образовательных учреждений в целях оценки эффективности их работы и реорганизации неэффективных государственных образовательных учреждений и филиалов9.

Применение кластерного анализа

В ходе исследования рассматривались шесть показателей эффективности вузов за 2013 г.:

1) образовательная деятельность: средний балл ЕГЭ студентов Ер

2) научно-исследовательская деятельность: объем НИОКР в расчете на одного научно-педагогического работника Е2;

5 Узденов Д.М., Этезов Б.Б. Концепция оценки в теории тестовых проверок: сб. материалов II Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». М.: Московский государственный университет печати, 2004.

6 URL: http://miccedu.ru/monitoring/,

7 Субетто А.И. Нормирование и стандартизация образования как фактор качества государственной образовательной политики. URL: http://www.trinitas.ru/rus/doc/0016/001d/00162098.htm.

8 Азгальдов Г.Г., Костин А.В. Модернизация российской системы образования // Миссия образования в формирующейся новой экономике: Тезисы докладов на международной научной конференции 22-23.01.2009. Нижний Тагил, 2009.

9 Мониторинг деятельности федеральных образовательных учреждений высшего профессионального образования. URL: И1р://минобрнауки.рф/новости/2775/файл/1265/12.10.31-Мониторинг_Результаты^Г

3) международная деятельность: процент иностранных студентов от общего количества выпускников Е3;

4) финансово-экономическая деятельность: доходы вуза из всех источников в расчете на одного научно-педагогического работника Е4;

5) инфраструктура: общая площадь учебно-лабораторных зданий в расчете на одного студента Е5;

6) трудоустройство Е6.

Для филиалов вместо показателя «трудоустройство» использовался «приведенный контингент» Е7.

Авторы решили детализировать существующий подход к группировке вузов, применив для этого инструменты кластерного анализа. В частности, был осуществлен свод показателей по всем вузам, находящимся на территориях указанных ранее четырех регионов, и в результате получены обособленные группы вузов, которые имеют определенную специфику и качественно схожи. На основании проведенного деления можно изучить полученные кластеры и, соответственно, рассматривать вузы не просто с позиций «эффективен» или «неэффективен», а в более широкой полосе качеств, например, в элементарной балльной системе с использованием шкалы от 1 до 5 (при этом «1» соответствует «очень плохим» вузам, а 5 -«очень хорошим»).

Если каждый вуз описывается 6 признаками, то он может быть представлен как точка в 6-мерном пространстве, и сходство с другими учреждениями будет определяться как соответствующее расстояние.

Сходство или различие между классифицируемыми вузами устанавливается в зависимости от метрического расстояния между ними. В настоящем исследовании используется евклидово расстояние:

пересчитаны по формуле z.. = -

-, где i = 1,25 -

dv =Л(xk - x.k)2.

I к =1

Задача кластерного анализа заключается в том, чтобы на основании данных мониторинга разбить множество вузов на пять кластеров (подмножеств) «1,..., «2 так, чтобы каждый вуз принадлежал одному и только одному подмножеству разбиения.

На разбиение очень сильно влияют масштаб и вариация значений критериев. Эта проблема решается путем предварительной стандартизации переменных, приведения значения всех преобразованных переменных к единому диапазону значений. В данном случае все значения критериев

порядковый номер вуза; j = 1,6 - номер критерия10. Будем предполагать, что предложенные пороговые значения (медианы) х г обоснованы и корректны. Получаем, что если значение критерия больше единицы - порог пройден, если меньше - нет.

Решением задачи кластерного анализа являются разбиения, удовлетворяющие критерию оптимальности. В авторском исследовании функционал качества разбиения взят как внутригрупповая сумма дисперсий: к p

F=ZZcj ^ min

l=1 j=1

где aj. - дисперсия j-й переменной в кластере S, l = й11.

Все вычисления по имеющейся статистической базе данных были проведены в программном продукте STATISTICA, который является одним из наиболее известных пакетов статистической обработки в среде Windows.

При этом в исследовании применялись как

иерархические, так и неиерархические методы 12

кластеризации12:

1) метод одиночной связи;

2) невзвешенной внутригрупповой связи;

3) полной связи;

4) центроидный;

5) взвешенной связи;

6) медианный;

7) Уорда;

8) к-средних.

Каждая из методик давала разные разбиения на кластеры, во многом схожие. Но при использовании четвертого, пятого и шестого методов разбиения на кластеры абсолютно совпали, и функционал оказался минимальным. Оптимальное разбиение для вузов и филиалов представлено соответственно в табл. 1 и 2.

Результаты исследования

Кластерный анализ позволил выделить «особые» группы вузов региона (табл. 1), в которых значения

10 Сошникова Л.А., Тамашевич В.Н. и др. Многомерный статистический анализ в экономике: учеб. пособие для вузов. М.: ЮНИТИ-ДАНА, 1999. 598 с.

11 Там же.

12 Там же.

x

x

Таблица 1

Разбиение на кластеры головных вузов Иркутской области, Республики Бурятия, Забайкальского и Красноярского краев

Кластер Вуз Критерии эффективности стандартизированные

Ei E2 E3 E4 E5 E6

S: Иркутский институт международного туризма 0,82 6,03 10,13 1,30 0,00 0,94

S2 Иркутский государственный технический университет 1,03 4,35 4,71 1,43 1,51 0,98

S3 Иркутский государственный университет путей сообщения 0,97 7,75 2,15 1,56 0,76 1,00

S4 Сибирский государственный аэрокосмический университет им. академика М.Ф. Решетнева 1,06 4,77 0,67 0,91 1,07 1,01

Красноярский государственный аграрный университет 0,92 4,16 0,39 1,09 1,03 0,99

Иркутский государственный университет 1,05 4,63 2,05 1,44 0,76 0,97

S5 Братский государственный университет 0,94 2,00 0,23 1,34 1,41 0,91

Иркутский государственный медицинский университет 1,20 1,03 4,50 1,45 1,71 1,02

Байкальский государственный университет экономики 0,99 2,00 2,68 1,21 0,43 0,96

и права

Забайкальский государственный университет 0,97 1,74 2,03 0,96 0,90 0,99

Иркутская государственная сельскохозяйственная 0,82 2,01 4,27 1,15 0,91 0,96

академия

Восточно-Сибирский государственный университет 0,91 1,41 3,75 1,07 0,87 0,94

технологий и управления

Сибирская академия права, экономики и управления 0,86 1,01 0,00 0,96 0,94 0,90

Бурятская государственная сельскохозяйственная академия им. В.Р. Филиппова 0,93 1,41 0,55 0,57 0,91 0,98

Бурятский государственный университет 1,01 0,92 1,63 1,03 0,95 0,98

Восточно-Сибирская государственная академия 1,05 1,23 1,63 0,92 1,42 0,97

культуры и искусств

Читинская государственная медицинская академия 1,11 0,97 0,25 1,51 0,80 1,02

Красноярская государственная академия музыки и театра 1,21 1,24 1,46 1,01 1,85 1,02

Красноярский государственный медицинский 1,17 1,17 1,87 1,49 0,77 1.02

университет

Красноярский государственный педагогический университет им. В.П. Астафьева 1,13 1,20 0,58 0,87 0,93 1,01

Красноярский государственный художественный 1,19 2,07 0,33 0,96 1,37 1,00

институт

Норильский индустриальный институт 1,04 0,18 1,21 1,52 1,24 0,95

Сибирский государственный технологический 0,95 1,46 0,27 0,98 1,01 0,99

университет

Сибирский федеральный университет 1,14 2,36 0,88 1,43 0,99 1,01

Ангарская государственная техническая академия 0,85 1,08 0,00 1,18 1,12 0,95

Источник: составлено авторами

Таблица 2

Разбиение на кластеры филиалов вузов Иркутской области, Республики Бурятия, Забайкальского и Красноярского краев

Кластер Филиал Критерии эффективности, стандартизированные

Ei E2 E3 E4 E5 E7

S! Усть-Илимский филиал Российской академии народного хозяйства и государственной службы при Президенте РФ 0,28 0,85 0,00 4,91 28,2 0,02

s2 Усть-Илимский филиал Восточно-Сибирской государственной академия образования 0,3 0,18 0,00 4,9 47,6 0,01

S3 Филиал Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева в Зеленогорске 0,89 6,47 0,00 0,00 0,00 0,18

Продолжение табл. 2

Кластер Филиал Критерии эффективности, стандартизированные Е Е Е Е Е Е 1 С2 Е3 С4 С7

S4 Усть-Кутский институт водного транспорта (филиал) Новосибирской государственной академии водного транспорта 0,28 0,73 0,00 4,26 13,31 0,27

Филиал Иркутского государственного университета путей сообщения в Северобайкальске 0,00 0,19 0,00 0,97 11,74 0,05

Красноярский институт водного транспорта (филиал) Новосибирской государственной 0,28 0,72 0,00 6,31 14,07 0,21

академии водного транспорта

S5 Филиал Байкальского государственного университета экономики и права в Братске 0,85 1,48 1,40 1,01 0,77 2,02

Филиал Байкальского государственного 0,87 0,83 0,00 0,85 1,86 1,07

университета экономики и права в Усть-Илимске

Филиал Иркутского государственного 0,89 1,00 0,33 0,80 1,03 3,06

университета в Братске

Красноярский институт железнодорожного транспорта - филиал Иркутского 0,99 0,21 0,01 1,53 0,34 6,17

государственного университета путей сообщения

Ангарский филиал Сибирской академии права, 0,84 0,54 0,00 0,88 0,85 0,97

экономики и управления

Восточно-Сибирский филиал Российской 1,05 1,52 0,00 0,87 0,99 2,68

академии правосудия (Иркутск)

Иркутский филиал Российской академии 0,28 1,27 0,00 1,09 0,34 0,55

народного хозяйства и государственной службы при Президенте РФ

Иркутский юридический институт (филиал) Российской правовой академии Министерства юстиции Российской Федерации 1,07 0,42 0,01 0,76 0,33 3,15

Филиал Российского государственного 0,91 0,97 0,00 0,68 2,07 0,83

университета физической культуры, спорта,

молодежи и туризма в Иркутске

Боханский филиал Бурятского государственного 0,80 0,25 0,00 1,04 0,84 1,04

университета

Байкальский филиал Гуманитарного института 1,03 0,74 0,00 0,72 0,85 1,13

(Москва)

Бурятский филиал Сибирского университета потребительской кооперации 0,00 1,14 0,00 0,88 2,94 0,08

Бурятский филиал Сибирского государственного 0,89 0,76 0,00 1,04 2,36 0,96

университета телекоммуникаций и информатики

Улан-Удэнский институт железнодорожного транспорта - филиал Иркутского 0,89 0,70 0,85 0,71 0,82 1,17

государственного университета путей сообщения

Агинский филиал Бурятского государственного 0,85 0,31 0,00 1,00 1,02 1,22

университета

Забайкальский аграрный институт -филиал Иркутской государственной 0,76 1,00 0,71 1,60 1,73 3,19

сельскохозяйственной академии

Забайкальский институт железнодорожного транспорта - филиал Иркутского 0,90 1,29 0,00 1,61 0,84 7,53

государственного университета путей сообщения

Забайкальский институт предпринимательства -филиал Сибирского университета потребительской кооперации 0,99 0,86 0,30 1,11 3,71 1,81

Читинский институт (филиал) Байкальского 0,98 1,06 0,06 1,14 0,81 7,21

государственного университета экономики и

права

Продолжение табл. 2

Кластер

Критерии эффективности, стандартизированные

Ei E2 E3 E4 E5 E7

Хакасский филиал Красноярского 0,89 1,76 0,00 0,68 0,72 0,54

государственного аграрного университета

Ачинский филиал Красноярского 0,88 1,33 0,29 0,78 0,99 1,87

государственного аграрного университета

Филиал Красноярского государственного 0,99 0,85 0,00 0,23 1,23 0,40

педагогического университета

им. В.П. Астафьева в Канске

Филиал Красноярского государственного 1,03 1,63 0,00 0,53 2,74 0,53

педагогического университета им. В.П. Астафьева в Железногорске

Филиал Красноярского государственного 1,15 1,26 0,14 0,60 0 0,33

педагогического университета им. В.П. Астафьева в Ачинске

Филиал Сибирского государственного 0,97 3,05 0,00 0,40 1,44 0,92

аэрокосмического университета им. академика М.Ф. Решетнева в Железногорске

Лесосибирский филиал Сибирского 0,95 0,39 0,06 0,83 1,57 1,53

государственного технологического университета

Лесосибирский педагогический институт -филиал Сибирского федерального университета 1,00 0,13 0,00 1,02 0,63 2,54

Филиал Сибирского федерального университета в Железногорске 1,09 0,70 0,00 0,71 2,08 0,56

Саяно-Шушенский филиал Сибирского 1,01 0,28 0,00 1,97 0,76 1,32

федерального университета

Хакасский технический институт - филиал 0,96 0,30 0,28 1,00 0,76 6,80

Сибирского федерального университета

Восточно-Сибирский институт туризма - филиал 0,88 0,27 0,97 0,80 0,00 1,12

Российской международной академии туризма

Заполярный филиал Ленинградского 0,28 0,84 0,00 0,73 0,84 0,55

государственного университета им. А.С. Пушкина

Красноярский институт железнодорожного 0,99 0,21 0,01 1,53 0,34 6,17

транспорта - филиал Иркутского

государственного университета путей сообщения

Красноярский институт экономики - филиал 0,93 1,21 0,75 1,87 0,66 1,21

Санкт-Петербургского университета управления

и экономики

Красноярский филиал Университета Российской 0,00 0,71 1,18 0,80 0,86 0,58

академии образования

Красноярский филиал Академии труда и 0,92 0,01 0,00 0,96 1,26 0,75

социальных отношений

Красноярский филиал Московского 0,98 0,17 0,48 1,36 0,88 2,16

государственного университета экономики, статистики и информатики (МЭСИ)

Норильский филиал Кисловодского института 1,13 2,03 0,00 0,99 0,00 0,66

экономики и права

Сибирская пожарно-спасательная академия - 1,39 4,44 0,00 2,69 1,59 2,60

филиал Санкт-Петербургского университета Государственной противопожарной службы МЧС России

Таймырский филиал Ленинградского 0,28 0,96 0,08 0,73 1,43 0,54

государственного университета им. А.С. Пушкина

Филиал Московского государственного 0,28 1,07 0,00 1,84 0,00 0,65

университета культуры и искусств в Норильске

Окончание табл. 2

Кластер Филиал Критерии эффективности, стандартизированные Е Е Е Е Е Е 1 С2 Е3 С4 С7

Филиал Московского института предпринимательства и права в Норильске 1,05 0,28 0,92 1,23 0,77 0,05

Филиал Санкт-Петербургского института внешнеэкономических связей, экономики и права в Красноярске 0,28 0,06 0,57 0,62 0,00 0,40

Филиал Российского государственного социального университета в Красноярске 1,02 0,00 0,37 1,10 0,00 1,22

Источник: составлено авторами.

критериев в разы превышают пороговые, а именно -кластеры 52, 53, 54, обозначив лидеров среди вузов по объему НИОКР Е2 и в международной деятельности Е3.

В Иркутском институте международного туризма (кластер критерий Е2 в шесть раз превышает пороговое значение, критерий Е3 - в 10 раз. И это при полном отсутствии собственных площадей Е5.

Стоит выделить вузы кластеров S2, 5 54. В них попали явные лидеры рассматриваемого региона, поскольку критерии Е2 и Е3 имеют четырех- и семикратное превышение пороговых значений.

В кластер 55 попали учебные заведения, которые характеризуются значениями, незначительно отклоняющимися от пороговых, по всем шести критериям. Это так называемые середнячки.

По филиалам вузов, расположенным на территории рассматриваемых регионов, кластерный анализ выделил следующие разбиения (табл. 2).

Усть-Илимский филиал Российской академии народного хозяйства и государственной службы при Президенте РФ (кластер 51) имеет хорошие финансовые показатели, но инфраструктурный показатель в 28,22 раза выше порога, а приведенная численность составляет 2% от порогового значения. Аналогично кластер 52 - Усть-Илимский филиал Восточно-Сибирской государственной академии образования (кластер 52) имеет инфраструктурный показатель, в 46,56 раза превышающий порог, а приведенная численность студентов - 1%. При огромных площадях приведенный контингент студентов недопустимо мал.

Показатели филиала Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева в г. Зеленогорске (кластер 53) очень отличаются от данных других филиалов. При показателях Е5 и Е7 соответственно 0 и 2% показатель Е2 в 6 раз превышает пороговое значение, характеризуя высокий научный потенциал.

В кластеры 54 и 55 входят филиалы, в которых показатели Е5 высоки, при этом набор студентов невелик.

Два вуза Иркутска являются лидерами по науке и привлечению иностранных туристов. В среднем вузы соседних регионов достаточно близки по показателям. Это свидетельствует о примерно одинаковом уровне развития науки, экономики и, конечно, привлекательности вузов (профессий, квалификации, получаемых в них) для выпускников школ.

Практически во всех филиалах критерий «международная деятельность» близок к нулю, что говорит о том, что этот критерий в большинстве случаев невыполним для филиалов, однако есть филиалы, в которых идет бурная научная деятельность, и на это необходимо обращать внимание.

Кластерный анализ помог выявить незначимые параметры при оценке эффективности. Поочередно были удалены из рассмотрения критерии «средний балл ЕГЭ» Е1, а затем «трудоустройство» Е6 и «инфраструктура» Е5 как критерии, обладающие малой дисперсией. Разбиения на кластеры после удаления этих критериев ничуть не изменились. Для филиалов также оказались несущественными такие критерии, как «средний балл ЕГЭ» Е1 и «международная деятельность» Е3.

Средний балл ЕГЭ, который регулярно используется в качестве критерия эффективности, на самом деле никак не влияет на группировку вузов в кластеры, это позволяет сделать вывод о том, что он не вносит достаточно весомого вклада в градацию вузов по качеству. Средний бал ЕГЭ не зависит от работы вуза. Кроме того, немаловажное значение имеет достоверность результатов ЕГЭ, уровень сложности заданий соответствующего года, к которым вузы имеют весьма отдаленное отношение. Следовательно, возникает вопрос, так ли необходим этот показатель для проведения мониторинга в будущем? Аналогичный вывод можно сделать и о втором критерии - трудоустройстве выпускников.

Проведенное исследование показывает, что удаление этого критерия из рассмотрения качественно разбиения не изменило, что говорит о его несущественности. Минобрнауки России при определении количества трудоустроившихся учитывало только тех студентов, кто обратился за помощью в службу занятости (правда, с 2015 г. подход к оценке изменяется). И это при том, что основная масса студентов ищет работу самостоятельно, обращаясь преимущественно в кадровые агентства, а не в службу занятости. Данные бирж труда, к которым обращается методология мониторинга 2013 г., безусловно, верифицируемы, но не являются достаточно репрезентативными и объективными. Эффективность трудоустройства было бы правильнее считать исходя из того количества выпускников, которые устроились на работу по полученной специальности, а не просто встали на учет на бирже труда.

Международная деятельность - это «ахиллесова пята» всех филиалов. И понятно, что иностранные студенты не поедут в отдаленные регионы России за образованием. Конкурентоспособность филиалов очевидно невелика относительно головных вузов, но филиальная сеть выполняет в большинстве своем социальную роль, а именно - обеспечивает доступность высшего образования для удаленных регионов страны.

Жесткие пороговые значения неприменимы. При внимательном рассмотрении можно увидеть, что в одну качественную группу попали как вузы, имеющие показатель 1,01, так и вузы с показателем 0,99. Это свидетельствует о том, что вуз может пройти пороговое значение, незначительно его превышая, и наоборот, не пройти порог, не добрав 12 сотые. А кластерный анализ правильно соотносит

качественные характеристики, помещая вузы рядом в один кластер.

Выводы

Кластерный анализ может расширить применение результатов мониторинга в качестве комплексной оценки качества деятельности образовательных учреждений, позволит системно взглянуть на ситуацию в высшей школе, выявить явных лидеров, а также «странные» вузы. Требуется пересмотр и четкое определение критериев, которые определяют в том числе и судьбу тех или иных высших учебных заведений. Предложенные Министерством образования и науки РФ критерии не позволяют сделать вывод о том, эффективен вуз или неэффективен. Они не дают ответа на вопрос о качестве образования. А ведь именно это и является главной задачей мониторинга. Открытым остается вопрос и о том, что итоги мониторинга и качество работы вузов коррелируют между собой или они находятся в разных плоскостях?

Бесспорно, реорганизация отдельных вузов, оптимизация их числа - необходимы, но делать это нужно исходя из других оценок, основанных прежде всего на том, какова цель системы, что мы хотим получить на ее выходе, каких специалистов не хватает на рынке труда.

Необходимо формирование такой среды, когда российское образование будет не просто конкурентоспособным, но и обеспечивающим экономику страны в достаточном количестве квалифицированными кадрами. Слепой перебор критериев не решит этой задачи. Необходим научный подход, в основе которого в том числе может лежать и кластерный анализ.

Список литературы

1. Борисова Е.И., Полищук Л.И. Анализ эффективности в некоммерческом секторе: проблемы и решения // Экономический журнал ВШЭ. 2009. № 1. С. 80-100.

2. КимДж.-О., Мьюллер Ч.У., Клекка У.Р., ОлдендерферМ.С., Блэшфилд Р.К. Факторный, дискриминантный и кластерный анализ. М.: Финансы и статистика, 1989. 215 с.

3. Куфель Т. Эконометрика: решение задач с применением пакета программ Gretl. М.: Горячая линия-Телеком, 2007. 188 с.

4. ЛевицкийМ.Л. Менеджмент в образовании // Вестник высшей школы. 2011. № 5. С. 50-57.

5. Левицкий М.Л. Трудоустройство выпускников в системе оценки качества высшего профессионального образования // Вестник высшей школы. 2012. № 11. С. 44-47.

6. Мигунова Д.Ю. Веское слово ректора. Оценка руководителями вузов мониторинга эффективности // Аккредитация в образовании. 2014. № 72. URL: http://www.akvobr.ru/ocenka_monitoringa_eifektivnosti.html.

7. Переверзев В.Ю. Математическая модель объективного рейтингования образовательных учреждений на основе концепции информационной энтропии // Двигатель. 2012. № 4. С. 54-56.

8. Эфрон Б. Нетрадиционные методы многомерного статистического анализа. М.: Финансы и статистика, 1988. 263 с.

ISSN 2311-8725 (Online) ISSN 2073-039X (Print)

Mathematical Methods and Models

ON METHODOLOGY FOR MONITORING THE EFFICIENCY OF HIGHER SCHOOL ACTIVITIES

Il'ya A. SLOBODNYAKa*, Ayuna V. BAENKHAEVA

a Baikal State University of Economics and Law, Irkutsk, Russian Federation [email protected]

b Baikal State University of Economics and Law, Irkutsk, Russian Federation [email protected]

* Corresponding author

Article history:

Received 22 May 2015 Received in revised form 8 July 2015

Accepted 4 August 2015

Keywords: efficiency, monitoring, higher school, threshold value, statistical analysis

Abstract

Importance The Ministry of Education and Science of the Russian Federation has conducted annual monitoring of the efficiency of higher schools' activities since 2012, to identify inefficient academic institutions coming under reorganization. The problem is that the methodology and the monitoring criteria are controversial; therefore, their perfection is crucial. Objectives The purpose of the work is to substantiate the applicability of multivariate statistical analysis to improve the methodology for assessing the effectiveness of higher schools on the case of four subjects of the Russian Federation.

Methods The study employs statistical methods and multivariate statistical analysis, in particular, the cluster analysis.

Results We divided into clusters the quality of all higher educational institutions and their branches located in the considered subjects of the Russian Federation. This enabled to have a consistent picture of the situation and identify qualitative characteristics and weaknesses. We believe the methodology for assessing the efficiency with the help of the cluster analysis needs elaboration. Conclusions and Relevance Assessing the formal fulfillment of the criteria underlying the monitoring is insufficient to consider a higher school's activity as efficient or inefficient.

© Publishing house FINANCE and CREDIT, 2015

Acknowledgments

The article was supported by the Ministry of Education and Science of the Russian Federation under State

job No. 2014/52 to perform research activities within the basic component of Project No. 597 Developing the

Methodology for Socially Important Expenditure Financing (State Registration No. 01201458899 with the Center

for Information Technologies and Systems of the Executive Branch).

References

1. Borisova E.I., Polishchuk L.I. Analiz effektivnosti v nekommercheskom sektore: problemy i resheniya [Analysis of efficiency in the non-commercial sector: problems and solutions]. Ekonomicheskii zhurnal VShE = HSE Economic Journal, 2009, no. 1, pp. 80-100.

2. Kim J.-O., Mueller C.W., Klecka W.R., Aldenderfer M.S., Blashfield R.K. Faktornyi, diskriminantnyi i klasternyi analiz [Factor, discriminant and cluster analysis]. Moscow, Finansy i statistika Publ., 1989, 215 p.

3. Kufel T. Ekonometrika: reshenie zadach sprimeneniempaketaprogramm Gretl [Ekonometria: Rozwiazywanie problemow z wykorzystaniem programu GRETL]. Moscow, Goryachaya liniya-Telekom Publ., 2007, 188 p.

4. Levitskii M.L. Menedzhment v obrazovanii [Management in education]. Vestnik vysshei shkoly = Alma Mater (High School Herald), 2011, no. 5, pp. 50-57.

5. Levitskii M.L. Trudoustroistvo vypusknikov v sisteme otsenki kachestva vysshego professional'nogo obrazovaniya [Employment of graduates in the system of assessing the quality of higher professional education]. Vestnik vysshei shkoly = Alma Mater (High School Herald), 2012, no. 11, pp. 44-47.

6. Migunova D.Yu. [Rector's weighty utterance. Assessing the higher school efficiency monitoring by heads of higher schools]. Akkreditatsiya v obrazovanii, 2014, no. 72, pp. 44-47. (In Russ.) Available at: http://www. akvobr.ru/ocenka_monitoringa_effektivnosti.html.

7. Pereverzev V.Yu. Matematicheskaya model' ob"ektivnogo reitingovaniya obrazovatel'nykh uchrezhdenii na osnove kontseptsii informatsionnoi entropii [A mathematical model of unbiased ranking of educational institutions based on the information entropy concept]. Dvigatel' = Engine, 2012, no. 4, pp. 54-56.

8. Efron B. Netraditsionnye metody mnogomernogo statisticheskogo analiza [Computer-intensive methods in statistics]. Moscow, Finansy i statistika Publ., 1988, 263 p.