CC BY
82Рязанова А. А., аспирант кафедры Теории статистики и прогнозирования, АНО ВПО Евразийский открытый институт, г. Москва, [email protected]
МЕТОДЫ ЭКСПЕРТНОГО АНАЛИЗА ДЛЯ ОПРЕДЕЛЕНИЯ ЗНАЧИМОСТИ ПОКАЗАТЕЛЕЙ КОНКУРЕНТОСПОСОБНОСТИ КАЧЕСТВА ВЫСШЕГО ОБРАЗОВАНИЯ
В статье рассматривается возможность учета предпочтений потребителей образовательных услуг при оценке конкурентоспособности качества высшего образования. Предлагается и апробируется методика проведения экспертного опроса и определяется степень согласованности мнений экспертов. На основе полученных данных производится расчет коэффициентов весомости показателей конкурентоспособности качества высшего образования.
Ключевые слова: конкурентоспособность, качество высшего образования, предпочтения потребителей, экспертный метод, согласованность мнений экспертов, коэффициент интерквантильной вариации, коэффициент конкордации.
Введение
В настоящее время в России во всех сферах экономики сложились рыночные отношения, основной движущей силой которых является конкуренция. Подобные рыночные механизмы действуют и на рынке образовательных услуг. Он характеризуется высокой степенью конкуренции, которая в ближайшей перспективе будет усиливаться. Эта тенденция связана с уменьшением количества абитуриентов в стране, развитием интеграционных процессов в образовании, а также с борьбой за повышение доступности и качества высшего образования.
Качество является ключевой характеристикой образовательного процесса, так как характеризует его состояние. Рассмотрение качества высшего образования в рамках рыночных отношений автоматически
приводит к определению конкурентоспособности.
Если трактовать качество высшего образования как состояние образовательного процесса, подходы к определению понятия «конкурентоспособность качества высшего профессионального образования» аналогичны тем, которые используют для услуг производственной сферы. Конкурентоспособность качества высшего профессионального образования можно обозначить как способность образовательного процесса удовлетворять потребности конкретного рынка в некоторый промежуток времени.
В связи с этим основная цель исследования заключается в разработке комплексной методики оценки конкурентоспособности качества высшего образования, основанной на широком применении статистических и эвристических методов анализа.
Реализация данной цели предполагает решение следующих задач:
1) исследовать современное состояние и тенденции развития высшего образования в Российской Федерации;
2) уточнить понятие конкурентоспособности качества высшего образования и сформировать номенклатуру показателей для проведения оценки;
3) проанализировать существующие подходы к оценке конкурентоспособности качества высшего образования;
4) апробировать разработанную методику оценки конкурентоспособности качества высшего образования на примере конкретного вуза — Электростальского политехнического института (филиала) ФГАОУ ВПО «Национальный исследовательский технологический университет «МИСиС».
Предметом проводимого исследования выступают методы оценки конкурентоспособности качества высшего образования, объектом исследования — высшие учебные заведения Российской Федерации.
Методологической и теоретической основой послужили труды отечественных и зарубежных экономистов, социологов и правоведов, специализирующихся на изучении проблем высшего образования в Российской Федерации.
Существуют различные методы оценки конкурентоспособности. Чаще всего применяются формализованные методы, основанные на сопоставлении различных показателей конкурентоспособности качества высшего образования конкретного вуза с базовым образцом.
Для выбора оптимального метода следует принять во внимание следующее:
— для адекватной оценки конкурентоспособности необходимо учитывать, что потребитель при выборе образовательной услуги исходит из соотношения «цена-качество»;
— в сфере высшего образования достаточно сложно определить базу для сравнения, так как большинство вузов относят
часть данных о своей деятельности к коммерческой тайне;
— наиболее достоверным показателем конкурентоспособности является предпочтение потребителей образовательных услуг.
Иными словами, улучшение характеристик образовательного процесса по сравнению с базовым образцом не гарантирует повышение уровня конкурентоспособности, если потребитель не посчитает такое улучшение значимым.
Особенности потребителей — важнейшая составляющая оценки конкурентоспособности, так как нельзя получить адекватную оценку, если не учитывать предпочтения, потребности и экономические возможности потребителей в некотором регионе. Анализ научной и методической литературы показал, что указанная составляющая учтена недостаточно.
При формализованных методах оценки конкурентоспособности учесть предпочтения потребителей возможно только через выявление коэффициентов значимости или весомости. При определении степени значимости показателей для потребителя обычно применяется экспертный метод.
Формирование номенклатуры показателей конкурентоспособности качества высшего образования
На первом этапе исследования нужно сформировать номенклатуру показателей, которые в дальнейшем будут предложены экспертам для оценки. Их целесообразно разделять на потребительские и экономические. Спектр показателей достаточно широк и определен на законодательном уровне1.
1 Наводнов В. Г., Геворкян Е. Н., Мотова Г. Н. Аккредитация высших учебных заведений в России // Йошкар-Ола: Марийский государственный университет, 2008. С. 61.
Заметим, что потребительские показатели (показатели качества) складываются из лицензионных показателей и показателей государственной аккредитации. Однако большинство лицензионных показателей не имеют количественной определенности и минимально необходимы для осуществления образовательной деятельности (социальная инфраструктура, заключения санитарно-эпидемиологической станции и государственной противопожарной службы), т. к. образовательная деятельность является лицензируемой. Без лицензии образовательного учреждения не существует. Поэтому в расчетах можно пренебречь организационно-правовыми основами деятельности вуза и его социальной инфраструктурой, изначально определив, что если вуз функционирует на рынке образовательных услуг, значит, соблюдены все лицензионные нормативы.
Таким образом, окончательная номенклатура показателей, подлежащих экспертной оценке, имеет вид, представленный в табл. 1.
Определение коэффициентов значимости показателей конкурентоспособности качества высшего образования с использованием методов экспертного анализа
Информация, полученная от экспертов, может рационально использоваться только при условии, что она преобразуема в удобную для анализа форму. Для выявления предпочтений потребителей была разработана анкета, состоящая из двух частей. В первой сгруппированы потребительские показатели конкурентоспособности качества высшего образования, во второй — экономические.
Если эксперт может оценить предложенные показатели, присвоив каждому из них определенное число, считается, что он обладает устойчивой системой предпочтений.
Однако предпочтения должны быть заданы по некоторой шкале. В данном исследовании целесообразно использовать порядковую шкалу, основная задача которой состоит в выявлении скрытых предпочтений, поэтому 100 экспертам было предложено проранжировать предложенные показатели в зависимости от их степени значимости для каждого учувствовавшего в опросе.
Под ранжированием понимается процедура упорядочения объектов изучения, которая выполняется на основе предпочтения. Ранг — это порядковый номер значений признака, расположенных в порядке возрастания или убывания их величин2. В результате ранжирования каждый из критериев конкурентоспособности качества высшего образования получает оценку ху — ранг, приписываемый у-м экспертов 1-му показателю.
Необходимо учитывать, что номенклатура потребительских показателей конкурентоспособности качества включает 22 показателя, из них два экономических.
При использовании весовых коэффициентов значимости в оценке конкурентоспособности качества высшего образования должно соблюдаться равенство:
п т
X ап,= Ъ аэ!, (1)
У=1 У=1
где ап — степень значимости потребительских критериев;
аэ — степень значимости экономических критериев;
п и т — количество потребительских и экономических критериев3.
Таким образом, для оценки значимости потребительских показателей будет исполь-
2 Теория статистики: учебник / под ред. Р. А. Шмой-ловой. 4-е изд. М.: Финансы и статистика, 2006. С. 387.
3 Сурнина Е. А. Исследование методов оценки конкурентоспособности товара и разработка модели для управления конкурентоспособностью: монография. Ижевск: Изд-во Института экономики УрО РАН, 2009. С. 20.
Таблица 1
Номенклатура показателей для оценки конкурентоспособности качества высшего профессионального образования
№ п/п Наименование показателя
Потребительские показатели (показатели качества)
1 ППС с учеными степенями и учеными званиями
2 Доктора наук, профессора
3 Оборудование учебно-лабораторных помещений (экспертная оценка)
4 Количество единиц учебно-методической литературы на одного студента приведенного контингента
5 Количество терминалов, с которых имеется доступ к сети Интернет (на 100 студентов приведенного контингента)
6 Соответствие содержания и уровня подготовки требованиям ГОС
7 Уровень требований при приеме
8 Соответствие качества подготовки обучающихся и выпускников требованиям ГОС
9 Эффективность внутривузовской системы обеспечения качества образования
10 Уровень организации научно-исследовательской работы студентов
11 Востребованность выпускников
12 Воспитательная деятельность
13 Среднегодовое количество монографий на 100 основных штатных педагогических работников с учеными степенями и (или) званиями
14 Число укрупненных групп специальностей по реализуемым основным образовательным программам
15 Число отраслей науки, в рамках которых выполняется НИР
16 Число отраслей науки по специальностям научных работников (аспирантуры)
17 Среднегодовой контингент обучающихся по образовательным программам профессиональной переподготовки и/или повышения квалификации
18 Число аспирантов на 100 студентов контингента, приведенного к очной форме обучения
19 Среднегодовое количество защит диссертаций на 100 человек научно-педагогического персонала за 5 лет
20 Процент аспирантов, защитивших диссертации не позднее чем через год после окончания аспирантуры (от числа поступивших)
21 Среднегодовой объем научных исследований на единицу научно-педагогического персонала за 5 лет (тыс. руб.)
22 Среднегодовой объем финансирования исследований за 5 лет (тыс. руб.)
Экономические показатели
1 Цена образовательной услуги
2 Дополнительные расходы на обучение (литература, Интернет и т. д.)
зоваться 22 ранга, причем наиболее значимому для потребителя показателю присваивается ранг «1», наименее значимому — ранг «22». Для оценки значимости экономических показателей были использованы только два ранга.
Для расчета весовых коэффициентов результаты опроса 100 экспертов относительно 22 потребительских показателей конкурентоспособности были сведены в матрицу размерностью 100 х 22, а результаты опроса относительно двух экономических показателей — в матрицу 100 х 2. В результате анализа данных матриц получены сводные таблицы для расчета суммы рангов по каждому показателю.
Затем были рассчитаны весовые коэффициенты значимости для потребительских и экономических показателей, т. е. каждому из показателей был присвоен вес. Расчет коэффициентов для потребительских показателей провели по формуле (2), а для экономических — по формуле (3):
(т ■ п - S¡) а = , (2)
а =
ХЯ '
(т ■ к - S¡)
(3)
где S¡ и S/ — суммы рангов всех экспертов по отдельному потребительскому и экономическому показателю соответственно; Е и — суммы рангов всех экспертов по всем потребительским и всем экономическим показателям соответственно; п — число потребительских показателей конкурентоспособности качества Е Я,; к — число экономических показателей конкурентоспособности качества; т — количество экспертов, участвовавших в опросе4.
Расчет весовых коэффициентов для потребительских показателей конкурентоспособности качества высшего образования приведен в табл. 2.
Расчет весовых коэффициентов для экономических показателей конкурентоспособности качества высшего образования приведен в табл. 3.
В опросе участвовало 100 экспертов, поэтому расхождения в их оценках неизбежны, но величина расхождения имеет принципиальное значение.
Коэффициенты весомости, полученные в результате проведения опроса, можно применить к анализу только в случае согласованности мнений экспертов между собой.
Оценка согласованности мнений экспертов с помощью коэффициента интерквартильной вариации
Для оценки согласованности мнений экспертов используются квартили, которые представляют собой некоторое значение показателя, делящее ранжированную совокупность на четыре равновеликие части. Нижний квартиль ^) отсекает 1/4 совокупности с наименьшими значениями признака, верхний квартиль — 1/4 совокупности с наибольшими значениями признака. Вторая квартиль является медианой (Ме), т. е. медианное значение стоит в центре ранжированного ряда5.
Для того чтобы определить значения всех квартилей, необходимо знать их порядковые номера, поэтому выставленные экспертами ранги для всех показателей нужно упорядочить и присвоить ранги.
Далее следует определить порядковые номера квартилей, чтобы затем рассчитать величины вариантов, обладающих такими номерами по следующим формулам:
4 Оценка конкурентоспособности: теоретические и практические аспекты: учебное пособие для студентов высших учебных заведений / под ред. И. М. Романова. 2-е изд. Владивосток: Изд-во ТГЭУ, 2007. С. 115.
5 Теория статистики: учебник / под ред. Р. А. Шмой-ловой. 4-е изд. М.: Финансы и статистика, 2006. С. 252.
Таблица 2
Расчет весовых коэффициентов для потребительских показателей
Наименование показателя S| тп^, а,
Процент ППС с учеными степенями и учеными званиями 689 1511 0,0654
Процент докторов наук, профессоров 697 1503 0,0651
Оборудование учебно-лабораторных помещений 744 1456 0,0631
Количество единиц учебно-методической литературы на одного студента приведенного контингента 985 1215 0,0526
Количество терминалов, с которых имеется доступ к сети Интернет (на 100 студентов приведенного контингента) 1338 862 0,0373
Соответствие содержания и уровня подготовки требованиям ГОС 847 1353 0,0585
Уровень требований при приеме 1012 1188 0,0515
Соответствие качества подготовки обучающихся и выпускников требованиям ГОС 707 1493 0,0646
Эффективность внутривузовской системы обеспечения качества образования 792 1408 0,061
Процент студентов очной формы обучения, участвующих в НИР 1033 1167 0,0506
Востребованность выпускников (количество предприятий, с которыми имеются договоры на подготовку и распределение специалистов) 638 1562 0,0675
Воспитательная деятельность (экспертная оценка) 1316 884 0,0382
Среднегодовое количество монографий на 100 основных штатных педагогических работников с учеными степенями и (или) званиями 1439 761 0,033
Число укрупненных групп специальностей по реализуемым основным образовательным программам 1342 858 0,0372
Число отраслей науки, в рамках которых выполняется НИР 1281 919 0,0397
Число отраслей науки по специальностям научных работников (аспирантуры) 1309 891 0,0385
Среднегодовой контингент обучающихся по образовательным программам профессиональной переподготовки и/или повышения квалификации 1356 844 0,0365
Число аспирантов на 100 студентов контингента, приведенного к очной форме обучения 1494 706 0,0306
Среднегодовое количество защит диссертаций на 100 человек научно-педагогического персонала за 5 лет 1527 673 0,0292
Процент аспирантов, защитивших диссертации не позднее чем через год после окончания аспирантуры (от числа поступивших) 1615 585 0,0253
Среднегодовой объем научных исследований на единицу научно-педагогического персонала за 5 лет (тыс. руб.) 1599 601 0,0261
Среднегодовой объем финансирования исследований за 5 лет (тыс. руб.) 1540 660 0,0285
Итого 25300 23100 1
Таблица 3 Расчет весовых коэффициентов для экономических показателей, руб. / год
Наименование показателя mk-S| а
Цена образовательной услуги 108 92 0,92
Дополнительные расходы на обучение (литература, Интернет и т. д.) 192 8 0,08
Итого 300 100 1
^ = 1 -(100 +1) = 25,25, (4)
= 3 -(100 +1) = 75,75. (5)
3 4
Заметим, что количество выставленных рангов четное, следовательно, квартили обозначим как средние из двух выбранных вариантов. Так, значением нижнего квартиля является средняя величина вариантов с порядковыми номерами (25;26), значением верхнего квартиля — средняя величина вариантов с порядковыми номерами (75;76), значением медианы — средняя величина вариантов с порядковыми номерами (50;51).
Зная значения нижнего, верхнего квартилей и медианы, можно рассчитать коэффициент интерквартильной вариации по формуле
О - О,
Дq = ■
Ме
(6)
бительских показателей значение Aq варьируется в пределах от [0,38; 2,25], поэтому рассчитаем коэффициент интерквартиль-ной вариации для ответов экспертов, находящихся в пределах [О1; О3]. Расчет Aq1 приведен в табл. 5.
Данные табл. 5 свидетельствуют о том, что для большинства потребительских показателей Aq1 принимает значение в пределах от [0; 0,2]. Следовательно, мнение экспертов можно считать согласованным. Заметим, что основной причиной отклонений от указанных пределов является участие в опросе достаточно большого количества экспертов.
Оценка согласованности мнений экспертов с помощью коэффициента конкордации
Чаще всего для определения согласованности в ранжировании большого числа экспертов применяется множественный коэффициент ранговой корреляции (коэффициент конкордации), который вычисляется по формуле
М =
12Б
т
-п)'
(7)
Расчет коэффициента интерквартильной вариации для потребительских и экономических показателей приведен в табл. 4.
В случае если коэффициент интерквартильной вариации принимает любые значения в интервале [0; 0,2], мнение экспертов можно считать согласованным.
Из данных табл. 4 следует, что Aq для экономических показателей в обоих случаях принимает значение, равное 0, что говорит о полном единодушии экспертов. Для потре-
где т — количество показателей; п — число наблюдений; в — отклонение суммы квадратов рангов от средней квадратов рангов6.
В результате анализа матриц опроса и проведения промежуточных расчетов было получено значение в = 4604600.
Тогда коэффициент конкордации соста-
вит:
М =
12 - 4604600 55255200
1002 (223 - 22) 106260000
= 0,52.
6 Теория статистики: учебник / под ред. Р. А. Шмой-ловой. 4-е изд. М.: Финансы и статистика, 2006. С. 394.
Таблица 4
Расчет коэффициентов интерквартильной вариации
Номер показателя Q^ Qз Ме д?
Потребительские показатели
1 2 10 5 1,6
2 3 11 5 1,6
3 3,5 11 6 1,25
4 5 13,5 9 0,94
5 7,5 20 13 0,96
6 3 11 7,5 1,07
7 5 13,5 9 0,94
8 3 10 6 1,17
9 3 12 6,5 1,38
10 7 13,5 10 0,65
11 1 10 4 2,25
12 8 18 14 0,71
13 11,5 17,5 15 0,4
14 9 18 14 0,64
15 8 17 13 0,69
16 10 16 13 0,46
17 9,5 17 14,5 0,52
18 12 19 16 0,44
19 12 19,5 17 0,44
20 13,5 20 17 0,38
21 12,5 20 17,5 0,43
22 12 20 17 0,47
Экономические показатели
1 1 1 1 0
2 2 2 1 0
Согласованность мнений экспертов может быть признана удовлетворительной и данные, полученные экспертным путем, использованы в оценке конкурентоспособности качества высшего образования.
Заключение
Исследование показало, что оценки, полученные в результате опроса, характеризуются средней степенью согласованности
Таблица 5
Расчет коэффициентов интерквартильной вариации для потребительских показателей
Номер показателя Q^ Qз Ме Д?1
1 4,5 6 5,5 0,27
2 5 7 6 0,33
3 5,5 7,5 6,5 0,3
4 8 10 9 0,22
5 11 15 14 0,28
6 6,5 8,5 8 0,25
7 8 11 9 0,33
8 5 7 6 0,33
9 5 7,5 6,5 0,38
10 9 11 10 0,2
11 3,5 5,5 5 0,4
12 12 15 14 0,21
13 13 16 15 0,2
14 13 15,5 14,5 0,17
15 12 14,5 13 0,19
16 12 14,5 13 0,19
17 13,5 16 14,5 0,17
18 15 17,5 16 0,15
19 15 18 17 0,17
20 16,5 19 17 0,17
21 16 19 17,5 0,17
22 15 18 17 0,17
мнений экспертов относительно рассматриваемых показателей, характеризующих конкурентоспособность качества высшего образования, что подтверждается значениями коэффициента интерквартильной вариации и коэффициента конкордации. Следовательно, данные экспертные оценки могут быть использованы для расчета коэффициентов весомости.
Анализируя мнения экспертов, можно сделать вывод о том, что наиболее важные для большинства респондентов — это показатели государственной аккредитации, определяющие аккредитационный статус по типу «высшее учебное заведение», т. к. значение коэффициентов весомости для этой группы показателей значительно выше, чем для остальных.
Заметим, что конкурентоспособность — многомерная экономическая категория, означающая соответствие товара условиям рынка и требованиям покупателей, которые в современных рыночных условиях редко бывают стабильными. В сфере высшего образования потребительские предпочтения — основа адекватной оценки конкурентоспособности, поскольку высокое качество образования не всегда является залогом успешной реализации образовательной услуги.
Использование предложенного метода экспертных оценок для определения коэффициентов значимости показателей конкурентоспособности качества высшего образования позволяет более точно обозначить уровень конкурентоспособности, так как, кроме самих показателей конкурентоспособности качества высшего образования, в расчетах будет учитываться значимость для потребителя каждого конкретного критерия.
Кроме того, для определения коэффициентов значимости необходимо, чтобы в экспертном опросе принимало участие большое количество экспертов. Однако чем больше экспертов задействовано в исследовании, тем выше вероятность того, что их мнения будут различаться. Для того чтобы принять результаты опроса к анализу, нужно знать, насколько велико это различие, поскольку только высокая степень согласованности мнений экспертов между со-
бой гарантирует адекватность оценки конкурентоспособности качества высшего образования.
В рамках предложенной методики оценка согласованности мнений экспертов производится с использованием двух коэффициентов: интерквартильной вариации и кон-кордации, что позволяет, с одной стороны, определить степень вариации признаков, с другой — тесноту связи между ними.
В заключение отметим, что данные, полученные в результате проведенного исследования, можно использовать для управления качеством образовательных услуг и корректировки учебного процесса.
Список литературы
1. Наводнов В. Г., Геворкян Е. Н, Мотова Г. Н. Аккредитация высших учебных заведений в России. Йошкар-Ола, Марийский государственный университет, 2008. — 166 с.
2. Сурнина Е. А. Исследование методов оценки конкурентоспособности товара и разработка модели для управления конкурентоспособностью: монография. Ижевск: Изд-во Института экономики УрО РАН, 2009. — 88 с.
3. Оценка конкурентоспособности: теоретические и практические аспекты: учебное пособие для студентов высших учебных заведений / под ред. И. М. Романова. 2-е изд. Владивосток: Изд-во ТГЭУ, 2007. — 143 с.
4. Теория статистики: учебник / под ред. Р. А. Шмой-ловой. 4-е изд. М.: Финансы и статистика, 2006. — 656 с.
A. Ryazanova, the post-graduate student of the department the statistical and forecasting theory Euroasian Open Institute, Moscow, [email protected]
the expert analysis methods for defining the significance of
indicators of competitiveness of quality of higher education
The article deals with the possibility of accounting of consumer preferences in educational services in the estimation of competitiveness of quality in higher education. The technique of carrying out of expert poll is suggested and approved, the degree of coordination of expert opinions is defined. Basing on the received data it is calculated weight-coefficients of indicators of competitiveness of quality of higher education.
Key words: competitiveness, quality of higher education, consumer preference, expert method, coordination of expert opinions, coefficient of interquartile variation, coefficient of concordance.
