Научная статья на тему 'Конкурентоспособность российских университетов в глобальной системе высшего образования: количественный анализ'

Конкурентоспособность российских университетов в глобальной системе высшего образования: количественный анализ Текст научной статьи по специальности «Экономика и бизнес»

CC BY
717
170
i Надоели баннеры? Вы всегда можете отключить рекламу.
Область наук
Ключевые слова
ГЛОБАЛЬНАЯ СИСТЕМА ОБРАЗОВАНИЯ / РЕЙТИНГОВЫЕ ОЦЕНКИ / ДИСПЕРСИОННЫЙ АНАЛИЗ / КОНКУРЕНТОСПОСОБНОСТЬ ОБРАЗОВАТЕЛЬНОЙ ОРГАНИЗАЦИИ / GLOBAL EDUCATION SYSTEM / RANKINGS / ANALYSIS OF VARIANCE / HIGHER EDUCATION INSTITUTIONS IN RUSSIA

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Ендовицкий Дмитрий Александрович, Коротких Вячеслав Владимирович, Воронова Мария Викторовна

Цель работы количественный анализ и определение детерминант международной конкурентоспособности образовательных организаций высшего образования РФ. Методы. В процессе исследования использовались параметрические и непараметрические методы анализа данных и машинного обучения. Основные результаты. Исследование направлено на установление скрытых факторов, влияющих на международную конкурентоспособность российских университетов и национальной образовательной системы РФ в целом. В качестве рабочей рассматривалась следующая гипотеза. Позиции российских университетов в международном рейтинге QS различаются: 1) для столичных и региональных университетов; 2) в зависимости от их статуса; 3) в зависимости от участия университетов в Проекте повышения конкурентоспособности ведущих российских университетов «5-100»; 4) в зависимости от уровня годового дохода университетов. Информационная база исследования сформирована с использованием аналитических материалов британской консалтинговой компании QS, а также информационно-аналитических материалов по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования РФ. Выводы. В эмпирической части исследования установлена значимость влияния фактора географического расположения университета на его международную конкурентоспособность. Высокую конкурентоспособность продемонстрировали университеты Москвы и Санкт-Петербурга. Международный рынок образовательных услуг не отдаёт предпочтение университетам, имеющим статус национального исследовательского или федерального. Повышенное государственное финансирование, обременённое утверждёнными дорожными картами Проектного офиса программы повышения конкурентоспособности ведущих российских университетов среди ведущих мировых научно-исследовательских центров «5-100», способствует повышению конкурентоспособности лишь на региональных рынках образовательных услуг. Этого недостаточно для усиления глобальной международной конкурентоспособности российских университетов и национальной образовательной системы РФ в целом. Хотя уровень годового дохода университета оказался значимым фактором международной конкурентоспособности, важную роль играет эффективность управления. Большей международной конкурентоспособностью обладают университеты с большими институциональными свободами в управлении.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Ендовицкий Дмитрий Александрович, Коротких Вячеслав Владимирович, Воронова Мария Викторовна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Competitiveness of Russian Universities in the Global System of Higher Education: Quantitative Analysis

Purpose quantitative analysis and identification of determinants ofRussian universities' global competitiveness. Methods. Parametric and non-parametric methods for data analysis and machine learning. Results. The authors figured out the hidden determinants of international competitiveness of Russian universities and the national educational system of the Russian Federation. We proposed four working hypotheses. (1) The positions of Russian universities in the international QS ranking are different for metropolitan and regional universities. (2) The positions of Russian universities in the international QS ranking depend on the status of universities. (3) The positions of Russian universities in the international QS ranking differ depending on the participation of universities in the Russian Academic Excellence Project "5-100". (4) The positions of Russian universities in the international QS ranking are different depending on the level of annual university income. We obtained dataset for the study from the analytical materials of the British consulting company QS, as well as information and analytical materials from the results of monitoring the effectiveness of educational institutions of higher education in the Russian Federation. Conclusions. In the empirical part, we have established the significance of the university geographical location influence on its international competitiveness. We have found a high competitiveness level of Moscow and St. Petersburg universities. The international market for educational services does not give preference to universities with the status of a «national research» or «federal». Increased state funding, burdened with approved roadmaps of the Project Office of the Program 5-100, contributes to competitiveness only in the regional educational markets, which is still not enough to strengthen the global international competitiveness of Russian universities and the national educational system of the Russian Federation. Although the level of universities annual income was a significant factor in international competitiveness, university management efficiency played an important role, not only increased funding. Universities with greater institutional management freedom will have greater international competitiveness.

Текст научной работы на тему «Конкурентоспособность российских университетов в глобальной системе высшего образования: количественный анализ»

НАПРАВЛЕНИЯ МОДЕРНИЗАЦИИ ВЫСШЕГО ОБРАЗОВАНИЯ^

DOI: https://doi.org/l0.31992/0869-3617-2020-29-2-9-26

Конкурентоспособность российских университетов в глобальной системе высшего образования: количественный анализ

Ендовицкий Дмитрий Александрович - д-р экон. наук, проф., ректор, вице-президент Российского союза ректоров. E-mail: [email protected]

Коротких Вячеслав Владимирович - канд. экон. наук, доцент кафедры информационных технологий и математических методов в экономике. E-mail: [email protected] Воронова Мария Викторовна - аспирант кафедры экономического анализа и аудита. E-mail: [email protected]

Воронежский государственный университет, Воронеж, Россия Адрес: 394018, г. Воронеж, Университетская площадь, 1

Аннотация. Цель работы — количественный анализ и определение детерминант международной конкурентоспособности образовательных организаций высшего образования РФ.

Методы. В процессе исследования использовались параметрические и непараметрические методы анализа данных и машинного обучения.

Основные результаты. Исследование направлено на установление скрытых факторов, влияющих на международную конкурентоспособность российских университетов и национальной образовательной системы РФ в целом. В качестве рабочей рассматривалась следующая гипотеза. Позиции российских университетов в международном рейтинге QS различаются: 1) для столичных и региональных университетов; 2) в зависимости от их статуса; 3) в зависимости от участия университетов в Проекте повышения конкурентоспособности ведущих российских университетов «5-100»; 4) в зависимости от уровня годового дохода университетов. Информационная база исследования сформирована с использованием аналитических материалов британской консалтинговой компании QS, а также информационно-аналитических материалов по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования РФ.

Выводы. В эмпирической части исследования установлена значимость влияния фактора географического расположения университета на его международную конкурентоспособность. Высокую конкурентоспособность продемонстрировали университеты Москвы и Санкт-Петербурга. Международный рынок образовательных услуг не отдаёт предпочтение университетам, имеющим статус национального исследовательского или федерального. Повышенное государственное финансирование, обременённое утверждёнными дорожными картами Проектного офиса программы повышения конкурентоспособности ведущих российских университетов среди ведущих мировых научно-исследовательских центров «5-100», способствует повышению конкурентоспособности лишь на региональных рынках образовательных услуг. Этого недостаточно для усиления глобальной международной конкурентоспособности российских университетов и национальной образовательной системы РФ в целом. Хотя уровень годового дохода университета оказался значимым фактором международной конкурентоспособности, важную роль играет эффективность управления.

Большей международной конкурентоспособностью обладают университеты с большими институциональными свободами в управлении.

Ключевые слова: глобальная система образования, рейтинговые оценки, дисперсионный анализ, конкурентоспособность образовательной организации

Для цитирования: Ендовицкий Д.А, Коротких В.В, Воронова М.В. Конкурентоспособность российских университетов в глобальной системе высшего образования: количественный анализ // Высшее образование в России. 2020. Т. 29. № 2. С. 9-26. DOI: https://doi.org/l0.31992/0869-3617-2020-29-2-9-26

Введение

Процессы глобализации и интернационализации распространили своё влияние и на академическую среду. С одной стороны, они оказывают мощное стимулирующее воздействие на мировую образовательную систему и рынок образовательных услуг, укрепляя сложившиеся и создавая новые межуниверситетские связи, расширяя возможности академической мобильности. С другой стороны, глобальный мир породил конкурентную борьбу не только между отдельными университетами, но и между национальными образовательными системами.

В настоящее время известно несколько концепций конкурентоспособности университета. Дж. Салми разработал концепцию "университета мирового класса" ("World Class Universities", WCU) как образца конкурентоспособного университета [1; 2]. По его мнению, такой вуз характеризуется наличием трёх основных характеристик: концентрация талантов (преподавателей, исследователей и студентов), достаточность ресурсов и эффективная система менеджмента.

С. Мартинсон ввёл понятие "глобальный исследовательский университет мирового класса" ("World Class Global Research University", WC GRU), который идентифицируется им по ряду характеристик: способность сотрудников получать значимые научные результаты; широкий охват академических дисциплин; достаточность ресурсов для реализации научных и образовательных программ; признание на глобальном и региональном уровне; формирование глобальных связей; взаимодействие с бизнесом и экономикой; институциональная автономность

управления; академическая свобода в исследованиях и образовании [3].

В.И. Сацик [4] и Н.Г. Скворцов [5] полагают основным индикатором международной конкурентоспособности университета способность занимать и удерживать устойчивые позиции на определённых сегментах глобального рынка образовательных услуг и продуктов интеллектуальной деятельности благодаря эффективной реализации интеллектуального потенциала, развитой инновационной системе и достаточности финансовых ресурсов, обеспечивающих высокий уровень и качество обучения и научных исследований.

Измерение конкурентоспособности университета, разумеется, является комплексной задачей, которая, по мнению С.С. Донецкой [6], усложняется, если принять во внимание её международный аспект. В исследованиях Д.А. Ендовицкого [7; 8] и И.Е. Задорожнюка и др. [9] отмечается, что задуманные как инструмент количественной оценки и анализа конкурентоспособности университетов глобальные и региональные рейтинги сегодня не только информируют об уровне эффективности и достигнутых результатах стейкхолдеров - государственные и общественные структуры. Рейтинги фактически формируют образ современного университета и задают стандарты его функционирования. Т.Н. Леонова, Н.В. Ма-ланичева, А.С. Маланичева [10] указывают, что сам факт включения в глобальные рейтинги способствует повышению международной конкурентоспособности российских университетов и их интеграции в мировое образовательное пространство. Мировые

рейтинги отражают конкурентоспособность не только отдельных университетов, но и национальных образовательных систем в целом. Наиболее востребованной является «большая тройка глобальных рейтингов»: Академический рейтинг университетов мира (ARWU), рейтинг The Times Higher Education World University Rankings (THE) и рейтинг британской консалтинговой компании Quacquarelli Symonds (QS World University Rankings).

Большая проблема любого рейтинга -выбор методологии. Так, к методологии QS и THE неоднократно высказывались претензии по поводу влияния на значения избранных показателей субъективных мнений разработчиков и неизвестных маркетологов. Воспроизвести результаты по открытым данным не представляется возможным, на что обращают внимание независимые исследователи [11-15]. Ранее мы высказывали идею, что уровень методологии «большой тройки глобальных рейтингов» в целом соответствует качественному маркетинговому продукту, но не инструменту принятия решений [7]. Рейтинг хорош как числовая характеристика состояния конкурентоспособности, но он упускает из виду содержание происходящих в университетах изменений.

Целью настоящего исследования является количественный анализ и определение неявных детерминант международной конкурентоспособности образовательных организаций высшего образования РФ. Предмет исследования - комплекс теоретических и организационно-методических проблем анализа образовательной организации, связанных с оценкой обеспечения аналитических процедур её международной конкурентоспособности, а также последующей разработкой и обоснованием оригинальных методических инструментов экономического анализа международной конкурентоспособности вузов.

Рабочие гипотезы исследования. В настоящем исследовании ставилась задача выявить скрытые факторы, влияющие на про-

цедуры рейтингового оценивания образовательных организаций высшего образования РФ. Научный интерес представляют следующие предположения:

1) позиции российских университетов в международном рейтинге QS различны для столичных и региональных университетов;

2) позиции российских университетов в международном рейтинге QS различаются в зависимости от статуса университетов;

3) позиции российских университетов в международном рейтинге QS различаются в зависимости от участия университетов в Проекте повышения конкурентоспособности ведущих российских университетов среди ведущих мировых научно-исследовательских центров «5-100» (далее проект 5-100);

4) позиции российских университетов в международном рейтинге QS различны в зависимости от уровня дохода университетов.

Методология

Для проверки выдвинутых гипотез обратимся к процедурам дисперсионного анализа. В качестве зависимой переменной будем рассматривать занимаемую университетом позицию в рейтинге, в качестве независимых - географическое расположение, статус университета, участие в проекте 5-100 и уровень дохода. Проверка гипотез оказывается задачей одномерного многофакторного дисперсионного анализа.

Для корректного статистического вывода по результатам параметрического дисперсионного анализа необходимо исходить из нормального распределения сравниваемых групп и однородности дисперсий в группах по всем градациям факторов. Гипотезу об однородности дисперсий можно проверить, используя критерий Левене (Levene Test)

[16] или критерий Бартлетта (Bartlett Test)

[17]. Гипотезу о нормальности можно проверить, используя критерий Шапиро - Уил-ка (Shapiro - Wilk Test) [18] или критерий отклонения распределения случайных величин от нормального (Probability Plot Correlation Coefficient Test for Normality) [19] в случае

Таблица 1

Краткая характеристика набора данных по материалам QS

Table 1

QS Dataset Description

Характеристика QS WUR QS BRICS QS EECA

Временной охват 2017 2018 2016 2017 2018 2016 2017 2018

Число российских университетов, представленных в рейтинге по годам 21 24 51 55 68 42 58 88

Число уникальных российских университетов, представленных в рейтинге 28 71 104

Объём наблюдений 45 174 188

большой размерности сравниваемых групп. В случае значимых отклонений распределений сравниваемых групп от нормального следует обратиться к непараметрическому дисперсионному анализу Краскела -Уоллиса (Kruskal - Wallis Test) [20].

Набор данных

Основным источником данных для проведения количественного анализа стали аналитические материалы Quacquarelli Symonds (QS): мировой рейтинг лучших университетов - QS World University Rankings1 (далее - QS WUR) и два региональных рейтинга QS BRICS University Rankings2 (далее - QS BRICS) и QS EECA University Rankings3 (далее - QS EECA).

В дополнение к информации, представленной в аналитических материалах QS Табл. 1), в исследовании использованы данные о годовых доходах российских университетов, имеющиеся в Информационно-аналитических материалах, полученных по результатам проведения мониторинга эффективности деятельности образовательных

1 QS World University Rankings | Top Universities. URL: https://www.topuniversities.com/university-rankings/world-university-rankings/2020

2 QS BRICS University Rankings | Top Universities. URL: https://www.topuniversities.com/university-rankings/brics-rankings/2019

3 QS EECA University Rankings | Top Universities. URL: https://www.topuniversities.com/university-

rankings/eeca-rankings/2020

организаций высшего образования4. Данные о доходах российских университетов публикуются в следующем за отчётным году, поэтому полный набор данных ограничен 2018 годом. Таким образом, рассматриваются три выборочные совокупности с условными названиями QS WUR, QS BRICS и QS EECA.

Каждый университет в любой из трёх выборок, описывается двумя количественными переменными:

• место в рейтинге (переменная «R»);

• величина дохода в соответствующем году (переменная «Income»);

и несколькими номинативными:

• географическое расположение университета (переменная «City» с двумя градациями: «Столица» и «Регион»);

• статус университета (переменная «Status» c тремя градациями: «Национальный» - у национальных исследовательских университетов, «Федеральный» - у федеральных университетов и «Обычный» - у всех остальных);

• участие в проекте «5-100» (переменная «Project» с двумя градациями: «Входит» -у университетов, включённых в проект «5-100», и «Не входит»);

• уровень дохода университета (переменная «Income_L» с двумя градациями «низкий» - у университетов, имеющих доход ниже среднего среди университетов дан-

4 Информационная система анализа деятельности образовательных организаций в сфере высшего и среднего профессионального образования. URL: http://indicators.miccedu.ru/indicators/

Таблица 2

Дисперсионный анализ

Table 2

Analysis ofvariance

Фактор Df Sum Sq Mean Sq F value P-value

City 1 372325 372 325 12,94 0,0009

Status 2 17 064 8 532 0,297 0,7449

Project 1 5 484 5 484 0,191 0,6647

Income_L 1 373919 373 919 13,00 0,0009

Residuals 39 1 121400 28 754 - -

Таблица 3

Результаты тестирования сравниваемых групп на нормальность распределения (критерий Шапиро - Уилка)

Table 3

Shapiro - Wilk Normality Test

Фактор Градации фактора Объём группы P-value

City Регион 24 0,6674

Столица 21 0,1711

Status Обычный 26 0,0493

Национальный 11 0,0115

Федеральный 8 0,9201

Project Входит 25 0,3456

Не входит 20 0,5851

Income_L Низкий 26 0,0583

Высокий 19 0,5246

Таблица 4

Результаты тестирования однородности дисперсий в группах (критерий Левене)

Table 4

Levene's Test ofEquality ofVariances

Фактор Test statistic Df P-value

City 0,3233 1 0,5697

Status 11,9 2 0,0026

Project 3,138 1 0,0765

Income_L 0,05508 1 0,8144

ного статуса в данном географическом расположении в данном году), и «высокий» - у университетов, имеющих доход выше среднего среди университетов данного статуса в данном географическом расположении в данном году).

По значениям номинативных переменных в каждой выборке могут быть определены соответствующие группы университетов.

Результаты эмпирического исследования Результаты QS WUR. В таблице 2 приведены результаты параметрического дисперсионного анализа по выборке QS WUR. В первых четырёх строках представлены эффекты переменных «City», «Status», «Project» и «Income_L», суммы квадратов отклонений (Sum Sq), средние суммы квадра-

«7ВД

f 500

I

I

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Рслмм Cfojuuia

Географическое pnc полижем не

Рис. 1-1. Диаграмма размаха значений рейтингов университетов по группам Fig. 1-1. University Rankings by Location

тов отклонений (Mean Sq) с указанием значения статистики Фишера (F value) и наблюдаемого р-уровня значимости (P-value). В последней строке таблицы приводятся суммы квадратов отклонений (Sum Sq), средние суммы квадратов отклонений (Mean Sq) для остатков или внутригруппового разброса. Как видим из таблицы, значимые различия выявлены по переменным «City», «Project» и «Income_L».

Результат дисперсионного анализа, указывающий, что средние значения рейтингов университетов для разных уровней фактора различаются, не является окончательным результатом анализа изучаемого явления. Это скорее промежуточный результат, который подразумевает дальнейшее раскрытие того, для каких градаций фактора средние больше, для каких меньше, а для каких одинаковы. Основная процедура дисперсионного анализа не даёт возможности ответить на эти вопросы. Для выявления того, какие именно группы отличаются друг от друга, используем процедуры апостериорных сравнений. Апостериорные сравнения представляют собой попарные сравнения изучаемых групп для обнаружения различий между ними.

Преждде чем приводить содержательную интерпретацию результатов параметрического дисперсионного анализа, выясним, будут ли они достоверны, используя критерий Шапиро - Уилка и критерий Левене (Табл. 3, Табл. 4).

Географическое расположение

Рис. 1-2. Доверительные интервалы для средних значений рейтингов университетов

Fig. 1-2. Observed University Ranking Means (95% confidence interval)

Исходя из приведённых р-уровней значимости, требование по нормальности распределения не выполняется в группах, полученных по градациям фактора «статус университета» и «уровень дохода» (p-value < 0,05). В группах, полученных по градациям фактора «статус университета», нарушено требование по гомогенности. Для получения достоверных результатов в указанных случаях будет использоваться непараметрическая процедура Краскела - Уоллиса.

Содержательная интерпретация результатов дисперсионного анализа. На рисунке 1-1 представлены распределения рейтингов в группах университетов, сформированных по градациям фактора «географическое расположение». Для группы столичных университетов характерно наличие выбросных наблюдений. Здесь и далее в целях визуализации результатов параметрического дисперсионного анализа мы приводим график групповых средних значений (Рис. 1-2). В ситуациях, когда в дисперсионном анализе используются непараметрические процедуры по причине несоответствия распределения нормальному закону, построение графика средних значений нецелесообразно.

По результатам дисперсионного анализа (Табл. 2) можно утверждать, что между рейтингами рассматриваемых групп университетов обнаружены значимые различия, поскольку вероятность получить такие или более ярко выраженные различия между

I i

Непараметрический однофакторный дисперсионный анализ Kruskal - Wallis Rank Sum Test

Таблица 5 Table 5

Зависимая переменная Фактор Test statistic df P-value

Рейтинг Статус университета 2,57 2 0,2766

Рис. 2. Диаграмма размаха значений рейтингов университетов по группам Fig. 2. University Rankings by Status

Рис. 3-1. Диаграмма размаха значений рейтингов университетов по группам Fig. 3-1. University Rankings by Project 5-100 Participation

сравниваемыми по географическому расположению группами университетов (при условии, что верна нулевая гипотеза об отсутствии взаимосвязи географического расположения университета с его местом в рейтинге QS WUR) составляет менее 1%. Нулевая гипотеза отклоняется.

Вывод по фактору «географическое расположение»: столичные университеты занимали более высокие позиции в рейтинге QS WUR по сравнению с региональными университетами.

• На рисунке 2 представлены распределения рейтингов в группах университетов,

Рис. 3-2. Доверительные интервалы для средних значений рейтингов университетов Fig. 3-2. Observed University Ranking Means (95% confidence interval)

сформированных по градациям фактора «статус университета».

Ранее мы установили, что требования параметрического дисперсионного анализа не выполнены. Обратимся к непараметрическому дисперсионному анализу Краскела -Уоллиса (Табл. 5). Полученный р-уровень значимости в тесте Краскела - Уоллиса (0,2766) не позволяет отклонить нулевую гипотезу об отсутствии взаимосвязи статуса университета с его позицией в рейтинге QS WUR. Значимые различия между рассматриваемыми группами университетов отсутствуют.

Таблица 6

Дисперсионный анализ

Table 6

Analysis ofvariance

Фактор Df Sum Sq Mean Sq F value P-value

City 1 57 298 57 298 26,53 7,13e-07

Status 2 6 597 3 298 1,529 0,2204

Project 1 93 171 93 171 43,17 6,02e-10

Income_L 1 87 714 87 714 40,65 1,69e-09

Residuals 168 363522 2 158 - -

Ellliknn H ULil> N il

V |>l IHU ÜL ДОХОДИ

Рис. 4-1. Диаграмма размаха значений рейтингов университетов по группам

Fig. 4-1. University Rankings by Income Level

На рисунке 3-1 представлены диаграммы размаха рейтингов по группам в соответствии с градациями фактора «участие в проекте 5-100». Групповые средние значения попадают в доверительные интервалы друг друга (Рис. 3-2), что свидетельствует об отсутствии групповых различий.

Вывод по фактору «участие в проекте 5-100»: между университетами, участвующими В проекте 5-100 и не участвующими в проекте, значимых различий по занимаемым ими позициям в рейтинге QS WUR не выявлено.

• На рисунке 4-1 представлена диаграмма размаха рейтингов университетов в группах в соответствии с градациями фактора «уровень дохода университета».

В рамках проведённого дисперсионного анализа (Табл. 2) установлено, что группы университетов значимо различаются по рейтингу в зависимости от их уровня дохода. Вероятность получить такие или более ярко

Mltlluin Fl Ul i» м П

ypKllHJIti. ДОХОД!

Рис. 4-2. Доверительные интервалы для средних значений рейтингов университетов

Fig. 4-2. Observed University Ranking Means (95% confidence interval)

выраженные различия между сравниваемыми группами университетов при условии, что верна нулевая гипотеза об отсутствии взаимосвязи уровня дохода с его местом в рейтинге QS WUR, составляет менее 1%. Это является достаточным основанием для отклонения данной нулевой гипотезы. Данный факт проиллюстрирован на рисунке 4-2.

Вывод по фактору «уровень дохода университета»: университеты с высоким уровнем дохода занимают более высокие позиции в рейтинге QS WUR.

Результаты QS BRICS

Структура таблицы 6, содержащей результаты дисперсионного анализа, аналогична той, что приведена для выборки QS WUR.

Для оценки достоверности результатов дисперсионного анализа рассмотрим критерий Шапиро - Уилка (Табл. 7) и критерий Левене (Табл. 8). Поскольку условия досто-

Таблица 7

Результаты тестирования сравниваемых групп на нормальность распределения (критерий Шапиро - Уилка)

Table 7

Shapiro - Wilk Normality Test

Фактор Градации фактора Объём группы P-value

City Регион 98 0,1156

Столица 76 0,0663

Status Обычный 98 0,1173

Национальный 52 0,1886

Федеральный 24 0,0371

Project Входит 50 0,0587

Не входит 124 0,0773

Income_L Низкий 107 0,2324

Высокий 67 0,0504

Таблица 8

Результаты тестирования однородности дисперсий в группах (критерий Левене)

Table 8

Levene's Test ofEquality ofVariances

Фактор Test statistic df P-value

City 0,365 1 0,5456

Status 7,956 2 0,0187

Project 4,788 1 0,0287

Income_L 0,417 1 0,5181

Рис. 5-1. Диаграмма размаха значений рейтингов университетов по группам Fig. 5-1. University Rankings by Location

верности параметрического дисперсионного анализа нарушены для распределений, полученных по градациям факторов «статус университета» и «участие в проекте 5-100», в этих случаях используем непараметрическую процедуру.

Рис. 5-2. Доверительные интервалы для средних значений рейтингов университетов Fig. 5-2. Observed University Ranking Means (95% confidence interval)

Содержательная интерпретация результатов дисперсионного анализа. На

рисунке 5-1 представлено распределение рейтингов в группах университетов, сформированных по градациям фактора «географическое расположение». В группе столич-

Непараметрический однофакторный дисперсионный анализ Kruskal - Wallis Rank Sum Test

Таблица 9 Table 9

Зависимая переменная Фактор Test statistic df P value

Рейтинг Статус университета 0,708 2 0,7017

>>

ИЛЮШИН Нд[1НОНЛ-1"1мй

Статус уншкрстттета

Рис. 6. Диаграмма размаха значений рейтингов университетов по группам Fig. 6. University Rankings by Status

И

Ü 2П0 t£

ЕЛ

a

I I IK!

lie участвует Участвует

Проект S-ИХ)

Рис. 7-1. Диаграмма размаха значений рейтингов университетов по группам Fig. 7-1. University Rankings by Project 5-100 Participation

ных университетов присутствуют выбросные наблюдения.

Дисперсионный анализ (Табл. 2) выявил значимые различия между анализируемыми группами, что подтверждается графиком средних значений (Рис. 5-2). Поскольку распределения подчиняются нормальному закону и гомогенны по дисперсии, результаты параметрического дисперсионного анализа достоверны.

Вывод по фактору «географическое расположение» на выборке QS BRICS аналогичен полученному ранее на выборке QS WUR: столичные университеты занимали более высокие позиции в рейтинге по сравнению с региональными университетами.

• На рисунке 6 представлено распределение рейтингов университетов по градациям фактора «статус университета».

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Воспользуемся непараметрическим дисперсионным анализом Краскела - Уоллиса (Табл. 9). Полученный р-уровень значимости в тесте Краскела - Уоллиса (0,7017) не позволяет отклонить нулевую гипотезу об отсутствии взаимосвязи статуса университета с его позицией в рейтинге QS BRICS. Значимые различия между рассматриваемыми группами университетов отсутствуют.

• Сопоставление параметров распределений рейтингов в группах университетов, полученных по градациям фактора «уча-

Таблица 10

Непараметрический однофакторный дисперсионный анализ

Table 10

Kruskal - Wallis Rank Sum Test

Зависимая переменная Фактор Test statistic df P value

Рейтинг Участие в проекте 5-100 26,44 1 2,77e-07

.

111) Iklltl BucotHIt

Уроияь дохода

Рис. 8-1. Диаграмма размаха значений рейтингов университетов по группам

Fig. 8-1. University Rankings by Income Level

стие в проекте 5-100», представлено на рисунке 7-1. Наличие выбросных наблюдений характерно для группы, не включающей университеты в проекте «5-100». Стоит обратить внимание на выбросные наблюдения, поскольку именно они демонстрируют, что лидирующие позиции занимают отдельные университеты, не участвующие в программе.

Распределения рейтингов подчиняются нормальному закону, но не гомогенны по дисперсии. Достоверный результат дисперсионного анализа обеспечивает процедура Краскела - Уоллиса (Табл. 10). Полученный р-уровень значимости (2,77e-07) указывает на необходимость отклонения нулевой гипотезы об отсутствии взаимосвязи участия университета в проекте «5-100» с его позицией в рейтинге QS BRICS. Между рассматриваемыми группами обнаружены значимые различия.

Вывод по фактору «участие в проекте 5-100»: в региональном рейтинге QS BRICS более высокие позиции занимают университеты из группы, поддержанной проектом «5-100». Однако отдельные университеты

Рис. 8-2. Доверительные интервалы для средних значений рейтингов университетов

Fig. 8-2. Observed University Ranking Means (95% confidence interval)

из группы, не получившей поддержку проекта «5-100», занимают самые высокие позиции в рейтинге среди российских университетов.

• На диаграммах размаха (Рис. 8-1, Рис. 8-2) представлены распределения рейтингов университетов в группах с высоким и низким «уровнем годового дохода». Требования, обеспечивающие достоверность результатов параметрического дисперсионного анализа, выполнены в полном объёме. Различия, установленные в предыдущей выборке для групп с разным уровнем дохода, были воспроизведены и в настоящей выборке.

Вывод по фактору «уровень дохода университета»: университеты с высоким уровнем дохода занимают более высокие позиции в рейтинге QS BRICS.

Результаты QS EECA

По данной выборке целесообразно сразу привести результаты тестирования на нормальность и гомогенность. Результаты проверки предположений о нормальном распределении сравниваемых групп и об однород-

Таблица 11

Результаты тестирования сравниваемых групп на нормальность распределения (критерий Шапиро - Уилка)

Table 11

Shapiro - Wilk Normality Test

Фактор Градации фактора Объём группы P-value

City Регион 116 0,1151

Столица 72 0,0074

Status Обычный 121 0,0026

Национальный 45 0,0563

Федеральный 22 0,0353

Project Входит 44 0,0896

Не входит 144 0,0203

Income_L Низкий 111 0,0162

Высокий 77 0,0036

Таблица 12

Результаты тестирования однородности дисперсий в группах (критерий Левене)

Table 12

Levene's Test ofEquality ofVariances

Фактор Test statistic df P-value

City 0,03786 1 0,8457

Status 26,32 2 1,93e-06

Project 0,05394 1 0,8163

Income_L 11,22 1 0,0008

Непараметрический однофакторный дисперсионный анализ Kruskal - Wallis Rank Sum Test

Таблица 13 Table 13

Зависимая переменная Фактор Test statistic df P-value

Рейтинг Географическое расположение 16,25 1 5,55e-05

ности дисперсий в группах по всем градациям факторов указывают на высокую вероятность получения недостоверного результата при использовании параметрического дисперсионного анализа (Табл. 11, Табл. 12). В этой связи мы будем использовать непараметрический дисперсионный анализ.

Содержательная интерпретация результатов дисперсионного анализа. На рисунке 9 представлено распределение рейтингов в группах университетов, сформированных по градациям фактора «географическое расположение».

Результаты непараметрического дисперсионного анализа (Табл. 13) указывают на значимые различия между группами столичных и региональных университетов, р-уровень значимости не превышает 1%.

Вывод по фактору «географическое расположение»: столичные университеты занимали более высокие позиции в рейтинге QS ЕЕСА по сравнению с региональными университетами.

• На рисунке 10 представлены распределения рейтингов университетов по градациям фактора «статус университета».

Таблица 14

Непараметрический однофакторный дисперсионный анализ

Table 14

Kruskal - Wallis Rank Sum Test

Зависимая переменная Фактор Test statistic df P value

Рейтинг Статус университета 4,285 2 0,1173

Таблица 15 Непараметрический однофакторный дисперсионный анализ Table 15 Kruskal - Wallis Rank Sum Test

Зависимая переменная Фактор Test statistic df P-value

Рейтинг Участие в проекте 5-100 30,08 1 4,15e-08

300

200

100 0

1

Pli rtoil I 111 Ml Li

I е<1|рафнческ™ расположение

Рис. 9. Диаграмма размаха значений рейтингов университетов по группам Fig. 9. University Rankings by Location

300

<

lie учэс] H)i."I V4aeiBVL'i

Проект J-100

Рис. 11. Диаграмма размаха значений рейтингов университетов по группам Fig. 11. University Rankings by Project 5-100 Participation

Рассмотрим результаты непараметрического дисперсионного анализа Краскела -Уоллиса (Табл. 14). Приведённый р-уровень значимости в тесте Краскела - Уоллиса (0,1173) указывает на отсутствие взаимо-

ГЭЛмчиыП МяШКЖДЛЬНЫЙ '¡V'L.Vl

Рис. 10. Диаграмма размаха значений рейтингов университетов по группам Fig. 10. University Rankings by Status

связи статуса университета с его позицией в рейтинге QS EECA. Значимые различия между группами университетов с разными статусами отсутствуют.

• Сопоставление параметров распределений рейтингов в группах университетов, полученных по градациям фактора «участие в проекта 5-100», представлено на рисунке 11.

Исходя из полученного р-уровня значимости (Табл. 15), нам следует отклонить нулевую гипотезу об отсутствии взаимосвязи участия университета в проекте 5-100 с его позицией в рейтинге QS EECA.

Вывод по фактору «участие в проекте 5-100»: в региональном рейтинге QS EECA (как и ранее в QS BRICS) более Высокие позиции занимают университеты из группы, поддержанной проектом «5-100».

Непараметрический однофакторный дисперсионный анализ Kruskal - Wallis Rank Sum Test

Таблица 16 Table 16

Зависимая переменная Фактор Test statistic df P-value

Рейтинг Уровень дохода 26,52 1 2,61e-07

• На диаграмме размаха (Рис. 12-1) представлены распределения рейтингов университетов в группах с годовым низким и высоким «уровнем дохода».

Приведённый в таблице 16 р-уровень значимости свидетельствует о значимых различиях между группами университетов в зависимости от уровня дохода.

Вывод по фактору «уровень дохода университета»: университеты с высоким уровнем дохода занимают более высокие позиции в рейтинге QS ЕЕСА.

Выводы

В работе представлены результаты количественного анализа международной конкурентоспособности национальной образовательной системы РФ.

В качестве основных детерминант международной конкурентоспособности, неявно учитываемых консалтинговой компанией QS при составлении рейтингов, мы рассмотрели географическое расположение университета, его статус, участие в проекте «5-100», а также уровень дохода.

В исследовании установлено, что как на глобальном, так и на региональных рынках образовательных услуг высокую международную конкурентоспособность демонстрируют университеты с особым статусом, расположенные в Москве и Санкт-Петербурге.

Ни глобальный, ни региональные рынки образовательных услуг не отдают предпочтение университетам, имеющим особый статус («национальный исследовательский» или «федеральный»). Межгрупповые сравнения университетов с различными статусами показали отсутствие значимых различий между ними. Вероятно, такой результат мо-

Рис. 12-1. Диаграмма размаха значений рейтингов университетов по группам Fig. 12-1. University Rankings by Income Level

жет быть обусловлен тем, что университеты с особыми статусами - явление относительно новое для национальной образовательной системы РФ. Процесс трансформации и формирования особой культуры научной и образовательной деятельности в университетах с особым статусом если и можно считать завершённым, то лишь де-юре.

Основной задачей проекта «5-100» является кардинальная трансформация университета, которая вполне может сопровождаться ухудшением состояния отдельных участников проекта в ходе реализации этих трансформационных процессов. Эффективное расходование средств не всегда укладывается в реализацию утверждённых дорожных карт Проектного офиса программы «5-100». Мы получили убедительные доказательства того, что повышенное государственное финансирование, обременённое и связанное обязательствами, ограничивающими пути более эффективного использования ресурсов, может вовсе никак не сказаться на международной конкурентоспособности университетов. Ключевым остаётся вопрос эффективного

управления, а не только повышенного финансирования. Большей международной конкурентоспособностью обладают университеты с большими институциональными свободами в управлении. Об этом свидетельствует результат, полученный на выборке QS WUR.

Несомненно, государственный амбициозный проект «5-100» требует развития и некоторой доработки, однако вузы-участники тоже должны сознавать свою ответственность за полученные результаты. Можно с уверенностью заключить, что проект способствует конкурентоспособности на региональных рынках образовательных услуг, но ещё недостаточен для усиления глобальной международной конкурентоспособности российских университетов.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Уровень дохода университета оказался значимым фактором международной конкурентоспособности российских университетов. Группа университетов с высоким уровнем дохода на всех выборках демонстрирует более высокие позиции в рейтингах QS.

Несмотря на не совсем публичный характер методик QS, нам удалось выявить вполне конкретные, статистически значимые детерминанты международной конкурентоспособности, на которых разработчики и эксперты QS прямо или косвенно делают акценты при формировании рейтингов. Данный опыт должен способствовать разработке эффективных стратегий развития российских университетов на международном рынке, реализация которых должна обеспечить достижение уровня мировых стандартов в образовательной и научно-исследовательской деятельности, а в конечном счёте - обретению национальной образовательной системой высокого уровня международной конкурентоспособности и последующей коммерциализации своих конкурентных преимуществ.

Литература

1. Салми Д. Создание университетов мирового класса: Пер с англ. М.: Весь Мир, 2009. 132 с.

2. Салми Д., Фрумин И. Д. Как государства добиваются международной конкурентоспособности университетов: уроки для России // Вопросы образования. 2013. № 1. С. 25-68.

3. Marginson S. Different Approaches to a Shared Goal: How Variations in State Traditions and Strategies are Differentiating the Approach to Building WCUs // WCU-4: Fourth International Conference on World-Class Universities (October 30 - November 2, 2011 - Shanghai, China). Proceedings. P. 25.

4. Сацик В.И. Детерминанты глобальной конкурентоспособности университетов: в поиске эффективной стратегии развития высшего образования на Украине // Вопросы образования. 2014. № 1. С. 134-161.

5. Скворцов Н.Г. Конкурентоспособность университетов в глобальной системе высшего образования: вызовы и стратегии // Вестн. Моск. ун-та. Сер. 18. Социология и политология.

2017. Т. 23. № 4. С. 45-57. DOI: 10.24290/10293736-2017-23-4-45-57

6. Донецкая С.С. Анализ конкурентоспособности российских университетов в мировых рейтингах // Высшее образование в России. 2014. № 1. С. 20-30.

7. Ендовицкий Д.А. Рейтинговые оценки и соответствие трём миссиям университета: образование, наука, общество. Практика Воронежского государственного университета // Три миссии университета: образование, наука, общество / Ред. колл.: В.А. Садовничий и др. М.: Макс Пресс, 2019. С. 111-124.

8. Ендовицкий Д.А. Московский международный рейтинг «Три миссии университета» в анализе состояния и перспектив развития вузов // Вестник Воронежского государственного университета. Серия: Проблемы высшего образования. 2019. № 1. С. 5-11.

9. Задорожнюк И.Е, Калашник В.М, Киреев С.В. Московский международный рейтинг вузов в глобальном образовательном пространстве // Высшее образование в России.

2018. Т. 27. № 6. С. 31-40.

10. Леонова Т.Н., Маланичева Н.В, Маланичева А.С. Международные рейтинги как инструмент оценки конкурентоспособности университетов // Вестник ГУУ. 2017. № 10. С. 125-130.

11. Liu Z, Moshi G.J, Awuor C.M. Sustainability and Indicators of Newly Formed World-Class Universities (NFWCUs) between 2010 and 2018:

Empirical Analysis from the Rankings of ARWU, QSWUR and THEWUR // Sustainability. 2019. Vol. 11. Issue 10. DOI: 10.3390/su11102745

12. Sowter B. The Times Higher Education Supplement and Quacquarelli Symonds (THES - QS) World University Rankings: New Developments in Ranking Methodology // Higher Education in Europe. 2008. Vol. 33. Issue 2-3. P. 345-347. DOI: 10.1080/03797720802254247

13. Sowter B, Reggio D, Hijazi S. QS World University Rankings // Research Analytics: Boosting University Productivity and Competitiveness through Scientometrics. 2017. P. 121-136. DOI: 10.1201/9781315155890

14. Huang M.-H. Opening the Black Box of QS World University Rankings // Research Evaluation. 2012. Vol. 21. Issue 1. P. 71-78. DOI: 10.1093/reseval/rvr003

15. Torres-Samuel M. Vásquez C.L, Viloria A., Varela, N, Hernández-Fernandez L, Portillo-Medina R. Analysis of Patterns in the University World Rankings Webometrics, Shanghai, QS and SIR-SCimago: Case Latin America // Lecture

Notes in Computer Science. 2018. Vol. 10943 LNCS. P. 188-199.

16. Levene H. Robust Tests for Equality of Variances // Contributions to Probability and Statistics. Palo Alto, Calif.: Stanford University Press, 1960. P. 278-292.

17. Bartlett M.S. Properties of Sufficiency of Statistical Tests // Proc. Roy. Soc. 1937. A 160. P. 268-287.

18. Shapiro S.S., WilkM.B. An Analysis of Variance Test for Normality // Biometrika. 1965. Vol. 52. № 3. P. 591-611.

19. Filliben J.J. The Probability Plot Correlation Coefficient Test for Normality // Technometrics. 1975. Vol. 17. № 1. P. 111-117.

20. Kruskal W.H, Wallis W.A.. Use of Ranks in One-criterion Variance Analysis // Journal of the American Statistical Association. 1952. Vol. 47. № 260. P. 583-621.

Статья поступила в редакцию 03.12.19 После доработки 05.01.20 Принята к публикации 10.01.20

Competitiveness of Russian Universities in the Global System ofHigher Education:

Quantitative Analysis

Dmitry A. Endovitsky - Dr. Sci. (Economics), Full Prof., Rector, Vice-President of the Russian Rector's Union, e-mail: [email protected]

Viacheslav V. Korotkikh - Cand. Sci. (Economics), Assoc. Prof., e-mail: [email protected] Maria V. Voronova - Postgraduate student, e-mail: [email protected] Voronezh State University, Voronezh, Russia

Address: 1, Universitetskaya sq., Voronezh, 394018, Russian Federation

Abstract. Purpose - quantitative analysis and identification of determinants of Russian universities' global competitiveness. Methods. Parametric and non-parametric methods for data analysis and machine learning. Results. The authors figured out the hidden determinants of international competitiveness of Russian universities and the national educational system of the Russian Federation. We proposed four working hypotheses. (1) The positions of Russian universities in the international QS ranking are different for metropolitan and regional universities. (2) The positions of Russian universities in the international QS ranking depend on the status of universities. (3) The positions of Russian universities in the international QS ranking differ depending on the participation of universities in the Russian Academic Excellence Project "5-100". (4) The positions of Russian universities in the international QS ranking are different depending on the level of annual university income. We obtained dataset for the study from the analytical materials of the British consulting company QS, as well as information and analytical materials from the results of monitoring the effectiveness of educational institutions of higher education in the Russian Federation. Conclusions. In the empirical part, we have established the significance of the university geographical location

influence on its international competitiveness. We have found a high competitiveness level of Moscow and St. Petersburg universities. The international market for educational services does not give preference to universities with the status of a «national research» or «federal». Increased state funding, burdened with approved roadmaps of the Project Office of the Program 5-100, contributes to competitiveness only in the regional educational markets, which is still not enough to strengthen the global international competitiveness of Russian universities and the national educational system of the Russian Federation. Although the level of universities annual income was a significant factor in international competitiveness, university management efficiency played an important role, not only increased funding. Universities with greater institutional management freedom will have greater international competitiveness.

Keywords: global education system, rankings, analysis of variance, higher education institutions in Russia

Cite as: Endovitsky, D.A., Korotkikh, V.V., Voronova, M.V. (2020). Competitiveness of Russian Universities in the Global System of Higher Education: Quantitative Analysis. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 2, pp. 9-26. (In Russ., abstract in Eng.)

DOI: https://doi.org/l0.31992/0869-3617-2020-29-2-9-26

References

1. Salmi, J. (2009). The Challenge of Establishing World-Class Universities. Directions in Development; Human development. The World Bank. Washington, DC. 136 p. Available at: https:// siteresources.worldbank.org/EDUCATION/Resources/278200-1099079877269/547664-1099079956815/547670-1237305262556/WCU.pdf

2. Salmi J., Froumin I. (2013). Excellence Initiatives to Establish World-Class Universities: Evaluation of Recent Experiences. Educational Studies. No. 1, pp. 25-68. (In Russ., abstract in Eng.)

3. Marginson, S. (2011). Different Approaches to a Shared Goal: How Variations in State Traditions and Strategies are Differentiating the Approach to Building WCUs. In: WCU-4: Fourth International Conference on World-Class Universities (October 30 - November 2, 2011 - Shanghai, China). Proceedings. P. 25.

4. Satsyk, V. (2014). Determinants of Universities' Global Competitiveness: Higher Education Development Strategies in Ukraine. Educational Studies. No. 1, pp. 134-161. (In Russ., abstract in Eng.)

5. Skvortsov, N. (2017). Competitiveness of Universities in the Global System of Higher Education: Challenges and Strategies. Moscow State University Bulletin. Series 18. Sociology and Political Science. Vol. 23, no. 4, pp. 45-57. DOI: 10.24290/1029-3736-2017-23-4-45-57 (In Russ., abstract in Eng.)

6. Donetskaya, S. (2014). The Analysis of the Competitiveness of Russian Universities in World Rankings. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 1, pp. 20-30. (In Russ., abstract in Eng.)

7. Endovitsky, D. (2019). [Rankings and It's Relevance to Three University Missions: Education, Science, Society. Voronezh State University Case]. In: V.A. Sadovnichy et al. (Eds). Three University Missions: Education, Science, Society. Moscow: Max Press Publ., pp. 111-124. (In Russ.)

8. Endovitsky, D. (2019). [The Moscow International Ranking "Three University Missions" as an Item for the Analysis of the Current State and Development Prospects of Universities]. Proceedings of Voronezh State University. Series: Problems of Higher Education. No. 1, pp. 5-11. (In Russ.)

9. Zadorozhnyuk, I.E., Kalashnik, V.M, Kireev, S.V. (2018). Moscow International University Ranking "The Three University Missions" in the Global Educational Space. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 27, no. 6, pp. 31-40. (In Russ., abstract in Eng.)

10. Leonova, T.N., Malanicheva, N.V., Malanicheva, A.S. (2017). International Rankings as an Assessment Tool of the Competitiveness of Russian Universities. Vestnik universiteta [University Herald]. No. 10, pp. 125-130. (In Russ.)

11. Liu, Z., Moshi, G.J., Awuor, C.M. (2019). Sustainability and Indicators of Newly Formed World-Class Universities (NFWCUs) between 2010 and 2018: Empirical Analysis from the Rankings of ARWU, QSWUR and THEWUR. Sustainability. Vol. 11. Issue 10. DOI: 10.3390/su11102745

12. Sowter, B. (2008). The Times Higher Education Supplement and Quacquarelli Symonds (THES - QS) World University Rankings: New Developments in Ranking Methodology. Higher Education in Europe. Vol. 33. Issue 2-3, pp. 345-347. DOI: 10.1080/03797720802254247

13. Sowter, B., Reggio, D., Hijazi, S. (2017). QS World University Rankings. Research Analytics: Boosting University Productivity and Competitiveness through Scientometrics. Pp. 121-136. DOI: 10.1201/9781315155890

14. Huang, M.-H. (2012). Opening the Black Box of QS World University Rankings. Research Evaluation. Vol. 21, no. 1, pp. 71-78. DOI: 10.1093/reseval/rvr003

15. Torres-Samuel, M., Vásquez, C.L., Viloria, A., Varela, N., Hernández-Fernandez, L., Portillo-Medina, R. (2018). Analysis of Patterns in the University World Rankings Webometrics, Shanghai, QS and SIR-SCimago: Case Latin America. Lecture Notes in Computer Science. Vol. 10943 LNCS, pp. 188-199.

16. Levene, H. (1960). Robust Tests for Equality of Variances. Contributions to Probability and Statistics. Palo Alto, Calif.: Stanford University Press, pp. 278-292.

17. Bartlett, M. S. (1937). Properties of Sufficiency of Statistical Tests. Proc. Roy. Soc. A 160. Pp. 268-287.

18. Shapiro, S.S., Wilk, M.B. (1965). An Analysis of Variance Test for Normality. Biometrika. Vol. 52, no. 3, pp. 591-611.

19. Filliben, J.J. (1975). The Probability Plot Correlation Coefficient Test for Normality. Techno-metrics. Vol. 17, no. 1, pp. 111-117.

20. Kruskal, W.H., Wallis, W.A. (1952). Use of Ranks in One-criterion Variance Analysis. Journal of the American Statistical Association. Vol. 47, no. 260, pp. 583-621.

The paper was submitted 03.12.19 Received after reworking 05.01.20 Accepted for publication 10.01.20

i Надоели баннеры? Вы всегда можете отключить рекламу.