Сравнительный анализ международных методологий ранжирования высших учебных заведений Текст научной статьи по специальности «Науки об образовании»

сравнительный анализ международных методологий ранжирования высших учебных заведений

Л.В. Заварыкина, А.С. Лопатина, О.В. Перфильева

Заварыкина Любовь Валерьевна — м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: [email protected] Лопатина Анастасия Сергеевна — м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: [email protected] Перфильева Ольга Владимировна — к.соц.н., директор Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: Perfilieva@ hse.ru

В статье представлены результаты сравнительного анализа наиболее известных зарубежных методологий ранжирования высших учебных заведений. Сравнительный анализ выполнен в рамках проекта «Разработка и апробация модельной методологии рейтингования образовательных учреждений профессионального образования», реализуемого Национальным фондом подготовки кадров по заказу Министерства образования и науки Российской Федерации в сотрудничестве с Центром международных сопоставительных исследований ИМОМС НИУ ВШЭ.

Сравнительный анализ методологий и ключевых параметров разнообразных систем ранжирования, принятых в зарубежной и международной практике, составляет основу общей методологии исследовательского проекта. Как ключевой инструмент достижения главных целей проекта, он призван выявить элементы модельной методологии рейтингования российских вузов.

15 общих параметров, принятых за основу сравнительного анализа, обеспечили общую структуру и логику последовательного анализа каждого из подходов, позволили произвести горизонтальное сравнение подходов, отличающихся друг от друга по типу методологий (глобальные/ национальные/ специализированные ранжирования и классификации), систематизировать лучшие практики и оценить их сильные и слабые стороны.

Единая аналитическая рамка обеспечила основу для сравнительного анализа методологий ранжирования по группам и их оценки относительно критериев IREG.

Ключевые слова: ранжирование, рейтинги, международная конкурентоспособность вузов. Key words: ranking, rating, international competitiveness of HEIs.

введение

Современное состояние национальных систем высшего образования характеризуется многообразием институтов высшего образования, усложнением выполняемых ими функций, а также усиливающейся конкуренцией за человеческие и материальные ресурсы, за место в глобальном пространстве высшего образования. И дело даже не в том,

что конкурентное поле для современных институтов высшего образования сужается. Наоборот, под воздействием процессов глобализации предложение на рынке услуг высшего образования растет, выходя за рамки национальных систем образования и приобретая трансграничный характер. Речь идет о борьбе за качество — лучших исследователей, более квалифицированных преподавателей, более опытных управленцев, способных генерировать идеи, превращая университеты в современные корпорации, большие материальные ресурсы, более широкую известность на национальном и глобальном уровне.

Неоспоримым источником серьезных трансформаций сферы высшего образования являются процессы глобализации. Растущее влияние глобальной среды раскрывается через усиление процессов международной мобильности, интернационализацию высшего образования, а также развитие практик международного сопоставления, ориентацию на лучший мировой опыт и рейтинги. Глобализации подвергается и научно-исследовательская деятельность вузов. Конкуренция пронизывает эту сферу деятельности вузов на международном уровне. Но наряду с этим глобализация становится и важным стимулом развития сотрудничества и инноваций в сфере вузовской науки.

По мнению экспертов ОЭСР, международное сравнение научной результативности вузов усиливает конкуренцию между ними и, несмотря на заметное упрощение, отражает состояние и уровень развития сектора высшего образования в международной перспективе [2]. Э. Хазелкорн, в свою очередь, указывает на четыре источника современных изменений в сфере высшего образования. Прежде всего, это переход к знаниевой экономике, при которой основой роста становятся блага и услуги, разрабатываемые новым поколением одаренных, талантливых работников. Большая открытость различных обществ друг другу и снятие традиционных границ и барьеров, таким образом, становятся важными условиями для становления знаниевой экономики там, где ощущается дефицит талантливых и одаренных людей. Во-вторых, современные демографические процессы, а именно заметное старение населения во многих развитых странах в сочетании с сокращением численности молодого населения, влияющие на качественный состав и численность студенческого контингента. Интернационализация высшего образования при этом рассматривается как необходимый механизм привлечения иностранных студентов, особенно постдипломного обучения, аспирантов. В-третьих, трансформация восприятия высшего образования — от сферы, требующей существенных расходов со стороны государства, к неотъемлемому элементу современной эффективной экономики, в связи с чем вопросы управления сферой высшего образования приобретают высокую значимость для современной образовательной политики. Кроме того, все большая взаимосвязь уровня и стиля жизни, а также карьерных возможностей отдельных индивидов с уровнем полученных профессиональных квалификаций определяет необходимость для вузов становиться более клиентоориентиро-ванными. Основными потребителями услуг высшего образования в современном мире остаются студенты и их родители, однако структура их потребностей усложняется [6].

Следовательно, под воздействием глобализационных процессов современные университеты разрабатывают маркетинговые стратегии, больше ориентируются на изменяющиеся структуру и потребности потребителей услуг высшего образования. Все чаще университеты сталкиваются с необходимостью удовлетворять интересы разных групп потребителей, становиться более открытыми обществу, более интенсивно взаимодействовать с внешними стейкхолдерами. Повышение уровня конкурентоспособности, открытости и транспарентности [12], укрепление репутации на национальном и международном уровнях [6] становятся для университетов ключевыми задачами развития.

Решать современные задачи университетам помогают рейтинги национального, глобального или специализированного характера. Рейтинги, несмотря на непрекращающуюся волну критики, рассматриваются университетами как один из инструментов вхождения в глобальное пространство высшего образования и, по мнению современных исследователей, приобретают характер «навязчивой идеи» для международного университетского сообщества. Так, Э. Хазелкорн, обращаясь к истории ранжирований и их роли в развитии системы высшего образования, отмечает, что, зародившись в США как исследовательская практика начала прошлого века, ранжирование уже в середине 80-х годов XX в. становится важным информационным ресурсом для студентов, который сегодня превращается в инструмент геополитического влияния. Увлеченность мирового академического сообщества рейтингами объясняется Э. Хазелкорн также усилением влияния процессов глобализации на развитие высшего образования. Но не только. Этому также способствует переход к экономике, основанной на знаниях, а также требования подотчетности и транспарентности, предъявляемые со стороны общества и государства к университетам. Рейтинги являются главным отражением мировой борьбы за качество и применяются как инструмент определения статуса отдельных институтов высшего образования, оценки качества и результативности систем высшего образования, как мера глобальной конкурентоспособности вузов. По мере того как интернационализация становится приоритетом национальных правительств и отдельных институтов высшего образования, способность университетов привлекать талантливые кадры и производить знание становится значимым конкурентным преимуществом страны на мировой арене и в контексте глобальной экономики. В свете происходящих изменений существующие системы ранжирования не только влияют на трансформацию внутри университетов, но и видоизменяют систему высшего образования в целом.

Почему же рейтинги так популярны? Ответ на этот вопрос встречается в работах зарубежных исследователей, всесторонне изучающих теоретические основы, методологии и влияние существующих систем ранжирования на развитие высшего образования в глобальном масштабе. Так, Дж.Ч. Шин и Р.К. Туткущян отмечают, что одним из объяснений стремительного роста числа рейтингов и систем ранжирования университетов в прошлом столетии является переход от концепции элитарного к концепции эгалитарного высшего образования, зародившийся в XIX в. и проявившийся в масси-фикации высшего образования в начале XX в. в США и Европе. Возникновение новых типов вузов и их диверсификация (колледжи сообществ в США, политехники в Европе) укрепили позиции эгалитаристского подхода к пониманию высшего образования. В результате к 80-м годам XX в. в центре внимание общественности, экспертов и политиков от образования оказались вопросы качества предоставляемых услуг высшего образования многочисленными вузами. В отношении функционирования институтов высшего образования данная тенденция проявилась в усилении требований подотчетности вузов как профильным ведомствам в соответствии с заданной системой показателей результативности, так и общественности. В настоящее время это проявляется в сосуществовании трех отдельных, но взаимосвязанных механизмов оценки качества современного высшего образования: системах ранжирования, развиваемых главным образом различными средствами массовой информации; системах обеспечения качества высшего образования, являющихся сферой компетенции разнообразных агентств оценки качества образования; и системах подотчетности, продвигаемых органами, ответственными за развитие сферы высшего образования. В 90-е годы прошлого столетия рост популярности рейтингов начинают объяснять усиливающимися процессами массификации, маркетизации и глобализации сферы высшего образования [11].

Для разработки национальной системы ранжирования вузов критически важным является изучение зарубежного опыта построения различных типов ранжирований, накопленного за последние несколько лет, их сравнительный анализ, а также оценка соответствия международным стандартам качества построения ранжирований.

В ходе реализации проекта был выполнен подробный анализ каждой из выбранных для исследования зарубежных методологий ранжирования и классификаций. Однако анализ, в основу которого положены 15 единых параметров, определил много общих положений и повторов в его структуре. Кроме того, полученный материал оказался достаточно объемным, и его полная публикация не представляется возможной в рамках формата научной статьи. В связи с необходимостью представить читателям ключевые результаты проведенного исследования, не упустив ничего важного, в настоящей статье приводятся положения сравнительного анализа различных методологий и результаты оценки соответствия их качества международным критериям IREG на основе пяти агрегированных индикаторов.

Методика сравнения методологий по агрегированным индикаторам аудита качества IREG была применена для обеспечения сопоставимости различных методологий ранжирования. Коротко отметим, что основу агрегированных индикаторов составляют те же 20 критериев оценки качества ранжирований IREG, которые изначально были приняты за основу для оценки и сравнения методологий ранжирования между собой. Однако, как показал анализ, среди 20 критериев IREG, используемых для оценки методологий ранжирования, можно выделить схожие критерии, которые отражают различные аспекты более крупных характеристик качества, по которым оцениваются ранжирования. Таким образом, схожие (и зачастую коррелирующие) критерии были объединены в пять групп, олицетворяющие пять элементов качества построения систем ранжирования:

1. Четкость в постановке целей и определении целевых групп пользователей объединяет три индикатора:

— цель и ключевые группы должны быть определены;

— ранжирования должны отражать разнообразие учебных заведений;

— ранжирования должны уточнять культурный, языковой и исторический контекст.

2. Надежность способа сбора данных:

— данные получены из надежных источников с соблюдением надлежащих процедур сбора данных;

— при ранжировании необходимо обеспечить качество самих процедур ранжирования.

3. Надежность и релевантность индикаторов:

— индикаторы должны быть релевантными и валидными;

— сочетание различных точек зрения (должны быть разработаны индикаторы, отражающие различные точки зрения);

— индикаторы должны отражать результат деятельности учебного заведения;

— базовая методика должна оставаться постоянной (не менять индикаторы и их веса);

— необходимо сократить ошибки, вызванные ранжированием (должна учитываться возможность ошибки, которая может появиться при оценке такой комплексной системы, как образование).

4. Транспарентность:

— транспарентность методологии;

опубликование весов индикаторов;

— доступность результатов ранжирования для пользователя в течение года;

— описание методов и индикаторов;

— информация о баллах для каждого отдельного индикатора;

— наличие механизма реагирования на запросы пользователей;

— наличие контактного адреса рейтингующей организации;

— документация процедур;

— меры по повышению доверия к рейтингу. 5. Интерактивность:

— возможность для пользователя выделить из ранжирования учебные заведения, в наибольшей степени удовлетворяющие его потребностям;

— возможность составить собственный рейтинг.

На основании агрегированных оценок по пяти группам критериев было рассчитано среднее значение для каждой отдельной группы методологий, а также проведен более детальный анализ выбранных методологий по группам1.

Такой подход позволил авторам не только определить и проанализировать сильные и слабые стороны различных методологий, но и провести на основе произведенного сравнения оценку соответствия качества методологий ранжирования международным критериям IREG.

Таким образом, результаты проведенного исследования в рамках настоящей статьи будут последовательно представлены через:

1) сравнительный анализ преимуществ и недостатков методологий ранжирования по группам;

2) сравнение методологий ранжирования по группам на основе пяти агрегированных индикаторов;

3) оценку соответствия качества методологий ранжирования международным критериям IREG.

сравнительный анализ преимуществ и недостатков методологий ранжирования по группам

Глобальные рейтинги

Целью глобальных рейтингов (Shanghai, THE, US News, QS, Leiden) является выделение ведущих университетов мира и оценка их деятельности. Однако каждая методология вкладывает различное понимание в термин «ведущий университет». Так, создатели рейтинга Shanghai считают, что ведущие университеты — это университеты с большим количеством выдающихся ученых (лауреатов Нобелевской премии и премии Филдса) среди выпускников и сотрудников университета; рейтинг Leiden при отборе лучших университетов ориентируется только на количество опубликованных университетом статей. В рамках методологий QS и US News (обе методологии разрабатываются независимой консультационной компанией QS — Quacquarelli Symonds Ltd) список ведущих университетов составляется путем электронного опроса экспертов, сам рейтинг опирается на результаты национальных рейтингов, данные экспертного опроса и библиометрические показатели, обеспечивается географическая сбалансированность. Рейтинг THE включает в число ведущих университетов классические университеты,

1 Методологии сгруппированы исходя из схожести целей ранжирования.

предлагающие программы высшего и постдипломного образования и публикующие более 1000 статей в год.

Определяя различным образом ведущие университеты, все представленные методологии одномерного ранжирования достаточно широко определяют свою целевую аудиторию: это мотивированные молодые люди, желающие учиться в ведущих университетах мира, академическое сообщество, политики, представители системы управления образованием.

Исключением является рейтинг Leiden, оценивающий научную эффективность университетов с помощью различных библиометрических показателей. Очевидно, что такая специфическая оценка деятельности вузов интересна, прежде всего, академическому сообществу.

Глобальные рейтинги охватывают различное количество ведущих университетов (табл. 1).

Таблица 1. Охват регионов и предметных областей в глобальных методологиях одномерного ранжирования (рейтингах)

Shanghai THE US News Leiden QS

Коли- 500 универси- 400 универси- 400 500 универ- 700

чество тетов тетов университетов ситетов университетов

универси-

тетов

Регионы Нет отдель- Европа, Азия, Африка, Представлен Нет отдель-

ного списка Северная Аме- Азиатско- рейтинг ми- ного списка

университетов рика, Южная Тихоокеанский ровых уни- университетов

по регионам, Америка, Океа- регион, Централь- верситетов по регионам,

университеты ния, Африка ная Азия, Евро- и рейтинг университеты

указываются по па, Латинская европейских указываются

странам Америка, Средний Восток, Северная Америка университетов по странам

Пред- 1) Естественные 1) Инженерия и 1) Гуманитарные Предметные 1) Гуманитар-

метные науки и матема- технология науки области не ные науки

области тика 2) Гуманитарные 2) Инженерия и представле- 2) Инженерия

2) Медико- науки технологии ны и технологии

биологические 3) Клинические 3) Биологические 3) Биологи-

и сельскохозяй- науки и меди- науки ческие науки и

ственные науки цина 4) Естественные медицина

3) Клиническая 4) Биологиче- науки и матема- 4) Естествен-

медицина и фар- ские науки тика ные науки и

макология 5) Точные науки 5) Социальные математика

4) Социальные и математика науки 5) Социальные

науки 6) Социальные науки и менед-

5) Инженерные науки жмент

и компьютерные

науки

Все методологии, за исключением Leiden, представляют рейтинг университетов по предметным областям, и только методологии THE и US News представляют рейтинги университетов по регионам; Shanghai представляет рейтинги университетов по странам и выделяет наиболее популярные страны для обучения (США, Великобритания, Австралия, Германия, Канада). Интересно, что QS, используя ту же методологию, что и US News, не публикует рейтинг глобальных университетов по регионам: так же как

и Shanghai, QS представляет рейтинг университетов по странам, ежегодно составляя рейтинг университетов по какому-то одному региону: так, в рейтинге 2011/2012 года отдельно представлен рейтинг университетов стран Латинской Америки.

Безусловно, все методологии одномерного ранжирования глобальных университетов ориентированы на классические исследовательские университеты, но методологии THE, US News пытаются выделить разнообразные регионы и представить рейтинг университетов по этим регионам. Рейтинг QS, помимо общего рейтинга университетов, стал представлять профайлы по образовательным системам различных стран и советы по обучению в той или иной стране.

В зависимости от своего понимания ведущего университета методологии одномерного ранжирования глобальных университетов вводят различные индикаторы оценки деятельности университетов (табл. 2).

Таблица 2. Индикаторы, используемые различными методологиями глобального одномерного ранжирования университетов

Shanghai THE Leiden QS/US News

Качество преподавания/ обучения Количество выпускников университета, которым были присуждены Нобелевская премия и премия Филдса 1) Репутационное исследование по вопросам преподавания — 15% 2) Количество присуждаемых степеней PhD в расчете на одного ППС — 6% 3) Соотношение принятых студентов и количества ППС — 4,5% 4) Соотношение присужденных докторских степеней и присужденных степеней бакалавра — 2,25% 5) Доход на одного ППС — 2,25% Качество преподавания не оценивается Соотношение количества ППС и студентов

Общий вес направления «Качество преподавания/ обучения» 10% 30% - 20%

Академическая репутация Академическая репутация не оценивается Академическая репутация не оценивается Академическая репутация не оценивается Репутационная характеристика университета по мнению академического сообщества

Общий вес направления «Академическая репутация» - — - 40%

Shanghai THE Leiden QS/US News

Качество научных исследований 1) Количество публикаций в журналах Nature и Science — 20% 2) Общее количество статей, индексируемых в системах Science Citation и Social Science Citation - 20% 1) Репутационное исследование по вопросам научно-исследовательской деятельности - 18% 2) Доход от исследований - 6% 3) Количество статей на одного преподавателя и одного исследователя - 6% Оценка только по библио-метрическим показателям (6 индикаторов). Веса индикаторам не приписываются Количество цитирований на одного ППС

Общий вес направления «Качество научных исследований» 40% 30% - 20%

Качество ППС 1) Количество сотрудников университета, имеющих Нобелевские премии и премии Филдса - 20% 2) Количество часто цитируемых ППС - 20% Качество ППС не оценивается Качество ППС не оценивается Качество ППС не оценивается

Общий вес направления «Качество ППС» 40% - - -

Научное влияние университета Научное влияние университета не оценивается Импакт- фактор научного цитирования (нормализованное среднее значение цитирования на одну статью) Научное влияние университета не оценивается Научное влияние университета не оценивается

Общий вес направления «Научное влияние университета» - 30% - -

Экономическая активность Экономическая активность не оценивается Доход от исследований по заказу промышленных предприятий (в расчете на одного ППС) Экономическая активность не оценивается Экономическая активность не оценивается

Shanghai THE Leiden QS/US News

Общий вес

направления

«Экономи- 2,5%

ческая

активность»

Между- Международная 1) Доля иностранных Международная 1) Доля

народная деятельность ППС в общей деятельность иностранных

деятельность не оценивается численности ППС — не оценивается преподавателей,

2,5% работающих в

2) Доля иностранных университете —

студентов в общей 5%

численности 2) Доля

студентов — 2,5% иностранных

3) Доля публикаций студентов,

ППС в научных обучающихся в

периодических университете —

изданиях, 5%

подготовленных

в соавторстве по

крайней мере с

одним иностранным

автором, в общем

количестве журнальных

публикаций ППС —

2,5%

Общий вес

направления

«Между- 7,5% 10%

народная

деятель-

ность»

Мнение Мнение Мнение работодателей Мнение Репутационная

работодателей работодателей не оценивается работодателей характеристика

не оценивается не оценивается университета

согласно мнению

работодателей

Общий вес

направления

«Мнение - — - 10%

работо-

дателей»

В целом можно сделать вывод, что методологии глобального одномерного ранжирования университетов часто не оценивают качество преподавания в вузе (Leiden), либо вводят такие индикаторы, как академическая репутация (QS и US News) или качество профессорско-преподавательского состава (Shanghai), которые можно отнести к оценке как качества научных исследований, так и качества преподавания. При оценке качества преподавания многие методологии (THE, QS, US News) используют результаты опросов — экспертный опрос по вопросам преподавания (THE) или опросы по академической репутации вуза (QS и US News), что является спорным критерием, так как любой опрос несет в себе элемент субъективности. Кроме того, методологии QS,

US News, THE недостаточно полно раскрывают критерии, по которым осуществляется оценка репутации университета со стороны экспертного сообщества.

Среди используемых количественных индикаторов по оценке качества преподавания / условий обучения наиболее часто используемый индикатор — соотношение преподавателей и студентов (THE, QS, US News), который, согласно экспертному мнению [4, 5, 7], является лишь косвенной оценкой качества преподавания в вузе. Оценка качества преподавания по методологии Shanghai c использованием индикаторов количества лауреатов Нобелевской премии и премии Филдса неоднократно подвергалась критике со стороны специалистов [7, 10].

Качество научных исследований все представленные методологии оценивают при помощи библиометрических показателей (количество публикаций, импакт-фактор научного цитирования), при этом только THE вводит индикатор дохода вуза от научно-исследовательской деятельности. THE также отдельно выделяет индикатор цитирования публикаций, определяя таким образом влияние вуза в области научных исследований. Очевидно, что эти количественные данные надежнее данных репута-ционных опросов. Тем не менее библиометрические индикаторы также подвергаются критике со стороны экспертного сообщества [7, 10]:

1) при подсчете количества публикаций учитываются только англоязычные базы данных (Scopus), т.е. эти индикаторы предвзяты в отношении неанглоязычных университетов;

2) количество публикаций в области естественнонаучных дисциплин и медицины в научных журналах выше, чем в области гуманитарных наук, где основным продуктом научной деятельности являются книги, выступления на конференциях и другие продукты научной деятельности, отличные от публикаций в научных журналах.

Анализируя индикаторы, на основе которых проводится оценка преподавательской и научно-исследовательской деятельности университетов, можно отметить, что в целом все глобальные рейтинги придают большее значение оценке научно-исследовательской деятельности университетов (большие значения весов индикаторов), чем преподаванию.

Международная деятельность вузов оценивается только в рамках методологии рейтинга THE, QS и US News, Leiden и Shanghai это направление деятельности вузов не рассматривают. При этом только методология THE использует как индикаторы ресурсов, так и индикаторы результатов международной деятельности вузов, методологии QS и US News используют только индикаторы ресурсов при оценке международной деятельности: это индикаторы долей иностранных преподавателей и иностранных студентов в университете.

Такие аспекты деятельности вузов, как взаимодействие с регионом или деятельность по обмену знаниями, не рассматриваются ни одним из глобальных рейтингов, кроме методологии THE, которая вводит индикатор «доход от исследований по заказу промышленных предприятий», который можно рассматривать как индикатор деятельности вуза по трансферу знаний.

Среди представленных методологий рейтинг THE является наиболее сбалансированным по набору качественных и количественных индикаторов, индикаторов ресурсов и индикаторов результатов деятельности вузов. В рамках этой методологии также сделана попытка оценить разнообразные функции вузов (преподавание, исследования, международная деятельность, деятельность по обмену знаниями).

Методология Shanghai использует только количественные индикаторы, в основном ориентируясь на индикаторы результатов деятельности вузов. Однако использо-

вание таких специфических индикаторов, как количество Нобелевских лауреатов, количество лауреатов премии Филдса, как было отмечено выше, не является надежным критерием оценки научно-исследовательской или преподавательской деятельности университетов.

Методологии QS и US News при оценке деятельности вузов большой вес придают репутационной оценке, используя электронные опросы экспертов и работодателей, за что подвергаются критике со стороны международных исследователей и экспертов [10]. Методология THE также использует репутационные опросы, но вес индикаторов в этой категории у THE значительно ниже (33%), чем у QS и US News (50%).

Анализ представленных рейтинговых методологий относительно критериев IREG показывает, что все методологии достаточно четко определяют цели ранжирования (выявление мировых университетов-лидеров) и основные целевые группы (мотивированные абитуриенты, ориентированные на обучение в лучших вузах мира). Общим недостатком всех методологий является то, что они не отражают всего разнообразия институтов высшего образования, рассматривая только крупные исследовательские вузы. В числе ведущих университетов мира во всех глобальных рейтингах (табл. 3) оказываются американские и британские университеты, что позволяет многим исследователям говорить о предвзятости рейтингов в пользу англосаксонской системы образования. Однако используемые индикаторы (библиометрические, количество Нобелевских лауреатов) лишь отражают тот факт, что большинство научных статей в мире публикуется на английском языке [3], и университеты США и Великобритании, обладая большими ресурсами, имеют возможность приглашать на работу ведущих ученых и повышать таким образом свою репутацию. Очевидно, что в ближайшем будущем данная ситуация вряд ли изменится.

Очевидно и то, что глобальные рейтинги прежде всего ориентируются на англосаксонскую систему образования, игнорируя особенности образовательных систем других стран. Например, в рейтинги не включаются немецкие научно-исследовательские институты (например, Институт Планка), ведущие подготовку аспирантов и проводящие научные исследования.

Существует мнение, что в глобальных рейтингах группа лидеров представлена одними и теми же университетами. Однако результаты рейтингов 2011 г. демонстрируют, что в пятерку ведущих университетов мира входят различные университеты, при этом такие мировые лидеры, как Harvard, Massachusetts Institute of Technology, присутствуют практически во всех глобальных рейтингах. Анализ показывает, что в методологиях одномерного ранжирования, основанных на количественных библиометрических показателях (Leiden), на первые места попадают университеты, отличные от университетов, представленных в других методологиях. Результаты глобальных рейтингов, в основе которых лежат оценки, полученные в ходе экспертных опросов (THE, QS и US News), и результаты которых имеют различные веса, также различаются (табл. 3).

Вызывают вопросы релевантность и валидность некоторых индикаторов методологий глобальных рейтингов, прежде всего индикаторы количества Нобелевских лауреатов и лауреатов премии Филдса как индикаторы качества научных исследований и качества преподавания в университете.

Как показано многими исследователями [10], библиометрические показатели предвзяты в языковом отношении: данные берутся из англоязычных баз данных, публикации на других языках не учитываются. Эти индикаторы также «благоволят» естественным наукам и медицине (университеты всегда имеют более высокие показатели по публикациям в области естественных наук).

Таблица 3. Результаты методологий глобального одномерного ранжирования университетов (рейтингов)

Shanghai THE Leiden QS/US News

1. Harvard University (USA) 2. Stanford University (USA) 3. Massachusetts Institute of Technology (USA) 4. University of Cambridge (UK) 5. California Institute of Technology (USA) 1. California Institute of Technology (USA) 2. Harvard University (USA) 3. Stanford University (USA) 4. University of Oxford (UK) 5. Princeton University (USA) 1. Massachusetts Institute of Technology (USA) 2. Rockefeller University (USA) 3. University California, Santa Cruz (USA) 4. Princeton University (USA) 5. University of California, Santa Barbara (USA). 1. University of Cambridge (UK) 2. Harvard University (USA) 3. Massachusetts Institute of Technology (USA) 4. Yale University (USA) 5. University of Oxford (UK)

Индикаторы оценки качества преподавания в вузах (соотношение преподавателей и студентов) и индикаторы международной деятельности вузов (доля иностранных студентов, обучающихся в университете, и доля иностранных преподавателей в университете) являются индикаторами ресурсов и лишь косвенно оценивают деятельность университетов в этом направлении.

В рамках кабинетного исследования сложно оценить, насколько соблюдены процедуры и профессиональные правила сбора данных для эмпирических исследований. Однако следует отметить, что Shanghai и Leiden получают количественные данные из открытых источников, что затрудняет манипулирование этими данными. Другие методологии используют комбинации количественных и качественных данных, получаемых из открытых источников, самих вузов и опросов. Надежность таких данных и соблюдение надлежащих процедур сбора являются спорными.

Что касается неизменности, методологии рейтингов Shanghai и Leiden не менялись. То же относится и к методологиям QS и US News, однако рейтинг QS сменил информационного партнера. До 2010 г. рейтинг публиковался изданием Times Higher Education Supplement, начиная с 2010 г. QS прервала сотрудничество с Times, и сегодня рейтинг публикуется независимой компанией QS. Издание US News использует методологию QS для публикации рейтинга ведущих университетов мира.

THE(S) обновила методологию рейтинга 2011/2012 года: теперь его создатели получают данные от университетов, снижен вес данных, получаемых из опросов, данные по количеству статей и количеству цитирований научных публикаций шкалируются с учетом размера университетов. Для оценки международной деятельности введен новый индикатор — количество совместных публикаций с иностранными учеными. По мнению создателей рейтинга THE, изменения призваны способствовать большей объективности его результатов.

Все представленные методологии доступны для пользователей в интерактивном виде, но не предусматривают инструментов взаимодействия с вузами и пользователями, за исключением форума и предоставления контактных адресов.

Методологии THE, QS, US News дают некоторую возможность пользователям выбрать интересующий их критерий и рассмотреть оценку деятельности университетов по этому критерию. Однако они не предоставляют возможности ранжирования университетов по выбранному критерию. Рейтинги Shanghai и Leiden не предоставляют

возможности ни для оценки вузов, ни для их ранжирования по выбранному индикатору (рис. 1, 2).

Глобальные рейтинги

Надежность способа сбора данных

Надежность и релевантность показателей

3, //&' 1 / ж. * / ж- * / ж • * / ж ■ * / X ■ * 74 \ »X \ * X. \ * ^Чг X * х. X — * Х- X * X' \ * X" . \ * X • X * ^v* X ♦ х X % ^ч X

I -3 2 ^ ^¡51 2 3

1 .••'

-3

Shanghai THES US News Leiden

Транспарентность рейтинга

Интерактивность

Рис. 1. Соответствие группы методологий глобальных рейтингов пяти агрегированным критериям IREG

Глобальные рейтинги (QS)

Надежность способа сбора данных

QS

Надежность и релевантность показателей

3 / 1 — \

3 * \ 1 1 1 3

- 1

- 3

Транспарентность 3 рейтинга

Интерактивность

Рис. 2. Соответствие группы методологий глобальных рейтингов пяти агрегированным критериям IREG (продолжение)

Большинство исследователей выделяют ряд преимуществ глобальных методологий одномерного ранжирования университетов:

— рейтинги стимулируют конкурентоспособность ведущих вузов;

— различные рейтинги имеют схожие результаты, поэтому можно говорить о некоторой надежности применяемых индикаторов и методологий;

— создатели рейтинговых методологий взаимодействуют с экспертным сообществом и университетами для получения и обсуждения получаемых данных. Недостатки глобальных рейтингов часто формулируются следующим образом:

— рейтинги не учитывают национальный контекст систем образования и упускают из вида разнообразие функций университетов;

— используемая система индикаторов способствует продвижению крупных классических исследовательских университетов с преподаванием на английском языке;

— используемая система индикаторов в большей степени оценивает достижения в области естественных наук и медицины;

— преобладание репутационной оценки (QS, US News), а не количественных индикаторов при оценке деятельности университетов ставит под сомнение надежность полученных результатов;

— не все индикаторы, используемые при одномерном ранжировании, являются релевантными для целевой аудитории.

Национальные методологии одномерного ранжирования

Среди национальных методологий ранжирования представлены методологии одномерного ранжирования Великобритании (Times, Guardian, Guardian Specialist Institutions League Table) и США (Forbes).

В Великобритании рейтинги вузов готовятся периодическими изданиями (Times и Guardian) в сотрудничестве с независимыми маркетинговыми агентствами. Исторически рейтинг Times появился раньше (1992), чем Guardian (1999). Рейтинг лучших колледжей США издается ежемесячным финансово-экономическим журналом Forbes в сотрудничестве с независимым исследовательским Центром по изучению доступности и результативности колледжей2 начиная с 2008 г.

Все рейтинги являются ежегодными и ориентированы на выпускников школ, выбирающих университет для поступления. При этом, по мнению создателей рейтинга Guardian, выпускников при выборе университета больше всего интересует качество преподавания, дальнейшее трудоустройство и ресурсы, выделяемые на обеспечение обучения и преподавания. Создатели рейтинга Times оценивают университеты по качеству преподавания, качеству проводимых научных исследований и трудоустройству выпускников, считая, что именно эта информация значима для абитуриентов при выборе университета. Создатели рейтинга Forbes считают, что выпускников как потребителей образовательных услуг прежде всего интересует эффективность вложенных в тот или иной колледж средств для получения образования, поэтому для них важна информация об удовлетворенности студентов процессом обучения, успехах выпускников после окончания колледжа и уровне долга по окончании обучения. В целом потенциальная аудитория рейтинга Times шире аудитории Guardian и Forbes, так как качество

2 The Center for College Affordability and Productivity. URL: http://centerforcollegeaffordability.org/ (date of access: 22.12.2011).

научно-исследовательской работы может интересовать и абитуриентов, и студентов постдипломного образования, и представителей научного сообщества.

Помимо общего рейтинга университетов, Guardian и Times создают рейтинги по отдельным предметным областям (Guardian рассматривает 46 предметных областей, а Times — 62). Также Guardian представляет отдельный рейтинг специализированных высших учебных заведений (Guardian Specialist Institutions League Table), в то время как Times включает специализированные заведения в общий рейтинг университетов. Рейтинг Forbes представляет только таблицу лиг колледжей США без учета предметных областей.

Так как при сборе данных для составления рейтинга и Times, и Guardian используют статистические данные Агентства статистики высшего образования и данные Национального опроса студентов, в рейтинге могут участвовать только государственные британские университеты, предоставляющие данные в Агентство статистики высшего образования. По этой причине в этих рейтингах участвует примерно равное количество университетов (116 — в Times, 119 — в Guardian, 36 вузов — в Guardian Specialist из 165 высших учебных заведений Великобритании). Оба рейтинга не учитывают данных вузов, финансируемых из частных фондов, и некоторых шотландских вузов, не предоставляющих данные в Агентство статистики высшего образования (шотландские вузы предоставляют свои данные в шотландское правительство). В рейтинге Forbes представлены только те колледжи (650 колледжей), которые имеют право присуждать степень бакалавра после 4-летнего обучения (данные Министерства образования США), а также колледжи и университеты, которые могут присуждать степень доктора и магистра наук (по классификации Carnegie). То есть и британские методологии одномерного ранжирования, и американская методология одномерного ранжирования ориентированы на оценку тех учебных заведений, информация по которым доступна в национальных статистических базах данных.

Методологии одномерного ранжирования Times и Guardian используют восемь индикаторов оценки деятельности университетов. Как было отмечено выше, Times оценивает такие направления деятельности вуза, как качество преподавания, качество научных исследований, перспективы трудоустройства выпускников, а Guardian и Guardian Specialist концентрируются только на качестве преподавания и перспективах трудоустройства. Оценивая качество исследований, Times использует данные экспертной оценки исследовательской деятельности вузов (Research Assessment Exercise, RAE). Ни Guardian, ни Forbes не оценивают качество научных исследований. При оценке перспектив трудоустройства выпускников методологии рейтингов Times и Guardian используют количественный индикатор — процент выпускников, получивших работу по специальности после окончания университета в течение шести месяцев по данным Агентства статистики высшего образования. Для оценки качества преподавания данные методологии используют различный набор индикаторов (табл. 4).

Методологии Times и Guardian используют официальные статистические и социологические данные: данные Агентства статистики высшего образования и данные Национального опроса студентов (табл. 4). Методологии рейтингов Times и Guardian стараются представить баланс индикаторов ресурсов и результатов деятельности вуза, Guardian даже разработал собственный индикатор динамики роста академической успеваемости (value added) для оценки результатов преподавания. Эти рейтинговые методологии (для Guardian Specialist применяется та же методология, что и для Guardian) используют сбалансированное число количественных и качественных индикаторов (качественные индикаторы получают в результате опроса).

Таблица 4. Оценка качества преподавания национальными методологиями одномерного ранжирования Times и Guardian

Times Guardian и Guardian Specialist

Индикаторы ресурсов (Input indicators) Уровень подготовки абитуриентов (тариф UCAS) (данные Национального статистического агентства по высшему образованию) Вступительные баллы в университет (тариф UCAS) (данные Национального статистического агентства по высшему образованию)

Соотношение студентов и преподавателей (данные Национального статистического агентства по высшему образованию) Соотношение студентов и преподавателей (данные Национального статистического агентства по высшему образованию)

Затраты на оборудование и инфраструктуру (данные Национального статистического агентства по высшему образованию) Затраты на студента (данные Национального статистического агентства по высшему образованию)

Индикаторы результатов (Output indicators) Процент студентов, завершивших обучение (данные Национального статистического агентства по высшему образованию) Динамика роста академической успеваемости (value added) — собственный показатель Guardian

Процент студентов, закончивших университет с дипломом первого или второго класса (диплом с отличием) (данные Национального статистического агентства по высшему образованию) Качество преподавания (данные Национального опроса студентов)

Общая удовлетворенность студентов преподаванием (данные Национального опроса студентов) Общая удовлетворенность студентов преподаванием (данные Национального опроса студентов)

Оценивание и обратная связь с преподавателями (данные Национального опроса студентов)

Особенность методологии Forbes, по сравнению с Times и Guardian, состоит в том, что качество преподавания не оценивается напрямую. Для этого вводятся косвенные индикаторы оценки преподавательской эффективности вуза, в частности: удовлетворенность студентов преподаванием; оценка студентами преподавателей на сайте Ratemyprofessor.com; доля студентов, перешедших на второй курс; успешность студентов после завершения обучения (данные по зарплате студентов по материалам сайта Payscale.com, количество выпускников в списках Who is Who и Forbes); доля студентов, завершивших четырехлетний курс обучения. Методология одномерного ранжирования Forbes использует 12 индикаторов по пяти направлениям (удовлетворенность студентов; успех студентов после выпуска; долг студента по окончании обучения; доля студентов, закончивших четырехлетний курс обучения; количество студентов, получивших национальные премии). Веса имеют как отдельные направления, так и отдельные индикаторы, т.е. в методологии Forbes применяются композитные индикаторы. Методология Forbes использует официальные данные Министерства образования США, а также прибегает к неофициальным данным электронных ресурсов — сайтов Ratemyprofessor.com

и Payscale.com, разрабатывает собственные индикаторы (прогнозируемая доля студентов, перешедших на второй курс, прогнозируемая доля студентов, окончивших четырехлетний курс обучения). В отличие от Times и Guardian, методология Forbes использует только индикаторы результатов деятельности вуза, а потребительский подход к оценке деятельности вуза, лежащий в основе этой методологии, делает ее схожей с методологиями рейтингования бизнес-школ (Economist, Financial Times, Bloomberg), где основным показателем качества деятельности бизнес-школ выступает профессиональный успех выпускников по окончании обучения. Так же, как методологии Times и Guardian, методология Forbes использует сбалансированный набор количественных (статистические данные Министерства образования США) и качественных (данные онлайн-опросов студентов) индикаторов.

Необходимо отметить, что все представленные индикаторы подвергаются критике со стороны экспертного сообщества.

Индикаторы ресурсов (затраты на инфраструктуру, соотношение преподавателей и студентов) лишь косвенно оценивают качество преподавания. Их плюсом является только то, что составители рейтингов получили их из надежного источника (Агентство статистики высшего образования), и по этим данным можно оценить вклад университета в учебный процесс. Использование данных индикаторов в рейтингах приводит к порочному кругу (эффекту Matthew): элитарные вузы могут позволить себе большие затраты на инфраструктуру и оборудование, имеют возможность привлечь большее число преподавателей и научных сотрудников, что позволяет им занять более высокие позиции в рейтингах и в конечном счете привлечь еще бoльшее финансирование из внешних источников.

Индикаторы, учитывающие квалификации абитуриента при поступлении в вуз, ставят в невыгодное положение учебные заведения, принимающие абитуриентов с неакадемическими квалификациями. Так, рейтинги Times и Guardian вводят индикатор «вступительные баллы абитуриента», где указывается проходной балл, необходимый для поступления в тот или иной вуз. Эти баллы начисляются абитуриентам за сданные экзамены и полученные квалификации в рамках системы, принятой в UCAS3 (Британская служба по приему заявок в университеты и колледжи / Universities and Colleges Admissions Service). В соответствии с этой системой абитуриенты, сдавшие национальные экзамены по академическим дисциплинам (например, экзамены A-level по математике, английскому языку и т.д.), получают больше баллов, чем абитуриенты, сдавшие экзамены на получение профессиональной квалификации (например, экзамены в области бухгалтерии или дизайна). Таким образом, специализированные учебные заведения или вузы, предлагающие программы обучения в области прикладных наук, принимающие абитуриентов по результатам сданных профессиональных экзаменов и имеющие контингент студентов с невысоким средним баллом по системе UCAS, будут занимать более низкие места в рейтинге, чем классические исследовательские университеты, принимающие абитуриентов по результатам академических экзаменов и имеющие контингент студентов с более высокими баллами по системе UCAS.

Индикаторы результатов деятельности вуза по направлению «качество преподавания», используемые этими методологиями, также являются спорными: процент выпускников, процент студентов, перешедших на второй курс, и процент выпускников с дипломом первого или второго класса лишь косвенно оценивают качество преподавания в данном вузе. По мнению многих экспертов [7, 9], оценка университетов на основе данных индикаторов лишь усиливает сегрегацию университетов по социально-

3 См.: http://www.ucas.ac.uk/students/ucas_tariff/tarifftables.

экономическим показателям: в невыигрышном положении оказываются вузы, принимающие взрослых студентов и студентов из неблагополучных районов.

С одной стороны, данные Национального опроса студентов дают представление о качестве преподавания в том или ином вузе, а с другой — носят субъективный характер. Некоторые вузы [5] были уличены в том, что заставляли студентов определенным образом отвечать на предлагаемые опросом вопросы. Кроме того, методологии Times и Guardian используют выборочные данные из Национального опроса студентов.

В рамках Национального опроса студенты оценивают преподавание на своем курсе по набору индикаторов, включая:

— преподавание на моем курсе;

— оценивание и обратная связь с преподавателями;

— академическая поддержка;

— организация процесса обучения;

— обучающие ресурсы;

— личностное развитие;

— общая удовлетворенность процессом обучения на моем курсе.

Как можно видеть, из всего перечня индикаторов методология рейтинга Times использует только данные по общей удовлетворенности студентов процессом обучения на курсе, а Guardian и Guardian Specialist — данные по качеству преподавания, оцениванию и обратной связи с преподавателями и общей удовлетворенности. При этом создатели методологий не объясняют, почему из всего перечня индикаторов Национального опроса они выбрали именно эти.

То же можно сказать и о данных опроса студентов в методологии Forbes. В отличие от Национального опроса студентов, который администрируется Советом по финансированию высшего образования в Великобритании и проводится крупнейшим национальным агентством по опросам общественного мнения (MORI), сайт Ratemyprofessor. com является частной инициативой, позволяющей оценить преподавателей всех вузов США по следующим параметрам:

— доступность (легкость) курса;

— поддержка студентов;

— ясность изложения материала;

— степень интересности курса.

Как видно из параметров оценивания, такой источник данных является еще более субъективным по сравнению с британским Национальным опросом студентов. Эксперты отмечают, что преподаватели точных наук всегда получают меньше баллов за доступность (легкость) курса по сравнению с преподавателями гуманитарных наук, что, очевидно, обусловлено спецификой материала и не связано с качеством преподавания.

Разработанный Guardian индикатор "value-added" (добавочная стоимость или динамика академической успеваемости) — один из самых критикуемых: создатели индикатора пытались оценить прирост академических знаний студента, сравнивая компетенции абитуриента при поступлении и его квалификацию по окончании университета, однако методика расчета индикатора не является транспарентной. При этом некоторые исследователи [9] подчеркивают, что сама идея разработать индикатор, измеряющий динамику академической успеваемости студента, является релевантной, и многие университеты поддерживают идею создания такого индикатора.

Разработанные методологией Forbes индикаторы по прогнозируемой доле выпускников и прогнозируемой доле студентов, перешедших на второй курс, также критику-

ются за непрозрачную методологию расчета. Кроме того, не все специалисты уверены в релевантности этих индикаторов для оценки деятельности вуза.

Индикаторы количества выпускников, работающих директорами компаний, или входящих в списки Who is Who, а также количества студентов, получивших национальные премии, используемые Forbes, также являются спорными критериями для оценки деятельности вуза.

Результатом методологий ранжирования Times и Guardian являются таблицы лиг британских вузов и таблицы лиг вузов по предметным областям. Для получения таких таблиц данные по индикаторам шкалируются, взвешиваются, затем взвешенные баллы суммируются и вузам присваивается общий балл, в соответствии с которым они занимают место в таблице лиг. Обе методологии не используют композитные индикаторы. Различаются и веса индикаторов, используемых этими методологиями: Times использует вес 1,5 для оценки качества научных исследований и общей удовлетворенности студентов преподаванием и 1 — для всех остальных индикаторов. Guardian, в свою очередь, использует процентные веса индикаторов, выделяя отдельные веса для медицины и ветеринарии (табл. 5).

Таблица 5. Веса индикаторов в методологии Guardian

Индикатор Вес

Качество преподавания Оценивание и обратная связь с преподавателями Общая удовлетворенность обучением Динамика роста академической успеваемости (value added score) Соотношение студентов и преподавателей Затраты на студента Вступительные баллы (тариф UCAS) Перспективы трудоустройства 10%, для медицинских и ветеринарных специальностей — 14% 10%, для медицинских и ветеринарных специальностей — 14% 5%, для медицинских и ветеринарных специальностей — 7% 15%, для медицинских и ветеринарных специальностей — 5% 15%, для медицинских и ветеринарных специальностей — 20% 15%, для медицинских и ветеринарных специальностей — 20% 15%, для медицинских специальностей — 20% 15%, для медицинских и ветеринарных специальностей — 0%

Как видно из табл. 5, в отличие от методологии Times, придающей большее значение индикаторам результатов деятельности вузов, методология ранжирования Guardian наибольшие веса приписывает индикаторам ресурсов и своему индикатору динамики роста академической успеваемости. Методология Guardian различает веса индикаторов для отдельных групп специальностей, в отличие от методологии ранжирования Times.

Методология ранжирования Forbes опирается на композитные индикаторы, веса направлений и индикаторов указываются в процентах (табл. 6).

Так же как и Times, Forbes отдает наибольший вес индикатору удовлетворенности студентов преподаванием, но, в отличие от Times, использует неофициальный источ-

Таблица 6. Веса индикаторов в методологии Forbes

Направление Индикатор Вес, %

Удовлетворенность студентов, 27,5% Оценка преподавателей студентами на RateMyProfessor.com 17,5

Доля студентов, перешедших на второй курс 5

Прогнозируемая доля студентов, перешедших на второй курс 5

Успех студентов после выпуска, 30% Упоминание выпускников в Who is Who in America 10

Заработная плата выпускников по данным Payscale.com 15

Количество выпускников — директоров компаний по спискам Forbes (2000 мировых компаний-лидеров) 5

Долг студента, 17,5% Средняя задолженность студента по кредиту на образование 10

Доля студентов, имеющих неуплату задолженности по кредиту 5

Процент студентов, берущих федеральные кредиты на обучение 2,5

Доля студентов, закончивших 4-летний курс обучения, 17,5% Доля студентов, фактически закончивших четырехлетний курс обучения 8,5

Соотношение прогнозируемой доли студентов, закончивших четырехлетний курс обучения, и доли студентов, фактически закончивших четырехлетний курс обучения 8,5

Количество студентов, получивших национальные премии 7,5

ник — сайт Ratemyprofessor.com. Методология Forbes уделяет большое внимание такой категории, как успех студентов после выпуска, которая не представлена в рейтингах Times и Guardian. Представляется, что индикаторы этой категории более характерны для рейтингов бизнес-школ. При этом релевантность индикаторов, по которым оценивается это направление, является спорной, кроме того, данные по рассматриваемым индикаторам получают из неофициальных источников (сайтpayscale.com, где выпускники сами указывают свою зарплату), что ставит под сомнение их надежность.

Важной особенностью британских таблиц лиг является то, что у пользователей есть возможность выстраивать рейтинги университетов в зависимости от выбранного индикатора. Таблица лиг Forbes такой возможности не предоставляет.

Анализируя национальные методологии одномерного ранжирования относительно критериев IREG, следует иметь в виду, что методологии четко выделяют свои целевые группы, определяющие их ключевой подход. Но при этом:

1. Рейтинг Guardian в большей степени, чем Times, конкретен относительно своей целевой аудитории: он ориентирован на потенциальных абитуриентов, фокусируется на качестве обучения по программам бакалавриата, полагая, что именно эта информация в первую очередь интересует поступающих в университет. Рейтинг Guardian Specialist еще более избирателен в отношении целевой аудитории, ориентируясь на абитуриентов, интересующихся специальными программами обучения (изобразительное искусство, музыка, туристическая индустрия и т.д.). Помимо таблиц лиг университетов, на сайте Guardian размещены советы по поступлению, информация об университетах и программах обучения, а также информация о стоимости обучения. Guardian сознательно не использует индикаторы оценки научной деятельности университетов (хотя использовал эти индикаторы в своих первых рейтингах), объясняя это тем, что данная информация мало интересует абитуриентов. То есть методология одномерного ранжирования Guardian при выборе индикаторов ориентируется на потребности своей целевой аудитории. Таблицы лиг дополнены информацией, полезной для абитуриентов. Times оценивает деятельность университета по различным параметрам (обучение, научные исследования, трудоустройство выпускников), объясняя, что эти индикаторы и итоговые таблицы лиг помогают абитуриентам в выборе университетов, но не учитывая, что оценка научной деятельности университетов скорее заинтересует студентов, поступающих на постдипломные программы обучения. На сайте Times представлены таблицы лиг (общая и по предметным областям), краткая информация об университетах и стоимость обучения. Более подробную информацию об условиях поступления абитуриенты могут получить, купив книгу The Times Good University Guide. Методология Forbes ставит во главу угла финансовый успех выпускников после окончания обучения, объясняя это тем, что абитуриенты могут оценить качество образовательных услуг только по результатам своего успешного трудоустройства и наличия небольшой финансовой задолженности по окончании обучения. В целом представленные методологии указывают свою целевую аудиторию и последовательны в выборе индикаторов для нее.

2. Рейтинги Times, Guardian и Forbes не отражают всего разнообразия вузов системы высшего образования Великобритании и США. В рейтингах Times и Guardian участвуют только классические государственные университеты, предоставляющие свои данные в Агентство по статистике высшего образования Англии. Guardian предпринял попытку представить отдельную таблицу лиг для специализированных вузов, используя те же индикаторы, что и для общего рейтинга, но эта таблица малоинформативна: специализированные вузы искусств, медицинские и педагогические вузы, учебные заведения по подготовке сотрудников туристического сектора помещены в одну таблицу лиг. Forbes представляет только 650 из более чем 2000 колледжей США, обучающих по программам бакалавриата, объясняя это тем, что методология выбирает лучшие колледжи, которые могут обеспечить финансовый успех выпускникам.

3. С одной стороны, методологии одномерного ранжирования являются национальными и отражают специфический контекст системы образования Великобритании и США. С другой стороны, рейтинги Times и Guardian учитывают только классические государственные университеты, предлагающие программы бакалавриата, и не принимают в расчет разнообразия высших учебных заведений. Рейтинги никак не оценивают британские высшие учебные заведения, работающие в странах Содружества. Современная Великобритания — мультикуль-

турная страна, в которой действует достаточное количество вузов для мусульман (Aga Khan University, Islamic Azad University), а также университетов других стран (США, Германии, Ирландии), деятельность которых также никак не отражается в рейтингах Times и Guardian. Концепция методологии Forbes, рассматривающая студентов как потребителей образовательных услуг, не включает в рейтинг колледжи, предлагающие альтернативное образование — дистанционное, колледжи с программами двухгодичного высшего образования, так как исходит из предположения, что после окончания таких учебных заведений у выпускников меньше шансов добиться успеха.

Как показал анализ, методологии построения ранжирований Times, Guardian и Forbes используют различный набор индикаторов, ориентируясь на свое понимание нужд целевой аудитории:

1. И Times, и Guardian используют достаточно релевантные для своей целевой аудитории и валидные индикаторы, данные для которых получены из официальных и надежных источников. Однако экспертное сообщество отмечает, что процесс обучения достаточно сложен, чтобы его качество можно было оценить данными опросов студентов и такими индикаторами, как соотношение преподавателей и студентов и затраты на инфраструктуру. Оценка качества деятельности вуза по результатам трудоустройства студентов также является спорной — это скорее отражение экономической ситуации в стране, хотя представленные данные могут указывать на взаимодействие вуза с реальными секторами экономики. Методология Forbes использует спорные индикаторы (например, количество выпускников в Who is Who, зарплата выпускников после окончания и т.д.). В основном методология Forbes пользуется данными из неофициальных источников, что снижает надежность ее индикаторов по сравнению с индикаторами, используемыми Times и Guardian.

2. Рассмотренные методологии одномерного ранжирования, ставя перед собой цель предоставить полезную информацию для абитуриентов, не учитывают разнообразия деятельности вузов. Как уже было отмечено, методологии ориентированы на оценку качества деятельности вуза в области преподавания и в области научных исследований (Times), успешность выпускников после окончания колледжа (Forbes). Такие аспекты деятельности вузов, как международная направленность, трансфер знаний, взаимодействие вуза с регионом, никак не учтены в представленных методологиях рейтингования.

3. Методологии Times и Guardian используют сбалансированный набор индикаторов результатов деятельности вузов и индикаторов ресурсов при оценке деятельности вузов. Методология Forbes ориентируется только на индикаторы результатов деятельности вуза.

4. Guardian, Times и Forbes достаточно подробно описывают свои методологии, но эти описания не раскрывают в полной мере процедуры агрегирования индикаторов, не содержат достаточной информации по шкалированию индикаторов (Guardian) или не содержат ее вообще (Times, Forbes). Методология Guardian Specialist не описана, так как подразумевается, что она аналогична методологии Guardian. Расчет некоторых индикаторов (value/added, соотношение прогнозируемой доли студентов, закончивших четырехлетний курс обучения и доли студентов, фактически закончивших четырехлетний курс обучения, прогнозируемая доля студентов, перешедших на второй курс) не приводится. То есть данные методологии не являются полностью транспарентными.

5. Методологии Times, Guardian и Forbes содержат достаточно полную информацию о весах всех индикаторов. Концепция методологий рейтингов не менялась: Guardian последовательно делает упор на оценку качества преподавания в вузах, а Times оценивает как преподавание, так и условия обучения в вузах. Методология Forbes относительно нова (2008 г.) и также не подвергалась изменениям. Основные изменения методологий Times и Guardian связаны с изменением источников сбора данных: так, данные по качеству образования до 2005 г. брались из агентств по обеспечению качества образования Англии, Шотландии и Уэльса. Начиная с 2005 г. используются данные Национального опроса студентов. Если агентства обеспечения качества образования, оценивая качество преподавания в вузе, выставляли вузам только один балл, то в рамках Национального опроса студенты отвечают на семь вопросов о качестве преподавания и обучения в вузе, соответственно рейтинговые методологии изменили набор параметров, используемых при оценке качества преподавания.

6. Guardian и Times берут свои данные из официальных источников, занимающихся сбором статистических данных по высшему образованию и опросом студентов, находящихся в открытом доступе. Forbes пользуется данными как из официальных (Министерство образования США), так и из неофициальных источников (сайты Ratemyprofessor.com; Payscale.com). Проводя кабинетное исследование, сложно оценить корректность процедур при сборе этих данных.

7. Базовые методологии и набор индикаторов рейтингов Times и Forbes остаются постоянными на всем протяжении их существования. Guardian вначале использовал индикаторы по оценке качества научной деятельности вузов, но затем от них отказался — создатели рейтинга посчитали эту информацию нерелевантной для студентов.

8. Рейтинги Guardian и Forbes находятся в открытом доступе в течение всего года, а с рейтингом Times можно ознакомиться только по платной подписке.

9. Методологии содержат достаточно полное описание методов и индикаторов, используемых для рейтингования.

10. Методологии построения ранжирования Guardian и Times не используют комплексные индикаторы, поэтому они не приводят информацию по баллам для каждого отдельного индикатора при расчете комплексного индикатора. Методология рейтинга Forbes содержит комплексные индикаторы, она приводит веса отдельных индикаторов, но баллы для каждого отдельного индикатора в описании методологии не раскрываются.

11. Используя уже заданные веса индикаторов, рассматриваемые методологии национального одномерного ранжирования не предоставляют возможности выбора релевантности весов для потребителя, но при этом методологии Times и Guardian предоставляют возможность ранжирования университетов в зависимости от выбранного пользователем индикатора; методология Forbes такой возможности не предоставляет.

Анализируя транспарентность и оперативность методологий, можно выделить стандартные способы работы с потребителями результатов этих методологий: использование форума для обсуждения результатов ранжирования, присутствие контактных данных для связи с составителями рейтинга. Однако сложно выделить какой-либо особый механизм, который способствовал бы оперативному реагированию на нужды и запросы высших учебных заведений и других заинтересованных сторон.

Следует отметить, что методологии Guardian и Times имеют достаточно высокую репутацию среди академического сообщества, создатели рейтингов активно взаимодействуют как с самими университетами, так и с государственными организациями, занимающимися оценкой деятельности университетов. Методология Forbes в большей степени критикуется академическим сообществом за использование нерелевантных индикаторов и неофициальных источников данных. Данная методология предлагает свою концепцию оценки деятельности вузов и собственный набор индикаторов, который соответствует нуждам определенной группы абитуриентов.

Соответствие проанализированных методологий национальных рейтингов агрегированным критериям IREG представлено на рис. 3.

Национальные рейтинги

Надежность и релевантность показателей

Надежность способа сбора данных

3 /V /•♦ Л * ** //""l / : % — \ ♦ *А ♦ \

1 3 Л< ♦ » \ ♦ 1 л /х 2 у 1 3

¿2

- 3

Times Guardian Guardian Sp Forbes

Транспарентность рейтинга

Интерактивность

Рис. 3. Соответствие группы национальных методологий одномерного ранжирования (рейтингов) пяти агрегированным критериям IREG

Среди безусловных положительных сторон методологий национальных рейтингов важно отметить следующие:

— использование официальных статистических данных (для Forbes, Guardian и Times) и данных опросов, проводимых под эгидой государственных органов, собирающих статистику высшего образования и проводящих оценку деятельности вузов (для Guardian и Times);

— включение в методологию дополнительной информации (о вузах, программах обучения, вступительных требованиях, стоимости обучения), полезной для абитуриентов;

— достаточно подробное описание методологии и разъяснения по применяемым индикаторам оценки деятельности вузов;

— сбалансированное использование качественных и количественных индикаторов (для Guardian, Forbes и Times), индикаторов ресурсов и индикаторов результатов (для Guardian и Times).

К заметным недостаткам методологий национальных рейтингов относятся:

— недостаточный учет разнообразия вузов Великобритании и США;

— научно не обоснованное приписывание весов индикаторам и их непостоянство в течение времени (для методологии Guardian);

— недостаточно описанные процедуры агрегирования индикаторов;

— использование данных неофициальных опросов (для Forbes).

Следует также отметить, что на первых местах рейтинговых таблиц Guardian и Times год за годом оказываются классические британские университеты: Оксфорд, Кембридж, колледжи Лондонского университета, что не является открытием для абитуриентов (табл. 7а).

Таблица 7а. Результаты рейтингов Times и Guardian в 2012 г.

Рейтинг Times 2012 г. Рейтинг Guardian 2012 г.

1. University of Oxford 2. University of Cambridge 3. London School of Economics and Political Science 4. Imperial College of Science, Technology and Medicine 5. University College London 1. University of Cambridge 2. University of Oxford 3. St. Andrews University 4. London School of Economics and Political Science 5. University College London

Как видно, лидерами рейтинга предсказуемо являются классические британские университеты. Результаты рейтинга Forbes более интересные: в топ-лист попадают не классические американские университеты из Ivy League, а колледжи, предлагающие оптимальное соотношение «цена / качество обучения». Такой подход может, безусловно, заинтересовать некоторых абитуриентов (табл. 7б). Таблица 7б. Результаты рейтингов Forbes и US News в 2012 г.

Рейтинг Forbes 2012 г. Рейтинг US News 2012 г.

1. Williams College 2. Princeton University 3. United States Military Academy 4. Amherst College 5. Stanford University 1. Harvard University 2. Princeton University 3. Yale University 4. Columbia University 5. California Institute of Technology

Национальные и региональные методологии многомерного ранжирования

Ранжирования CHE и U-Multirank в своем подходе к оценке высших учебных заведений основываются на единых принципах, которые можно описать термином «многомерное ранжирование». Многомерное ранжирование производится с помощью сравнения учебных заведений только относительно определенных выделенных критериев. При этом оценки, полученные по всем критериям, не суммируются для получения общего балла. Также разработчики таких методологий ранжирования стараются

не разделять критерии по значимости, т.е. им не приписываются веса. Сравнение производится либо по определенным предметам или предметным областям в соответствии с выделенными критериями, либо между университетами, в соответствии с выделенными сферами деятельности. Таким образом, разработчики многомерных ранжирований избегают сравнения всей сложной системы учреждений высшего образования с другими такими же сложными системами.

Рис. 4. Характеристики одномерного и многомерного подхода к оценке деятельности вузов

Многомерные национальные ранжирования CHE

Основу всех ранжирований, проводимых немецким Центром высшего образования (CHE), составляют разработанные центром принципы, значительным образом отличающие ранжирования CHE от многих глобальных и национальных рейтингов, являющихся одномерными ранжированиями. Во-первых, Центр высшего образования не производит ранжирование университетов в целом — оцениваются только отдельные предметы или предметные области. По мнению разработчиков ранжирований CHE, сравнение учебного заведения в целом не позволяет показать уровень развития отдельных программ и факультетов, который внутри университетов может быть неоднородным. Так, основываясь на собранных данных, разработчики пришли к выводу, что только 6,1% всех университетов, включенных в ранжирование, имеют высокую оценку по всем четырем выделенным предметным областям, тогда как основная часть университетов имеет только одну хорошо развитую область преподавания (рис. 5). Тем не менее эта одна область может быть высокоразвитой и представлять интерес для определенной группы студентов.

Количество предметных областей высокого уровня в учебных заведениях

Три предметные области, 6,1% вузов

Четыре предметные

Две предметнь области, 24,2% вузов

Одна предм етная область, 63,6% вузов

63,

Источник: презентация Ranking — New Developments in Europe, Gero Federkeil CHE — Centre for Higher Education Development, The 3rd International Symposium on University Rankings Leiden, 6—7 February 2009.

Рис. 5. Распределение предметных областей немецких университетов по уровню развития

Во-вторых, разработчики CHE не опираются на один комплексный индикатор, охватывающий деятельность университета в целом — при ранжировании используется несколько индикаторов, позволяющих осуществить многомерную оценку учебного заведения. Индикаторы оценки отражают преподавательский потенциал учебного заведения, инфраструктуру, интернационализацию, учет учебным заведением потребностей рынка труда, развитость исследовательской деятельности и т.д., но в один общий индикатор эти показатели не складываются. Возможность многомерной оценки учебного заведения, не ведущей к сравнению одного университета с другим на основании одного общего оценочного индикатора, является отличительной чертой многомерных ранжирований.

В-третьих, университет, включенный в ранжирование, по одному из оценочных индикаторов может оказаться в одной из групп: «верхней», «средней» или «нижней». Группы отражают степень оценки по отдельному индикатору: от наиболее высокой к наиболее низкой. При этом внутри каждой из групп ранжирование не производится, а университеты располагаются внутри группы по отношению друг к другу в алфавитном порядке. Данная форма группировки оценок производится, в частности, для того, чтобы избежать присвоения университетам со схожей оценкой разных мест в ранжировании.

Центр высшего образования предлагает четыре ранжирования, отличающихся, прежде всего, целевой аудиторией (категорией пользователей) и, следовательно, имеющих разный набор индикаторов (рис. 6).

1) Ранжирование университетов предназначено, в первую очередь, для будущих и настоящих студентов, а также университетов. В данном ранжировании принимают участие университеты Германии, но за последние несколько лет в систему также были включены университеты Австрии, Швейцарии, Нидерландов, Бельгии, а также университеты Италии и Венгрии, где преподавание ведется на немецком языке.

При ранжировании университетов используется 100 индикаторов, которые организованы в девять групп. При этом для университетов, специализирующихся в прикладных науках, используется измененный набор индикаторов. Как было отмечено выше, в соответствии с принципами CHE не производится сравнение и ранжирование университета в целом, а только по отдельным предметам или предметным областям, что позволяет выявить сильные и слабые стороны деятельности университетов.

Семьдесят процентов индикаторов основываются на оценке учебных заведений студентами (поддержка/консультации преподавателя, качество библиотеки и компьютерных услуг, спортивные секции); 10—30% индикаторов составляет количественная оценка «фактов»; 5—10% индикаторов — оценка, осуществляемая преподавательским составом (репутация преподавателей и исследователей других вузов). Также используются данные о подготовке выпускников для выхода на рынок труда и данные об уровне развитости исследований в университетах.

2) Ранжирование лучших программ для магистров и докторов (PhD) призвано помочь в выборе программы обучения магистерского и докторского уровня. Ранжирование программ производится только по следующим предметным областям: биология, химия, математика, физика, политические науки, экономика, психология.

Для включения в ранжирование высшие учебные заведения проходят специальный отбор. Университеты должны набрать как минимум две «звезды», одна из которых получена за требуемое количество публикаций или цитирований (не менее 3000 публикаций по данным Web of Science). Остальные отборочные критерии, по которым учебное заведение также может получить звезду, включают: наличие выдающихся ученых (премия Нобеля, премия Кёрбера за европейскую науку, премия Филдса); количество проектов по программе Мари Кюри, студенческая мобильность; преподавательская мобильность; участие в программе «Эразмус Мундус», получение грантов от Европейского исследовательского совета. Оценка отобранных высших учебных заведений производится на основании опроса образовательных учреждений и опроса студентов, обучающихся на докторских и магистерских программах.

3) Ранжирование исследовательских программ оценивает научно-исследовательскую деятельность университетов Германии. Собираемая информация предназначена для исследователей и образовательных учреждений, ведущих исследовательскую деятельность. Ранжирование производится по 17 предметным областям при помощи двух общих групп индикаторов: относительных и абсолютных. Использование двух групп индикаторов позволяет оценивать исследовательскую деятельность учебных заведений как в общем объеме, так и с точки зрения ее эффективности. В арсенале исследователей четыре оценочных индикатора:

1) внешнее финансирование за три года;

2) публикации — библиометрический показатель за три года (публикации в национальных и международных журналах);

3) изобретения / патенты;

4) присуждение степеней (за шесть семестров, предшествующих сбору данных).

Все полученные данные проходят тщательную проверку на достоверность и полноту при помощи сравнения с данными, размещенными во внешних источниках (данные Немецкого научно-исследовательского сообщества). Университеты также имеют возможность проверить и при необходимости скорректировать информацию, перед тем как будут произведены расчеты и составлено ранжирование.

Полученные данные предоставляются по предметным областям с распределением результатов на три группы: «верхняя», «средняя», «нижняя». В верхнюю группу попадают университеты, соответствующие более 50% требований.

4) Рейтинг учебных заведений по уровню подготовки выпускников к рынку труда рассматривает профессионально ориентированные бакалавриаты. Целью рейтинга является, прежде всего, оценка степени включения в образование программ обучения практическим знаниям и навыкам использования современных технологий, что в настоящее время является одним из основных факторов успешного трудоустройства выпускников. Данные ранжирования предназначаются для информирования потенциальных студентов об имеющихся программах обучения, а также для сравнительной оценки программ работодателями и самими учебными заведениями. В оценку программ бакалавриата не включается оценка преподавания и академического знания. Четыре индикатора, используемые для ранжирования, включают оценку практико-ориентированных навыков, социальных компетенций, практического опыта, приобретенного студентами, а также уровень интернационализации учебного заведения. На данный момент были оценены и проранжированы программы в таких предметных областях, как бизнес, гражданская инженерия, инженерия, бизнес-информатика, бизнес-инженерия, информатика.

Все учебные заведения ранжируются в соответствии с количеством полученных «звезд» (от одной до пяти). Данные представляются в виде таблицы, где учебные заведения проранжированы относительно количества полученных звезд. Также приводятся оценки по каждому из индикаторов в отдельности. Результатом сравнения профессионально-ориентированных бакалавриатов является рейтинг (одномерное ранжирование).

Ранжирование университетов

Ранжирование исследовательских программ

Ранжирование программ для магистров и докторов

Рейтинг учебных заведений по уровню

подготовки выпускников к рынку труда

Целевая группа: Целевая группа:

студенты исследователи,

и университеты университеты, ведущие исследова-

Индикаторы: тельскую

1. Обучение и деятельность

преподавание

2. инфраструктура Индикаторы:

3. интернацио- 1. Внешнее

нализация финансирование

4. ориентация на за три года.

рынок труда 2. Публикации

5. Репутационная 3. Изобретения/

оценка патенты

вуза 4. Присуждение

6. Исследова- степеней

тельская

деятельность

7. Город и универ-

ситет

Целевая группа:

соискатели магистерской и докторской степени

Индикаторы:

1. Библиометри-ческий

критерий отбора

2. Наличие выдающихся ученых (лауреаты Нобелевской премии, премии Филдса, премии Кёрбера)

3. Количество проектов по программе Мари Кюри

4. Студенческая мобильность

5. Преподавательская мобильность

6. Участие в программе «Эразмус Мундус»

7. Получение грантов Европейского Совета по исследованиям

Целевая группа:

студенты программ профессионального бакалавриата, работодатели,

учебные заведения

Индикаторы:

1. Практико-ориентированные навыки

2. Соцальные компетенции

3. Практический опыт работы

4. Интернационализация

Рис. 6. Ранжирования CHE: дифференциация целевых групп и наборов индикаторов

Обобщая, отметим, что методология ранжирования университетов использует наиболее разнообразную информацию, позволяющую дать всестороннюю оценку деятельности университета. Методологии ранжирования исследовательских программ и ранжирование программ для магистров и докторов, так же как и рейтинг уровня подготовки выпускников к рынку труда, являются в большей степени специализированными и используют индикаторы, выявляющие ценность образовательных программ для конкретных групп пользователей.

Общая характеристика качества

национальных многомерных ранжирований CHE

Сбор данных. Семьдесят процентов всех данных, используемых в ранжировании CHE, собираются с помощью онлайн-анкетирования и материалов самооценки, что повышает риск фальсификации данных. Тем не менее степень соответствия требованиям надежности и достоверности в этих методологиях является достаточно высокой в связи с тем, что все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного подтверждения. Также, поскольку производится оценка не всего учебного заведения, а предметной области, данные самооценки оказываются более открытыми для внешней оценки специалистами в этой области, что помогает в контроле над фальсификациями данных. В случае подозрения в фальсификации, учебное заведение исключается из ранжирова-ния/рейтингования.

Надежность и релевантность индикаторов. Индикаторы репутационной оценки подвергаются все большей критике, в ответ на которую разработчики ранжирований пересматривают индикаторы и замещают индикаторы репутационной оценки количественными индикаторами «фактов». Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных.

Интерактивность и транспарентность. Ранжирования данных методологий в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.

Сравнение многомерных ранжирований: CHE и U-Multirank

Ранжирование U-Multirank, разрабатываемое по инициативе Европейской комиссии, ставит перед собой цель создать глобальное ранжирование, которое также будет организовано по принципу многоуровневого сравнения. Ожидается, что ранжирование будет отражать различные стороны деятельности высших учебных заведений, в частности, образование, исследовательскую деятельность, инновации, уровень интернационализации, выполнение учебным заведением третьей миссии и подготовку студентов к трудоустройству. Разработчики ранжирования U-Multirank в качестве особенности своего подхода отмечают усиленное внимание, уделяемое качеству преподавания и общественной активности учебных заведений. Результатом оценки U-Multirank предполагаются два вида ранжирований: ранжирование учебных заведений и ранжирование по предметным областям. Ранжирование учебных заведений планируется производить на основании сравнения вузов по одной из сфер деятельности — исследованиям, преподаванию, интернационализации, передаче знаний и др.

Применяемые при ранжировании U-Multirank индикаторы основаны на индикаторах ранжирования CHE. Для расчета библиометрических показателей используются данные из источников Scopus и Thomson Reuters. Разработчики признают, что эти базы данных не отражают в полной мере результаты исследований в гуманитарных областях, однако на данный момент они не предлагают других вариантов выполнения таких подсчетов. Основным способом сбора информации для ранжирования будет являться самооценка университетов. Третьим типом источников данных для ранжирований станет опрос студентов. В отличие от индикаторов CHE, U-Multirank не использует индикаторы оценки репутации, которые рассматриваются как недостаточно надежные, в особенности при сравнительной оценке учебных заведений разных стран. В этом отношении можно отметить, что, основываясь во многом на подходе и организации работы, разработанной CHE, U-Multirank ставит перед собой задачу повышения надежности и релевантности индикаторов. Также необходимо отметить, что географически целевой охват ранжирования U-Multirank намного шире ранжирований CHE, который специализируется на ранжировании немецких и немецкоязычных университетов. Таким образом, ранжированию U-Multirank необходимо приложить особые усилия при разработке методов выявления и оценки сильных и слабых сторон университетов в различных странах мира.

Во многом работа по созданию методологии и организации сбора данных и процедуры ранжирования U-Multirank находится в стадии разработки, и не вся информация доступна для внешних пользователей. Тем не менее можно предварительно оценить потенциал ранжирования U-Multirank как в высокой степени соответствующий требованиям IREG (рис. 7).

Многомерные ранжирования

Надежность способа сбора данных

3

CHE University U-Multirank

Надежность и релевантность показателей

3

Транспарентность рейтинга

Интерактивность

Рис. 7. Соответствие группы методологий многомерных ранжирований пяти агрегированным критериям IREG

Региональные и национальные методологии классификации высших учебных заведений

Методология U-map и методология Carnegie представляют собой примеры классификации вузов на региональном (Европа — U-map) и национальном (США — Carnegie) уровне. Если классификация европейских вузов U-map находится в процессе разработки (проект инициирован Европейской комиссией в 2005 г.), то классификация Carnegie является завершенной (первая классификация была опубликована в 1973 г.).

Как отмечалось ранее, основной целью обеих методологий является классификация, а не оценка деятельности учебных заведений, на основе эмпирических данных.

Так как обе классификации описывают вузы по различным направлениям, целевая аудитория этих методологий является достаточно широкой: это может быть и академическое сообщество, и абитуриенты, и студенты, и сами вузы, и лица, принимающие решения в различных сферах политики.

Но если классификация европейских вузов U-map сознательно представляет свои результаты таким образом, что их могут использовать самые разнообразные группы пользователей, то классификация Carnegie в большей степени ориентирована на исследователей, занимающихся проблемами высшего образования в США, хотя методология и результаты классификации доступны и для широкой аудитории.

Обе методологии создавались при поддержке университетов и независимых исследовательских центров: Карнеги (классификация Carnegie) и европейского Центра по исследованию политики в области высшего образования (классификация U-map). И классификация Carnegie, и U-map не публикуют результаты ежегодно: во-первых, в системе образования так часто не происходят изменения, которые необходимо отражать в классификации, во-вторых, обе методологии работают с большим объемом данных, которые сложно обработать за короткий срок. Carnegie и U-map не ограничивают вузы в участии в классификации. Они преследуют обратную цель: описать как можно больше учебных заведений. Но если классификация Carnegie эту задачу выполнила и описала 4500 вузов США, предоставляющих свои данные в систему Национального центра статистики по образованию (NCES), то классификация U-map, ставя перед собой амбициозную задачу по описанию более 3 тыс. европейских вузов и колледжей, официально аккредитованных на национальном уровне, описала только 67 европейских учебных заведений.

Несмотря на то что обе классификации ставят перед собой задачу продемонстрировать разнообразие высших учебных заведений, их подходы отличаются.

Классификация Carnegie в описании вузов опирается на следующие характеристики вузов:

— контингент обучающихся в вузе студентов (доля студентов-очников, студентов, обучающихся дистанционно, студентов программ бакалавриата, магистрантов, аспирантов);

— предлагаемые программы обучения по уровням (бакалавриат, магистратура, аспирантура) и профилю (обучение по широкому спектру специальностей или узкоспециализированное);

— местоположение вуза и его инфраструктура (городской или сельский вуз, наличие общежития).

Используя статистические данные Министерства образования США, методология Carnegie формирует шесть параллельных классификаций вузов:

— по предлагаемым программам высшего образования;

— предлагаемым программам постдипломного образования;

— контингенту поступающих абитуриентов;

— контингенту обучающихся студентов на программах высшего образования;

— размеру и инфраструктуре вузов.

Помимо перечисленных классификаций, существует также базовая классификация, разработанная специалистами Carnegie в 70-х годах прошлого века, которая учитывает разнообразные характеристики вузов: форму собственности, предлагаемые программы обучения (высшее образование, постдипломное и т.д.) и размер учебного заведения. В 2005 г. вузам было предложено добровольное участие в классификации по включенности вузов в региональное сообщество (интеграции в жизнедеятельность региона).

В рамках U-map классификация вузов происходит на основе различных направлений их деятельности:

— обучение и преподавание;

— профиль обучающихся в вузе студентов;

— исследовательская деятельность;

— взаимодействие с регионом;

— международная деятельность;

— трансфер знаний.

В общей сложности U-map использует 25 индикаторов по шести направлениям для описания деятельности вузов.

Для классификации деятельности вузов как Carnegie, так и U-map используют количественные индикаторы (например, количество программ бакалавриата, количество студентов, обучающихся на очном отделении, доля преподавателей с докторской степенью и т.д.). Исключением является классификация Carnegie по включенности вузов в сообщество, где вузы в самоотчетах описывают свою деятельность по взаимодействию с регионом, а эксперты определяют тип данного взаимодействия: (взаимодействие с регионом через учебную деятельность, через научные и бизнес-партнерства и информационную деятельность, взаимодействие с регионом как через учебную деятельность, так и через партнерства).

Как видно из представленной информации, более современная методология U-map классифицирует вузы не только по профилю студентов и программам обучения и инфраструктурным признакам, как это делает Carnegie, но и по таким актуальным аспектам деятельности вузов, как международная активность и трансфер знаний. Создатели Carnegie осознают, что на данный момент ими учитываются не все характеристики вузов, поэтому они предложили дополнительную классификацию по включенности вузов в сообщество. В рамках проведения этой классификации специалисты Carnegie и внешние эксперты анализировали отчетные документы вузов по их взаимодействию с местным сообществом. Следует отметить, что одной из проблем этой классификации оказалось то, что не все вузы смогли предоставить достаточно информации для экспертного анализа.

Методологии применяют различные подходы к сбору данных: национальная классификация Carnegie использует статистические данные Министерства образования США, не испытывая серьезных проблем с получением информации. Для построения классификации U-map данные собираются из европейского статистического агентства, национальных статистических агентств и вузов — участников проекта. При этом создатели U-map отмечают, что не все данные легкодоступны. Этот опыт показывает, что составление национальных классификаций на основе большого количества индикаторов требует серьезного финансирования, желательно, создания единых региональных статистических агентств и привлечения широкого круга заинтересованных специалистов.

Обе классификации по-разному подходят к представлению результатов данных: если классификация U-map содержит элементы бенчмаркинга и позволяет сравнивать вузы между собой, то классификация Carnegie представляет только алфавитные списки вузов, входящих в ту или иную группу.

«Изюминкой» методологии U-map является визуализация результатов деятельности вузов: представление вузов в виде диаграмм солнечных лучей, где разным цветом показаны различные направления деятельности вуза. Такая визуализация позволяет сравнивать учебные заведения между собой, изучать отдельные профайлы вузов, выбирать направления деятельности и сравнивать по этому направлению различные вузы. Классификация Carnegie такой возможности не представляет.

Анализ соответствия данных методологии критериям IREG учитывает ограничения аудита, его ориентированность на оценку качества методологий ранжирования, а не классификаций. Обе классификации не оценивают деятельность учебных заведений (хотя U-map использует элементы сравнения деятельности вузов), не вводят весов индикаторов и не выводят общий балл оценки деятельности вуза. При этом:

1. Обе классификации четко определяют свои целевые группы, считая, что описание разнообразных характеристик вузов будет, прежде всего, полезно академическому сообществу.

2. Индикаторы, используемые в классификациях, являются релевантными и валидными: в выборе индикаторов для классификации Carnegie участвовали специалисты независимого исследовательского центра Карнеги и эксперты вузов США; создатели U-map консультировались с широким кругом заинтересованных лиц при выборе индикаторов: представителями вузов, студентами, исследователями и научными сотрудниками, представителями бизнеса и политиками. Такой подход, с одной стороны, позволяет проверить индикаторы на валидность, релевантность и надежность, а с другой — привлечь различных стейкхолдеров к оценке деятельности вузов. При этом Carnegie в большей степени ориентирован на работу с академическим сообществом и представителями вузов, а U-map привлекает более широкие слои заинтересованных лиц.

3. Классификации отражают разнообразие деятельности национальных/региональных учебных заведений. Однако классификация Carnegie в меньшей степени, чем U-map ориентирована на описание актуальных для вуза функций: взаимодействия с регионами, международной деятельности и деятельности по обмену знаниями.

4. Обе классификации содержат подробное описание методологии и получают данные из авторитетных государственных источников и вузов.

5. Изменения в классификации Carnegie были связаны с изменениями в системе образования США (появление новых специальностей, появление новых функций вузов), которые было необходимо отразить при описании вузов. Классификация U-map находится на начальном этапе разработки, поэтому изменений здесь пока не происходило.

Обе классификации доступны для пользователей и позволяют им выбрать те параметры деятельности вузов, которые их интересуют. Классификация Carnegie представляет свои результаты в менее визуализированной форме: алфавитные списки вузов по выбранному параметру, классификация U-map представляет параметры деятельности вуза в виде диаграммы солнечных лучей.

Создатели методологии Carnegie выработали эффективный механизм реагирования на запросы вузов за счет постоянного взаимодействия с академическим сообществом

и вузами, проведения исследовательской работы в области высшего образования. Создатели классификация U-map с самого начала проекта привлекли к участию основных стейкхолдеров: представителей вузов, академического сообщества, бизнеса и студентов.

Можно выделить несколько положительных сторон методологий построения классификаций:

— учет разнообразия деятельности вузов;

— привлечение академического и экспертного сообщества к выбору индикаторов описания деятельности вузов;

— использование количественных индикаторов, получаемых из официальных источников;

— визуализация результатов деятельности вузов, удобная для пользователя (U-map).

К основным недостаткам методологий можно отнести их некоторые особенности, в частности:

— большое количество индикаторов усложняет работу с классификациями для неподготовленных пользователей;

— классификация Carnegie не учитывает все аспекты деятельности вузов (например, международный, трансфер знаний);

— классификация U-map находится в стадии разработки, но уже испытывает сложности с наличием необходимых данных для описания деятельности вузов.

В целом следует отметить, что обе классификации постоянно совершенствуются, предоставляют актуальную информацию как для академического сообщества, так и для более широкого круга пользователей. Их соответствие критериям IREG, несмотря на существенные ограничения, является высоким (рис. 8).

Классификации

Надежность способа сбора данных

3

Надежность и релевантж показателей

у/

Я

А

х- Ч

—-г

и релевантность 3 ** 2N 1

. N ♦ N

----Carnegie

...... U-Map

\

\

\

1 Г

>

1

1 3 ♦

♦

♦

3

Транспарентность рейтинга

Интерактивность

Рис. 8. Соответствие группы методологий национальных и региональных классификаций пяти агрегированным критериям IREG

1

Сравнительный анализ специализированных рейтингов:

Economist, Financial Times, Business Week

Все рейтинги программ MBA ставят для себя цель предоставления информации о наилучших программах MBA потенциальным студентам, а также работодателям и специалистам по набору персонала в бизнес-отраслях. Все проанализированные рейтинги проводят ранжирование не более 120—130 лучших программ, на основании информации о которых составляется рейтинговая таблица сотни лучших программ.

Financial Times и Economist предоставляют рейтинговые таблицы по программам MBA во всем мире; Business Week специализируется на программах, предлагаемых в США, хотя в недавний рейтинг были включены 18 программ MBA других стран. Рейтинги программ MBA направлены на предоставление информации о том, какие программы лучше всего помогут потенциальным студентам добиться карьерного роста, повышения заработной платы, трудоустроиться в крупные международные компании.

В проанализированных рейтингах бизнес-школ отчетливо видно доминирование «западных» школ: 53 школы из 100 в рейтинге Financial Times — это школы, расположенные в США, более 30 расположены в различных странах Европы (из них 15 школ — в Великобритании), и только 9 школ — это школы, находящиеся в Азии, Африке, Центральной Америке. Журнал Economist также предлагает рейтинг 100 лучших бизнес-школ, 48 из которых — это школы США, 44 расположены в различных странах Европы, а также в Канаде и Австралии (из них 16 — в Великобритании), и 8 школ в странах Азии. Данная картина отражает доминирование американских и британских школ и относительно меньшую представленнось бизнес-программ в других странах мира, что не удовлетворяет в полной мере критерию разнообразия принципов IREG.

Индикаторы, используемые для ранжирования программ MBA, отражают специализированный характер бизнес-школ. Большая часть индикаторов, используемых в рейтингах, служит для оценки новых возможностей профессионального роста, которые должны появиться у студента после окончания MBA: индикатор журнала Economist «возможности для новой карьеры» составляет 35% веса в композитном индикаторе, индикатор «рост заработной платы» составляет 25% веса. Журнал Financial Times использует индикатор «рост заработной платы», вес которого составляет 20%, и индикатор «карьерный рост» — вес 3%, «достижение целей» — вес 3%. Business Week концентрируется практически полностью на оценке удовлетворенности студентов программами MBA, что также включает индикаторы, оценивающие профессиональный рост и рост заработной платы у выпускников бизнес-школ.

Программы MBA в большей степени ориентированы на обучение бизнес-администрированию, во многом основанном на опыте компаний США и Европы, и меньше внимания уделяют культурному или историческому контексту (третий критерий принципов IREG). Таким образом, рассматриваемые рейтинги не выделяют задачу выявления культурного, исторического или языкового разнообразия бизнес-программ в качестве основной. Комплексный индикатор рейтинга Financial Times включает в себя индикатор интернационализации, вес которого составляет 20% в комплексном индикаторе оценки. В структуре данного индикатора учитываются следующие: «количество иностранных преподавателей» — 4%; «количество иностранных студентов» — 4%; «количество иностранных членов совета» — 2%; «международная мобильность на основании данных о трудоустройстве выпускников до и после обучения по программе MBA» — 6%; «международный опыт, средневзвешенный индикатор, включающий четыре индикатора, измеряющих интернационализацию программ» — 2%; «количе-

ство языков, которыми студенты должны владеть по завершении программы» — 2%. Economist использует ряд индикаторов для выявления уровня интернационализации бизнес-школ: индикатор «международная представленность» имеет 8,33% веса в итоговом индикаторе, «разнообразие программ международного обмена» — 6,25%. Однако необходимо отметить, что фактор разнообразия (культурного, экономического, языкового) в обучении не является одним из основополагающих при составлении рейтингов. Учитывается в основном только студенческая мобильность, но не разнообразие программ обучения в соответствии с культурным, языковым, историческим или экономическим контекстом среды. Так, например, рейтинг Business Week не выделяет культурное, языковое разнообразие или интернационализацию в отдельный индикатор. Таким образом, критерий языкового, культурного и исторического разнообразия принципов IREG удовлетворяется рассматриваемыми методологиями не в полной мере.

Также среди анализируемых рейтингов заметна тенденция расширения перечня используемых индикаторов, например, таких как «количество женщин среди слушателей программы», «количество женщин в преподавательском составе», «количество женщин в Совете вуза» (5% — Financial Times, 8,33% — Economist). Данные индикаторы отражают гендерное равенство, но не являются прямыми индикаторами качества образования.

Индикатор «зарплата в течение трех лет после выпуска» (Economist — 25%, Financial Times — 20% веса) также не может в полной мере служить адекватным инструментом сравнения различных программ MBA, так как не во всех сферах производства заработная плата растет одинаково. Помимо этого, размер начальной заработной платы может значительно отличаться, в результате чего в более выгодном положении находятся учебные заведения, где осуществляется подготовка студентов по направлениям инвестиционного бизнеса, так как в данной сфере компенсация выше, чем в других областях, особенно в начале карьеры. Financial Times предлагает корректировку размера зарплат с учетом особенности индустрий, с расчетом среднего за два-три года. Economist и Business Week не приводят информации о поправках на индустрию.

Индикатор «оценка трудоустройства выпускников: процент выпускников, нашедших рабочее место в течение трех месяцев после окончания учебы», используемый Economist — 25% веса, Financial Times — 2% веса, также не всегда в полной мере в состоянии отразить качество учебного заведения, так как перспективы трудоустройства выпускников во многом зависят от ситуации в экономике той или иной страны или в мире в целом. Также важно, что хотя при ранжировании зарплат выпускников разных учебных заведений производится конвертация денежных вознаграждений в валюту доллар США, трудно обеспечить сопоставимость размера компенсаций и их роста в различных странах, в которых работают выпускники бизнес-школ.

Рейтинги часто критикуют за постоянство бизнес-школ, занимающих из года в год в рейтинге первые места. С другой стороны, в рейтингах бизнес-программ наблюдаются резкие перемещения школ по итоговой таблице. Так, например, в рейтинге Economist бизнес-школа Ashridge переместилась с 67-го на 35-е место за один год, тогда как школа Vlerick Leuven Gent Management School, тоже за один год, опустилась с 10-го на 47-е место. Подобные перемещения можно также наблюдать и в рейтинге Financial Times. Причиной столь резких скачков является, скорее всего, не стремительное улучшение или ухудшение качества преподавания, а изменение весов используемых рейтингами индикаторов. Такая практика нарушает критерий постоянства методологии рейтинго-вания принципов IREG.

Также необходимо отметить, что оценки, присуждаемые различным программам MBA, зачастую незначительно отличаются друг от друга. Тем не менее все програм-

мы получают свое уникальное место в рейтинге. В связи с этим возникает вопрос: насколько значительна разница программ, получающих приблизительно одинаковую оценку, но в рейтинговой таблице занимающих более высокие или более низкие места? Рейтинг Financial Times попытался разрешить этот вопрос за счет объединения бизнес-программ со схожими оценками в кластеры, внутри которых бизнес-программы год от года могут перемещаться относительно друг друга.

Рейтинги MBA в большей степени полагаются на качественную оценку программ различными группами респондентов: студентами, выпускниками, специалистами по подбору персонала. В этом отношении можно отметить, что специализированные рейтинги стараются включить разнообразные точки зрения в оценку программ MBA. Однако особое значение при сборе качественной информации имеет процедура получения данных. Поскольку в большинстве случаев данные собираются с помощью онлайн-анкетирования (Economist, Financial Times), т.е. интервьюер не может контролировать качество предоставляемой информации, надежность получаемых данных нельзя в полной степени гарантировать. Исключением является методология сбора данных рейтингом Business Week, где, по информации самого рейтинга, качеству сбора данных уделяется особое значение, и данные, не прошедшие тест на достоверность, в расчетах не используются. Также значительный объем информации, используемой рейтингами Economist и Financial Times, предоставляется самими учебными заведениями, т.е. качество сбора данных также не контролируется в полной мере.

Результаты ранжирования предоставляются пользователям как в печатном, так и в электронном виде. Электронные версии рейтингов Financial Times и Business Week позволяют пользователям в некоторой степени принимать самостоятельные решения относительно релевантности весов и индикаторов: интерактивные таблицы Business Week позволяют изменять значение веса индикаторов; рейтинговая таблица Financial Times позволяет убирать или добавлять индикаторы, на основе которых строится рейтинг, или смотреть ранжирование MBA-программ только по отдельным индикаторам.

Результаты ранжирования публикуются в печатном виде в журналах или на сайте, однако полная информация о том, как связаться с ответственным лицом или группой разработчиков рейтинга, не предоставляется — на сайте размещен только общий адрес редакции.

Обобщая, отметим, что цели, которые ставят перед собой специализированные рейтинги, значительным образом отличаются от целей общих глобальных или национальных рейтингов (одномерных ранжирований). Рейтинги программ MBA не ставят перед собой цель наиболее полно учитывать культурный и исторический контекст, в которых находится та или иная бизнес-программа, или охватить как можно больше программ MBA, предлагаемых бизнес-школами, расположенными по всему миру. Целью специализированных рейтингов является предоставление потенциальным студентам списка наиболее высокооцениваемых бизнес-школ, обучение в которых поможет им продвинуться по карьерной лестнице.

Между тем можно отметить элементы, влияющие на качество результатов этих методологий построения рейтингов. Во-первых, это применяемая методология сбора данных. При снижении контроля над сбором данных возрастает вероятность недостоверности полученных данных. Так, у Financial Times и Economist уровень надежности качества данных ниже, чем у рейтинга Business Week, который проводит тщательный аудит полученных данных. Во-вторых, очень важна релевантность и валидность используемых индикаторов, а также приписываемых им весов. Как было показано выше, не все используемые в рейтингах индикаторы соответствуют этим требованиям. Следующим важным элементом, обеспечивающим качество рейтинга, является его транс-

парентность: полная публикация всех данных, объяснение полученных результатов и методики расчета. Немаловажным также является элемент возможности пользователя модифицировать рейтинг в соответствии со своими предпочтениями, что, как было показано выше, также осуществляется не всеми проанализированными рейтингами. Степень соответствия методологий специализированных рейтингов агрегированным критериям качества IREG приведена на рис. 9.

Надежность способа сбора данных

Надежность и релевантность показателей

/ s /у l ч. - \ч

3\V2 1 lär^S3 —ту 3

\ ч

\ч 2 / .4

3

Business week Economist Financial Times

Транспарентность рейтинга

Роль пользователя

Рис. 9. Соответствие группы методологий специализированных рейтингов пяти агрегированным критериям IREG

оценка соответствия качества методологий ранжирования международным критериям IREG4

С точки зрения соответствия международным критериям качества аудита ранжирований IREG, проведенный анализ различных зарубежных методологий ранжирования и классификаций вузов и других образовательных учреждений и программ позволил получить важные результаты с точки зрения целей настоящего исследования (включая определение лучших международных практик и наиболее качественных систем ранжи-

4 «Правила аудита рейтингов (IREG Ranking Audit Rules)» приняты на заседании исполнительного комитета Наблюдательного совета Международной экспертной группы по определению рейтингов университетов IREG, прошедшего в рамках глобального форума «Рейтинг и оценка качества высшего образования — сильные и слабые стороны» (16—17 мая 2011 г. штаб-квартира ЮНЕСКО, Париж), совместно с ОЭСР и Всемирным банком. Аудит призван способствовать повышению прозрачности рейтингов и применяется в качестве инструмента определения их надежности, совершенствования качества академических рейтингов и повышения уровня доверия к ним. Более подробнее см. [1].

рования, применяемых в настоящее время для оценки качества деятельности учебных заведений и программ подготовки).

Учитывая ограничения, связанные с использованием методологии аудита IREG5, было проведено сопоставление методологий с 20 критериями IREG.

Оценка и сравнение анализируемых методологий с критериями ШЕО осуществлялись в несколько этапов. Сначала все анализируемые методологии были соотнесены со всеми рекомендуемыми критериями, далее оценка была дифференцирована в соответствии с особенностями анализируемых методологий. На заключительном этапе было произведено сравнение методологий по пяти агрегированным индикаторам качества ШЕО внутри групп, сформировавшихся из числа анализируемых методологий. Такой подход позволил, с одной стороны, произвести формальное соотнесение выбранных для анализа методологий с рекомендациями ШЕО, а с другой — учесть разнообразие рассматриваемых систем оценки деятельности учебных заведений по отдельности и в целом6.

Формальное сопоставление методологий с 20 критериями IREG осуществлялось на основании полученной для каждой из них среднего значения балльной оценки по шкале от 0 до 3 (табл. 8). Однако в связи с тем, что не все анализируемые методологии изначально удовлетворяли критериям аудита IREG, общее значение баллов не позволило объективно отразить качество анализируемых методологий и их разнообразие. При формальном соотнесении оценка рассматриваемых методологий с точки зрения их соответствия всем критериям IREG оказалась несправедливой по отношению к методологиям построения классификаций и многомерных ранжирований, которые, в частности, не обладают композитными (агрегированными) индикаторами, наличие которых определяется Правилами аудита и Берлинскими принципами как результат ранжирования (критерий 8). Методологии построения классификаций и многомерного ранжирования также не содержат информации о баллах для каждого отдельного индикатора, используемой для расчета места университета в рейтинге, потому что не предполагают построения таблиц лиг и приписывания университетам соответствующих мест (критерий 13). Кроме того, как показал анализ, по тем же причинам не все

5 При анализе сильных и слабых сторон методологий ранжирования принимались во внимание процедуры проведения аудита IREG, которые включают: запрос рейтингующей организации в IREG о проведении внешнего аудита; подготовку рейтингующей организацией доклада на основе самоанализа, выполненного в соответствии с предлагаемым вопросником; взаимодействие международной экспертной команды с рейтингующей организацией по результатам самоанализа, и подготовку доклада международной команды экспертов с заключением о соответствии системы рейтингования ключевым Берлинским принципам.

Особенности проведения аудита определили необходимость адаптации методологии аудита IREG для целей настоящего сравнительного анализа, поскольку процедура:

— является инструментом официального признания качества существующих методологий ранжирования, используемым международной организацией;

— в большей степени ориентирована на системы ранжирования (имеющие результатом как таблицы лиг, так и группы университетов, объединенные по отдельным признакам) и не учитывает существующие классификации.

Кроме того, учитывались и другие ограничения, связанные с возможностью применения неадаптированной методологии аудита IREG, в том числе:

— ограниченность информации об анализируемых системах ранжирования, доступной в открытых источниках. Методология аудита предполагает подготовку рейтингующей организацией доклада, отражающего параметры для самоанализа, заданные IREG.

Несмотря на ограничения, анализ сильных и слабых сторон существующих методологий ранжирования на основе критериев аудита IREG представлялся обоснованным, прежде всего, в связи с тем, что разрабатываемая методология рейтингования российских вузов должна будет пройти аудит IREG.

6 Более подробно о процедуре сопоставления методологий критериям IREG см. [1].

из них соответствуют критерию 18 о необходимости обеспечения качества процедур ранжирования.

Учитывая данные ограничения, была произведена дополнительная оценка, дифференцированная с учетом особенностей анализируемых методологий, сопоставление которых опиралось не на 20, а на 15 критериев IREG (посредством анализа из 20 критериев 15 были отобраны как общие для всех методологий). Соотнесение анализируемых методологий с учетом произведенных исключений позволило принять во внимание специфику методологий многомерного ранжирования и классификаций и их преимущества перед методологиями построения одномерных ранжирований (рейтингов). Произведенная корректировка повысила положение методологий многомерного ранжирования и классификаций на шкале в сторону более высоких значений, а следовательно, в сторону большего соответствия критериям IREG (рис. 10).

* Среднее, рассчитанное с учетом всех 20 критериев.

** Скорректированное среднее, рассчитанное с учетом отсутствия данных либо специфики методологии.

Рис. 10. Изменение положения методологий на шкале соответствия критериям IREG с учетом скорректированного среднего

Таблица 8. Соотнесение анализируемых методологий с критериями 1ЯЕО, формальное и с исключениями (баллы, среднее значение)

Ключевой подход, цели МЕТОДОЛОГИЯ Транспарентность, оперативность Обеспечение качества

WEIGHT 2 2 1 2 1 1 2 2 2 1 1 1 2 1 1 2 1 2 1 2

CRITERIA 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 TOTAL MEAN COR MEAN 20

глобальное Shanghai 2 1 2 2 1 3 2 3 3 3 3 3 3 1 2 2 1 1 3 65 3,42 3,25

глобальное THES 3 1 2 2 2 2 3 3 2 2 3 3 3 2 2 3 3 2 3 71 3,74 3,55

глобальное US News 3 1 2 1 2 2 1 1 2 2 3 2 1 1 2 2 3 2 3 55 2,89 2,75

глобальное Leiden 3 1 1 3 1 3 3 3 3 3 3 3 3 3 3 3 62 3,88 3,1

глобальное QS 3 1 2 2 2 2 3 3 2 2 3 3 2 2 2 2 3 2 3 67 3,53 3,35

Одномерное ранжирование национальное Times 3 1 2 2 2 2 2 3 3 3 2 3 1 2 2 1 3 2 2 61 3,21 3,05

национальное Guardian 3 2 2 2 2 2 2 3 3 3 3 1 2 2 1 3 2 2 62 3,26 3,1

национальное Guardian Sp 3 1 2 2 2 2 1 1 3 1 3 2 1 2 2 1 3 2 2 51 2,68 2,55

национальное Forbes 3 1 1 2 2 2 2 3 2 3 3 2 1 1 2 1 3 1 2 57 3,00 2,85

специализированное Financial Times 3 2 2 2 3 3 2 3 2 2 3 3 2 2 2 1 2 2 2 66 3,47 3,3

специализированное Bloomberg BusinessWeek 3 2 1 3 3 3 2 1 3 2 3 2 1 2 3 1 2 3 2 61 3,21 3,05

специализированное The Economist 3 2 1 2 2 3 3 2 1 1 3 3 2 1 2 1 2 2 2 60 3,16 3

глобальное U-multirank 3 3 3 3 3 2 3 3 3 3 3 3 3 3 3 3 3 72 4,24 3,6

национальное CHE University 3 2 3 3 3 2 3 3 3 3 3 3 3 3 3 2 3 70 4,12 3,5

Многомерное национальное CHE Excellence 3 2 2 3 3 2 3 3 3 3 3 3 3 3 3 2 3 65 3,82 3,25

ранжирование национальное CHE Employment 3 2 2 3 3 2 3 3 3 3 3 1 3 3 3 3 63 3,94 3,15

национальное CHE Research 3 2 2 3 3 2 3 3 3 3 3 3 3 3 3 3 65 4,06 3,25

Классификация региональная U-map 3 3 3 3 3 2 3 3 3 3 3 3 3 3 3 3 3 71 4,18 3,55

национальная Carnegie 3 3 2 3 2 2 3 3 3 3 3 2 2 3 3 3 64 4,00 3,2

При оценке степени соответствия рассматриваемых методологий критериям качества IREG была обнаружена тенденция, при которой критериям IREG в большей степени соответствуют методологии глобального многомерного ранжирования (U-Multirank), национального многомерного ранжирования (CHE University) и региональных классификаций (U-Map), притом что в большей степени, как было показано выше, критерии аудита IREG ориентированы на оценку качества систем ранжирований, а не классификаций.

Четко определяя приоритеты, целевые группы, учитывая разнообразие вузов, опираясь на достоверную информацию, релевантные индикаторы и обеспечивая транспарентность, оперативность и качество предоставляемых результатов, методологии региональных классификаций (U-Map) тем самым компенсируют отсутствие в своей итоговой оценке баллов за соответствие индикаторам, характерным только для методологий построения ранжирований. Удовлетворяя большинству критериев IREG (т.е. получая наивысший балл «3»), даже без подсчета скорректированного среднего значения, положение таких методологий на шкале соответствия оказывается выше.

По-другому обстоит дело, например, с методологиями национальных классификаций (Carnegie). При расчете среднего значения оценки данной методологии с учетом всех 20 критериев положение методологии на шкале соответствия критериям IREG оказывается ниже. Тем самым преимущества методологии по критериям, прежде всего, связанным с методологическими аспектами, как, например, постоянство базовой методики (критерий 10), учет многообразия институтов высшего образования (критерий 5) и другим, по которым методология получает максимально высокий балл «3», оказываются неучтенными. С учетом скорректированных средних значений положение методологии национальных классификаций (Carnegie) изменится в сторону большего соответствия критериям IREG (рис.10).

Если описанные выше обе процедуры соотнесения с критериями IREG способствовали оценке качества каждой отдельной методологии и определению их преимуществ и недостатков в отдельности, то введение в анализ агрегированных индикаторов качества IREG обеспечило основу для сравнения методологий по группам и определения преимуществ и недостатков групп методологий ранжирования.

Так, в группе методологий глобальных рейтингов, наиболее отвечающих требованиям качества, выделяются глобальные системы THE и QS. Несмотря на проблемы, связанные с релевантностью используемых индикаторов и обеспечением надежности способов сбора данных, качество этих систем в большей степени удовлетворяет критериям IREG и является наиболее сбалансированным по отношению ко всем пяти агрегированным индикаторам в сравнении с другими существующими глобальными системами. В группе методологий национальных одномерных ранжирований выделяются методологии рейтингов Times и Guardian, их соответствие критериям качества также является наиболее сбалансированным. В группе методологий многомерных ранжирований все рассмотренные методологии удовлетворяют критериям качества IREG в достаточно высокой степени, общность используемых подходов и принципов к построению ранжирования во многом это обусловливает. Одно из отличий методологий в этой группе заключается в том, что методология U-Multirank не является действующей системой ранжирования, а находится в стадии апробации. В группе методологий специализированных одномерных ранжирований (рейтингов) выделяется методология рейтинга программ MBA журнала Financial Times, ее подход к построению ранжирования в наибольшей степени удовлетворяет критериям IREG по сравнению с другими системами, представленными в данном группе. Наконец, в группе методологий нацио-

нальных и региональных классификаций более качественной представляется методология U-map. Однако незавершенность проекта по ее разработке не дает возможности говорить о качестве будущих результатов, которые планируется получить с ее помощью.

Сравнительный анализ методологий ранжирования и классификаций внутри групп на основе пяти агрегированных индикаторов качества IREG способствует пониманию того, какие элементы всех входящих в анализ методологий могли бы быть использованы в качестве эталонных для построения российской системы ранжирования вузов. Значимыми для целей настоящего исследования, помимо выявленных эталонных методологий, являются и систематизированные в результате сравнительного анализа лучшие практики построения систем ранжирования и классификаций, которые должны стать ориентиром при разработке национального подхода к ранжированию учебных заведений и/или программ подготовки (Приложение 1).

выводы и заключение

Таким образом, нами рассмотрены в сравнении несколько типов методологий ранжирования, представляющих собой наиболее известный международный опыт. Кроме того, мы предприняли попытку понять, насколько эти методологии удовлетворяют современным требованиям построения качественных ранжирований, в частности требованиям Международной группы экспертов IREG. Данная процедура соотнесения потребовалась для того, чтобы оценить, какими преимуществами и недостатками обладают разные методологии. Однако, поскольку весь сравнительный анализ методологий ранжирования был предпринят для того, чтобы найти эталон, на который можно было бы опереться или, по крайней мере, ориентироваться при разработке национальной методологии ранжирования, выделенных сильных и слабых сторон отдельных методологий оказалось недостаточно. Лучшие практики были выделены посредством сравнительного анализа различных методологий по группам и по более емким критериям оценки качества ранжирований. Из широкого многообразия различных подходов к оценке качества вузов и/или отдельных образовательных программ шаг за шагом были выделены элементы, являющиеся для различных методологий залогом успеха, показателем их достоверности, релевантности, надежности.

Из представленного сравнения различных типов методологий и их соотнесения с критериями IREG можно сделать ряд важных выводов для создания национальной методологии ранжирования.

1. При планировании национальной методологии ранжирования важно правильно определить цели ранжирования. Что планируется осуществить: систематизацию, упорядочение, оценивание, сравнение, продемонстрировать разнообразие или выстроить иерархию рассматриваемых объектов? На начальном этапе разработки системы ранжирования этот вопрос должен быть определяющим. Далее следует вопрос: что планируется оценить? Вполне естественно, что в контексте образовательной проблематики в фокусе внимания систем оценки качества находятся образовательные учреждения. Однако, какие именно учреждения составят объект ранжирования, определяется отдельно: будут ли это вузы, реализующие программы бакалавриата и магистратуры; или только бакалавриата и только магистратуры; все вузы страны или география ранжирования выйдет за рамки национальной системы образования; классические или исследовательские университеты; учреждения, предлагающие программы бизнес-образования, или отдельные

образовательные программы университетов. Постановка цели определяет объект ранжирования и последующий выбор инструментов, с помощью которых будет осуществляться сбор данных, их обработка и конечный результат ранжирования.

2. Следует учитывать функциональное разнообразие современных университетов, которое на современном этапе развития высшего образования выходит за рамки «классических» функций обучения и проведения исследований. Если учет разнообразия миссий и функций учреждений высшего образования является одной из целей разработчиков национальной системы оценки, то в качестве основной методологии построения может выступать методология многомерного ранжирования. Вопрос об использовании агрегированных индикаторов и построении на их основе иерархий и таблиц лиг университетов также актуален и для методологии многомерного ранжирования, несмотря на то, что все-таки агрегированные индикаторы составляют основу «классических» глобальных, национальных или специализированных рейтингов. Разработчики принимают решение о конечном результате своей оценки: либо в виде иерархического распределения объектов ранжирования (таблицы лиг) на основе агрегированного индикатора, либо в виде распределения объектов ранжирования по группам без выстраивания объектов в строгую иерархию. Важно отметить, что, выбирая методологию многомерного ранжирования в качестве основной, разработчики новой системы оценки качества деятельности вузов тем самым задают условия для всесторонней и взвешенной оценки по всей совокупности деятельности вузов, сокращают объем будущей критики в адрес системы, но оставляют за собой возможность упорядочения объектов, построения иерархии внутри групп по отдельным направлениям, а также обеспечивают соответствие системы критериям качества IREG (критерий 2 о необходимости учета разнообразия миссий и функций).

3. Разрабатывая национальную методологию ранжирования, необходимо обеспечить надежность и релевантность индикаторов, на основе которых будет выстраиваться система ранжирования. Критерии качества IREG, с одной стороны, рекомендуют учитывать данные, получаемые из различных источников информации для получения всесторонней оценки деятельности вузов, а с другой — опираться на оценку результатов деятельности вузов, нежели на оценку их исходных параметров. На практике это означает сочетание при ранжировании количественных данных, получаемых из опросов, официальной статистики и других доступных источников, которые отражают только результаты деятельности вузов. Анализ зарубежных методологий ранжирования показывает, что на практике учесть данные рекомендации полностью не представляется возможным, и разработчики систем оценки самостоятельно принимают решение в соответствии со своими первоначальными целями. Опираясь на данные опросов, современные методологии, конечно, удовлетворяют соответствующему критерию IREG, но одновременно навлекают на себя шквал критики, связанной с сомнением в надежности получаемых результатов. Не используя результаты опросов, методологии также критикуются, но уже за то, что предоставляют неполную картину, «однобокий» взгляд на такую сложную систему, как институт высшего образования. Несмотря на критику, большинство глобальных рейтингов продолжают опираться на опрос мнений (QS, THE, US News). Есть и такие системы, которые «застраховали» себя от подобной критики и используют только общедоступные, но надежные данные (Shaghai, Leiden). Тем не менее отказ от опросов еще не гарантирует отсутствия критики в адрес системы. В отношении использования индикаторов результатов деятельности вузов одной

из основных сложностей является доступность, возможность получить эти данные, потому что индикатор может быть релевантным национальной системе образования, ее целям развития и признаваться экспертами как важный для системы ранжирования, однако существует вероятность того, что собрать соответствующие данные будет трудно или даже невозможно ввиду отсутствия практики сбора статистики по такому индикатору вузами или национальными органами статистики. Несмотря на сложности, при разработке национальной системы ранжирования вузов все же следует ориентироваться на использование количественных индикаторов, оценивающих результаты деятельности вузов, получаемых из официальных источников как наиболее надежных.

4. Обязательным условием является учет национального опыта оценки качества деятельности вузов. Такой шаг необходим, поскольку позволяет сделать обзор существующих национальных систем оценки качества вузов и выявить систему имеющихся индикаторов, разработанных на национальном уровне для отечественной системы высшего образования. Важно понимать при этом различия в целях, лежащих в основе различных национальных систем оценки качества вузов. Индикаторы, используемые, например, для аккредитации национальных вузов, могут быть полезны и использоваться. Но, поскольку не все индикаторы аккредитации вузов являются отражением результатов их деятельности, их использование должно быть только частичным, например, в части, касающейся правильности формулировок. То же относится и к использованию индикаторов, разработанных, например, для мониторинга деятельности национальных вузов. Обязательными при этом должны быть консультации с национальными органами и институтами, осуществляющими аккредитацию или мониторинг деятельности вузов, а также обращение к национальному экспертному сообществу для оценки значимости формирующегося перечня индикаторов национальной системы ранжирования, для обеспечения грамотности формулировок.

5. Важно ориентироваться и учитывать уже на ранних этапах разработки методологии ранжирования ожидания, потребности и интересы самых разнообразных стейкхолдеров (студентов, преподавателей, академического сообщества, управленцев системы образования, работодателей) и привлекать их к оценке индикаторов, которые планируется использовать при составлении ранжирования. При этом в ходе определения целевой аудитории национальной системы ранжирования важно обеспечить баланс интересов, прежде всего, студентов (будущих или уже проходящих обучение) и их родителей, а также академического сообщества. Представляется, что в контексте развития национальной системы высшего образования сегодня необходимо учитывать интересы и потребности академического сообщества и не противопоставлять их интересам учащихся. С подобной точки зрения выбор методологии многомерного ранжирования может служить хорошим решением этой задачи.

6. Форма представления результатов имеет значение. Чем больше возможностей для выбора целевой аудиторией индикаторов для построения ранжирования предоставляет национальная система ранжирования, тем более транспарентным является созданный инструмент. Чем выше степень интерактивности модели, тем более востребованным будет ожидаемый результат.

7. Наконец, системы ранжирования могут выступать инструментом развития национальных систем высшего образования, хотя ни сравнительный анализ международного опыта, ни международные рекомендации по обеспечению качества

систем ранжирования IREG напрямую на это не указывают. Тем не менее представляется важным учитывать задачи развития российской системы высшего образования при планировании национальной системы ранжирования. Таким образом, система, ее цели и результаты будут интегрированы с национальной системой высшего образования и служить ее долгосрочному развитию. В заключение добавим, что из широкого спектра изученных подходов были выделены лучшие элементы для конструирования модельной методологии (Приложение 1). Они могут быть использованы для формирования национальной методологии ранжирования, преломляясь в соответствии с целями и задачами тех, кто решит к ним обратиться. Элементы модельной методологии ранжирования российских вузов представлены в настоящем выпуске журнала «Вестник международных организаций: образование, наука, новая экономика» на с. 122.

Литература

1. Ларионова М.В. Методология сравнительного анализа международных подходов к ранжированию высших учебных заведений // Вестник международных организаций: образование, наука, новая экономика. 2012. № 1. С. 34

2. Маргинсон С., ван дер Венде М. Новый глобальный страновой и институциональный ландшафт Ч. 2: Глобализация // Вестник международных организаций: образование, наука, новая экономика. 2010. № 3. С. 46, 62.

3. Crystal D. English as a Global Language. Cambridge University Press, 2003.

4. Federkeil G. World-Class Universities and Rankings An Unhealthy Relationship? // CHE Centre for Higher Education Development, 2010.

5. Hazelkorn E. Rankings and the Battle for World-Class Excellence: Institutional Strategies and Policy Choice // Higher Education Management and Policy OECD. 2009. Vol. 21. No. 1.

6. Hazelkorn E. Rankings and the Reshaping of Higher Education. The Battle for the World-class Excellence. N.Y.: Palgrave Macmillan, 2011. Ch. 1.

7. Hazelkorn E. The Impact of League Tables and Ranking Systems on Higher Education // Higher Education Management and Policy OECD. 2007. Vol. 19. No. 2.

8. IREG-Ranking Audit. Purpose, Criteria and Procedure. IREG Observatory on Academic Ranking and Excellence, 2011. URL: http://www.ireg-observatory.org/pdf/IREG_audit.pdf (date of access: 15.12.2011).

9. Rankings and League Tables of Universities and Higher Education Institutions. Methodologies and Approaches // European Centre for Higher Education, 2004.

10. Rauhvargers A. Global University Ranking and their Impact. EUA Report on Rankings, 2011.

11. Shin J.Ch., Toutkoushian R.K. The Past, Present, and the Future of University Rankings // University Rankings Theoretical Basis, Methodology, and Impacts on Global Higher Education. L.; N.Y.: Springer, 2011.

12. Vught F.A. van, Westerheijden D.F. Multidimensional Ranking: a New Transparency Tool for Higher Education and Research // Higher Education Management and Policy OECD. 2010. Vol. 22/3.

Приложение 1

Лучшие практики (элементы) построения методологий ранжирования вузов и/или образовательных программ в зависимости от различных групп потребителей

Абитуриенты программ высшего образования, родители Исследователи, абитуриенты и студенты программ постдипломного образования Органы власти Студенты программ МВА

1. Четкое определение целевой аудитории Рейтинги Times и Guardian четко определяют свою целевую группу — абитуриентов и их родителей, которым нужна помощь в выборе университета в Великобритании. СНЕ University определяет свою целевую группу как абитуриентов программ высшего образования, которым необходима достоверная информация об университетах в немецкоговорящих странах СНЕ Research четко определяет свою целевую аудиторию — магистрантов, аспирантов и исследователей, которым необходима транспарентная информация по качеству университетских научных исследований в Германии Классификация Carnegie считает своей целевой аудиторией политиков и исследователей в области высшего образования. Находящиеся на первых этапах разработки методологии U-map и U-multirank направлены на классификацию и ранжирование многообразной деятельности европейских вузов: они инициированы органами власти и в этих продуктах, прежде всего, заинтересованы органы управления образованием европейских стран Рейтинги Financial Times, Economist, Bloomberg Businessweek четко определяют свою целевую аудиторию — абитуриенты программ МВА1. Составители этих рейтингов указывают, что их продукт предназначается именно для этой группы

<

л >

"О

О &

л

s<

0 ZI g: н

"О >

1 *

s

"О

о

ш >

л s

ш ш

О

Е

о

СП

"О >

CJ

0

ш >

1

1 Чем более специализирован рейтинг, тем конкретнее он определяет свою целевую аудиторию.

Абитуриенты программ высшего образования, родители Исследователи, абитуриенты и студенты программ постдипломного образования Органы власти Студенты программ МВА

2. Четкое определение цели рейтинга Исходя из определения своей целевой аудитории рейтинги Times, Guardian и СНЕ University четко формулируют свою цель как помощь абитуриентам и их родителям в выборе университета. Создатели рейтинга СНЕ University отмечают, что для этого необходимо представление полной детализированной, транспарентной информации, собранной из надежных источников Рейтинг Leiden очень четко определяет свою цель как определение научной продуктивности университетов. Для оценки научной продуктивности используются различные библиометрические индикаторы, в том числе разработанные в рамках методологии ранжирования. Однако четко определив цель рейтинга, его составители не указывают свою целевую аудиторию (априори подразумевается, что это интересно академическому сообществу). Рейтинг СНЕ Research также четко определяет свою цель как оценку научно-исследовательской активности немецких университетов через экспертные опросы и набор количественных индикаторов и предоставление транспарентной информации заинтересованным лицам Carnegie определяет свою цель как классификацию разнообразных вузов США на основе эмпирических данных для политического анализа и разработки исследований в области высшего образования

ш m

0 H

1

s

<

I >

"ö

0 El

1 g: X

0

"О

г

1

s

CJ >

J=

СО

Абитуриенты программ высшего образования, родители Исследователи, абитуриенты и студенты программ постдипломного образования Органы власти Студенты программ МВА

3. Качество методологии ранжирования СНЕ University Leiden, СНЕ Research Carnegie, U-map, U-multirank

Перечисленные методологии обладают высоким качеством, так как оценивают деятельность университетов в соответствии с поставленными целями и потребностями своей целевой группы. Перечисленные методологии используют данные, полученные из официальных источников, и в основном опираются на количественные индикаторы как наиболее объективные. При использовании данных экспертных опросов (СНЕ University, СНЕ Research) соблюдаются все правила проведения социологического исследования: данные получают непосредственно из университетов, опросы администрируются представителями вузов и экспертами СНЕ, в составлении анкет опросов участвуют как эксперты СНЕ, так и независимые эксперты, проводится аудит полученных данных, данные обрабатываются специалистами СНЕ, затем полученные результаты проходят дополнительную внешнюю экспертизу

4. Надежность данных С точки зрения надежности используемых индикаторов в рамках конкретной методологии следует выделить методологию СНЕ University, которая использует многообразные индикаторы (как индикаторы ресурсов, так и индикаторы результатов) для оценки разнообразной деятельности вузов (преподавание, наука, международная деятельность, трансфер знаний, взаимодействие с регионом), полученные из надежных источников: библиометрических баз данных, опросов вузов, экспертной оценки Среди наиболее лучших практик по обеспечению надежности данных следует выделить СНЕ Research, использующую разнообразные количественные и качественные индикаторы по оценке научной эффективности университетов. Методология Leiden опирается исключительно на количественные библиометрические данные Классификация Carnegie опирается только на данные статистики Министерства образования США и стандартную классификацию программ образования CIP

<

I >

"ö

0 tl

1 g;

s<

0

ZI g: H

"ö >

1 *

s

"О

0

ш >

1

s

ш ш g: о Е

о

СП

"О >

CJ

0

ш >

1

м о

Абитуриенты программ высшего образования, родители Исследователи, абитуриенты и студенты программ постдипломного образования Органы власти Студенты программ МВА

5. Релевантность используемых индикаторов Одна из лучших практик оценки отобранных индикаторов на релевантность осуществляется в рамках методологии U-multirank: в обсуждение релевантности индикаторов вовлечены стейкхолдеры (представители вузов, представители государственных органов и международных организаций, студенческие ассоциации, ассоциации работодателей). Методология Carnegie пользуется системой релевантных индикаторов (которые определяются рамкой классификации) для описания разнообразных вузов США. Методология Leiden, ставя перед собой задачу оценки научной продуктивности вузов, использует библиометрические индикаторы

6. Обеспечение качества процедур сбора данных Методологии СНЕ University и СНЕ Research уделяют внимание качественному сбору данных: сбор данных администрируется вузами и экспертами СНЕ, также привлекаются внешние эксперты Методология сбора данных рейтингом Bloomeberg BusinessWeek придает особое значение качеству сбора данных, и все данные, не прошедшие тест на достоверность, в расчетах не используются

7. Транспарентность всех этапов ранжирования U-multirank подробно описывает все процессы создания инструмента, выбора индикаторов и тестирования инструмента. Carnegie транспарентен в определении рамки классификации, используемых методологий классифицирования и используемых данных

8. Отражение разнообразной деятельности вузов U-map и U-multirank как наиболее современные методологии оценивают разнообразные аспекты деятельности университетов (наука, образование, международная деятельность, взаимодействие с регионом, трансфер знаний). Из рейтингов только THE предпринял попытку оценить разнообразные функции университетов (наука, образование, трансфер знаний, международная деятельность)

ш m О

4 л

5

I >

"О

0 £■

1

х

0

"О

3

1 S

CJ >

J=

Абитуриенты программ высшего образования, родители Исследователи, абитуриенты и студенты программ постдипломного образования Органы власти Студенты программ МВА

9. Интерактивность Результаты ранжирование СНЕ University представлены в удобном для абитуриента виде, позволяют абитуриенту самому выбирать предметную область и набор индикаторов, по которым оценивается университет. Методологии Guardian и Times предоставляют абитуриентам возможность выбора значимых для них индикаторов, дают возможность построения рейтинга по предметным областям, представляют профайлы университетов и-тар предлагает наиболее интерактивную форму предоставления результатов деятельности вузов: диаграмма в виде солнечных лучей отражает сильные и слабые стороны деятельности вузов Рейтинг Financial Times предоставляет возможность выбрать те индикаторы, которые абитуриент считает значимыми для себя, и представить результаты рейтинга по этим индикаторам

10. Взаимодействие с целевыми группами Методологии и-тар, и-тиМгапк, Сате^, рейтинги СНЕ наиболее последовательно взаимодействуют со своими целевыми группами: помимо обычного предоставления контактных данных, вузы вовлечены в обсуждение получаемых данных; фонд Карнеги занимается проведением проектов в сфере высшего образования, в которых участвуют американские университеты

<

I >

"О

0 ti

1 g;

s<

0

Z1

H

"0 >

1 *

s "0

0

CD >

1

s :a CD CD

g;

О

E

о

СП

"0 >

CJ

0

CD >

1

M