CC BY
39
проект модельной методологии ранжирования российских вузов
Л.В. Заварыкина, А.С. Лопатина, О.В. Перфильева
Заварыкина Любовь Валерьевна — м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: [email protected] Лопатина Анастасия Сергеевна — м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: [email protected] Перфильева Ольга Владимировна — к.соц.н., директор Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: Perfilieva@ hse.ru
В статье представлена концепция ранжирования российских вузов, разрабатываемая в рамках проекта «Разработка и апробация модельной методологии рейтингования образовательных учреждений профессионального образования», реализуемого Национальным фондом подготовки кадров по заказу Министерства образования и науки Российской Федерации в сотрудничестве с Центром международных сопоставительных исследований ИМОМС НИУВШЭ. Дается детализированное описание элементов модельной методологии ранжирования, учитывающей особенности, цели и задачи развития российской системы высшего образования на современном этапе.
На момент подготовки выпуска к печати концепция модельной методологии ранжирования претерпела изменения в силу текущего характера проекта. В процессе постоянного пересмотра находится набор индикаторов, предлагаемый для оценки качества деятельности университетов. На основе серии экспертных оценок из множества индикаторов, отражающих пять направлений деятельности вузов, относительно параметров значимости для развития системы высшего образования в РФ, релевантности, доступности, надежности и значимости для модельной методологии ранжирования, были отобраны 40 индикаторов, распределенных по пяти направлениям: научно-исследовательская деятельность, обучение и преподавание, международная деятельность, трансфер знаний и взаимодействие с регионом.
Отчеты о проведении экспертных оценок набора индикаторов, итоговый перечень индикаторов, а также анализ соотнесения с существующими информационными системами оценки и мониторинга деятельности вузов и перечень вузов, выбранных для апробации, размещены на сайте Института международных организаций и международного сотрудничества НИУ ВШЭ (http://www.hse.ru/org/hse/iori/toplist).
Посредством публикации проекта модельной методологии ранжирования авторы надеются привлечь внимание широкого академического сообщества к предлагаемой разработке и стимулировать дискуссию на национальном уровне о качестве национальных систем ранжирования.
Ключевые слова: ранжирование, рейтинги, международная конкурентоспособность вузов. Key words: ranking, rating, international competitiveness of HEIs.
введение
Общество часто рассматривается как система, различные элементы которой выполняют функции, позволяющие системе в целом оставаться стабильной. Система образования, с точки зрения структурного функционализма, выполняет несколько важных функций:
социализацию молодого поколения согласно основным ценностям общества; его подготовку ко все более специализированному рынку труда, а также распределение социальных ролей между членами общества. В последние десятилетия появление и развитие новых глобальных тенденций ставит новые вызовы перед системой образования, заставляя ее изменяться и брать на себя выполнение дополнительных функций.
Так, ускоряющийся процесс технологических инноваций трансформирует модель производства экономики и форму организации труда, и следовательно, непрестанно модифицирует набор знаний и навыков, требуемых от настоящих и будущих поколений работников. Глобализация экономических процессов ведет к повышению уровня мобильности всех членов общества и усилению коммуникации между различными культурными сообществами, что требует приобретения новых навыков, таких как знание иностранных языков и навыков межкультурной коммуникации. Вследствие этого система образования должна быть ориентирована как на подготовку работников к выходу на глобальный рынок труда, так и на адаптацию человека к жизни в тесно взаимосвязанном глобальном мире с быстрорастущим уровнем мобильности и коммуникации.
На фоне тенденций роста технологических инноваций и глобализационных процессов происходит становление общества, основанного на знаниях. Процесс производства и организация труда в настоящее время несравнимо более наукоемки, чем когда-либо прежде. Многие профессии также стали требовать владения значительным объемом специальных знаний. Новые навыки, такие как предпринимательские способности, креативность, работа с информацией, стали нормой для многих профессий. Система образования должна, таким образом, обеспечить подготовку высококвалифицированной рабочей силы.
В контексте масштабных социальных изменений система образования, сочетающая в себе качества источника знаний и гибкости внутренней структуры, берет на себя выполнение функции адаптации общества к изменяющимся условиям и способствует становлению общества, основанного на знаниях, которое наиболее соответствует требованиям современного мира. Особое значение приобретает разработка инструментов, которые могут помочь учреждениям высшего образования различного типа и уровня соответствовать современным требованиям изменяющейся системы. Ранжирование как инструмент оценки и сравнения деятельности учебных заведений является одним из множества способов, которые могут быть использованы для достижения целей развития системы высшего образования.
Разработка модельного ранжирования, концепция которого представлена в настоящей статье, ставит перед собой цель способствовать развитию системы высшего образования посредством повышения уровня транспарентности системы в целом и создания условий для конкурентного развития учебных учреждений.
Концепция модельной методологии ранжирования российских вузов
Концепция модельной методологии ранжирования основывается на многомерной оценке и сравнении деятельности высших учебных заведений. Основополагающий принцип многомерности позволяет достичь наибольшей точности в оценке и корректности при последующем сравнении. Представляемая концепция ранжирования опирается на различные элементы, такие как функции высших учебных заведений, типы высших учебных заведений, предметные области, целевые группы ранжирования (рис. 1).
Абитуриенты
Работодатели
Власть
Интернационализация
Рис. 1. Объекты и целевые группы ранжирования
Учреждения высшего образования как комплексные системы, наряду с двумя традиционными функциям высших учебных заведений — преподаванием и исследованиями, под влиянием глобальных тенденций и изменений на национальном уровне развивают деятельность, определяемую как третья роль (или миссия) высшего образования. В целях наиболее детальной оценки и более корректного сравнения различных учебных заведений между собой третья миссия раскрывается в рамках данной концепции ранжирования через две отдельно выделенные функции: трансфер знаний и взаимодействие с регионом. Отдельно выделяется функция интернационализации образования через включение в проект методологии индикаторов международной деятельности вузов.
Основу, или рамку, для оценки и ранжирования вузов, таким образом, составляют пять выделенных функций высших учебных заведений: научно-исследовательская деятельность, обучение и преподавание, международная деятельность, трансфер знаний и взаимодействие с регионом.
Наряду с развитием и усложнением функций, которые выполняет вуз во все более развивающемся и усложняющемся обществе, происходит параллельный процесс развития и дифференциации групп пользователей услуг высшего образования. В числе последних сегодня выделяют:
1) абитуриентов и их родителей;
2) власть (органы государственного управления различного уровня);
3) работодателей и рынок труда;
4) академическое сообщество (исследователи, преподаватели вузов);
5) бизнес-структуры разного уровня.
Все эти группы имеют различные интересы и различные формы использования знаний, источником которых является высшее учебное заведение. С функциональной точки зрения для повышения эффективности работы системы в целом и учреждений
высшего образования в частности, необходимо координировать взаимодействие внешних пользователей и вуза. Для целей разрабатываемой методологии ранжирования были выделены некоторые группы внешних пользователей, список которых может быть расширен позднее, по мере накопления опыта по построению ранжирования.
Также в соответствии с миссиями выделяются различные типы высших учебных заведений. В зависимости от определенной высшим учебным заведением миссии, наличие и степень развитости выделенных функций в различных типах вузов может варьироваться.
Выделенные элементы — функции и типы вузов — в рамках разрабатываемой методологии ранжирования представляют собой различные уровни, в соответствии с которыми будет осуществляться оценка и ранжирование высших учебных заведений. Определение же групп внешних пользователей важно для предоставления данных о вузах в том виде, который будет в полной мере соответствовать их интересам.
Для осуществления ранжирования высших учебных заведений при анализе лучших практик ранжирований были выделены различные оценочные индикаторы. Все используемые индикаторы распределены на группы в соответствии с выделенными оценочными уровнями.
Сгруппированные таким образом индикаторы были разделены на три группы:
1) ключевые индикаторы, дающие наиболее общую оценку вузу по основным областям его деятельности;
2) переменные индикаторы, позволяющие детализировать оценку деятельность вуза и варьирующиеся в зависимости от уровня оценки (типы вузов, группы пользователей, предметные области);
3) дополнительная информация, которую могут предоставить вузы, но которая не используется в оценке.
Оценка деятельности вуза по выделенным уровням позволяет создать профайл
вуза.
Предметные области
Ключевые индикаторы
Преподавание
Исследования
Трансфер знаний
Взаимодействие с регионом
Интернационализация
Переменные индикаторы
Преподавание
Исследования
Трансфер знаний
Взаимодействие с регионом
Интернационализация
Дополнительная
информация о деятельности вуза
+
Рис. 2. Структура профайла вуза
Выделенные индикаторы позволяют выполнить модельное ранжирование по уровням сравнения. Принципы модельного ранжирования основываются на методологических стандартах эмпирических исследований и выделенных лучших практиках ранжирований.
Рис. 3. Концепция модельной методологии ранжирования российских вузов
Представляется важным рассмотреть каждый элемент модельной методологии ранжирования российских вузов подробнее.
Методологические стандарты построения ранжирования на основе примеров лучших практик
Методологические стандарты построения ранжирования разработаны на основании:
1) существующих стандартов проведения эмпирических исследований;
2) критериев IREG, Берлинских принципов ранжирования высших учебных заведений;
3) анализа практик глобальных, национальных и специализированных ранжирований.
1. Разработка концепции ранжирования. Постановка целей и определение целевых групп пользователей
1.1. Четкое определение целевых групп пользователей. Ясное понимание разработчиками ранжирования различных групп пользователей помогает скорректировать цели ранжирования и определить информацию и индикаторы, которые будут использоваться для построения ранжирования. Так, в соответствии с Берлинскими принципами ранжирования высших учебных заведений «показатели, разработанные для какой-либо специфической цели или информирования какой-либо целевой группы, могут не подходить для других целей или целевых групп», так как различные группы пользователей имеют различные информационные потребности и требования к высшим учебным заведениям.
Наилучшей практикой определения целевых групп пользователей является опыт Центра развития высшего образования СНЕ, который выделяет четыре основные группы пользователей: (1) абитуриенты после школы (наиболее общее ранжирование); (2) исследователи; (3) соискатели степени магистр/PhD; (4) абитуриенты, ориентированные на приобретение практических навыков и последующее трудоустройство. Составители ранжирований Times и Guardian также четко определяют свою целевую группу — абитуриенты и их родители, которым нужна помощь в выборе университета в Великобритании.
1.2. Четкое определение целей ранжирования. Ключевое значение имеет определение целей ранжирования. Четко поставленная цель служит основанием для сбора конкретной информации, которая наиболее полно соответствует потребностям выделенных групп пользователей ранжирования, а также для точного отбора индикаторов для ранжирования. Четко поставленная цель закладывает основу качества ранжирования.
Наилучшими практиками постановки целей среди существующих методологий ранжирования являются: ранжирование Центра развития высшего образования СНЕ (информационный ресурс для различных групп студентов, абитуриентов, исследователей с целью помочь им выбрать подходящую программу обучения); библиометриче-ский рейтинг университета Leiden (цель: отразить научную продуктивность университетов); классификация Carnegie (цель: классификация разнообразных вузов США для информирования руководителей и органов управления в области политики и исследовательской деятельности).
1.3. Определение концептуальных принципов, теоретическая обоснованность, полнота методологии. При построении ранжирования не должны использоваться элементы, основанные на предположениях, не подкрепленных теорией или эмпирическими данными. Используемые элементы (собираемая информация, индикаторы) должны проходить оценку экспертов и обсуждаться. Методология ранжирования должна быть теоретически обоснованной и опираться на концептуальные принципы.
Лучшей практикой являются с этой точки зрения ранжирования U-Multirank, СНЕ, Leiden, методология построения ранжирований в которых четко прописана и обоснована. Так, методология ранжирований СНЕ использует три принципа, составляющие ее концептуальную основу: во-первых, не проводится оценка деятельности вуза в целом, вузы оцениваются по предметным областям; во-вторых, не применяются агрегированные показатели при построении ранжирования, и, в-третьих, университет, включенный в ранжирование, может оказаться по одному из оценочных индикаторов в одной из групп: «верхней», «средней» или «нижней».
2. Разработка индикаторов
2.1. Обеспечение качества процедуры разработки индикаторов. Такая комплексная система, как высшее учебное заведение, в силу своей многогранности не может быть адекватно оценена при помощи только одного индикатора. Для оценки, сравнения, а также для отражения многоуровневой структуры высших учебных заведений необходимо применять набор индикаторов, всесторонне отражающих деятельность высшего учебного заведения, которые, в свою очередь, должны быть тщательно отобраны на основании общественных и экспертных обсуждений. В процессе разработки индикаторов должны участвовать различные стейкхолдеры: разработчики ранжирования, эксперты в области образования, различные группы пользователей ранжирования: студенты, исследователи, преподаватели, работодатели.
Лучшей практикой в этом контексте является ранжирование U-Multirank, где для разработки индикаторов привлекаются различные группы пользователей и экспертов, проводятся неоднократные встречи и обсуждения; отбор индикаторов проходит через несколько фильтров.
2.2. Релевантность используемых индикаторов целям ранжирования. Используемые индикаторы должны быть релевантны поставленным целям ранжирования и информационным потребностям различных выделенных групп пользователей. В ранжировании не должны использоваться индикаторы, не соответствующие поставленным целям. Отрицательная практика ранжирования выражается в том, что разработчики используют только доступную им информацию или заменяют комплексную оценку деятельности высших учебных заведений репутационной оценкой экспертов.
Лучшей практикой в отношении релевантности индикаторов является ранжирование университета Leiden, который использует индикаторы, четко соответствующие целям ранжирования; ранжирования СНЕ, предлагающие различные индикаторы для составления ранжирований для различных групп пользователей.
3. Обеспечение качества данных
3.1. Надежность данных. Надежность данных, на основе которых строится ранжирование, является одним из основополагающих элементов его качества, так как даже при соблюдении всех остальных элементов ранжирования искаженные данные приведут к искажению общих результатов. Необходимо обеспечить надежность данных на всех этапах их получения. Во-первых, необходимо обеспечить надежность источника информации, так как не всегда респондент, даже близко связанный со сферой образования, может предоставить объективную и полную информацию или же дать объективную оценку деятельности университета. Так, например, исследования [1] показывают, что эксперты, на основе опросов которых составляется репутационная оценка высших учебных заведений, не всегда могут быть надежными источниками данных о качестве академической деятельности вузов. При репутационной оценке высокое значение имеет фактор уже сложившейся репутации высшего учебного заведения, что может вести к искажению оценки. Респонденты, предоставляющие информацию о той или иной стороне деятельности университета, должны быть компетентны для предоставления таких данных. Необходимо предотвращать возможные неточности в предоставлении информации, которые могут быть вызваны неясностью формы анкеты или нечеткой постановкой вопроса. Используемая для сбора информации анкета должна быть четко прописана и апробирована пользователями перед полномасштабным сбором информации. Анкета, направленная респонденту, должна сопровождаться инструкцией по заполнению и глоссарием используемых терминов.
Лучшей практикой является ранжирование U-Multirank, уделяющее первостепенное внимание качеству используемых для ранжирования данных: для наиболее объек-
тивной оценки вузов разработчики ранжирования отказались от использования репу-тационных опросов. Используемые для сбора данных анкеты проходят апробацию, на основании которой проводится корректировка формы анкеты.
3.2. Надежность сбора данных. Необходимо предотвращать ошибки и намеренную фальсификацию предоставляемой для ранжирования информации. Необходимо контролировать качество самой процедуры сбора данных.
Лучшими практиками являются используемые данные и процедура сбора данных университета Leiden (только количественные данные из официальных источников информации); рейтинг Bloomberg Newsweek проводит самостоятельный сбор и аудит данных; СНЕ — сбор данных осуществляется методом самооценки университетов, но также проводится аудит данных. Все полученные данные проходят процесс аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного подтверждения. Помимо этого, поскольку проводится оценка не всего учебного заведения, а отдельных предметных областей, данные самооценки оказываются более открытыми для внешней оценки специалистами в этой области.
4. Качество предоставления информации конечным пользователям ранжирования
4.1. Транспарентность ранжирования. Цели ранжирования должны быть известны пользователям ранжирования. Тем самым пользователя информируют не только об охвате ранжирования, но также о его ограничениях. Транспарентность целей ранжирования необходимо обеспечивать для того, чтобы оно стало надежным инструментом принятия решений для различных групп пользователей. Транспарентными для пользователя должны быть все элементы ранжирования: необходимо предоставить полную информацию о том, как производится сбор информации, какие индикаторы используются, как составляется ранжирование.
Лучшими практиками обеспечения транспарентности являются ранжирования U-Multirank, Leiden, классификация Carnegie: они содержат полную информацию о методах сбора данных, разработке индикаторов и процедурах составления ранжирования.
4.2. Интерактивность. Интерактивность ранжирования обеспечивается как за счет предоставления информации при помощи интерактивного интерфейса, где пользователь может выбрать интересующие его сферы деятельности университета и индикаторы, так и за счет обеспечения возможности обратной связи с разработчиками ранжирования, для того чтобы пользователь мог получить дополнительную информацию, оставить комментарий или высказать свои пожелания.
Лучшей практикой по обеспечению интерактивности ранжирования являются ранжирования СНЕ: на сайте проекта размещена информация о непосредственных разработчиках ранжирования, их контактная информация. Также СНЕ предоставляет достаточно гибкий интерфейс результатов ранжирования на сайте Центра развития высшего образования.
Определение объекта рейтингования
Ранжирование должно удовлетворять потребностям различных групп пользователей. Для этого необходимо выделить различные группы пользователей и провести анализ соответствия их потребностей имеющимся индикаторам.
Кроме того, поскольку ранжирование должно отражать национальную специфику системы высшего профессионального образования, следующим необходимым шагом стал анализ соответствия имеющихся индикаторов тем типам вузов, которые сложились в национальной системе высшего образования.
1. Анализ соответствия индикаторов модельной методологии группам пользователей и определение индикаторов, необходимых для сбора данных
Лучшие практики ранжирования (ранжирование, проводимое немецким Центром высшего образования (CHE), мультиранжирование U-multirank) учитывают потребности ключевых групп потребителей. Основными выделяемыми группами потребителей являются абитуриенты, исследователи, органы власти и работодатели.
Исходя из выделенных функций учебных заведений, представляющих в реальности отдельные направления деятельности вузов, не прибегая к дополнительному опросу экспертов на данном аналитическом этапе разработки модельной методологии и принимая во внимание результаты сравнительного анализа зарубежных методологий ранжирования, можно предположить, что различные группы пользователей заинтересованы в информации о различных направлениях деятельности вузов. При этом выявление реальных потребностей каждой группы пользователей должно осуществляться на основании опроса экспертов.
Опыт лучших практик (CHE, U-multirank, THE) демонстрирует, что наиболее надежными являются количественные индикаторы результатов деятельности вуза. В зависимости от потребностей целевых групп и с учетом экспертной оценки релевантности индикаторов для российской системы высшего образования также оказалось возможным выделить несколько групп индикаторов, объединяющих как российский, так и зарубежный опыт оценки качества вузов для разных групп потребителей (табл. 1).
2. Определение необходимых групп вузов для учета разнообразия российской системы высшего образования при сборе данных и выборе индикаторов
При учете разнообразия системы высшего профессионального образования РФ необходимо принимать во внимание следующие аспекты:
1) По виду российские вузы делятся на академии, университеты и институты1. Академия — это высшее учебное заведение, которое:
— реализует образовательные программы высшего и послевузовского профессионального образования;
— осуществляет подготовку, переподготовку и/или повышение квалификации работников высшей квалификации для определенной области научной и научно-педагогической деятельности;
— выполняет фундаментальные и прикладные научные исследования преимущественно в одной из областей науки или культуры;
— является ведущим научным и методическим центром в области своей деятельности2.
Институт — занимается подготовкой специалистов для работы в определенной области профессиональной деятельности3.
Университет — высшее учебное заведение, которое:
— реализует образовательные программы высшего и послевузовского профессионального образования по широкому спектру направлений подготовки (специальностей);
1 Данные Национального аккредитационного агентства. URL: http://abitur.nica.ru (дата обращения: 26.01.2012).
2 Свободный словарь терминов и понятий. URL: http://termin.bposd.ru/publ/ (дата обращения: 26.01.2012).
3 URL http://ru.wikipedia.org/wiki (дата обращения: 26.01.2012).
Таблица 1. Информационные потребности различных целевых групп ранжирования
Параметр Источник Группа потребителей / индикатор
Абитуриенты Аспиранты, исследователи Органы власти Работодатели
Качество обучения Зарубежный опыт 1. Количество междисциплинарных программ. 2. Доля трудоустроенных по специальности выпускников от общего кол-ва выпускников. 3. Процент штатных преподавателей с докторской степенью. 4. Количество междисциплинарных программ 1. Доля студентов, закончивших университет с отличием. 2. Доля студентов, закончивших университет. 3. Количество междисциплинарных программ. 4. Доля трудоустроенных по специальности выпускников от общего кол-ва выпускников. 5. Процент штатных преподавателей с докторской степенью
Российский опыт 1. Доля трудоустроенных по специальности выпускников. 2. Доля ППС с учеными степенями (кандидатская и докторская). 3. Доля образовательных программ, в которых используются дистанционные технологии. 4. Количество программ, прошедших междунар одную аккредитацию 1. Доля трудоустроенных по специальности выпускников. 2. Доля ППС с учеными степенями (кандидатская и докторская). 3. Доля образовательных программ, в которых используются дистанционные технологии. 4. Количество программ, прошедших международную аккредитацию
<
л >
"О
о &
л ¡г
о
¡г ч
"О >
л *
"О
0
ш >
1 ^
ш ш
о Е
о
СП
"О >
и
0
ш >
1
со
M
Параметр Источник Группа потребителей / индикатор
Абитуриенты Аспиранты, исследователи Органы власти Работодатели
Научно- исследовательская деятельность Зарубежный опыт 1. Количество публикаций в SSCI. 2. Количество публикаций в Nature and Science. 3. Соотношение количества постдоков к количеству завершенных PhD 1. Нормализованный показатель цитирования с учетом предметной области. 2. Количество публикаций на одного ППС. 3. Количество публикаций в SSCI. 4. Количество публикаций в Nature and Science. 5. Соотношение количества постдоков к количеству завершенных PhD. 6. Количество цитирований на ППС 1. Нормализованный показатель цитирования с учетом предметной области. 2. Количество публикаций на одного ППС. 3. Количество публикаций в SSCI. 4. Количество публикаций в Nature and Science. 5. Соотношение количества постдоков к количеству завершенных PhD. 6. Количество цитирований на ППС
Российский опыт 1. Количество статей по ПНР НИУ в научной периодике, индексируемой иностранными и российскими организациями (Web of Science, Scopus, Российский индекс цитирования). 2. Доля студентов очной формы обучения, участвующих в выполнении научных исследований от общего числа студентов очной формы обучения. 3. Участие в грантах крупнейших российских грантодателей 1. Количество статей по ПНР НИУ в научной периодике, индексируемой иностранными и российскими организациями (Web of Science, Scopus, Российский индекс цитирования). 2. Доход от НИОКР. 3. Участие в грантах крупнейших российских грантодателей. 4. Доля аспирантов, защитившихся в срок 1. Количество статей по ПНР НИУ в научной периодике, индексируемой иностранными и российскими организациями (Web of Science, Scopus, Российский индекс цитирования). 2. Доход от НИОКР. 3. Доля студентов очной формы обучения, участвующих в выполнении научных исследований от общего числа студентов очной формы обучения. 4. Участие в грантах крупнейших российских грантодателей. 5. Доля аспирантов, защитившихся в срок
ш m
0 н
1 s
<
I >
"О
0 ti
1 g: x
0 "О
г
1 s
CJ >
J=
Параметр Источник Группа потребителей / индикатор
Абитуриенты Аспиранты, исследователи Органы власти Работодатели
Междунар одная деятельность Зарубежный опыт 1. Доля иностранных студентов от общего количества студентов. 2. Доля иностранных ППС от общего количества ППС 1. Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год. 2. Количество полученных международных исследовательских грантов. 3. Доля иностранных ППС от общего количества ППС 1. Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год. 2. Количество полученных межд унар одных исследовательских грантов. 3. Доля иностранных студентов от общего количества студентов. 4. Доля иностранных ППС от общего количества ППС
Российский опыт 1. Доля иностранных студентов. 2. Количество организованных междунар одных мероприятий (выставок, конференций и т.д.) 1. Доля иностранных студентов. 2. Количество организованных международных мероприятий (выставок, конференций и т.д.). 3. Объем НИОКР в рамках международных научных программ в расчете на одного НПР 1. Доля иностранных студентов. 2. Количество организованных международных мероприятий (выставок, конференций и т.д.). 3. Объем НИОКР в рамках международных научных программ в расчете на одного НПР. 4. Число международных соглашений вуза. 5. Объем финансирования вуза за счет средств, привлеченных из международных источников
<
I >
"О
0 &
1
¡г
0
¡г н
"О >
1 *
"О
0
ш >
1 ^
ш ш
о Е
о
СП
"О >
и
0
ш >
1
СО СО
со
Параметр Источник Группа потребителей / индикатор
Абитуриенты Аспиранты, исследователи Органы власти Работодатели
Трансфер знаний Зарубежный опыт Доход вуза от взаимодействия с бизнесом и промышленностью 1. Доход вуза от взаимодействия с бизнесом и промышленностью. 2. Количество зарегистрированных патентов 1. Доход вуза от взаимодействия с бизнесом и промышленностью. 2. Количество зарегистрированных патентов
Российский опыт Доля доходов от иной приносящей доход деятельности в общем объеме доходов вуза 1. Число МИПов 2. Число зарегистрированных патентов. 3. Доля доходов от иной приносящей доход деятельности в общем объеме доходов вуза Число МИПов
Взаимодействие с регионом Зарубежный опыт 1. Количество дипломных работ, разработанных совместно с регионом. 2. Количество культурных мероприятий (выставок, конференций), проведенных в регионе 1. Количество контрактов на исследования, заключенных с регионом. 2. Количество культурных мероприятий (выставок, конференций), проведенных в регионе 1. Доля доходов из местных/ региональных источников. 2. Количество контрактов на исследования, заключенные с региональными партнерами. 3. Процент студентов, участвующих в стажировках, в региональных организациях. 4. Количество дипломных работ, разработанных совместно с регионом. 5. Количество культурных мероприятий (выставок, конференций), проведенных в регионе 1. Доля доходов из местных/ региональных источников. 2. Процент студентов, участвующих в стажировках, в региональных организациях
ш гп
0 ч
1 ^
I >
"о
0 &
1
х
0
"о
3
1
и >
1=
Параметр Источник Группа потребителей / индикатор
Абитуриенты Аспиранты, исследователи Органы власти Работодатели
Российский опыт 1. Количество молодых ученых и работников (в том числе специалистов, преподавателей в возрасте до 35 лет) из сторонних организаций, прошедших в НИУ профессиональную переподготовку или повышение квалификации по ПНР НИУ в отчетном году. 2. Доля выпускников, ищущих работу в регионе
Инфраструктура Зарубежный опыт Затраты на одного студента (исключая затраты на оплату преподавателей) Затраты на одного студента (исключая затраты на оплату преподавателей)
Российский опыт Затраты на одного студента Количество научных лабораторий, оснащенных высокотехнологичным оборудованием, созданных в отчетном году 1. Количество научных лабораторий, оснащенных высокотехнологичным оборудованием, созданных в отчетном году. 2. Затраты на одного студента
<
I >
"о
0 &
1
¡г
0
¡г н
"о >
1 *
"о
0
ш >
1 ^
ш ш
о Е
о
СП
"о >
и
0
ш >
1
СО СЛ
— осуществляет подготовку, переподготовку и/или повышение квалификации работников высшей квалификации, научных и научно-педагогических работников;
— выполняет фундаментальные и прикладные научные исследования по широкому спектру наук;
— является ведущим научным и методическим центром в областях своей деятельности4.
2) По организационно-правовой форме вузы РФ делятся на государственные и негосударственные5.
Негосударственные вузы России, имеющие государственную аккредитацию, входят в ассоциацию негосударственных вузов России6.
3) В настоящее время Министерство образования и науки РФ активно модернизирует систему высшего профессионального образования и проводит проекты по поддержке ведущих вузов РФ, а также реализует проект по поддержке программ стратегического развития государственных образовательных учреждений высшего образо-вания7.
В рамках проекта по поддержке ведущих вузов РФ университеты могут иметь статус:
— федерального университета, чьей стратегической миссией является формирование и развитие конкурентоспособного человеческого капитала в федеральных округах на основе создания и реализации инновационных услуг и разработок8. В России создано восемь федеральных университетов в соответствии с распоряжением правительства. Планируется создание Северо-Кавказского федерального университета9;
— национального исследовательского университета (НИУ), чьей стратегической миссией является содействие динамичному развитию научно-технологического комплекса страны и обеспечение его необходимыми людскими ресурсами, сбалансированными по численности, направлениям подготовки, квалификационной и возрастной структуре с учетом необходимых темпов их обновления и прогнозируемых структурных преобразований в науке и экономике10. Звание НИУ присуждается на 10 лет на конкурсной основе. Первым двум вузам (МИФИ и МИСиС) статус национального исследовательского университета был присвоен в 2008 г. Далее Министерством образования и науки Российской Федерации
4 Свободный словарь терминов и понятий. URL: http://termin.bposd.ru/publ/21-1-0-19426 (дата обращения: 26.01.2012).
5 Данные Национального аккредитационного агентства. URL: http://abitur.nica.ru (дата обращения: 26.01.2012).
6 Ассоциация негосударственных вузов России. URL: http://www.anvuz.com/index.php (дата обращения: 26.01.2012).
7 Министерство образования и науки РФ. Конкурсная поддержка программ стратегического развития государственных образовательных учреждений высшего профессионального образования. URL: http://mon.gov.ru/dok/akt/8979/ (дата обращения: 26.01.2012).
8 Министерство образования и науки РФ. Федеральные университеты. URL: http://mon.gov.ru/ pro/pnpo/fed/ (дата обращения: 26.01.2012).
9 Подписан указ о создании федерального Северо-Кавказского федерального университета. URL: http://news.kremlin.ru/acts/11998 (дата обращения: 26.01.2012).
10 Министерство образования и науки РФ. Национальные исследовательские университеты. URL: http://mon.gov.ru/pro/niu/ (дата обращения: 26.01.2012).
были проведены конкурсы: по итогам конкурса в 2009 г. статус НИУ был присвоен 12 вузам11, в 2010 г. — 15 вузам12.
В рамках проекта конкурсной поддержки программ стратегического развития государственных образовательных учреждений высшего образования вузы делятся на следующие группы: классические университеты, инженерно-технические университеты, гуманитарно-педагогические и другие вузы13. Так как группа гуманитарно-педагогических вузов включает достаточно обширную группу разнообразных вузов, то в рамках этой группы имеет смысл сделать подразделение на гуманитарно-педагогические, экономические и юридические вузы.
Таким образом, при разработке проекта модельной методологии рейтингования высших учебных заведений, опираясь на классификацию высших учебных заведений и современные проекты модернизации системы высшего образования, реализуемые Министерством образования и науки РФ, за объекты рейтингования принимаются:
• федеральные университеты и НИУ
• классические университеты
• инженерно-технические вузы
• гуманитарно-педагогические вузы
• экономические и юридические вузы
Анализ соответствия индикаторов модельной методологии группам вузов
1. Определение индикаторов для федеральных университетов, необходимых для сбора данных
Стратегическая миссия федеральных университетов заключается в формировании и развитии конкурентоспособного человеческого капитала в федеральных округах на основе создания и реализации инновационных услуг и разработок14. Следовательно, для реализации этой миссии федеральный университет должен активно работать по всем пяти обозначенным в модельной методологии направлениям (преподавание, научно-исследовательская, международная деятельность, трансфер знаний и взаимодействие с регионом). Оценку деятельности каждого отдельного федерального университета необходимо проводить по этим пяти направлениям. На основе экспертной оценки индикато-
11 Список победителей конкурсного отбора программ развития университетов, в отношении которых устанавливается категория «национальный исследовательский университет». URL: http://mon. gov.ru/pro/niu/6077/ (дата обращения: 26.01.2012).
12 Список победителей конкурсного отбора программ развития университетов, в отношении которых устанавливается категория «национальный исследовательский университет». URL: http://mon. gov.ru/pro/niu/7168/ (дата обращения: 26.01.2012).
13 Министерство образования и науки РФ объявляет о проведении конкурсной поддержки программ стратегического развития государственных образовательных учреждений высшего профессионального образования. URL: http://mon.gov.ru/dok/akt/8979/ (дата обращения: 26.01.2012).
14 Министерство образования и науки РФ. Создание новых университетов в федеральных округах. URL: http://mon.gov.ru/pro/pnpo/fed/ (дата обращения: 26.01.2012).
Вузы России
государственные
негосударственные
ров, используемых в зарубежной практике, и анализа целевых показателей деятельности федеральных университетов были выделены индикаторы, представленные в табл. 2.
Таблица 2. Индикаторы оценки деятельности, релевантные для федеральных университетов
Параметр Источник Индикатор
Качество обучения Зарубежный опыт 1. Доля студентов, закончивших университет с отличием. 2. Доля студентов, закончивших университет. 3. Количество междисциплинарных программ. 4. Доля трудоустроенных по специальности выпускников. 5. Процент штатных преподавателей с докторской степенью
Российский опыт (система целевых показателей Минобрнауки) 1. Доля образовательных программ с международной аккредитацией. 2. Доля образовательных программ, где используются дистанционные технологии. 3. Доля выпускников, занятых после окончания обучения (в том числе продолжающих обучение в аспирантуре) в общем количестве выпускников общей формы обучения. 4. Доля преподавателей с ученой степенью доктора или кандидата наук
Научно-исследовательская деятельность Зарубежный опыт 1. Нормализованный показатель цитирования с учетом предметной области. 2. Количество публикаций на одного ППС. 3. Количество цитирований на одного ППС. 4. Количество публикаций в SSCI. 5. Количество публикаций в Nature and Science. 6. Соотношение количества постдоков к количеству завершенных PhD
Российский опыт (система целевых показателей Минобрнауки) 1. Количество статей в научной периодике, индексируемой иностранными и российскими организациями (Web of Science, Scopus, Российский индекс цитирования) в расчете на одного ППС. 2. Доля аспирантов, защитившихся в срок. 3. Доля дохода от научно-исследовательской деятельности в доходах университета
Международная деятельность Зарубежный опыт 1. Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год. 2. Количество полученных международных исследовательских грантов. 3. Доход из иностранных источников финансирования. 4. Доля иностранных студентов от общего количества студентов. 5. Доля иностранных ППС от общего количества ППС
Российский опыт (система целевых показателей Минобрнауки) 1. Доля иностранных обучающихся без учета СНГ. 2. Доля иностранных обучающихся с учетом СНГ15. 3. Количество организованных международных мероприятий (выставок, конференций и т.д.). 4. Доля ППС, аспирантов, прошедших стажировки в ведущих международных университетах
15 Федеральные университеты отдельно собирают статистику по доле иностранных студентов из стран СНГ и доле иностранных студентов из других стран, но в целях упрощения сбора информации для рейтингования имеет смысл обобщить эту информацию и рассматривать долю иностранных студентов (независимо от страны).
Параметр Источник Индикатор
Трансфер знаний зарубежный опыт 1. Доход вуза от взаимодействия с бизнесом и промышленностью. 2. Количество зарегистрированных патентов
Российский опыт (система целевых показателей Минобрнауки) 1. Количество МИПов. 2. Общий объем средств от иной приносящей доход деятельности университета. 3. Количество специалистов и представителей сторонних организаций, прошедших повышение квалификации или переподготовку в университете
Взаимодействие с регионом Зарубежный опыт 1. Доля доходов из местных/региональных источников. 2. Количество контрактов на исследования, заключенные с региональными партнерами. 3. Процент студентов, участвующих в стажировках, в региональных организациях. 4. Количество дипломных работ, разработанных совместно с регионом. 5. Количество культурных мероприятий (выставок, конференций), проведенных в регионе. 6. Доля выпускников, работающих в регионе
Российский опыт (система целевых показателей Минобрнауки)
Инфраструктура Зарубежный опыт Затраты на оборудование и инфраструктуру
Российский опыт (система целевых показателей Минобрнауки) 1. Количество вновь созданных лабораторий на базе университета. 2. Доля модернизированных лабораторий и научно-исследовательских аудиторий
При отборе индикаторов, используемых в зарубежной практике, и показателей, используемых Министерством образования науки и РФ, особое внимание обращалось на количественные индикаторы результатов деятельности вуза.
Следует отметить, что целевые индикаторы оценки деятельности федеральных университетов не содержат показателей, отражающих взаимодействие университета с регионом, хотя согласно миссии федеральных университетов это является одним из важных направлений их деятельности. Индикаторы, используемые в российской и зарубежной практике, представляют собой как индикаторы ресурсов, так и индикаторы результатов деятельности университетов.
2. Определение индикаторов для национальных исследовательских университетов, необходимых для сбора данных
Министерство образования и науки РФ определяет национальный исследовательский университет как «высшее учебное заведение, одинаково эффективно осуществляющее образовательную и научную деятельность на основе принципов интеграции науки и образования. Важнейшими отличительными признаками НИУ являются способность как генерировать знания, так и обеспечивать эффективный трансфер технологий в экономику; проведение широкого спектра фундаментальных и прикладных исследований; наличие высокоэффективной системы подготовки магистров и кадров высшей квалификации, развитой системы программ переподготовки и повышения квалификации.
НИУ должен являться интегрированным научно-образовательным центром или включать ряд таких центров в виде совокупности структурных подразделений, осуществляющих проведение исследований по общему научному направлению и подготовку кадров для определенных высокотехнологичных секторов экономики»16.
«Стратегической миссией НИУ является содействие динамичному развитию научно-технологического комплекса страны и обеспечение его необходимыми людскими ресурсами, сбалансированными по численности, направлениям подготовки, квалификационной и возрастной структуре с учетом необходимых темпов их обновления и прогнозируемых структурных преобразований в науке и экономике»17.
Учитывая миссию данной группы университетов, ключевыми направлениями деятельности для НИУ будут преподавание, научно-исследовательская деятельность и трансфер знаний. Анализ российского и зарубежного опыта позволяет выделить индикаторы, использующиеся как в российской, так и в зарубежной практике.
Результаты сопоставления зарубежных индикаторов и показателей эффективности деятельности НИУ, предложенных Министерством образования и науки РФ, представлено в табл. 3 (при отборе индикаторов особое внимание обращалось на количественные индикаторы оценки результатов деятельности университета).
Как и в случае анализа показателей оценки деятельности федеральных университетов, индикаторы, релевантные для национальных исследовательских университетов, используемые в российской и зарубежной практике, представляют собой как индикаторы ресурсов, так и индикаторы результатов деятельности вузов. В показателях оценки эффективности деятельности НИУ, принятых в российской практике, отсутствуют индикаторы оценки взаимодействия НИУ с регионом.
3. Определение индикаторов для классических университетов, необходимых для сбора данных
Ассоциация классических университетов определяет классические университеты как университеты, осуществляющие подготовку по широкому спектру специальностей (математика, точные науки, гуманитарные науки, социальные науки, экономика и управление) и по всем уровням подготовки: бакалавриат, специалитет, магистратура и аспирантура; имеющие в своем профессорско-преподавательском составе не менее 15% докторов наук; эффективно взаимодействующие с РАН; имеющие уникальные научные и/или уникальное научное оборудование; выполняющие функции регионального (межрегионального) научно-методического центра; имеющие возможность реа-лизовывать программы непрерывного образования и выполняющие воспитательную и просветительскую работу в регионе18.
Очевидно, что для классических университетов, так же как и для федеральных университетов, приоритетными будут все пять направлений деятельности, выделенные при разработке настоящей модельной методологии.
Индикаторы оценки деятельности классических университетов были выделены на основе комбинированного анализа целевых показателей, используемых для оценки эффективности федеральных университетов, показателей оценки эффективности национальных исследовательских университетов, целевых показателей программ стратегического развития вузов и индикаторов, используемых в российских практиках рей-
16 Министерство образования и науки РФ. Национальные исследовательские университеты. URL: http://mon.gov.ru/pro/niu/ (дата обращения: 26.01.2012).
17 Там же.
18 Ассоциация классических университетов России. Критерии классического университета. URL: http://www.acur.msu.ru/members_criteria.php (дата обращения: 26.01.2012).
тингования. При выборе индикаторов особое внимание обращалось на количественные индикаторы результатов деятельности вузов.
Таблица 3. Индикаторы оценки деятельности, релевантные для национальных исследовательских университетов
Параметр Источник Индикатор
Качество обучения Зарубежный опыт 1. Доля студентов, закончивших университет с отличием. 2. Доля студентов, закончивших университет. 3. Количество междисциплинарных программ. 4. Доля трудоустроенных выпускников. 5. Процент штатных преподавателей с докторской степенью
Российский опыт (показатели оценки эффективности НИУ) 1. Доля профильных обучающихся НИУ, трудоустроенных по окончании обучения по специальности, в общем числе профильных обучающихся НИУ. 2. Доля НПР, имеющих ученую степень доктора или кандидата наук
Научно-исследовательская деятельность Зарубежный опыт 1. Нормализованный показатель цитирования с учетом предметной области. 2. Количество публикаций на одного ППС. 3. Количество цитирований на одного ППС. 4. Количество публикаций в SSCI. 5. Количество публикаций в Nature and Science. 6. Соотношение количества постдоков к количеству завершенных PhD
Российский опыт (показатели оценки эффективности НИУ) 1. Количество статей по ПНР НИУ в научной периодике, индексируемой иностранными и российскими организациями (Web of Science, Scopus, Российский индекс цитирования), в расчете на одного НПР 2. Доля студентов очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда и (или) в качестве соисполнителей в отчетах НИОКР, от общего количества студентов очной формы обучения
Международная деятельность Зарубежный опыт 1. Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год. 2. Количество полученных международных исследовательских грантов. 3. Доход из иностранных источников финансирования. 4. Доля иностранных студентов от общего количества студентов. 5. Доля иностранных ППС от общего количества ППС
Российский опыт (показатели оценки эффективности НИУ) 1. Доля иностранных обучающихся (без учета стран СНГ) по ПНР НИУ. 2. Доля обучающихся из стран СНГ по ПНР НИУ19. 3. Объем НИОКР по ПНР НИУ в рамках международных научных программ в расчете на одного НПР
19 Национальные исследовательские университеты отдельно собирают статистику по доле иностранных студентов из стран СНГ и доле иностранных студентов из других стран, но в целях упрощения сбора информации для ранжирования имеет смысл обобщить эту информацию и рассматривать долю иностранных студентов (независимо от страны).
Параметр Источник Индикатор
Трансфер знаний Зарубежный опыт 1. Доход вуза от взаимодействия с бизнесом и промышленностью. 2. Количество зарегистрированных патентов
Российский опыт (показатели оценки эффективности НИУ) 1. Доля доходов от научно-исследовательских и опытно-конструкторских работ (далее — НИОКР) из всех источников по ПНР НИУ в общих доходах НИУ. 2. Количество молодых ученых (специалистов, преподавателей) из сторонних организаций, прошедших профессиональную переподготовку или повышение квалификации по ПНР НИУ, в расчете на одного НПР
Взаимодействие с регионом Зарубежный опыт 1. Доля доходов из местных/региональных источников. 2. Количество контрактов на исследования, заключенные с региональными партнерами. 3. Процент студентов, участвующих в стажировках, в региональных организациях. 4. Количество дипломных работ, разработанных совместно с регионом. 5. Количество культурных мероприятий (выставок, конференций), проведенных в регионе. 6. Доля выпускников, работающих в регионе
Российский опыт (показатели оценки эффективности НИУ)
Инфраструктура Зарубежный опыт Затраты на оборудование и инфраструктуру
Российский опыт (показатели оценки эффективности НИУ) Количество научных лабораторий по ПНР НИУ, оснащенных высокотехнологичным оборудованием, созданных в отчетном году
4. Определение индикаторов для инженерно-технических, гуманитарно-педагогических, экономических и юридических вузов и негосударственных вузов, необходимых для сбора данных
Анализируя направления деятельности инженерно-технических, гуманитарно-педагогических, экономических и юридических вузов, можно предположить, что в силу своей специфики эти вузы будут ориентироваться на развитие определенных направлений деятельности (табл. 5). Так, у инженерно-технических вузов сильнее развита научно-исследовательская деятельность и деятельность по трансферу технологий; гуманитарно-педагогические вузы, помимо преподавания и научно-исследовательской деятельности, большое внимание уделяют взаимодействию с регионом. Юридические и экономические вузы, так же как и инженерно-технические, в большей степени ориентированы на педагогическую, научно-исследовательскую деятельность и трансфер знаний. Оценивая деятельность этих вузов с использованием индикаторов, релевантных для классических университетов, следует учитывать их специфику.
Таблица 4. Индикаторы оценки деятельности, релевантные для классических университетов
Параметр Источник Индикатор
Качество обучения Зарубежный опыт 1. Доля студентов, закончивших университет с отличием. 2. Доля студентов, закончивших университет. 3. Количество междисциплинарных программ. 4. Доля трудоустроенных по специальности выпускников. 5. Процент штатных преподавателей с докторской степенью
Российский опыт 1. Доля трудоустроенных по специальности выпускников. 2. Доля ППС с учеными степенями. 3. Количество учебных пособий, подготовленных штатными ППС к общей численности ППС вуза, приведенной к полной ставке. 4. Доля образовательных программ, прошедших международную аккредитацию. 5. Доля образовательных программ, в которых используются дистанционные технологии. 6. Доля выпускников, окончивших университет с отличием
Научно-исследовательская деятельность Зарубежный опыт 1. Нормализованный показатель цитирования с учетом предметной области. 2. Количество публикаций на одного ППС. 3. Количество цитирований на одного ППС. 4. Количество публикаций в SSCI. 5. Количество публикаций в Nature and Science. 6. Соотношение количества постдоков к количеству завершенных PhD
Российский опыт 1. Количество статей по ПНР НИУ в научной периодике, индексируемой иностранными и российскими организациями (Web of Science, Scopus, Российский индекс цитирования). 2. Цитируемость по международным наукометрическим системам (Web of Science, Scopus). 3. Доля студентов очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда и (или) в качестве соисполнителей в отчетах НИОКР, от общего количества студентов очной формы обучения. 4. Количество монографий, подготовленных штатными НПР, к общей численности штатных НПР вуза, приведенных к полной ставке. 5. Участие в грантах крупнейших российских грантодателей (Российский фонд фундаментальных исследований (РФФИ), Российский гуманитарный научный фонд (РГНФ). 6. Средний индекс Хирша по международным наукометрическим системам: восприятие вуза. 7. Доля аспирантов, защитившихся в срок
Международная деятельность Зарубежный опыт 1. Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год. 2. Количество полученных международных исследовательских грантов. 3. Доход из иностранных источников финансирования. 4. Доля иностранных студентов от общего количества студентов. 5. Доля иностранных ППС от общего количества ППС
Параметр Источник Индикатор
Международная деятельность Российский опыт 1. Объем финансирования деятельности вуза за счет средств, привлеченных от международных предприятий и организаций. 2. Доля иностранных студентов от общего количества обучающихся студентов. 3. Число международных соглашений вуза. 4. Количество международных мероприятий (выставок, конференций и т.д.), организованных университетом
Трансфер знаний Зарубежный опыт 1. Доход вуза от взаимодействия с бизнесом и промышленностью. 2. Количество зарегистрированных патентов
Российский опыт 1. Число МИПов. 2. Количество зарегистрированных патентов. 3. Доля средств от приносящей доход деятельности в общем объеме средств, поступивших в вуз из всех источников финансирования. 4. Доля обучающихся по программам дополнительной подготовки и непрерывного образования от общей численности обучающихся. 5. Количество молодых ученых из сторонних организаций, прошедших профессиональную переподготовку или повышение квалификации по ПНР НИУ, в расчете на одного НПР
Взаимодействие с регионом Зарубежный опыт 1. Доля доходов из местных/региональных источников. 2. Количество контрактов на исследования, заключенные с региональными партнерами. 3. Процент студентов, участвующих в стажировках, в региональных организациях. 4. Количество дипломных работ, разработанных совместно с регионом. 5. Количество культурных мероприятий (выставок, конференций), проведенных в регионе. 6. Доля выпускников, работающих в регионе
Российский опыт Доля выпускников вуза, ищущих работу на региональных рынках
Инфраструктура Зарубежный опыт Затраты на оборудование и инфраструктуру
Российский опыт 1. Расходы на приобретение оборудования. 2. Расходы на информационное и библиотечное обслуживание. 3. Бюджет вуза в расчете на одного студента (затраты). 4. Площадь общежития в расчете на одного проживающего студента
Учитывая контекст российской системы высшего образования и проанализировав индикаторы, используемые в российской и зарубежной практике, можно выделить ключевые индикаторы, релевантные для всех перечисленных групп вузов (табл. 6).
Данные неизменяемые индикаторы были выделены посредством анализа показателей, используемых в российской и зарубежной практике.
Однако для отражения многообразия вузов при оценке деятельности различных групп вузов необходимо учитывать их специфику. В связи с этим из массива проанализированных показателей, используемых в российской и зарубежной практике, были выделены дополнительные (вариативные) показатели, релевантные для различных групп вузов (табл. 7).
Таблица 5. Специфика вузов по пяти направлениям модельной методологии
Вуз Направления деятельности
Инженерно-технический 1. Преподавание 2. Научно-исследовательская деятельность 3. Трансфер знаний 4. Взаимодействие с регионом 5. Международная деятельность
Гуманитарно-педагогический 1. Преподавание 2. Научно-исследовательская деятельность 3. Трансфер знаний 4. Взаимодействие с регионом 5. Международная деятельность
Юридические и экономические 1. Преподавание 2. Научно-исследовательская деятельность 3. Трансфер знаний 4. Взаимодействие с регионом 5. Международная деятельность
Негосударственные 1. Преподавание 2. Научно-исследовательская деятельность 3. Трансфер знаний 4. Взаимодействие с регионом 5. Международная деятельность
Таблица 6. Ключевые (неизменяемые) индикаторы, релевантные для всех групп российских вузов
Параметр Индикатор ключевой / неизменяемый
Качество обучения 1. Доля трудоустроенных по специальности выпускников. 2. Доля штатных ППС с учеными степенями (докторской или кандидатской). 3. Доля образовательных программ, прошедших международную аккредитацию. 4. Доля выпускников, окончивших университет с отличием
Научно- исследовательская деятельность 1. Количество публикаций на одного ППС (Scopus, Web of Science). 2. Количество цитирований на одного ППС (Scopus, Web of Science). 3. Количество публикаций на одного ППС (РИНЦ). 4. Количество цитирований на одного ППС (РИНЦ). 5. Доля аспирантов, защитившихся в срок. 6. Количество монографий, подготовленных штатными НПР, к общей численности штатных НПР вуза, приведенных к полной ставке. 7. Участие в грантах крупнейших российских грантодателей (Российский фонд фундаментальных исследований (РФФИ), Российский гуманитарный научный фонд (РГНФ). 8. Доход вуза от НИР
Международная деятельность 1. Доля иностранных студентов от общего количества поступивших студентов. 2. Доход вуза из иностранных источников финансирования. 3. Доля СОП в общем количестве ОП
Параметр Индикатор ключевой / неизменяемый
Трансфер знаний 1. Количество зарегистрированных патентов. 2. Доля средств от иной приносящей доход деятельности в общем объеме средств, поступивших в вуз из всех источников финансирования. 3. Количество созданных МИПов. 4. Доля обучающихся по программам дополнительной подготовки и непрерывного образования от общей численности обучающихся
Взаимодействие с регионом Доля выпускников вуза, работающих (ищущих работу) на региональных рынках
Инфраструктура 1. Затраты на оборудование и инфраструктуру. 2. Площадь общежития в расчете на одного проживающего студента
Таблица 7. Дополнительные (вариативные) индикаторы, релевантные для различных групп российских вузов
Параметр Индикатор дополнительный / вариативный
Качество обучения 1. Количество междисциплинарных программ. 2. Количество учебных пособий, подготовленных штатными ППС, к общей численности ППС вуза, приведенных к полной ставке. 3. Доля студентов, закончивших университет. 4. Доля образовательных программ, в которых используются дистанционные технологии
Научно- исследовательская деятельность 1. Средний индекс Хирша по международным системам. 2. Доля студентов очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда и (или) в качестве соисполнителей в отчетах НИОКР, от общего количества студентов очной формы обучения. 3. Количество публикаций в SSCI. 4. Количество публикаций в Nature and Science
Международная деятельность 1. Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год. 2. Количество международных исследовательских грантов. 3. Количество международных мероприятий (выставок, конференций), организованных вузом. 4. Число международных соглашений вуза. 5. Доля иностранных ППС от общего количества ППС
Трансфер знаний
Взаимодействие с регионом 1. Доля доходов из местных/региональных источников. 2. Количество контрактов на исследования, заключенные с региональными партнерами. 3. Процент студентов, участвующих в стажировках, в региональных организациях. 4. Количество дипломных работ, разработанных совместно с регионом. 5. Количество культурных мероприятий (выставок, конференций), проведенных в регионе
Инфраструктура Архитектурная доступность здания для инвалидов
Элементы модельной методологии
На основании сформулированных стандартов построения ранжирования, анализа групп пользователей и соответствия индикаторов модельной методологии типам российских вузов были сформулированы следующие элементы модельной методологии.
1. Концепция ранжирования, цели ранжирования
Концепция ранжирования: многомерное ранжирование, удовлетворяющее информационные потребности различных групп пользователей и отражающее разнообразие российской системы высшего профессионального образования. Цели ранжирования:
— оценка высших учебных заведений по пяти выделенным функциям (направлениям деятельности) вузов;
— формирование информационного ресурса развития российского высшего профессионального образования;
— разработка инструмента транспарентности и внешней оценки высших учебных заведений в России;
— отражение разнообразия российской системы высшего образования;
— развитие российской системы высшего профессионального образования посредством сопоставительной оценки высших учебных заведений и бенчмаркинга (выявления лучших практик);
— стимулирование спроса на университеты и программы, получившие высокие оценки.
2. Обоснование многомерности ранжирования
Многомерное ранжирование — ранжирование на основе принципов многомерности оценки и сравнения деятельности высших учебных заведений. Основополагающим принципом ранжирования является не присваивание различным показателям оценки деятельности университета весов и не агрегирование показателей в одну кумулятивную оценку. Многомерность при формировании ранжирования выражается в наложении нескольких оценочных плоскостей (рис. 4):
— основная схема оценки и сравнения вузов — пять групп индикаторов в соответствии с выделенными функциями вузов: обучение, исследовательская деятельность, трансфер знаний, взаимодействие с регионом, интернационализация;
— группы вузов, выделенные в соответствии с их миссиями: федеральные университеты и НИУ, классические университеты, инженерно-технические вузы, гуманитарно-педагогические вузы, экономические и юридические вузы;
— группы пользователей, выделенные в соответствии с различными информационными потребностями: абитуриенты, академическое сообщество, власть, рынок труда;
— предметные области (проектировочно).
3. Выделение пяти групп индикаторов, отражающих функции высших учебных заведений (обучение, исследовательская деятельность, трансфер знаний, взаимодействие с регионами, интернационализация)
В каждую из пяти групп включаются индикаторы, отражающие информацию, соответствующую потребностям различных групп пользователей или типам университетов, включая ключевые индикаторы, вариативные индикаторы и дополнительные данные, позволяющие составить более подробную картину о деятельности вуза (рис. 5).
4. Целевые группы пользователей
Ранжирование учитывает информационные потребности различных групп пользователей посредством выделения различных индикаторов оценки деятельности высших учебных заведений, наиболее соответствующих особенностям четырех групп пользователей: студенты и их родители, академическое сообщество, органы власти (местные органы власти), работодатели и рынок труда.
Группы вузов Группы пользователей Предметные области
Преподавание
Исследования
Трансфер знаний
Взаимодействие с регионом
Интернационализация
Ш
О
СО >
СО
X
е
Рис. 4. Многомерность оценочных плоскостей ранжирования
Группы вузов
Федеральные и НИУ
Классические
Инженерно-технические
Гуманитарно -педагогические
Экономические и юридические
Ключевые индикаторы
Преподавание
Исследования
Трансфер знаний
Взаимодействие с регионом
Интернационализация
Переменные индикаторы
Преподавание
Исследования
Трансфер знаний
Взаимодействие с регионом
Интернационализация
Дополнительная
информация о деятельности вуза
+
Рис. 5. Структура ранжирования (по группам вузов)
5. Отражение национальной специфики системы высшего профессионального образования
Ранжирование учитывает группы вузов системы высшего профессионального образования России: федеральные университеты и НИУ, классические университеты, инженерно-технические вузы, гуманитарно-педагогические вузы, экономические и юридические вузы.
Ранжирование высших учебных заведений по представленным в них учебным областям представляется возможным при более детальном сборе информации, что может быть осуществлено впоследствии при накоплении университетами опыта по предоставлению данных.
6. Предпочтительное использование индикаторов результатов
Для достижения поставленных целей ранжирования необходимо сформировать инструмент оценки, позволяющий определить, насколько хорошо заведения высшего образования выполняют свои основные функции, выделенные в рамках ранжирования: обучение, исследовательская деятельность, трансфер знаний, взаимодействие с регионом, интернационализация. Оценка выполнения функций университетами выполняется при помощи различных индикаторов. Так как проведенный экспертами анализ различных ранжирований показал, что индикаторы ресурсов отражают только «более общее состояние определенного учебного заведения» (Берлинские принципы ранжирования), а показатели репутационной оценки могут быть искажены, в том числе по причине субъективности взгляда экспертов, в модельной методологии данного ранжирования предлагается использовать индикаторы, оценивающие результат деятельности вузов. Показатели результатов (показатели на выходе) отмечены Берлинскими принципами ранжирования как обеспечивающие «более точную оценку положения и/ или качества определенного учебного заведения или программы», что наиболее полно удовлетворяет целям данного ранжирования.
7. Использование количественных данных для построения индикаторов
Для обеспечения более высокого уровня надежности данных и упрощения процедуры сбора информации предпочтение отдается количественным данным. В условиях широкомаштабности проведения процедуры сбора данных, охватывающей высшие учебные заведения в различных регионах России, а также практического отсутствия опыта у вузов в предоставлении больших объемов информации по различным аспектам деятельности, на начальных этапах проекта ранжирования высших учебных заведений планируется сбор только количественных данных и обеспечение однозначности ответов, что позволит упростить процедуры обработки данных.
8. Оценка удовлетворенности студентов
Так как студенты и абитуриенты являются одной из основных групп пользователей ранжирования, а также основными пользователями услуг высшего образования, их мнение и оценка вузов должны учитываться при ранжировании вузов. Данные об удовлетворенности студентов в перспективе могут собираться у студентов последних курсов и выпускников, поскольку они имеют наиболее полно сформированное мнение о различных сторонах деятельности высшего учебного заведения. Оценка удовлетворенности студентов является наиболее демократичным инструментом транспарентности системы высшего образования, позволяющим непосредственным пользователям услуг высшего образования принимать участие в ранжировании учебных заведений.
9. Опора на экспертные обсуждения и обсуждения с участием различных групп стейкхолдеров при разработке и апробации методологии ранжирования и индикаторов оценки
Проведение широких общественных дискуссий с участием экспертов и пользователей рейтингов для отбора индикаторов и разработки инструментария апробации
и последующего применения модельной методологии; взаимодействие с российскими (аккредитационными агентствами, информационными агентствами, агентствами по оценке качества вузов) и международными экспертными организациями (Международная экспертная группа IREG, CHE Consult).
10. Сбор данных
Так же как для расчета индикаторов используются различные источники данных, для получения этих данных существуют различные способы сбора информации:
— опросы экспертов (анкетирование);
— опросы студентов, выпускников, преподавателей (анкетирование);
— самоотчет университетов (инструмент: электронная анкета);
— готовые базы данных (Госстат);
— библиометрические показатели (индексы количества публикаций и цитируе-
мости и их производные).
В соответствии с целями ранжирования и ограничениями использования сбор основного объема данных в рамках модельной методологии ранжирования предлагается осуществлять методом подготовки самоотчетов университетов при одновременном использовании готовых баз данных и библиометрических показателей.
Таблица 8. Анализ преимуществ и недостатков различных методов сбора данных с целью оценки их применимости в рамках методологии построения ранжирования
Метод сбора данных Преимущества Недостатки
Опрос экспертов Опросы экспертов могут быть источниками разнообразной информации, которой нет в открытом доступе. Оценка вузов экспертов основывается на их опыте и многоплановом анализе, такие данные могут иметь высокую ценность для понимания положения вуза в системе образования Опросы экспертов являются не самым надежным источником информации о деятельности вузов, так как эксперты не всегда полностью осведомлены о деятельности вузов, их оценка может быть субъективна или основываться на долгосрочной репутации вуза, которая может не соответствовать действительности. Экспертное мнение может быть не подкреплено фактическим обоснованием, в результате чего ранжирование, основанное на таких данных, не является транс-парентным для внешних пользователей
Опрос студентов, выпускников, преподавателей Оценка качества образования самими пользователями. Высокая ценность информации, так как студенты, выпускники, преподаватели являются непосредственными пользователями услуг высших учебных заведений. Опросы студентов, выпускников, преподавателей повышают транспарентность системы высшего образования Высокая ресурсоемкость сбора и обработки данных: необходимо провести анкетирование репрезентативной выборки студентов, провести аудит качества собранной информации, ее обработку, кодирование и анализ
Метод сбора данных Преимущества Недостатки
Самоотчет университетов Позволяет получить большой объем статистических данных о деятельности университетов, которые отсутствуют в существующих базах данных. Разработчик может самостоятельно определить формат предоставляемой информации и уровень детализации данных посредством разработки инструмента сбора данных (анкеты). Достаточно высокая оперативность и актуальность полученных данных Неконтролируемое предоставление данных вузом в виде самоотчета может привести к фальсификации данных. Также респонденты, составляющие самоотчет, должны быть в полной мере осведомлены об используемых терминах, так как непонимание терминологии инструмента опроса может привести к непреднамеренному искажению информации
Готовые базы данных Низкая затратность при получении данных, гарантированное качество собранных (в случае предоставления данных аккредитованными статистическими агентствами) Имеющаяся информация в базе данных может не соответствовать целям ранжирования, информация может быть неактуальной и недостаточно детализированной. Информация, предоставляемая готовыми базами данных, в основном отражает ресурсную составляющую деятельности вузов (количество поступивших студентов, затраты на студентов и т.д.), но редко предоставляет данные результатов деятельности вузов (готовые базы могут предоставлять данные по количеству трудоустроенных студентов)
Библиометри-ческие показатели (индексы количества публикаций и цитируемости и их производные) Данные о публикациях и цитировании достаточно доступны, надежны. Сбор данных низкозатратен, достаточно легко обрабатывать и анализировать информацию в силу ее однозначности. Библиометрические данные используются большинством ранжирований для оценки научной продуктивности университетов Международные базы данных, используемые ранжированиями для расчета библиометрических показателей, не учитывают научные статьи на национальных языках, значительно меньше отражена деятельность в гуманитарных науках
11. Аудит полученных от университетов данных
Необходимо проводить тщательную проверку полученных данных, применять методы статистического анализа данных для нахождения возможных неточностей и ошибок. После аудита разработчиками ранжирования данные направляются в вуз, где они были собраны, для перепроверки, получения недостающих данных и возможного исправления указанных спорных моментов. Для облегчения процедуры аудита данные рекомендуется собирать с помощью электронных анкет.
12. Составление профайла университета
Сбор дополнительных данных о вузах, которые не используются непосредственно для ранжирования, но помогают составить более общую информационную картину о деятельности высших учебных заведений (например, месторасположение, численность студентов, количество программ подготовки бакалавриата, магистратуры, аспи-
рантуры, наличие общежитий для иностранных студентов, возможности трудоустройства для иностранных студентов на период обучения, ограничения, связанные с этим, стоимость программ обучения и прочая полезная для студентов информация).
13. Предоставление данных в интерактивном виде
Публикация результатов ранжирования осуществляется в печатном виде (публикация в журнале), а также в интерактивном виде на сайте проекта. Сайт должен находиться в открытом доступе для пользователей сети Интернет.
14. Обеспечение долгосрочной транспарентности
На сайте проекта должна быть размещена информация о методологии ранжирования, контактная информация разработчиков ранжирования. Обновление элементов методологии ранжирования и соответствующие комментарии на регулярной основе позволят своевременно информировать потребителей об изменениях в ранжировании, обеспечивая тем самым понимание методологии и ее прозрачность в долгосрочной перспективе.
Рекомендации к построению модельной методологии
1. Ранжирование должно быть многомерным.
2. Ранжирование должно учитывать группы и типы университетов.
3. Ранжирование должно учитывать предметные области (в перспективе).
4. Для различных ранжирований по группам пользователей должны быть использованы различные индикаторы.
5. Отбор индикаторов должен сопровождаться экспертными обсуждениями и обсуждениями с широким кругом стейкхолдеров, включая пользователей системы ранжирования.
6. Сбор данных для ранжирования должен опираться на метод подготовки самоотчетов вузов (при помощи электронных анкет).
7. При ранжировании должен быть обеспечен аудит получаемых от вузов данных.
8. Предоставление данных о результатах ранжирования должно осуществляться в интерактивном виде.
9. При ранжировании должна обеспечиваться долгосрочная транспарентность. Модельные ранжирования
4. Ранжирование по группам / типам вузов.
5. Ранжирование по группам индикаторов (типам функций университетов).
6. Ранжирование по наборам индикаторов для групп пользователей.
7. Ранжирование по предметным областям (планируется)
8. Пользователь сам выбирает индикаторы для ранжирования.
Оценка соответствия модельной методологии ранжирования критериям аудита IREG
Аудит IREG качества ранжирования проводится с целью повышения прозрачности рейтингов и является инструментом определения их надежности, улучшения качества академических рейтингов и повышения уровня доверия к ним. Результаты оценки соответствия разработанной методологии ранжирования требованиям аудита IREG качества ранжирования, которые были составлены на основании Берлинских принципов ранжирования высших учебных заведений, представлены в табл. 9.
Таблица 9. Оценка соответствия элементов модельной методологии ранжирования российских вузов критериям IREG
Критерии IREG Элементы модельного ранжирования
1. Цель ранжирования и (ключевые) целевые группы должны быть четко определены. Ранжирование должно соответствовать заявленной цели (Берлинские принципы ранжирования высших учебных заведений, п. 2). Это включает и систему индикаторов, учитывающих цель ранжирования Определение концепции ранжирования, четкая постановка целей ранжирования. Определение групп пользователей ранжирования, учет их информационных потребностей при разработке и построении ранжирования
2. Ранжирование должно отражать разнообразие институтов высшего образования и учитывать различия в миссиях и целях университетов. Параметры для измерения оценки качества исследовательских университетов достаточно сильно отличаются от тех, которые подходят для оценки учреждений, предоставляющих доступ к образованию сообществам с ограниченными возможностями (Берлинские принципы ранжирования высших учебных заведений, п. 3). Ранжирование, таким образом, должно четко определять тип/профиль образовательных учреждений, включаемых и невключаемых в ранжирование Отражение национальной специфики системы высшего профессионального образования в соответствии с миссиями и направлениями обучения и исследовательской деятельности высших учебных заведений. Выделение пяти групп индикаторов, отражающих функции высших учебных заведений
4. Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными. Выбор данных должен основываться на способности каждого показателя продемонстрировать качество, академические и институциональные сильные стороны вузов, а не исходить из принципа доступности данных. Ранжирование должны ясно объяснять выбор параметров и то, что они должны показывать (Берлинские принципы ранжирования высших учебных заведений, п. 7) Опора на экспертные обсуждения и обсуждения с участием различных групп стейкхолдеров при разработке и апробации методологии ранжирования и апробации методологии ранжирования и индикаторов оценки
5. Качество деятельности институтов высшего образования — понятие многомерное, многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения, учитывать данные, полученные из различных источников информации, для того чтобы получить более полное представление о каждом учебном заведении, включенном в ранжирование. Ранжирование должно избегать представления однобокого взгляда на деятельность высших учебных заведений (например, только с точки зрения работодателей или только с точки зрения студентов). В случае, если ранжирование затрагивает только один аспект деятельности вузов или же использует для построения ранжирования только один источник информации, это ограничение должно быть четко обозначено Составление многомерного ранжирования, основанного на объединении информации о функциях высших учебных заведений; типах вузов в соответствии с их миссией, направлениями обучения и исследовательской деятельностью; различии информационных потребностей по группам пользователей ранжирований
6. Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров. Информация об исходных параметрах и образовательном процессе может быть релевантна для использования, поскольку отражает общие условия функционирования конкретного учреждения, а также в связи с тем, что чаще всего доступна. Измерение результатов позволяет более точно оценить положение и/или качество каждого отдельного института или программы. Составители ранжирования, таким образом, должны удостовериться, что соответствующий баланс был достигнут (Берлинские принципы ранжирования высших учебных заведений, п. 8) Предпочтительное использование индикаторов результатов деятельности университетов
Критерии IREG Элементы модельного ранжирования
7. Рейтинги должны содержать подробную информацию о применяемой методологии и с этой точки зрения быть транспарентными. Методы, выбираемые для построения ранжирования, должны быть ясными и понятными (Берлинские принципы ранжирования высших учебных заведений, п. 6). Также должна быть отражена информация о разработчиках методологии ранжирования и возможном внешнем оценивании Применение многомерного принципа при построении ранжирования, обеспечивающего транспарентность оценки и сравнения различных аспектов деятельности высших учебных заведений. Неиспользование агрегированного показателя при оценке деятельности высших учебных заведений. Четкое определение концепции и принципов построения ранжирования. Привлечение различных стейкхолдеров к участию в процессе разработки индикаторов оценки. Предоставление информации о принципах построения ранжирования внешним пользователям посредством размещения информации о разработке ранжирования, анализе данных и результатах ранжирования в печатном виде и на сайте проекта
9. Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований (см. Берлинские принципы ранжирования высших учебных заведений, п. 11, 12). Процедуры сбора данных должны быть прозрачны, в особенности относительно данных опросов. Данные опросов должны включать следующую информацию: источник и метод сбора данных, доля ответивших, структура выборки (например, географическая или профессиональная) Разработка методологии ранжирования с учетом методологических стандартов проведения эмпирических исследований. Преимущественное использование количественных данных для построения индикаторов. Проведение аудита получаемых данных
11. Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо в интерактивном Предоставление результатов ранжирования на сайте проекта и в печатном виде
12. Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений. При этом информация должна учитывать имеющиеся сведения о ранжировании у основных целевых групп Предоставление полной информации об используемой методологии ранжирования и результатах ранжирования. Предоставление данных с учетом информационных потребностей различных групп пользователей
15. Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием, а также организованы так, чтобы ошибки, возникшие в результате ранжирования, могли быть откорректированы (см. Берлинские принципы ранжирования высших учебных заведений, п. 16). Это означает, что ошибки должны быть исправлены во время составления ранжирования или, в крайнем случае, в интернет-публикации результатов ранжирования Проведение аудита полученных данных. Взаимодействие с высшими учебными заведениями при проверке собранных данных, получение дополнительных данных и корректировок
Критерии IREG Элементы модельного ранжирования
16. Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования, участвующих в ранжировании, что предполагает предоставление разъяснений о методах и индикаторах, используемых при осуществлении процесса ранжирования, так же как и объяснение значения полученных результатов ранжирования отдельных университетов Размещение на сайте проекта и в печатных публикациях результатов ранжирования контактной информации, позволяющей пользователям ранжирования получить дополнительную информацию и оставить свои комментарии
17. Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес, по которому отдельные пользователи или высшие учебные заведения, включенные в ранжирование, могут получить разъяснения о применяемой методологии, а также направить общие комментарии о ранжировании или об отмеченных неточностях
18. При ранжировании необходимо обеспечить качество самих процедур ранжирования. Этот процесс должен основываться на существующей практике оценки учебных заведений и применении этих знаний для оценки качества ранжирований (см. Берлинские принципы ранжирования высших учебных заведений, п.13) Разработка и построение ранжирования на основании определенной концепции и принципов. Составление отчетности по проведенным этапам составления ранжирования в соответствии с разработанной методологией
19. Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы. В том числе задокументированы должны быть процессы сбора и организации данных, так же как и качество данных и индикаторов
20. Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования, что предполагает создание консультативных или контрольных органов, желательно с привлечением международных организаций (в частности, при проведении международных ранжирований) (см. Берлинские принципы ранжирования высших учебных заведений, п.14) Опора на экспертные обсуждения и обсуждения с участием различных групп стейкхолдеров при разработке и апробации методологии ранжирования и индикаторов оценки. Проведение консультаций с национальными и международными организациями
Литература
1. Bergoff S., Federkeil G. Reputation Indicators in University Rankings, 2006.
