CC BY
95
Обеспечение качества высшего образования в странах ОЭСР
А.В. Меликян*
В сентябре 2008 г. были опубликованы результаты четырехлетнего проекта ОЭСР «Тематический обзор по высшему образованию», в котором приняли участие 24 страны, в том числе Российская Федерация. Итогом проекта стала публикация обзора «Роль высшего образования в экономике знаний» (Tertiary Education for the Knowledge Society1), представляющего собой комплексное и широкомасштабное исследование ключевых тенденций и направлений политики в области высшего образования в странах-членах и странах - партнерах ОЭСР. По сути, публикация результатов проекта является своего рода «международной энциклопедией высшего образования», поскольку охватывает все основные направления политики в области высшего образования, а также обобщает опыт стран, существенно различающихся как по уровню социально-экономического развития, так и по подходам к образовательной политике2. Особую ценность для специалистов, занимающихся разработкой и реализацией образовательной политики, представляют практические рекомендации, выработанные экспертами ОЭСР на основе проведенного сравнительного межстранового исследования и выявления наиболее успешных политических практик, позволяющих странам эффективно отвечать на современные вызовы, с которыми сталкиваются их образовательные системы.
В то же время, представляя результаты проекта, эксперты ОЭСР подчеркивают, что использование всего комплекса предложенных рекомендаций, а также конкретных инструментов их реализации на национальном уровне, требует тщательного анализа и обсуждения с участием различных заинтересованных сторон: общенациональных и региональных органов управления образованием, агентств по обеспечению качества образования, вузов, ассоциаций работодателей, студенческих союзов, - с учетом особенностей национального контекста, традиций и особенностей развития образования.
Анализ приоритетов и наиболее успешных практик образовательной политики стран
ОЭСР и оценка возможностей их использования для развития российского образования были одной из задач проекта «Аналитическое исследование возможностей использования опыта образовательной политики стран ОЭСР на основе анализа "дорожной карты" в свете поставленной задачи присоединения к ОЭСР», реализованного Институтом международных организаций и международного сотрудничества в 2008 г. по заказу Федерального агентства по образованию.
Мы представляем нашим читателям первый аналитический материал из серии материалов, подготовленных в рамках проекта на основе анализа результатов проекта ОЭСР. Неслучайно этот материал посвящен теме качества образования, поскольку именно обеспечение качества образования, в том числе высшего образования на различных уровнях (международном, национальном, институциональном) сегодня становится одним из основных направлений текущей аналитической работы Директората ОЭСР по образованию, что обусловлено растущими масштабами, диверсификацией систем высшего образования и усиливающейся конкуренцией на рынке образовательных услуг. В публикуемом материале, в том числе, представлена оценка возможностей использования рекомендаций ОЭСР в части обеспечения качества высшего образования для развития образования в России.
Мешкова Т.А., директор Информационно-координационного центра по сотрудничеству
с ОЭСР Института международных организаций и международного сотрудничества ГУ ВШЭ
В последние десятилетия произошли значительные изменения в системах образования многих стран мира. Наиболее ярко проявляются тенденции массовизации и диверсификации высшего образования. Стремительный рост и развитие высшего образования вполне обосновано актуализировали вопрос обеспечения его качества.
* Материал подготовлен аспирантом факультета менеджмента ГУ ВШЭ, специалистом факультета менеджмента ГУ ВШЭ, преподавателем кафедры архитектуры программных систем факультета бизнес-информатики ГУ ВШЭ Алисой Валерьевной Меликян.
1 OECD (2008). Tertiary Education for the Knowledge Society. Vol. 1: Special features: Governance, Fund-ing, Quality. Vol. 2: Special features: Equity, Innovation, Labour Market, Internationalisation.
2 Подробная информация о проекте ОЭСР представлена на сайте www.oecd.org/edu/tertiary/review.
Отметим ряд тенденций, породивших интерес различных стейкхолдеров к качеству высшего образования. Переход от элитарного к массовому высшему образованию, наблюдающийся с 1980-х гг., повысил расходы национальных бюджетов стран ОЭСР на нужды образования. Рост государственных инвестиций в образовательный сектор, в свою очередь, усилил стремление правительств многих стран повысить экономическую эффективность высшего образования. Это стремление также подкреплялось непредвиденной динамикой экономического роста и повышением дефицита государственных бюджетов многих стран на протяжении рассматриваемого периода.
С 1980-х гг. правительства многих стран ОЭСР осуществили ряд структурных изменений в концепциях предоставления государственных услуг, включая и образовательные, и стали применять в области образования подход, заимствованный из частного сектора и получивший название «новое государственное управление». Данный подход основан на принципах лидерства, поощрения и конкуренции между учреждениями государственного сектора в целях улучшения результативности их работы и повышения экономической эффективности государственных услуг. Применение рыночной модели в образовательном секторе выдвинуло вопрос качества образования на первый план. Обеспечение высокого качества образования стало служить демонстрацией того, что государственные средства расходуются эффективно и цели финансирования высшего образования реализуются в надлежащей степени.
Возросшие масштабы систем высшего образования и дальнейшее их развитие привели к тому, что централизованное управление образованием стало все чаще рассматриваться как малоэффективный механизм, особенно в свете актуализации применения подхода «нового государственного управления». Правительства многих стран пошли на определенные уступки и согласились предоставить вузам больше автономии с целью повышения реакционной способности системы образования, но в обмен на применение эффективных процедур обеспечения качества, подтверждающих разумное ис-
пользование государственных средств. Таким образом, контроль качества стал рассматриваться как дополнение к дистанционному управлению системой образования.
Еще одним последствием массовизации и дерегуляции высшего образования стали распространение частных учебных заведений и растущая диверсификация предлагаемых образовательных услуг, включая дистанционное обучение. Эти тенденции потребовали усиления процедур защиты прав потребителей посредством обеспечения качества образовательных услуг. С позиции высших учебных заведений обеспечение качества предлагаемых услуг способствует привлечению студентов и, как следствие, обеспечению доходов в среде с растущим уровнем конкуренции.
Проблема обеспечения качества также стала более насущной по причине растущей интернационализации высшего образования. Значительный рост международной мобильности студентов за последние тридцать лет и относительно новая волна распространения межнациональных форм предоставления образовательных услуг выдвинули вопросы стандартов качества, репутации иностранных партнеров и потребовали более тщательного мониторинга качества образования на международном уровне.
В определенном смысле вызовом являются неоднозначные толкования понятия «качество». В широком смысле понятие «качество» может рассматриваться как дистанция между целью и результатом с имплицитным допущением, что качество улучшается, когда эта дистанция сокращается. Такое определение оставляет возможность для многочисленных интерпретаций данного понятия в зависимости от того, кто именно устанавливает цели и оценивает их важность. При этом цели могут зависеть как от государственных потребностей, так и от типов рассматриваемых вузов.
Уотти выделяет два основных научных подхода к определению качества3. Первый подход связывает понятие «качество» с контекстом и проявляется в качестве оценивания, приема студентов, учебных программ, преподавания и обучения, опыта студентов и проектирования программ4. Второй подход связывает качество
3 Watty K. When will Academics Learn about Quality? // Quality in Higher Education. 2003. Vol. 9. No. 3.
4 См., например: Baird J. Quality: What Should Make Higher Education «Higher»? // Higher Education Research and Development. 1998. Vol. 7. No. 2; Fry H. Quality Judgements and Quality Improvement // Higher Education Quarterly. 1995. Vol. 49. No. 1; Nordvall R., Braxton J. An Alternative Definition of Quality of Undergraduate Col-lege Education // Journal of Higher Education. 1996. Vol. 67. No. 5.
с многообразием стейкхолдеров, заинтересованных в высшем образовании5. В рамках второго подхода работодатели рассматривают качество высшего образования с точки зрения знаний, навыков и отличительных свойств, полученных выпускниками высших учебных заведений в ходе их обучения. Студенты заинтересованы в том, чтобы высшее образование способствовало осуществлению их личных интересов, стимулировало индивидуальное развитие и готовило к эффективному включению в общество. Преподаватели рассматривают качество с точки зрения эффективности передачи знаний, благоприятной среды обучения и уровня взаимодействия между преподаванием и исследованиями. И наконец, органы власти более всего обеспокоены подотчетностью перед налогоплательщиками и эффективным расходованием бюджетных средств на образование6.
Приведенные различия в понимании качества образования различными группами стейкхолдеров являются подчас причиной взаимонепонимания между участниками системы обеспечения качества образования. Харви и Грин утверждают, что проблема заключается «не в различных ракурсах одной вещи, а в различных ракурсах разных вещей, но имеющих одинаковое название»7. Они попытались раскрыть абстрактное понятие «качество» и сфокусировать внимание на его различных аспектах. Были выделены пять основных аспектов:
• Исключительность: качество определяется как превосходство, предполагающее превышение некоторого минимального набора стандартов.
• Совершенство: качество определяется как процесс, стремление к полному устранению изъянов.
• Соответствие цели: качество связано с целью, задаваемой поставщиком образовательных услуг.
• Окупаемость: качество нацелено на результативность и эффективность, что осуществляется путем соизмерения вкладов и результатов.
• Трансформация: качество отражает качественные изменения, которые расширяют возможности студента.
Основные направления политики в области обеспечения качества образования
Результаты проекта «Тематический обзор по высшему образованию»8 показали, что в различных странах существует значительное число подходов к пониманию и реализации механизмов обеспечения качества. Практически все страны в ходе развития систем и принципов обеспечения качества сталкиваются с идентичными задачами. Отметим пять основных задач, стоящих перед национальными системами обеспечения качества:
1. Разработка стратегии обеспечения качества, направленной одновременно на реализацию подотчетности и улучшения.
Исследователи в области образования не достигли согласия в вопросе о том, можно ли совмещать в единой стратегии обеспечения качества цели подотчетности и улучшения. Некоторые авторы утверждают, что данные стратегии несовместимы, поскольку открытость, присущая стратегии улучшения, будет отсутствовать в случае, если целью процедур обеспечения качества является подотчетность. Другие полагают, что подотчетность и улучшение тесно связаны между собой и не могут рассматриваться отдельно, и в этом случае вызовом для лиц, принимающих управленческие решения, становится поиск эффективных путей совмещения этих двух функций при разработке структуры обеспечения качества.
2. Необходимость построения консенсуса и доверия между стейкхолдерами, заинтересованными в качестве высшего образования.
Миддкеурс и Вудхаус отмечают, что улучшение качества образования основано на индивидуальном и групповом согласии всех стейкхолдеров относительно желаемых целей стратегии улучшения и обязательств по их выполнению9. Авторы полагают, что без
5 См., например: Middlehurst R. Quality: an Organising Principle for Higher Education? // Higher Education Quarterly. 1992. Vol. 46. No. 1; Harvey L., Green D. Defining Quality // Assessment and Evaluation in Higher Education. 1993. Vol. 18. No. 1.
6 Vroeijenstijn A. Governments and University: Opponents or Allies in Quality Assurance? // Higher Education Review. 1995a.Vol. 27. No. 3.
7 Harvey L., Green D. Defining Quality // Assessment and Evaluation in Higher Education. 1993. Vol. 18. No. 1.
8 Tertiary Education for the Knowledge Society. Vol. 1, 2. Paris: OECD, 2008.
9 Middlehurst R., Woodhouse D. Coherent Systems for External Quality Assurance // Quality in Higher Education. 1995. Vol. 1. No. 3.
внутренней мотивации согласие с внешними требованиями может существовать лишь непродолжительный период с целью демонстрации временного улучшения качества образования, а затем старые привычки возьмут верх. Таким образом, обеспечение доверия и сотрудничества в академическом сообществе - важный элемент, необходимый для эффективного функционирования механизмов обеспечениякачествавдолгосрочнойперспек-тиве.
3. Необходимость повышения экономической эффективности системы обеспечения качества. Здесь можно выделить несколько основных актуальных вопросов, с которыми периодически сталкиваются страны - участницы проекта «Тематический обзор по высшему образованию»:
3.1. Стоимость процедуры оценки качества.
Проведенные исследования экономической эффективности внешних механизмов обеспечения качества показали, что оценка качества обходится дорого. Как отмечают Кампбелл и Розснай, издержки, затрачиваемые на оценку качества, могут быть прямыми и косвенными10. Прямые издержки включают расходы на учреждение агентства по обеспечению качества и на обеспечение функционирования внешних процедур обеспечения качества. К косвенным издержкам относится, в частности, время, затрачиваемое работниками вузов на подготовку к внешней проверке качества и сбор информации для проведения самооценивания. Другой тип косвенных издержек связан с пагубным эффектом, который может оказать излишняя бюрократизация процедур обеспечения качества на легитимность всей системы и моральные устои работников.
3.2. Рационализация числа организаций по обеспечению качества и масштаба их деятельности.
Организация системы обеспечения качества в показателях числа вовлеченных агентств по обеспечению качества и масштаба их деятельности оказывает влияние на издержки и эффективность всей системы. Поэтому важной задачей становится организация обеспечения качества, способствующая повышению прозрачности системы для стейкхолдеров и в то же время позволяющая учитывать разнообразие типов предлагаемых образовательных
услуг и создать эффективно функционирующую систему.
На практике часть стран возлагает ответственность за реализацию всех процедур обеспечения качества на одно агентство, в сферу деятельности которого включены все типы вузов. Другая часть стран имеет более фрагмен-тированные системы обеспечения качества, предполагающие функционирование нескольких агентств. При этом прикрепление вуза к конкретному агентству зависит от типа или географического расположения вуза. Оба подхода реализуются в странах, принявших участие в проекте «Тематический обзор по высшему образованию» и каждый из них имеет свои преимущества и недостатки.
В научной литературе встречаются три основных аргумента в пользу стратегии привлечения нескольких агентств для проведения оценки качества. Во-первых, существование нескольких агентств позволяет каждому из них организовать свою деятельность в соответствии с выполняемыми функциями. Во-вторых, способствует реализации охвата различных типов вузов или областей знаний и необходимости адаптировать методологию механизмов обеспечения качества к различным потребностям и задачам вузов. В-третьих, позволяет достичь большей эффективности процедуры обеспечения качества11.
Также можно встретить аргументы в пользу снижения количества агентств по обеспечению качества. В частности, некоторые авторы полагают, что различение агентств в зависимости от выполнения функций улучшения и отчетности может привести к дублированию объема работы. Кроме того, существует мнение, что небольшое количество агентств будет способствовать лучшему организационному обучению в рамках системы, поскольку, несмотря на различие в типах вузов, существуют проблемы, актуальные для всех вузов.
3.3. Взаимосвязь между оценкой преподавания и оценкой исследований.
Относительно этого вопроса в научной литературе существуют две точки зрения. С одной стороны, Вроейдженстин полагает, что преподавание и исследования следует оценивать отдельно, поскольку для их оценивания необходимо применять различные типы экспертных оценок. В случае с оценкой исследований необходимо привлекать специальных экспертов,
10 Campbell C., Rozsnyai C. Quality Assurance and the Development of Course Programmes. Unesco Cepes, Papers on Higher Education, 2002.
11 Middlehurst R., Woodhouse D. Coherent Systems for External Quality Assurance // Quality in Higher Education. 1995. Vol. 1. No. 3.
в то время как для оценки преподавания достаточно провести общую оценку дисциплинированности12.
С другой стороны, некоторые авторы отмечают необходимость большего сближения процедур оценивания преподавания и исследований по причине тесной связи между преподаванием и исследованиями в вузах и необходимости избегания дублирования в ходе реализации процедур обеспечения качества.
3.4. Необходимость использования индикаторов результативности при оценке качества.
Не существует единого мнения по вопросу целесообразности применения индикаторов результативности с целью содействия проведению мониторинга качества. Ряд авторов выступают в защиту использования индикаторов результативности как граната объективного измерения качества. Так, Альдерман и Браун утверждают, что если общество хочет получить максимальную отдачу от функционирования вузов, то необходимо сфокусировать внимание на публикации информации об образовательных результатах студентов13. Показатели результативности рассматриваются как полезный инструмент подотчетности, поскольку позволяют представить общую картину того, что происходит в отдельно взятом вузе и донести эту информацию в наглядной форме до директивных органов.
4. Необходимость рассмотрения последствий растущей интернационализации обеспечения качества.
Внедрение новых кросс-национальных моделей предоставления образовательных услуг актуализирует вопросы обеспечения их качества и требует разработки систем защиты потребителей этих услуг. В то же время значительный рост международной мобильности студентов и глобализация рынка труда для высококвалифицированных специалистов предполагают усиление прозрачности образовательных процессов и улучшение системы международного признания учебных курсов и научных степеней. Обе тенденции приводят к увеличению контроля над вузами, отражающегося на процессах аккредитации.
5. Максимизация влияния процессов обеспечения качества на результативность функцио-
нирования высшего образования. В связи с этой задачей возникают следующие основные проблемы:
5.1. Сложность оценки влияния обеспечения качества на результативность функционирования высшего образования.
Исследования, посвященные изучению систем обеспечения качества, сталкиваются с рядом проблем, обусловленных малозаметным, инкрементальным и медленным характером образовательных изменений, а также сложностью обособления влияния механизмов обеспечения качества от влияния других сил, затрагивающих высшее образование.
5.2. Влияние процессов обеспечения качества на организацию и управление вузами.
Согласно проведенным исследованиям, процессы обеспечения качества оказывают влияние на организацию и управление вузами в четырех основных направлениях:
• внешние механизмы обеспечения качества ведут к большей централизации процессов и процедур принятия решений;
• централизация вузов ведет к большей бюрократизации;
• тенденция автономизации роли институционального менеджмента, включая предоставление менеджерам большей ответственности для реализации контрольных процедур;
• повысившаяся институциональная прозрачность является следствием внешнего обеспечения качества в высшем образовании.
5.3. Влияние процессов обеспечения качества на преподавание и обучение.
Согласно Харви и Ньютону, большинство проведенных исследований демонстрируют, что качество тесно связано с отчетностью и соответствием требованиям, и мало способствует улучшению обучения студентов14. Кроме того, даже если исследователям удавалось отметить изменения в результативности обучения, они не всегда были связаны с реализацией механизмов обеспечения качества и, как правило, прочие факторы оказывали большее влияние на преподавание и обучение, чем внешняя оценка качества15.
12 Vroeijenstijn A. Governments and University: Opponents or Allies in Quality Assurance? // Higher Education Review. 1995a. Vol. 27. No. 3.
13 Alderman G., Brown R. American and British Higher Education: Common Problems, Common Responses? Paper presented at OECD Expert Meeting on Assessing Higher Education Learning Outcomes, 18 April 2007, Washington DC.
14 Harvey L., Newton J. Transforming Quality Evaluation // Quality in Higher Education. 2004. Vol. 10. No. 2.
15 См., например: Horsburgh M. Quality Monitoring in Higher Education: the Impact on Student Learning // Quality in Higher Education. 1999. Vol. 5. No. 1; Harvey L. The End of Quality? // Quality in Higher Education. 2002. Vol. 8. No. 1.
Некоторым авторам удалось выявить влияние проведения оценок качества на практики преподавания. Так, результаты исследований, проведенных Бреннаном в Соединенном Королевстве, показали, что 65% рекомендаций относительно улучшения качества преподавания были приняты во внимание, особенно если результаты проведенного оценивания оказывались ниже прогнозируемых16. Исследования Силвы выявили значительные улучшения в преподавании в Чили как результат реализации процедур обеспечения качества, что нашло свое отражение в подготовке отчетов об образовательной деятельности, повышении образовательных стандартов и улучшении инструментов оценивания студентов, повышении инновационности программ обучения и улучшении системы найма и продвижения работников образовательной сферы17.
5.4. Нежелательные последствия процессов обеспечения качества.
В качестве нежелательных последствий можно отметить, во-первых, распространение так называемых «самозваных» аккредитующих организаций, которые подчас продают фиктивные документы о прохождении аккредитации. Во-вторых, неспособность некоторых потребителей информации, предоставляемой в результате оценки качества, воспринять ее адекватным образом. Как результат, неправильная трактовка информации и принятие неверных решений на ее основе.
5.5. Стимулы.
Стремление к максимизации положительного воздействия и ограничения нежелательных последствий процессов обеспечения качества вызывает необходимость разработки ряда стимулов, способствующих тому, чтобы вузы и преподаватели не только принимали во внимание требования процедуры обеспечения качества в краткосрочном периоде, но и старались применять практики обучения, способствующие улучшению качества, на постоянной основе.
Основные приоритеты образовательной политики
Рассмотрим основные приоритетные направления образовательной политики стран ОЭСР,
остановившись подробнее на вопросе вовлечения стейкхолдеров в процедуры оценки качества. Можно выделить несколько групп стейкхолдеров, заинтересованных в разработке методики обеспечения качества. С позиции предложения образовательных услуг Уотти выделяет четыре основные группы стейкхолдеров: правительство, агентства по обеспечению качества, вузы и отдельные преподаватели, а с позиции спроса на образовательные услуги выделяются студенты, работодатели, родители и общество в целом18.
Вовлечение стейкхолдеров в разработку и внедрение процедур обеспечения качества важно не только с точки зрения ответственности перед обществом в целом и перед правительственными учреждениями, но также и для гарантии того, что образовательные программы удовлетворяют потребностям студентов и рынка труда. Рассмотрим подробнее практики вовлечения таких стейкхолдеров, как студенты и работодатели, в деятельность по обеспечению качества образования.
Вовлечение студентов
Студенты могут участвовать в деятельности по обеспечению качества образования с различным уровнем вовлеченности. Самая распространенная форма участия - это заполнение опросников с целью проведения внутреннего оценивания в рамках процедур внутреннего обеспечения качества вузов. На втором уровне эксперты консультируются у студентов в ходе проведения внешних проверок вузов. На третьем уровне студенты могут принимать участие во внешних проверках вузов или учебных программ, либо в составе экспертных групп в статусе наблюдателей, либо на стадии принятия решений. На заключительном четвертом уровне студенты могут участвовать в управлении государственными агентствами по обеспечению качества.
На основе отчетов, подготовленных странами - участницами Болонского соглашения, можно заключить, что студенты большинства стран (более 2/3) участвуют в трех из четырех уровнях вовлеченности19.
16 Brennan J. Authority, Legitimacy and Change: the Rise of Quality Assessment in Higher Education // Higher Education Management. 1997. Vol. 9. No. 1.
17 Silva M., Reich R., Gallegos G. Effects of External Quality Evaluation in Chile: A Preliminary Study // Quality in Higher Education. 1997. Vol. 3. No. 1.
18 Watty K. When will Academics Learn about Quality? // Quality in Higher Education. 2003. Vol. 9. No. 3.
19 Bologna Secretariat (2007a). Bologna Process Stocktaking - London 2007, accessed 23 July 2007 from http:// www.dfes.gov.uk/londonbologna/uploads/documents/6909-BolognaProcessST.pdf.
В качестве иллюстрации наиболее успешной практики обеспечения качества образования в части вовлечения студентов можно привести пример Нидерландов. Студенты этой страны имеют возможность участвовать в ежегодной проверке всех программ высшего образования, предназначенных для будущих студентов. С этой целью студенты заполняют опросник, позволяющий оценить качество программ, по которым они проходили обучение. Результаты публикуются в годовом отчете и с 2006 г. находятся в открытом доступе в сети Интернет. Таким образом, информация предоставляется не только будущим студентам относительно различных аспектов качества учебных программ, но и может быть использована вузами в качестве инструмента бенчмаркинга.
Вовлечение работодателей
и представителей промышленных
предприятий
Свидетельств активного привлечения работодателей и представителей промышленных предприятий к участию в мероприятиях по обеспечению качества намного меньше по сравнению с привлечением студентов. Практика вовлечения работодателей активно применяется в Китае и Корее. Правительства этих стран проводят мониторинг удовлетворенности работодателей уровнем подготовки выпускников вузов в рамках стратегии улучшения качества высшего образования.
Соединенное Королевство является одной из немногих стран, в которых представители работодателей и промышленных предприятий напрямую включены в руководство деятельностью агентства по обеспечению качества. Такие страны, как Финляндия, Исландия, Испания, Швеция при проведении оценки качества образования включают в состав экспертов представителей из неакадемической среды. Приходится констатировать, что в настоящее время в большинстве стран роль работодателей и промышленных предприятий при проведении мероприятий по оценке качества весьма неоднозначна.
Успешные практики (National Case Studies)
Рассмотрим наиболее успешные практики образовательной политики стран ОЭСР в отношении обеспечения качества высшего образования.
Совместная организация по аккредитации NVAO (De Nederlands-Vlaamse Accreditatieorganisatie) (Нидерланды и Фламандское сообщество Бельгии)
Организация NVAO представляет собой совместный аккредитационный орган, ответственный за проведение аккредитации всех бакалаврских и магистерских программ, представленных в государственных и частных вузах Нидерландов и Фламандского сообщества Бельгии, финансируемый Нидерландами на 60% и Бельгией (Фламандское сообщество) - на 40%.
Аккредитационная организация NVAO была официально учреждена в 2003 г. голландскими и фламандскими министрами и начала функционировать в 2005 г. В Нидерландах NVAO проводит аккредитацию действующих учебных программ, утверждает новые учебные программы и консультирует относительно возможного расширения числа магистерских программ в университетском образовании. В Бельгии (Фл. сообщество) функционирование NVAO заключается в предоставлении аккредитации вузам и утверждении всех новых учебных программ.
Система обеспечения качества высшего образования в Соединенном Королевстве: деятельность Агентства по обеспечению качества (Quality Assurance Agency) и Кодекс практики обеспечения академического качества и стандартов в высшем образовании (Code of Practice for the Assurance of Academic Quality and Standards in Higher Education)
Агентство по обеспечению качества высшего образования было создано в 1997 г. с целью улучшения внешнего обеспечения качества высшего образования. Оно независимо от правительства Соединенного Королевства и принадлежит организациям, представляемым руководителями университетов и колледжей.
Агентство защищает интересы общества посредством оценки успешности выполнения вузами обязательств по руководству учебными стандартами и качеству присужденных степеней, а также способствует улучшению менеджмента качества в вузах и колледжах посредством проведения внешних проверок как на институциональном уровне, так и на уровне отдельной учебной программы и дисциплины.
Все отчеты о проведенных на институциональном уровне аудиторских и прочих проверках, а также отчеты о проведении проверок учебных программ и дисциплин, подготовлен-
ные Агентством, находятся в открытом доступе в сети Интернет20. Кроме того, отчеты широко распространяются в школах, колледжах, государственных библиотеках и карьерных центрах.
С целью поддержки деятельности агентства по обеспечению качества высшего образования правительство Соединенного Королевства создало официальный веб-сайт, предоставляющий посетителям и качественную, и количественную информацию о качестве преподавания по отдельным дисциплинам и университетам21. Сайт имеет название «Информация о качестве преподавания», его ключевой аудиторией являются будущие студенты, их семьи и работодатели. На сайте публикуются результаты ежегодных государственных исследований, посвященных изучению деятельности студентов в течение их преддипломного года обучения. Несмотря на проделанную работу, требуются дополнительные усилия для максимизации отдачи от этой инициативной идеи. Недавно проведенный опрос работодателей Соединенного Королевства показал, что лишь 12% имеют представление о существовании веб-сайта «Информация о качестве преподавания»22.
Остановимся подробнее на принятом в Соединенном Королевстве Кодексе практики обеспечения академического качества и стандартов в высшем образовании (далее Кодекс), который представляет руководство по поддержанию качества и стандартов для университетов и колледжей, присоединенных к Агентству по обеспечению качества высшего образования (АОК). Кодекс был подготовлен АОК в период с 1998 по 2001 г. по материалам отчетов Национального и Шотландского комитетов изучения высшего образования.
Кодекс состоит из десяти разделов и акцентирует внимание на следующих вопросах: аспирантские исследовательские программы; совместные программы, а также гибкое и распределенное обучение (включая электронное обучение); студенты с ограниченными физическими возможностями; внешняя ревизия; претензии преподавателей и студентов по академическим вопросам; оценивание студентов; проектирование, утверждение, мониторинг и оценка программ; профессиональная ориентация и руководство; обучение на рабочих местах; доступ к высшему образованию.
Каждый раздел Кодекса был утвержден в результате проведения консультаций со специалистами различных секторов высшего образования, а также при участии ключевых групп стейкхолдеров. Таким образом, он представляет собой документ, выработанный общими усилиями поставщиков и потребителей образовательных услуг.
Государственный комитет по аккредитации State Accreditation Committee (SAC) в Польше
Система оценки качества в Польше существует с 2002 г. и основана на Постановлении о высшем образовании от 1990 г. (поправки были внесены в 2001 г.) и на Законе о высшем образовании от 2005 г. Она представляет собой систему внешнего обязательного оценивания, применяемую ко всем вузам и основанную на аккредитации образовательных программ с группировкой по областям знаний, в комбинации с внутренним оцениванием.
Государственный комитет по аккредитации (SAC) был основан в Польше в 2002 г. как центральный орган по обеспечению качества высшего образования. Он функционирует по принципу самоуправления и несет ответственность за проведение оценки качества образования в отдельных областях обучения и консультирование министра, ответственного за высшее образование, относительно возможностей создания новых вузов, организационных единиц или областей обучения.
Все вузы обязаны участвовать в проверках, организуемых Комитетом каждые пять лет, которые включают подготовку отчета о проведении самооценки каждой учебной программы с последующей организацией визита экспертных групп в вузы. На основе полученных данных SAC группирует результаты в следующие категории: выдающиеся, позитивные, условные (конвенциональные) и негативные. В случае присвоения результатам деятельности отдельно взятого вуза категорий «выдающиеся» или «позитивные», следующая проверка проводится через шесть лет.
Отчеты о проведенных проверках представляются на рассмотрение министру образования, а результаты оценивания публикуются в открытом доступе на сайте SAC23 и широко освещаются в прессе. Кроме того, по завершении цикла про-
20 www.qaa.ac.uk/reviews.
21 www.tqi.ac.uk.
22 Morley L., Eraut M., Aynsley S., MacDonald D., Shepherd J. Establishing the Needs of Employers and Related Organisations for Information about Quality and Standards of Higher Education Provision and Student Achievement in England. HEFCE, Bristol, 2006.
23 www.pka.edu.pl.
цедур оценивания Комитет также публикует отчеты об оценке качества образования в отдельных областях обучения. Несмотря на относительно строгие действия Комитета, например, публикация в открытом доступе негативных оценок деятельности вузов, имеющая определенные последствия для самих вузов, работа SAC получила широкое признание в Польше.
Рекомендации ОЭСР
Представленные рекомендации основаны на данных национальных отчетов стран, принимавших участие в проекте «Тематический обзор по высшему образованию», результатах анализа внешних наблюдательных групп экспертов и анализе большого количества исследований.
Не все представленные рекомендации могут быть в полной мере применены в странах, участвующих в проекте. Некоторые уже реализованы в ряде стран, другие могут быть менее важными по причине особенностей социальных, экономических и образовательных формаций и традиций разных стран. К представленным ниже рекомендациям необходимо относиться с определенной осторожностью, поскольку не все из них основаны на результатах высокорепрезентативных исследований. Таким образом, нет уверенности в том, что полное следование указанным рекомендациям приведет к успеху. Представленные рекомендации - это, скорее, попытка извлечь потенциально полезные идеи и уроки из опыта стран, которые пытались найти наилучшие пути улучшения качества их системы высшего образования. Рекомендации сгруппированы в пять основных блоков:
1. Модель структуры обеспечения качества.
1.1. Модель структуры обеспечения качества, согласующаяся с образовательными целями.
Для построения национальной приверженности качеству образования необходимо, чтобы цель системы обеспечения качества была ясна, и ожидания были сформулированы в соответствии со стратегией высшего образования.
1.2. Согласие относительно целей и ожидаемых результатов системы обеспечения качества.
Эффективная система обеспечения качества требует достижения согласия и единого понимания среди различных стейкхолде-ров, основанных на разделяемых ожиданиях относительно намерений и результатов. До-
стижение консенсуса требует согласия значительного числа стейкхолдеров относительно всеобъемлющей структуры концепций и индикаторов качества.
1.3. Гарантия того, что обеспечение качества служит целям как улучшения, так и отчетности.
Необходимо соблюдать баланс между отчетностью и улучшением качества. С точки зрения отчетности важно, чтобы система обеспечения качества предоставляла информацию различным стейкхолдерам. Однако обеспечению качества также необходимо стать механизмом гарантии качества, а не просто вынуждать вузы соответствовать бюрократическим требованиям. Желательно периодически пересматривать соотношение между отчетностью и улучшением, например, по мере укрепления приверженности основополагающим стандартам можно перенести акцент со стратегии отчетности на стратегию улучшения.
1.4. Сочетание внутренних и внешних механизмов обеспечения качества.
Сочетание внешних и внутренних механизмов обеспечения качества может быть использовано для достижения различных целей обеспечения качества. Одной из возможных моделей может стать сосредоточение на стратегии улучшения посредством проведения внешнего аудита и реализации внутренних механизмов обеспечения качества, в то время как стратегия отчетности может быть реализована посредством анализа различных индикаторов степени успешности функционирования вуза в ходе открытых обсуждений.
1.5. Развитие возможностей и сохранение легитимности.
Развитие возможностей необходимо для получения пользы от внешнего оценивания. Развитие диалога и частые коммуникации между внешними экспертами и вузами будут способствовать улучшению качества образования посредством распространения информации об исследованиях, данных бенчмаркига и лучших практиках. Но распространение новых идей потребует высокого уровня профессионализма от организации, ответственной за проведение внешнего оценивания качества.
Легитимность - ключевой фактор, определяющий влияние результатов процедур обеспечения качества на деятельность вузов. Оценки качества, которым недостает легитимности, не будут в полной мере признаваться непосредственными реализаторами образовательных услуг.
1.6. Обеспечение вовлеченности в процесс оценивания таких стейкхолдеров, как студенты, выпускники и работодатели.
1.7. Повышение внимания к результатам студентов.
Следует уделять больше внимания показателям результатов обучения и успешности на рынке труда студентов, а не фокусировать внимание исключительно на таких характеристиках высших образовательных учреждений, как профессорско-преподавательский состав и материальные ресурсы вуза.
1.8. Усиление международной сопоставимости структур обеспечения качества.
Поскольку образование и исследовательская деятельность приобретают международный характер, системы обеспечения качества должны развиваться в таком направлении, чтобы быть понятными и получить одобрение со стороны международных партнеров. Например, публикация результатов оценки качества на английском языке, в дополнение к национальному языку, или вовлечение иностранных экспертов и (или) иностранных агентств по обеспечению качества в процесс мониторинга.
2. Упрочение внутренних оценочных механизмов.
2.1. Развитие устойчивой «культуры качества» в системе высшего образования.
Устойчивая «культура качества» в вузе, разделяемая администрацией, преподавателями и студентами, позволяет укрепить систему обеспечения качества.
2.2. Придание большего внимания внутренним оценочным механизмам.
Придание большего внимания внутренним оценочным механизмам позволяет укрепить доверие и приверженность вузов, в полной мере учитывать ожидания и ценности администраторов и преподавательского состава, а также инициировать внутреннюю мотивацию персонала к достижению улучшения. Кроме того, подход, основанный преимущественно на внешних механизмах обеспечения качества будет, скорее всего, чересчур затратным и малоэффективным в достижении улучшения в длительном периоде.
2.3. Организация внутренней отчетности на основе ключевых принципов.
2.4. Осуществление внешней валидации внутренней системы обеспечения качества.
Важно придать легитимность внутренним механизмам обеспечения качества путем проведения их периодической официальной вали-дации внешней оценивающей организацией.
3. Улучшение внешних оценочных механизмов.
3.1. Передача механизмам внешнего обеспечения качества консультативной функции по мере повышения зрелости системы.
Развитие системы обеспечения качества необходимо рассматривать как непрерывный процесс. На ранних стадиях развития системы обеспечения качества существует явная необходимость проведения внешнего мониторинга качества для выполнения потребности в отчетности и гарантии того, что основополагающие стандарты качества реализуются во всей системе, однако эта потребность со временем ослабевает. Наоборот, периодический внешний мониторинг вузов и программ влечет за собой чрезмерные затраты, которые при этом не увеличивают ценность, получаемую от процесса по мере развития системы обеспечения качества. Таким образом, после принятия основополагающих стандартов необходимо, чтобы внешнее обеспечение качества осуществляло консультативную функцию, что потребует высокого уровня профессионализма со стороны организаций, ответственных за его проведение.
3.2. Сохранение значительного числа внешних компонентов в системе обеспечения качества в некоторых ситуациях.
Всесторонний подход к обеспечению качества со значительной долей механизмов внешнего обеспечения качества может потребоваться в случае, если системы образования недостаточно зрелые либо слишком развитые, либо в них высока доля частных учебных заведений.
3.3. Обеспечение реализации адекватных последующих процедур и рассмотрение обеспечения качества как непрерывного процесса.
Регулярный обязательный мониторинг не всегда автоматически порождает улучшение и обеспечение адекватных последующих процедур. В связи с этим необходимо разработать формальные механизмы оценивания последствий проведенных процедур обеспечения качества.
3.4. Предоставление возможности проведения ряда процедур оценивания внешним агентством по обеспечению качества.
3.5. Стремление избежать установления прямых связей между результатами оценивания и решениями по государственному финансированию образовательного учреждения.
Установление прямой связи между результатами оценивания и решениями по государственному финансированию может приводить к тому, что вузы будут стараться скрыть свои
слабые стороны, что подорвет функционирование системы обеспечения качества.
4. Улучшение методов обеспечения качества.
4.1. Соответствие процессов обеспечения качества профилю вуза.
Необходимо соблюдать соответствие между процессами обеспечения качества и профилем вуза. В странах, где одна организация проводит мониторинг качества в различных типах вузов, не следует приписывать каждому учебному заведению идентичные процедуры обеспечения качества. Например, при оценивании профессиональных вузов целесообразно сместить акцент на вопросы соответствия предоставляемого образования потребностям рынка труда.
4.2. Улучшение согласованности между оцениванием процессов обучения и исследований.
Во многих странах процедуры оценивания обучения и исследований требуют лучшей координации для минимизации дублирования оценивания, а также обременения вузов.
4.3. Инновация.
Однообразные процессы, бюрократизация и стремление произвести благоприятное впечатление могут наблюдаться в вузах в случае, если один и тот же тип процедур оценивания применяется из года в год. Существует необходимость в постоянной рефлексии и изменениях внешних механизмов обеспечения качества для гарантии их эффективности.
4.4. Развитие механизмов обеспечения качества в новых областях образования.
По мере того как высшее образование становится более диверсифицированным, следует развивать механизмы обеспечения качества в новых областях предоставления образовательных услуг, таких как обучение для взрослых, электронное обучение, обучение вне вуза и международное обучение.
5. Практические механизмы системы обеспечения качества.
5.1. Стремление избежать фрагментации организационной структуры обеспечения качества.
Ответственность за обеспечение качества должна находиться в руках ограниченного количества агентств для улучшения внешнего надзора и обеспечения большей прозрачности и ответственности перед обществом. Более централизованный подход обеспечит лучшую интеграцию и согласованность системы и улучшит коммуникацию и координацию.
5.2. Стремление избежать чрезмерных издержек и обременений.
Важно, чтобы затраты по обеспечению качества не превышали выгоды, получаемые от него. Система обеспечения качества должна быть достаточно прозрачной и гибкой во избежание непомерных временных и финансовых затрат.
5.3. Улучшение информационной базы по качеству образования.
Во многих странах наблюдается значительный недостаток релевантной информации, отражающей результативность системы высшего образования в целом, так же как и отдельного вуза. Этот недочет можно устранить путем создания базы данных с информацией об успешности выпускников на рынке труда, результативности обучения студентов, количестве отчисленных и успешно завершивших обучение, времени, потребовавшемся на завершение обучения и пр.
5.4. Распространение информации.
Важность предоставления потребителям
образовательных услуг информации относительно качества предлагаемых услуг велика, поскольку позволяет будущим студентам принимать более объективные решения, налаживать обратную связь со студентами и их родителями и информировать работодателей относительно уровня подготовки выпускников. Многие страны размещают в открытом доступе результаты оценок качества. Но опыт показывает, что на практике этой информацией в основном пользуются вузы. С целью улучшения распространения информации предлагается повысить ее доступность путем размещения в сети Интернет. Не менее важно, чтобы предоставляемая информация была доступна и понятна широкой аудитории.
Оценка возможностей использования рекомендаций ОЭСР в части обеспечения качества высшего образования для развития образования в России
Рассмотрим возможности использования приоритетов и наиболее успешных практик образовательной политики стран ОЭСР, а также рекомендаций ОЭСР в части обеспечения качества высшего образования для России.
К настоящему моменту общероссийская система оценки качества образования пред-
ставляет собой совокупность организационных и функциональных структур, обеспечивающих оценку образовательных достижений и определение индивидуальных и личностных качеств детей и взрослых, а также выявление факторов, влияющих на образовательные результаты24.
В России сформирована правовая база системы обеспечения качества образования, нашедшая свое отражение в Законе РФ «Об образовании» и Федеральном законе «О высшем и послевузовском профессиональном образовании». Государственная оценка качества образования состоит из трех этапов: лицензирование, аттестация и аккредитация, которые с 2000 г. собраны в единую процедуру комплексной оценки.
Рассмотрим основные приоритеты политики обеспечения качества образования в странах ОЭСР и степень их реализации в России. Одним из безусловных приоритетов является вовлечение стейкхолдеров в процедуру оценки качества. Согласно классификации уровней вовлечения студентов в деятельность по обеспечению качества образования, используемой в исследовательском проекте «Тематический обзор по высшему образованию», ситуация в России соответствует третьему уровню вовлеченности. Это означает, что студенты принимают активное участие в процедурах внутреннего и внешнего оценивания качества. На данный момент степень вовлеченности не соответствует четвертому уровню, поскольку российские студенты не принимают участия в управлении государственными агентствами по обеспечению качества.
Опыт Нидерландов по вовлечению студентов в процедуру оценки качества образования мог бы стать первым шагом на пути повышения уровня участия и вовлеченности российских студентов. В частности, предоставление студентам возможности участия в ежегодной проверке всех программ высшего образования с последующей публикацией результатов оценивания в открытом доступе в сети Интернет позволил бы избежать той закрытости, которая существует на данный момент в некоторых российских вузах. Не у всех вузов есть вебсайт, где публикуется подробная информация об их деятельности. Возможно, подобные меры будут стимулировать вузы к улучшению качества их деятельности.
С точки зрения вовлечения работодателей в процедуру оценки качества образования, современная система российского высшего образования, как и национальная система образования в целом, находится в состоянии значительного отрыва от рынка труда в силу ограниченности взаимодействия вузов и работодателей. Осознание важности подобного рода взаимодействия нашло отражение в подготовке Министерством образования и науки РФ законопроекта о расширении прав работодателей, который предусматривает возможность предоставления объединениям работодателей права участвовать в разработке государственных образовательных стандартов и контроле качества профессионального образования. В 2005 г. в состав экспертных комиссий, проводящих оценку деятельности 132 вузов и их филиалов, впервые вошли представители работодателей25.
Остановимся подробнее на возможностях использования рекомендаций ОЭСР в части обеспечения качества образования для России. Рекомендации относительно согласованности модели структуры обеспечения качества и образовательных целей, а также достижения согласия относительно целей и ожидаемых результатов системы обеспечения качества, безусловно, являются актуальными для всех стран, в том числе и для России. Отсутствие подобного рода согласованности приведет к разладу всей системы обеспечения качества.
Проблема усиления международной сопоставимости структур обеспечения качества высшего образования различных стран осознана в России. Обеспечение международной сопоставимости качества проводится как на уровне вузов, так и на уровне федеральных органов обеспечения качества. Данная тенденция нашла отражение во вступлении России в Бо-лонский процесс.
Политика интернационализации, проводимая рядом вузов России, требует достижения сопоставимости предлагаемых ими образовательных программ с программами ведущих зарубежных университетов. В связи с этим одной из основных задач становится создание и внедрение системы кредитов, аналогичной Европейской системе перезачета учебных дисциплин (ECTS). На сегодняшний момент некото-
24 Болотов В.А. О построении общероссийской системы оценки качества образования // Вопросы образования. 2005. № 1.
25 Аналитический доклад по высшему образованию в Российской Федерации / Абанкина И.В., Абанкина Т.В., Бинингтон Л. и др. / Под ред. М.В. Ларионовой, Т.А. Мешковой. М.: Издательский дом ГУ ВШЭ, 2007.
рые вузы уже приступили к внедрению системы зачетных единиц26.
Рекомендацияотносительноизбеганияус-тановления прямых связей между результатами оценивания и решениями по государственному финансированию образовательного учреждения реализовывалась в России до 2006 г., но далее правительство приняло решение о проведении открытых конкурсов между вузами на получение права подготовки специалистов в соответствии с контрольными цифрами. При этом вузы, которые не могут продемонстрировать готовность предоставлять качественные знания, лишаются права финансирования по отдельным программам. Также планируется сокращение общей численности вузов на основе выработанных критериев качества предоставляемого образования27.
Таким образом, данная рекомендация не реализуется и это закономерно, поскольку наблюдающееся в последние годы быстрое расширение системы высшего образования не способствует повышению его качества. Рост числа вузов и студентов не сопровождается адекватным улучшением показателей эффективности работы. В настоящее время в России насчитывается 1500 вузов и примерно 2200 филиалов. Зависимость между качеством работы вуза и его финансированием для многих учебных заведений станет стимулом к повышению качества предоставляемых услуг.
Рекомендация относительно достижения соответствия между процессами обеспечения качества и профилем вуза реализуется в России, поскольку применяются различные критерии оценки качества образования для различных типов вузов.
Согласно рекомендациям ОЭСР при организации процедур обеспечения качества необходимо соблюдать баланс между стратегией улучшения и отчетностью. В России акцент при обеспечении качества образования делается исключительно на отчетности. Возможно, необходимо пересмотреть данный подход, поскольку итоговая цель всех мероприятий по оценке качества - это его повышение, а не отчетность относительно состояния дел на текущий мо-
мент времени. Кроме того, придание большего внимания внутренним оценочным механизмам позволит повысить внутреннюю мотивацию работников высшего образования к достижению улучшения.
Рекомендация по улучшению информационной базы по качеству образования выполняется, но не столь высокими темпами, как бы того хотелось. До сих пор не существует единой базы данных по всем вузам России с информацией об успешности выпускников на рынке труда, результативности обучения студентов, количестве отчисленных и успешно завершивших обучение, времени, потребовавшемся на завершение обучения и пр.
Результаты оценок высшего образования в России публикуются выборочно. Как правило, оглашаются лишь положительные результаты. Согласно данным проекта «Тематический обзор по высшему образованию» в 16 из 23 анализируемых в рамках проекта стран отчеты о проведенных оценках качества образования находятся в полном объеме в открытом доступе, что свидетельствует о стремлении большинства стран к открытости и нежелании замалчивать проблемы и сложности, с которыми необходимо бороться. В последнее время явно наметилась тенденция к повышению числа публикаций о качестве высшего образования в РФ и результатах оценивания российских вузов на английском языке.
Таким образом, в настоящее время в России не только реализуется большинство рекомендаций ОЭСР в части обеспечения качества высшего образования, но также можно проследить тенденцию к движению в сторону совершенствования структуры обеспечения качества в соответствии с направлением политики ведущих стран ОЭСР.
Литература
Болотов В.А. О построении общероссийской системы оценки качества образования // Вопросы образования. 2005. № 1.
Baird J. Quality: What Should Make Higher Education «Higher»? // Higher Education Research and Development. 1998. Vol. 7. No. 2.
26 Кравченко Т.Н. Особенности подхода к внедрению системы зачетных единиц в Государственном университете - Высшей школе экономики (ГУ ВШЭ) // Вопросы образования. 2005. № 1; Горбунова Е.М. Основные результаты мониторинга участия России в Болонском процессе: Болонья глазами студентов // Вестник международных организаций: образование, наука, новая экономика. 2008. № 2 (17); Горбунова Е.М., Ларионова М.В. Внешняя оценка участия российских вузов в Болонском процессе // Вестник международных организаций: образование, наука, новая экономика. 2008. № 7/8 (22).
27 Аналитический доклад по высшему образованию в Российской Федерации / Абанкина И.В., Абанкина Т.В., Бинингтон Л. и др. / Под ред. М.В. Ларионовой, Т.А. Мешковой. М.: Издательский дом ГУ ВШЭ, 2007.
Campbell C., Rozsnyai C. Quality Assurance and the Development of Course Programmes. Unesco cepes, Papers on Higher Education, 2002.
Fry H. Quality Judgements and Quality Improvement // Higher Education Quarterly. 1995 Vol. 49. No. 1.
Harvey L., Newton J. Transforming Quality Evaluation // Quality in Higher Education. 2004. Vol. 10. No. 2.
Horsburgh M. Quality Monitoring in Higher Education: the Impact on Student Learning // Quality in Higher Education. 1999. Vol. 5. No. 1.
Middlehurst R. Quality: an Organising Principle for Higher Education? // Higher Education Quarterly. 1992. Vol. 46. No. 1.
Middlehurst R., Woodhouse D. Coherent Systems for External Quality Assurance // Quality in Higher Education. 1995. Vol. 1. No. 3.
Stensaker B. Trance, Transparency And Transformation: The Impact Of External Quality Monitoring On Higher Education // Quality in Higher Education. 2003. Vol. 9. No. 2.
Vroeijenstijn A. Governments and University: Opponents or Allies in Quality Assurance? // Higher Education Review. 1995a. Vol. 27. No. 3.
Watty K. When will Academics Learn about Quality? // Quality in Higher Education. 2003. Vol. 9. No. 3.
Woodhouse D. Quality and Quality Assurance. Quality and Internationalisation in Higher Education, Paris; OECD. 1999.
