CC BY-NC-ND
53
Ресурсы в образовании: насыщение или пресыщение?
М. Л. Агранович
Статья поступила Агранович Марк Львович
в редакцию кандидат экономических наук, дирек-в июле 2019 г. тор Центра мониторинга и статистики образования ФИРО РАНХиГС. Адрес: 125319 Москва, ул. Черняховского, 9, стр. 1. E-mail: agranovich-ml@ranepa.ru
Аннотация. В статье рассматриваются методические вопросы оценивания образовательных систем. При сопоставительном анализе национальных и региональных образовательных систем такая оценка является важной составляющей информационного обеспечения разработки образовательной политики и ее реализации через программы развития образования. Показано, что современные способы и методы оценивания образовательных систем основаны на внутрисистемных индикаторах, а не на показателях результатов для конечного потребителя, не на внешних по отношению к системе эффектах. Использование именно такого подхода имеет определенные объективные основания. Однако возникает вопрос: насколько полученные оценки отражают результаты образования для конечного пользователя — человека, общества, экономики? На основе данных международной образовательной статистики по странам ОЭСР с использованием методов статистического анализа рассматриваются
связи между индикаторами образования, характеризующими уровень учебных достижений, доступность образования, объем и качество вовлеченных в образование ресурсов, с одной стороны, и показателями внешних эффектов образования для человека, общества и экономики — с другой. Показано, что в тех случаях, когда эти связи наблюдаются, они носят негладкий характер. Связь между индикаторами образования и показателями внешних эффектов в подавляющем большинстве случаев прослеживается до определенного уровня значений индикаторов, после которого она не наблюдается. Прекращение роста показателей конечных результатов, начиная с некоторого значения объема вложенных ресурсов, уровня образования населения и других индикаторов образования, можно назвать эффектом пресыщения. На основании проведенного анализа сформулированы выводы об ограничениях и условиях использования индикаторов образования для оценки образовательных систем.
Ключевые слова: оценивание образовательных систем, индикаторы образования, внешние эффекты, показатели результатов для конечного потребителя.
РО!: 10.17323/1814-9545-2019-4-254-275
Задача оценки системы образования и результатов ее функционирования привлекает внимание исследователей достаточно давно. Оценивать систему образования нужно для того, чтобы понять, насколько образовательная политика и система образо-
вания адекватны запросу общества, экономики, граждан. Но что такое «хорошее образование», хорошая система образования? Какие критерии и, соответственно, какие показатели можно использовать, чтобы оценить систему образования, результаты ее функционирования, динамику развития?
Естественно было бы сопоставить результаты функционирования системы образования с заявленными целями. Но официально декларируемые и нормативно закрепленные в национальной доктрине образования в Российской Федерации1, Основных направлениях социально-экономической политики Правительства Российской Федерации на долгосрочную перспективу («Программе Грефа», 2000 г.), Государственной программе Российской Федерации «Развитие образования» на 2013-2020 гг.2 цели образования сформулированы в слишком общем виде, чтобы на их основе можно было строить систему критериев и показателей оценки.
Другой вариант — попытаться оценить систему образования через соответствие результатов ее функционирования запросу общества, экономики и граждан, семей. Но здесь возникают две трудности. Первая: этот запрос если и сформулирован, то в самом общем, неоперациональном виде, и преобразовать его в критерии и показатели очень сложно. Вторая трудность такого оценивания заключается в том, что результаты образования, если речь не идет о курсах повышения квалификации, реализуются со значительным временным лагом, и идентифицированный сегодня запрос может устареть к тому времени, когда нынешние учащиеся станут выпускниками.
Невозможность или наше неумение построить оценку образовательных систем по принципу соответствия желаемому состоянию (заявленным целям или запросу) и ряд других трудностей, обусловленных имманентными характеристиками образования, которые обсуждаются ниже, заставляют искать паллиативные способы построения оценки образовательных систем. Знаменитая триада «качество — доступность — эффективность» не в полной мере решила проблему, поскольку столкнулась с предсказуемым отсутствием единого понимания, что такое качество и как мерить эффективность.
Сегодня наиболее распространенный подход к оценке образовательных систем включает: масштаб системы (участие населения в образовании), учебные достижения и ресурсы системы образования. Использование этих критериев и соответствующих им показателей — вынужденная мера, поскольку они характеризуют не конечные эффекты образования, а промежуточные,
1 Постановление Правительства РФ от 4 октября 2000 г. № 751 «О национальной доктрине образования в Российской Федерации».
2 Утверждена Постановлением Правительства от 15 апреля 2014 г. № 295.
внутрисистемные результаты. Подход к оценке образовательных систем на основе перечисленных характеристик базируется на предположениях, что:
• чем выше формальный уровень образования населения, тем выше отдача от системы с точки зрения экономического роста и занятости населения;
• мы знаем, какие знания и компетенции будут востребованы в послешкольной жизни;
• чем больше ресурсов и чем выше их качество, тем лучше конечные результаты функционирования системы.
В данной статье сделана попытка выяснить, насколько справедливы эти предположения, т. е. действительно ли увеличение объема ресурсов, вовлекаемых в образование, и повышение их качества, а также высокий уровень участия населения в образовании, хорошие показатели индивидуальных достижений учащихся связаны с удовлетворяющими конечного потребителя результатами функционирования образовательной системы. Для ответа на этот вопрос используется статистический анализ данных международной и региональной статистики.
В статье также рассматривается возможность использования других внешних по отношению к системе образования показателей для оценки связи характеристик образования с его потенциальными результатами для экономики и общества.
1. Показатели оценки и результаты функционирования образовательных систем
Сегодня в практике оценки образовательных систем используются в различных сочетаниях три группы показателей, которые характеризуют:
• уровень образовательных достижений учащихся;
• масштаб образовательных систем и доступность образования;
• ресурсы,вовлеченные в образование.
В какой степени эти показатели связаны с конечными эффектами образования для человека, общества и экономики? Способствуют ли отличные учебные достижения успешной социализации выпускников, высокий уровень образования населения — ускорению экономического развития и росту производительности труда, а значительный объем вовлекаемых в образование ресурсов—улучшению учебных достижений?
Для ответа на этот вопрос сопоставим индикаторы функционирования образовательных систем с показателями конечных результатов образования для человека, общества и экономики. Для экономики в качестве показателей конечных результатов
будем использовать уровень экономического развития и производительности труда, для общества — коэффициент Джини по доходам. Конечно, на значение этих показателей значительное влияние оказывают и другие факторы, но позитивное влияние на экономику и снижение социального неравенства — ключевые задачи образовательных систем, и связь образования с ними должна просматриваться.
Важнейшим для человека результатом образования является адаптация к послешкольной жизни — успешный выход на рынок труда или переход к следующему уровню образования. Для оценки успешности этого перехода используется показатель «доля молодых людей, которые не работают и не учатся» (Not in Education, Employment or Training, NEET) [OECD, 2018]. Этот показатель является внешним по отношению к системе образования и характеризует включение выпускников в социальную и экономическую жизнь. Связь NEET и образования исследуется во многих работах, в частности в лонгитюдном исследовании «Результативное дошкольное, начальное и среднее образование» (Effective Pre-school, Primary and Secondary Education, EPPSE3-16+), проведенном Институтом образования Лондонского университета [Siraj at al., 2014]. В работе С. Грей-си и С. Келли показано, что ранний уход из системы образования, а также характеристики содержания образования на уровне основной школы оказывают критическое влияние на уровень NEET молодых людей [Gracey, Kelly, 2010].
Безусловно, на значение NEET в стране или регионе оказывают влияние и другие факторы, в частности безработица, но социализация выпускников, которую он характеризует, не может не быть, пусть частично, результатом образования. Мы будем использовать NEET применительно к возрастной группе 15-19-летних в качестве внешней оценки среднего образования. Более чем вероятно, что результаты образования сказываются и на дальнейшей жизни человека, но чем больше проходит времени с момента окончания обучения, тем труднее выделить влияние именно образования из множества других факторов, оказывающих воздействие на успешность человека в трудовой и социальной сфере. Поэтому в дальнейшем анализе мы ограничимся только указанной выше возрастной группой.
Наиболее известные сегодня комплексные системы оценки обра- 1.1. Комплексная зования — индекс эффективности образовательных систем Пир- оценка сона3 и индекс развития образования для всех (индекс ОДВ)4.
3 http://gtmarket.ru/ratings/global-index-of-cognitive-skills-and-educatio-nal-attainment/info, http://www.edmide.gr/anakoinoseis/The-Learning-Curve-Report-2014%20(1).PDF
4 https://en.unesco.org/gem-report/education-all-development-index
Индекс Пирсона включает результаты участия школьников в программах PISA, PIRLS, TIMSS, уровень грамотности населения и совокупную долю учащихся, получающих среднее и высшее образование.
Индекс ОДВ строится на основании коэффициента охвата начальным образованием, уровня грамотности взрослого населения, среднего арифметического индексов гендерного паритета охвата начальным и средним образованием, грамотности взрослого населения и индекса завершения начального образования. Нельзя не отметить низкое качество данных или недо-работанность методологии (или и то и другое), используемых при расчете индекса ОДВ. Ничем иным нельзя объяснить тот факт, что Россия, согласно этому индексу, уступает Киргизии и Таджикистану, значительно проигрывая последнему по таким показателям, как охват начальным образованием и завершение начального образования5. Утешаться можно тем, что показатели образовательных систем ряда развитых стран, в том числе Кореи, США и Израиля, еще ниже.
В рамках программы ОЭСР по образовательной статистике проводились комплексные оценки образования в отдельных странах, в том числе Чехии [OECD, 2012b] и Новой Зеландии [OECD, 2010]. При оценивании использовался широкий спектр показателей, его основу составляли две группы данных: статистика, поставляемая образовательными организациями, и информация о результатах участия школьников этих стран в международных обследованиях PISA, PIRLS и TIMSS.
Ключевые показатели Национального проекта «Образование»6 тоже лежат в сфере учебных достижений и участия населения в образовании: результаты участия российских школьников в международных исследованиях образовательных достижений и охват дополнительным образованием.
Интересная попытка разработки теоретических оснований комплексной оценки образовательных систем в России была предпринята А. М. Новиковым и Д. А. Новиковым [2006]. Авторы выделяют группы потребителей оценки — от учащихся до общества и производства, — формируя для каждой группы свои
5 Завершение начального образования оценивается по коэффициенту выживания (survival rate), который рассчитывается как отношение численности лиц, успешно завершивших обучение по программе, к численности лиц, поступивших на программу соответствующее количество лет назад. Сравнительно недавно этот показатель, видимо по соображениям политкорректности, был переименован и теперь называется «коэффициент завершения» (completion rate).
6 Паспорт национального проекта «Образование» утвержден президиумом Совета при Президенте Российской Федерации по стратегическому развитию и национальным проектам (протокол от 24 декабря 2018 г. № 16).
критерии. К сожалению, обоснование этих списков отсутствует, и практически по поводу каждого из них авторы фиксируют, что «в настоящее время оценки не формализованы».
Наиболее часто для оценки образовательных систем используют показатели учебных достижений учащихся в международных или национальных обследованиях качества образования. Однако обоснованность такого подхода вызывает определенные сомнения. Во-первых, та же PISA показала, что внутришкольная вариация результатов учащихся (в среднем по странам, участвовавшим в обследовании) в наибольшей степени (на 19%) обусловлена социально-экономическим статусом семей [OECD, 2004], т. е. связана не с усилиями школы, а с уровнем образования родителей и благосостоянием семьи. Высокий балл выпускника на ЕГЭ — это во многих случаях достижение не школы, а репетиторов, курсов. Какая доля в достигнутых результатах обеспечена школой, учителем, учебником, программой, стандартом? Если меньше половины, то кого и что мы оцениваем? Во-вторых, и это представляется даже более серьезным поводом сомневаться в пригодности учебных достижений учащихся как критерия для оценки образовательных систем, образование — уникальная сфера. Только в ней мы сами определяем, чему учить, как оценивать результаты обучения, и сами же осуществляем оценку. И на основе этой оценки сами решаем, насколько хороша система и как она развивается. Но никто не доказал, что те образовательные задачи и результаты, которые мы фиксируем в образовательных стандартах или, опосредованно, в тестовых заданиях национальных или международных обследований, обеспечат нашим детям успех в дальнейшем, что высокий балл ЕГЭ или PISA положительно коррелирует с самореализацией, успешностью в послешкольной жизни, отвечает запросу конечных потребителей—людей, общества, экономики. Тем более перспективному запросу, поскольку результаты сегодняшнего образования будут в полной мере востребованы и использованы завтра. Однако сегодня результаты международных обследований уровня учебных достижений учащихся являются практически единственным показателем качества функционирования образовательных систем.
Оценка связи учебных достижений школьников с показателями социализации выпускников дает неоднозначный результат. На рис. 1 сопоставлены результаты школьников в обследовании PISA и значения NEET по тем же странам. Поскольку уровень молодежной безработицы по рассматриваемым странам варьирует значительно — от 2,3% в Чехии до 19,0% в Греции, значения NEET скорректированы, чтобы элиминировать влияние этого фактора.
1.2. Уровень и динамика индивидуальных достижений учащихся
Источник: Рассчитано автором по [OECD, 2016b],
https://stats.oecd.org
На графике видно, что после границы в 470 баллов, которую преодолели школьники подавляющего большинства стран, связь результатов PISA и NEET не просматривается.
Рис. 1. Качество образования и социализация выпускников
30,0 NEET 15-19 лет (скоррект.)
25,0 20,0 15,0 10,0 5,0 0,0
390
410
430
450
470
490
510
Среднестрановой 530 балл в PISA (матем.)
Рис. 2. Связь уровня экономического развития страны и уровня образования населения
Источник: Рассчитано автором по [OECD, 2018].
120 ВВП на душу населения, тыс. долл. ППС
100 80 60
40
20
20
30
40
50
Доля населения с третичным 60 образованием, %
1.3. Характеристика масштабов системы образования
Важным показателем в большинстве методик оценки образовательных систем является уровень образования населения. По умолчанию предполагается, что чем выше доля образованных людей в стране, тем выше уровень благосостояния и страны, и ее граждан. В отношении связи уровня образования населения и уровня экономического развития это предположение подтверждается с коэффициентом корреляции 0,47 (рис. 2).
Но здесь нельзя утверждать с уверенностью, что высокий уровень экономического развития — следствие высокого уровня
0
10
Рис. 3. Доля населения с третичным образованием и производительность труда
100 Производство ВВП в час на одного работающего, долл. ППС
80
60
40
20
20
30
40
50
Доля населения с третичным 60 образованием, %
Источник: Рассчитано автором по [OECD, 2018],
https://stats.oecd.org
0
10
образования населения, а не наоборот. И устойчивая положительная связь между этими двумя показателями прослеживается до границы примерно 45%-ной доли населения с третичным образованием. После нее, судя по всему, вступают в действие иные факторы, поскольку в странах, преодолевших эту границу, подушевой ВВП ниже, чем в странах с долей населения с третичным образованием 40-45%.
Можно было бы предположить, что уровень образования населения связан с производительностью труда в экономике. Эта гипотеза рассматривалась, в частности, на данных за 19902007 гг. по Южной Корее, и была выявлена значимая корреляция между динамикой доли населения с высшим образованием в численности экономически активной рабочей силы и объемом продаж на душу населения [Jung Dae Bum, 2015].
Но здесь, как и в предыдущем случае, предположение о наличии положительной связи подтверждается до определенной границы. На рис. 3 видно, что в странах с наиболее высокой долей населения с третичным образованием (выше 46%) производительность труда в экономике ниже, чем в странах с менее образованным населением (доля населения с третичным образованием 40-45%).
Здесь уместно вспомнить известную работу Э. Ханушека, в которой показано, что качество образования в большей степени, чем охват, влияет на экономические показатели страны [Hanushek, Woessmann, 2007].
Результаты международного исследования грамотности взрослого населения PIAAC [OECD, 2016b] добавили новых
Рис. 4. Связь математической грамотности и уровня образования взрослого населения
300 Средний балл в PIAAC (матем.)
250
200
Источник: Рассчитано автором по [OECD, 2016a; 2016b].
150
100
20
30
40
50
60
Доля населения с третичным образованием, %
0
аргументов в подтверждение преимущественной значимости качества и содержания образования по сравнению с показателями масштаба. Сопоставление среднего уровня читательской и математической грамотности с уровнем образования населения по странам, как и в предыдущих случаях, показало, что повышение уровня образования населения значимо связано с функциональной грамотностью на его нижних значениях, а после определенной границы перестает оказывать какое-либо воздействие на средний балл и читательской, и математической грамотности (рис. 4).
Влияние уровня образования населения на производительность труда, а также на индивидуальные социальные и экономические показатели подвергается сомнению и еще по одной причине — ввиду селективности образовательных систем [Torche, 2011].
Еще один социально-экономический эффект, который предположительно связан с образованием, — снижение социального неравенства. Считается, что, обеспечив доступность образования, можно постепенно сократить его масштабы. В ряде исследований показана роль образования как источника социальной мобильности, в частности Ф. Пфеффер и Ф. Гертель пришли к выводу, что влияние статуса семей на социальную мобильность снижается с повышением уровня образования [Pfeffer, Hertel, 2015]. Признанный показатель уровня социального неравенства — коэффициент Джини по доходам. Доступность образования оценивается через коэффициенты охвата, выпуска и уровень образования населения. На рис. 5 представлены коэффициенты выпуска по программе магистратуры в сопостав-
Рис. 5. Доступность высшего образования и социальное неравенство
70 Коэффициент Джини 60
50 40 30 20 10
• »
20
25
30
Россия
35
Коэффициент выпуска по программам 40 магистратуры
Источник:
https://theworldonly. org/koeffitsient-dzhini-po-stranam/; [OECD, 2018].
Рис. 6. Уровень образования населения и социальное неравенство
60 Индекс Джини по доходам
50
40 30 20 10
. 1 ®
Россия
20
30
40
50
Доля населения с третичным 60 образованием, %
Источник: Рассчитано автором по [OECD, 2018; UNDP, 2018].
лении с коэффициентом Джини. В целом по 39 странам, по которым имеются данные, коэффициент корреляции между этими двумя переменными статистически значим (-0,59), т. е. подтверждается предположение, что с ростом доступности образования дифференциация населения по уровню доходов снижается. Однако после определенной границы, в данном случае когда коэффициент выпуска превышает 22%, связь между двумя переменными пропадает.
0
0
5
15
0
10
Аналогичная картина наблюдается и при сопоставлении уровня образования населения с коэффициентом Джини (рис. 6). Здесь связь между двумя показателями пропадает или меняет знак после того, как доля населения с третичным образованием превышает 31%.
1.4. Ресурсы, При оценивании прогресса в развитии образования и обра-вовлекаемые зовательных систем как в рамках международных программ, в образование так и на национальном уровне помимо показателей масштаба и образовательных достижений учащихся используются также индикаторы, отражающие наращивание объема или повышение качества ресурсов, вовлеченных в образование. Типичным примером могут служить такой показатель достижения целей устойчивого развития в области образования (ЦУР-4), как «доля учителей, прошедших повышение квалификации в течение последних 12 месяцев»7, или «доля детей в возрасте от 5 до 18 лет, охваченных дополнительным образованием» в национальном проекте «Образование».
Понятно, что повышение охвата дополнительным образованием, или рост заработной платы учителей, или даже увеличение доли педагогов, повысивших квалификацию, не могут быть целью программы развития образования. Это внутрисистемные результаты. Цель программы и соответствующие целевые индикаторы должны описываться в терминах эффектов для внешнего потребителя. В частности, для дошкольного образования это может быть учебная и социальная успешность в начальной школе, для программ профессионального образования — повышение экономической активности молодежи и снижение молодежной безработицы. Однако использование подобных показателей наталкивается на значительные трудности.
Сложности, связанные с применением показателей конечных результатов, хорошо известны. В первую очередь это отложенный эффект воздействия образования на социально-экономические показатели, общественную жизнь, профессиональную и социальную успешность отдельного человека. Результаты нововведений, управленческих и экономических мер в сфере образования часто проявляются за пределами горизонта планирования программы, причем в искаженном под влиянием внешних факторов виде.
Нельзя не учитывать и специфику программ в части отчетности. В нашей стране программа не имеет права не быть выполненной. Поэтому и разработчики, и исполнители не готовы использовать показатели, на которые они не могут влиять непо-
7 http://uis.unesco.org/sites/default/files/documents/quick-guide-educa-tion-indicators-sdg4-2018-en.pdf
средственно, а именно такими и являются показатели конечных результатов. В отличие от показателей конечных результатов и эффектов для конечного потребителя, показатели задействованных ресурсов целиком зависят от исполнителей программ и наличия средств, достичь запланированных значений здесь гораздо легче.
По этим причинам в качестве паллиатива используются показатели качества и объема ресурсов. Вложение ресурсов в образование традиционно рассматривается как средство повышения его качества и доступности. Предполагается, что чем лучше будет подготовлен учитель, тем лучше будут результаты у его учеников. Соотношение результатов и затрат представлялось в виде кривой насыщения, и поиск разумного предела наращивания вложений в образование стал актуальным предметом обсуждения в развитых странах и в большинстве стран со средним уровнем развития. В развитых странах даже наметилась тенденция к некоторому снижению относительных расходов на образование в той или иной форме, в частности к увеличению среднего размера класса. Однако анализ данных международной статистики показывает, что связь вложений и результатов в образовании далеко не всегда описывается кривой насыщения и имеет негладкий характер.
Выбор в качестве целевых индикаторов программ показателей, связанных с количественным или качественным изменением ресурсов, подобных приведенным выше, вполне объясним. Он основывается на представлении, что увеличение объема или повышение качества ресурсов, вовлеченных в образование, ведет к росту качества образования и/или его доступности. Но использование показателей ресурсов в качестве целевых показателей как национальных, так и международных, программ развития возможно только при наличии доказанной причинно-следственной связи между ресурсами и конечными результатами. А она, несмотря на кажущуюся очевидность, далеко не всегда подтверждается. В отношении всех показателей достижения целей устойчивого развития в области образования (ЦУР-4), ориентированных на увеличение или повышение качества ресурсов, вовлеченных в образование, достоверная связь с результатами международных исследований качества образования не подтверждается [Агранович, 2017]. В отдельных случаях связь затрат, понимаемых в самом широком смысле, и результатов учащихся прослеживается до определенной границы, после преодоления которой корреляция между объемом вкладываемых страной ресурсов и результатами, показываемыми учащимися этой страны в международных обследованиях качества образования, близка к нулю.
Рассмотрим несколько примеров.
При разработке такого индикатора достижения целей устойчивого развития в области образования, как «средняя заработная плата педагогов по отношению к средней заработной плате работников других профессий, требующих сопоставимой квалификации» [Статистическая комиссия Экономического и социального совета ООН, 2016] авторы (Институт статистики ЮНЕСКО) исходили из того, что более высокая зарплата привлечет в образование или позволит отобрать лучших специалистов и, соответственно, повысит качество образования. Однако результаты PISA заставляют усомниться в наличии прямой связи между уровнем оплаты труда учителей и образовательными результатами учеников. На рис. 7 приведено сопоставление относительной заработной платы преподавателей первой ступени среднего образования и среднего балла учащихся по результатам PISA-2015 по странам.
На графике хорошо видно, что связь между относительным размером заработной платы учителей в стране и результатами, которые продемонстрировали 15-летние школьники в международном обследовании качества образования PISA, не прослеживается. К сожалению, количество стран — участниц PISA, по которым есть данные о зарплате учителей (28), недостаточно для корректного корреляционного анализа, однако рассчитанные на этом массиве коэффициенты корреляции (-0,18 для чтения и -0,13 для математики) однозначно указывают на отсутствие положительной связи между величиной оплаты труда в образовании и результатами обучения.
Проверка наличия связи между величиной относительной заработной платы педагогов и показателем NEET (скорректированным) также дала отрицательный результат: коэффициент корреляции между этими двумя показателями составляет 0,11, т. е. статистически незначим. Более того, он имеет положительный знак, т. е. чем выше в стране относительная заработная плата преподавателей, тем выше и NEET.
Сопоставление значений показателя «доля учителей, прошедших повышение квалификации за последние 12 месяцев по видам повышения квалификации» по странам с результатами учащихся этих стран в PISA-2015 (рис. 8) также показывает, что положительной связи между этим индикатором и результатами не наблюдается.
Коэффициенты корреляции между долей учителей, прошедших повышение квалификации, и результатами учащихся данной страны в PISA по грамотности в чтении и математике, рассчитанные по 28 странам, по которым имеются данные, составляют соответственно 0,07 и 0,01. Иными словами, статистически значимая связь между этими показателями отсутствует. Можно предположить, что, помимо самого факта прохожде-
Рис. 7. Сравнение относительной заработной платы педагогов и учебных достижений школьников
600 Средний балл PISA-2015. (чтение
550 '
500
450
400
350
300
0,4
0,6
0,8
1,0
Источник: Рассчитано Относительная автором по [OECD, 1,2 1,4 1,6 1,8 зарплата учителей 2017; 2016b].
Рис. 8. Сравнение масштабов повышения квалификации педагогов и результатов Р!вА-2015 (чтение)
500 Средний балл ......
PISA-2015 (чтение) !
450
400
350
300
70
75
80
85
90
Россия
95
100
Доля учителей, прошедших повышение квалификации за последние 12 мес, %
Источник: Рассчитано автором по [OECD, 2017; 2016b].
ния повышения квалификации, не менее, если не более, важно, чему учат педагогов, как учат, какова продолжительность курсов.
Не подтверждается и связь охвата педагогов программами повышения квалификации с NEET как с характеристикой социализации выпускников (рис. 9).
В дополнение к рассмотренным выше примерам отсутствия ожидаемой связи между затраченными ресурсами и результатами в образовании приведем еще два аргумента в пользу того,
Рис. 9. Повышение квалификации педагогов и МЕЕТ по странам
60,0 NEET
50,0
40,0 30,0 20,0 10,0
Источник: Рассчитано автором по [OECD, 0 0 2018]. '
•
• • • ........ а Россия • . *
: • --- i ——" •
.......................
Доля учителей, прошедших повышение
60
70
80
90
за последние 100 12 мес., %
Рис. 10. Учебное время, отведенное на математику, и результаты в ЛМвв
700 Средний балл TIMSS (матем.)
600
500
400
Источник: Рассчитано автором по [Mullis et al., 2016; OECD, 2018].
300
Росси ............•.........•...................... ® i ...V ♦ • • • —: • • / • •
•" i • • • i : Ш • ¿; '
..............•.......................... • ; •
50
100
150
200
250
300
Уч. часов в год, отведенных на математику
что ресурсы как показатель для оценки качества образования надо использовать с осторожностью.
На рис. 10 представлены данные о времени, которое посвящено в учебных планах начальной школы разных стран математике, и результаты участия учеников 4-х классов этих стран в международном обследовании TIMSS at al., 2016]. Гра-
фик однозначно показывает, что затраты времени на изучение математики в начальной школе никак не связаны с результата-
ми школьников в международном обследовании математической грамотности.
Второй аргумент заимствован из анализа результатов PISA [OECD, 2012c]. На рис. 11 видно, что до определенной границы больший объем ресурсов (в данном случае суммарные расходы на образование в расчете на одного учащегося в возрасте от 6 до 15 лет) сопровождается и более высокими учебными результатами. Но после преодоления этой границы связь между ресурсами и результатами не просматривается.
Отдельное место среди способов оценивания образовательных систем занимает выяснение удовлетворенности населения услугами образования. Этот показатель, в частности, используется при оценке эффективности деятельности исполнительной власти8.
В национальном проекте «Образование» присутствуют показатели удовлетворенности работодателей качеством подготовки выпускников в разрезе вузов и реализуемых ими образовательных программ.
Судить о возможности использования этого показателя для оценки образования можно будет только после разработки инструментария мониторинга, который планируется ввести к 2022 г. Однако согласно многим исследованиям — и зарубежным (например [Succi, Canovi, 2019]), и российским [Селиверстова, 2018] — профессиональные навыки выпускников не являются для работодателя приоритетными критериями при отборе претендентов на рабочее место.
Использование результатов опросов населения для оценки образовательных систем9 также представляется нерелевантным. Как показали наши исследования [Агранович, 2010], уровень удовлетворенности населения системой образования не коррелирует с такими важными для семей показателями, как охват дошкольным образованием или средний балл ЕГЭ в регионе. Скорее обнаруживается связь оценки населением деятельности системы образования с уровнем экономического развития региона, масштабами безработицы и доходами домохозяйств. То есть результаты подобных опросов в большей степени отражают общее настроение населения, чем отношение к образованию.
2. Мнение участников образовательного процесса и населения об образовании
8 Указ Президента Российской Федерации от 14 ноября 2017 г. № 548 «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации».
9 Государственная программа Российской Федерации «Развитие образования» на 2013-2020 гг. Утверждена Постановлением Правительства от 15 апреля 2014 г. № 295.
Рис. 11. Средние значения уровня читательской грамотности, продемонстрированной школьниками в исследовании PISA, и средние суммарные расходы на одного учащегося в возрасте 6-15 лет
600 Баллы PISA (чтение)
I Высокодоходные экономики (ВВП > 20000 долл.) Экономики, не относящиеся к высокодоходным (ВВП < 20000 долл.)
550
500
450
400
350
300
Шанхай (Китай)
Тайбэй . (Китай)..
Новая Зеландия
Южная 'Корея"
Япония Австралия • Польша Эстошт германия.. _ :Венгрия_в.
Финляндия Канада ;
Хорватия Словакия • <
Нидерланды
.....Бельгия...;...............
Швеция; Исландия Норвегия Швейцария
США-
Турция Россия Чехия
• Франция Португалия Чили Греция; Израиль Мексика
ф Колумбия ■•Бразилия........
Кыргызстан
Таиланд
»»■Дания Великобритания i .Австрия Италия
.........Словения................
Ирландия Испания
Люксембург •
Расходы на образование, тыс. долл. США по ППС
20
40
60
80
100
120
140
160
Мнения участников образовательного процесса (учителей, родителей, учеников, администраторов) [Авраамова и др., 2015] в силу применяемого инструмента могут больше рассказать о респондентах, чем о ситуации в образовательной системе.
3. Заключение Представленный в статье анализ индикаторов деятельности системы образования и показателей результатов этой деятельности для конечного потребителя свидетельствует о том, что, начиная с некоторых пороговых значений, прирост показателей масштаба системы образования, объема и качества вовлеченных в образование ресурсов не сопровождается ростом результатов для конечного потребителя (человека, общества, экономики). Иными словами, гипотеза о том, что связь между ресурсами, учебными достижениями, масштабами системы образования, с одной стороны, и результатами деятельности этой системы, с другой, описывается кривой насыщения, не находит подтверждения. После достижения определенного уровня наступает «пресыщение», т. е. наращивание потенциала не влечет за собой прирост результатов.
В связи с этим возникает необходимость пересмотра сегодняшних подходов к формированию показателей для оценивания образовательных систем и их прогресса и в целом, и применительно к мониторингу программ развития образования.
Во-первых, надо стремиться использовать не внутрисистемные, промежуточные показатели, а показатели эффектов, результатов для конечных пользователей. Результаты образования для человека выражаются в его успешной социализации в послешкольной жизни. Из существующих в настоящее время показателей для оценки социализации в наибольшей степени подходит «доля населения, которая не обучается и не работает» (NEET). Безусловно, на значение этого показателя оказывают влияние и другие факторы, в частности безработица, но социализация выпускников, которую он характеризует, не может не быть, пусть частично, результатом образования.
Во-вторых, в тех случаях, когда использование для оценки образовательных систем или для контроля достижения целей программ развития образования внешних по отношению к системе показателей ограничено объективными причинами, применение индикаторов образования возможно только при условии доказанной положительной корреляции прироста ресурсов с показателями результатов для конечного пользователя, связи характеристик потенциала и внешних по отношению к системе эффектов. Необходимо также разрабатывать паллиативные методы оценки для наиболее развитых образовательных систем, поскольку, как показал представленный выше анализ, применение для их оценки показателей потенциала неправомерно.
Применительно к разработке национальных или региональных программ развития образования использование показателей, отражающих увеличение объема или повышение качества ресурсов, вовлеченных в образование, а также количественных характеристик масштаба системы (охват образованием по отдельным уровням и программам, уровень образования населения и т. п.) в качестве целевых показателей порождает реальный риск недостижения конечных целей программы, поскольку за границами определенных значений повышение объема или качества ресурсов может не оказывать никакого влияния на достижение конечной цели. Более того, возникает реальный риск неэффективного использования выделенных на программу средств, направляемых на увеличение ресурсов.
1. Авраамова Е. М., Александрова О. А., Белановский С. А. , Клячко Т. Л. Литература и др. (2015) Общее образование: мониторинг эффективности. М.: Изд.
дом «Дело» РАНХиГС.
2. Агранович М. Л. (2017) Индикаторы достижения целей устойчивого развития в сфере образования и национальная образовательная
политика // Вопросы образования/Educational Studies Moscow. № 4. С. 242-264. doi: 10.17323/1814-9545-2017-4-242-264.
3. Агранович М. Л. (2010) Оценка эффективности деятельности региональных органов исполнительной власти в сфере образования // Журнал руководителя управления образованием. № 6. C. 39-51.
4. Новиков А. М., Новиков Д. А. (2006) Как оценивать качество образования? http://www.anovikov.ru/artikle/kacth_obr.htm.
5. Селиверстова И. В. (2018) Выход на рынок труда: шесть тезисов о трудоустройстве выпускников СПО и проблемах на их пути // Система подготовки кадров: точки роста. Вып. 2. М.: АНО «Национальное агентство развития квалификаций», «Полиграф сервис».
6. Статистическая комиссия Экономического и социального совета ООН (2016) Доклад Межучрежденческой группы экспертов по показателям достижения целей в области устойчивого развития. https://unstats. un.org/unsd/statcom/47th-session/documents/2016-2-SDGs-Rev1-r.pdf.
7. Gracey S., Kelly S. (2010) Changing the NEET Mindset: Achieving More Effective Transitions between Education and Work. London: Learning and Skills Network.
8. Hanushek E. A., Woessmann L. (2007) The Role of Education Quality in Economic Growth. Policy Research Working Paper No 4122. Washington, DC: World Bank.
9. Jung Dae Bum (2015) Effectiveness of Higher Education to Labor Productivity // Jinju Health College PEOPLE: International Journal of Social Sciences. Vol. 1. No 1. P. 11-22.
10. Mullis I. V.S., Martin M. O., Foy P., Hooper M. (2016) TIMSS2015. International Results in Mathematics. Boston: IEA and its TIMSS & PIRLS International Study Center at Boston College.
11. OECD (2004) Learning for Tomorrow's World. First Results from PISA 2003. Paris: OECD.
12. OECD (2010) Review on Evaluation and Assessment. Frameworks for Improving School Outcomes. New Zealand Background Report. Paris: OECD.
13. OECD (2012a) Does Money Buy Strong Performance in PISA? PISA in Focus No 13. Paris: OECD.
14. OECD (2012b) Education System Evaluation in OECD. Reviews of Evaluation and Assessment in Education. Paris: Czech Republic OECD Publishing. doi.org/10.1787/ 9789264116788-en.
15. OECD (2012c) PISA in Focus 2012/2. Paris: OECD. http://dx.doi. org/10.1787/5k9fhmfzc 4xx-en.
16. OECD (2016a) Education at a Glance, 2016. Paris: OECD.
17. OECD (2016b) PISA 2015 Results in Focus. Paris: OECD.
18. OECD (2016c) Skills Matter: Further Results from the Survey of Adult Skills. OECD Skills Studies. Paris: OECD.
19. OECD (2017) Education at a Glance, 2017. Paris: OECD.
20. OECD (2018) Education at a Glance, 2018. Paris: OECD.
21. Pfeffer F. T., Hertel F. R. (2015) How Has Educational Expansion Shaped Social Mobility Trends in the United States? // Social Forces. Vol. 94. Iss. 1. P. 143-180. https://doi.org/10.1093/sf/sov045.
22. Siraj I., Hollingworth K., Taggart B., Sammons P., Melhuish E., Sylva K. (2014) Report on Students Who Are not in Education, Employment or Training (NEET). London: Institute of Education, University of London.
23. Succi Ch., Canovi M. (2019) Soft Skills to Enhance Graduate Employabi-lity: Comparing Students and Employers' Perceptions // Studies in Higher Education. doi: 10.1080/03075079.2019.1585420.
24. Torche F. (2011) Is a College Degree Still the Great Equalizer? Intergene-rational Mobility across Levels of Schooling in the United States // American Journal of Sociology. Vol. 117, No 3. P. 763-807.
25. UNDP (2018) Human Development Indices and Indicators 2018 Statistical Update. New York: UNDP.
Educational Resources: Saturation or Satiety?
Author Mark Agranovich
Candidate of Sciences in Economics, Director of the Research Center for Monitoring and Statistics of Education, Federal Institute for the Development of Education, Russian Presidential Academy of National Economy and Public Administration. Address: Bld. 9-1, Chernyakhovskogo Str., 125319 Moscow, Russian Federation. E-mail: agranovich-ml@ranepa.ru
Abstract The article explores the methodological issues of education system evaluation.
Such evaluation, based on the comparative analysis of national and regional education systems, is an important source of information for education policy design and implementation through educational development programs. The existing approaches to and methods of education system evaluation are discussed. It is shown that they are based on internal indicators, not those perceived by end users or the effects external to the system. Even though there have been some objective reasons for using such approach, it remains unclear to what extent its results reflect the educational outcomes for the end users— that is, individuals, society, and economy? Statistical analysis methods are applied to OECD education statistics to investigate the relations between the education indicators characterizing the level of educational attainment, education accessibility, and the amount and quality of the resources involved, on the one hand, and the outcome effects for individuals, society, and economy. Where such relations are observed, they tend to be non-smooth and only manifest themselves up to a certain point in the vast majority of cases. Such cessation of growth in the outcome indicators that happens after achieving certain levels of resources involved, educational attainment, and other education indicators can be described as oversaturation or satiety effect. Inferences about the limitations and conditions of applying education indicators in education system evaluation are drawn from the findings.
Keywords education system evaluation, education indicators, external effects, outcome indicators for end users.
References Agranovich M. (2017) Indikatory dostizheniya tseley ustoychivogo razvitiya v sfere obrazovaniya i natsionalnaya obrazovatelnaya politika [Achievement Indicators for Sustainable Development Goals in Education and National Education Policies]. Voprosy obrazovaniya/Educational Studies Moscow, no 4, pp. 242-264. doi: 10.17323/1814-9545-2017-4-242-264. Agranovich M. (2010) Otsenka effektivnosti deyatelnosti regionalnykh organov ispolnitelnoy vlasti v sfere obrazovaniya [Evaluating Efficiency of Regional Executive Authorities in Education]. Zhurnal rukovoditelya upravleniya obrazovaniem, no 6, pp. 39-51. Avraamova Y., Aleksandrova O., Belanovsky S., Klyachko T. et al. (2015) Ob-shchee obrazovanie: monitoring effektivnosti [Monitoring the Efficiency of General Education]. Moscow: Delo, Russian Presidential Academy of National Economy and Public Administration RANHiGS. Gracey S., Kelly S. (2010) Changing the NEET Mindset: Achieving More Effective Transitions between Education and Work. London: Learning and Skills Network.
Hanushek E. A., Woessmann L. (2007) The Role of Education Quality in Economic Growth. Policy Research Working Paper No 4122. Washington, DC: World Bank.
Jung Dae Bum (2015) Effectiveness of Higher Education to Labor Productivity. Jinju Health College PEOPLE: International Journal of Social Sciences, vol. 1, no 1, pp. 11-22.
Mullis I. V.S., Martin M. O., Foy P., Hooper M. (2016) TIMSS2015. International Results in Mathematics. Boston: IEA and its TIMSS & PIRLS International Study Center at Boston College.
Novikov A., Novikov D. (2006) Kak otsenivat kachestvo obrazovaniya? [How to Evaluate Education Quality?] Available at: http://www.anovikov.ru/artikle/ kacth_obr.htm (accessed 10 October 2019).
OECD (2004) Learning for Tomorrow's World. First Results from PISA 2003. Paris: OECD.
OECD (2010) Review on Evaluation and Assessment. Frameworks for Improving School Outcomes. New Zealand Background Report. Paris: OECD.
OECD (2012a) Does Money Buy Strong Performance in PISA? PISA in Focus No 13. Paris: OECD.
OECD (2012b) Education System Evaluation in OECD. Reviews of Evaluation and Assessment in Education. Paris: Czech Republic OECD Publishing. doi. org/10.1787/9789264116788-en.
OECD (2012c) PISA in Focus 2012/2. Paris: OECD. http://dx.doi. org/10.1787/5k9fhmfzc4xx-en.
OECD (2016a) Education at a Glance, 2016. Paris: OECD.
OECD (2016b) PISA 2015 Results in Focus. Paris: OECD.
OECD (2016c) Skills Matter: Further Results from the Survey of Adult Skills. OECD Skills Studies. Paris: OECD.
OECD (2017) Education at a Glance, 2017. Paris: OECD.
OECD (2018) Education at a Glance, 2018. Paris: OECD.
Pfeffer F. T., Hertel F. R. (2015) How Has Educational Expansion Shaped Social Mobility Trends in the United States? Social Forces, vol. 94, iss. 1, pp. 143180. https://doi.org/10.1093/sf/sov045.
Seliverstova I. (2018) Vykhod na rynok truda: shest tezisov o trudoustroystve vypusknikov SPO i problemakh na ikh puti [Entering the Labor Market: Six Talking Points on Employability of Vocational Graduate and the Challenges They Face]. Sistema podgotovki kadrov: tochki rosta. Vyp. 2 [Human Resource Training System: Points of Growth. Iss. 2] (ed. A. Leybovich), Moscow: National Qualifications Development Agency, Autonomous Non-Profit Organization; Poligraf servis.
Siraj I., Hollingworth K., Taggart B., Sammons P., Melhuish E., Sylva K. (2014) Report on Students Who Are not in Education, Employment or Training (NEET). London: Institute of Education, University of London.
Statistical Commission of the United Nations Economic and Social Council (2016) Doklad Mezhuchrezhdencheskoy gruppy ekspertov po pokaza-telyam dostizheniya tseley v oblasti ustoychivogo razvitiya [Report of the Inter-Agency and Expert Group on Sustainable Development Goal Indicators]. Available at: https://unstats.un.org/unsd/statcom/47th-session/ documents/2016-2-SDGs-Rev1-r.pdf (accessed 10 October 2019).
Succi Ch., Canovi M. (2019) Soft Skills to Enhance Graduate Employability: Comparing Students and Employers' Perceptions. Studies in Higher Education. doi: 10.1080/03075079.2019.1585420.
Torche F. (2011) Is a College Degree Still the Great Equalizer? Intergenerational Mobility across Levels of Schooling in the United States. American Journal of Sociology, vol. 117, no 3, pp. 763-807.
UNDP (2018) Human Development Indices and Indicators 2018 Statistical Update. New York: UNDP.
