CC BY-NC-ND
46
Ю. А. Тюменева, Ю. В. Кузьмина
ЧТО ДАЕТ ГОД ОБУЧЕНИЯ
РОССИЙСКОМУ ШКОЛЬНИКУ
На материалах PISA-2009: грамотность чтения1
На данных PISA-2009 (чтение) исследовалась эффективность одного года обучения в семи странах: России, Чехии, Венгрии, Словакии, Германии, Канаде и Бразилии. Использовалась инструментальная переменная, что позволило оценить эффект одного года обучения нестрогим методом разрывности регрессии. Анализ проведен как для общей и профессиональной программ обучения совокупно, так и отдельно для общеобразовательных школ. Установлено, что в России для учащихся всех программ совокупно эффективность одного года школьного обучения незначима. В странах, практикующих раннее разделение на общую и профессиональную программы, эффективность обучения ниже, чем в странах, где все 15-летние обучаются на общей программе. Эффективность одного года обучения для учащихся общеобразовательных программ значима во всех странах. Для учащихся профессиональных программ характерна низкая эффективность обучения по сравнению с общеобразовательной траекторией. Сила и направление связи социально-экономического статуса семьи и эффективности школьного обучения сильно зависят от системы образования и варьируют от страны к стране. Для России, так же как для некоторых других стран, эффективность обучения не зависит от социально-экономического статуса учащихся. Обсуждается значение полученных результатов для оценки эффективности обучения, и в частности для справедливого оценивания национальных достижений в странах с разным набором образовательных траекторий. *
Исследование осуществлено в 2012 г. в рамках Программы фундаментальных исследований НИУ ВШЭ. Авторы выражают искреннюю благодарность Мартину Карною, профессору Стэнфордского университета, научному руководителю Международной лаборатории анализа образовательной политики НИУ ВШЭ, и Прашанту Лоялке, профессору Стэнфордского университета, старшему научному сотруднику Международной лаборатории анализа образовательной политики НИУ ВШЭ, за методологическую помощь в анализе данных.
Статья поступила в редакцию в сентябре 2012 г.
Аннотация
107
Практика
Ключевые слова: школа, эффективность обучения, межстрановые сравнения, образовательные траектории, общеобразовательные программы, профессиональные программы, предпрофессиональные программы, PISA, чтение.
Значение данных об эффективности школьного образования для людей, управляющих образовательной политикой на любом ее уровне, трудно переоценить. Вывод об эффективности школы может быть сделан, если есть информация о приросте достижений ученика в той области, которая интересует управленца или исследователя, за фиксированный период времени. Такую оценку можно осуществить в лонгитюдных исследованиях. К сожалению, лонгитюдные данные дороги и редки.
В некоторых случаях выводы об эффективности обучения можно сделать и на основе данных срезового исследования. Один из таких случаев — Международная программа по оценке образовательных достижений учащихся (PISA). Правда, зачастую уже сами достижения (а не их прирост) в тесте PISA рассматриваются как мера школьной эффективности. Провалы в средних национальных достижениях по тестам PISA, так же как и успехи, широко обсуждаются в прессе, в том числе профессиональной, во многих странах. Однако прямое использование результатов PISA не может вывести исследователя на оценку эффективности школы, и тому есть несколько причин.
Различия результатов между странами могут быть обусловлены множеством факторов. Часть из них явно не имеет прямого отношения к эффективности национальных образовательных систем. К примеру, позднее начало периода обучения в некоторых странах (скажем, с 7 лет) приводит к тому, что к моменту участия в PISA школьники учатся меньше, чем их сверстники из стран с более ранним школьным стартом (с 5 или с 6 лет). Кроме того, в исследовании PISA могут участвовать учащиеся из разных образовательных программ, например общего и профессионального образования. Безусловно, разное соотношение долей 15-летних учащихся из этих программ в разных странах может быть еще одним источником межнациональных различий в результатах оценки.
Уже эти две характеристики выборки участников PISA делают очевидной проблематичность использования простого сравнения достижений в данной программе в качестве критерия при оценивании эффективности национальных систем образования. Результаты учащихся в PISA представляют собой, скорее, кумулятивный эффект возраста, опыта обучения, учебных программ и домашней среды учеников, и отделить влияние обучения от всех остальных факторов достаточно сложно.
Тем не менее исследование PISA дает превосходный материал для оценки эффективности школьного обучения, если применять для анализа более комплексные методы. В выборку PISA попадают 15-летние учащиеся разных классов (в большинстве
108
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
стран — участниц исследования 15-летние подростки обучаются в 9-х и 10-х классах), т.е. проучившиеся разное количество лет. Если школьное обучение оказывает влияние на умение учащихся применять полученные знания в ситуациях, приближенных к реальным (на оценку этих умений направлены задачи PISA), то ученики, проучившиеся дольше, должны решать эти задачи лучше тех, кто проучился меньше. Простое сопоставление результатов 15-летних 9-классников и 10-классников показывает, что это действительно так: более высокие достижения 10-классников по сравнению с 9-классниками наблюдаются во всех странах и во всех волнах исследования [OECD, 2010]. Этот принципиальный методический ход положен в основу оценки эффективности школы по срезовым данным PISA.
К сожалению, такого простого сравнения еще недостаточно для вывода об эффективности одного года обучения в школе. Множество разных факторов неизбежно будет искажать картину. Прежде всего увеличение достижений в 10-м классе по сравнению с 9-м может быть связано с эффектом взросления2. Во-вторых, учащиеся одного возраста, но из двух последовательных классов, имели разный возраст при поступлении в школу, т.е. те, кто на момент исследования был в 10-м классе, начали школьное обучение в более раннем возрасте. Более ранний школьный старт может быть связан с характеристиками семьи ребенка и его предшкольной подготовкой: более способные и подготовленные дети могут пойти в 1-й класс раньше своих менее подготовленных сверстников. Впоследствии разница в достижениях между 9-классниками и 10-классниками, возможно, будет определяться этой изначальной подготовленностью, образованием и мотивацией родителей, а не только дополнительным годом обучения.
Наконец, в России и во многих других странах 15-летние школьники могут обучаться по программе профессионального, а не общего образования. Если мы хотим оценить эффективность школьного обучения, то сравнивать выборку 15-летних 9-классников, которые обучаются в общеобразовательных школах, с выборкой 15-летних, часть из которых учится в системе НПО или СПО, некорректно.
Все эти проблемы должны быть процедурно решены, если мы хотим аккуратно оценить эффективность одного года школьного обучения3.
Перед данным исследованием были поставлены следующие вопросы.
2
3
Хотя в исследовании PISA принимают участие 15-летние школьники, максимальная разница в возрасте между учениками в выборке может достигать одного года (без одного дня). Во всех странах средний возраст 10-классников хоть ненамного, но больше среднего возраста 9-классников.
Для краткости мы будем называть эффект одного года обучения грейд-эффектом (grade effect), используя устоявшееся в англоязычной литературе выражение.
109
Практика
1. Какова эффективность одного года школьного обучения в России и в других странах, показавших разные достижения в PISA?
2. Какова эффективность одного года учебы для учеников из общеобразовательной траектории в России и в других странах, где есть разделение учеников на разные виды программ?
3. В какой степени эффективность одного года школьного обучения связана с социально-демографическими характеристиками учеников?
1. Обзор исследований эффективности школьного обучения
Предыдущие исследования эффективности школ, в которых использовались срезовые данные, фокусировались вокруг четырех тем. Во-первых, оценивался абсолютный эффект школьного обучения [Ceci, 1991; Cascio, Lewis, 2006; Cahan, Davis, 1987; Cliffordson, 2010; Frenette, 2008; Luyten, 2006]. Во-вторых, выявлялись факторы, сопряженные с эффективностью обучения в школе [Heck, Moriyama, 2010; Artman, Cahan, Avni-Babad, 2006]. В-третьих, определялся оптимальный возраст для начала школьного обучения [Fertig, Kluve, 2005; Mayer, Knutson, 1997; Sprietsma, 2010]. В-четвертых, эффект обучения сравнивался с эффектом взросления [Alexander, Martin, 2004; Cahan, Cohen, 1989; Cahan, Davis, 1987; Cliffordson, 2010; Crone, Whitehurst, 1999].
Наша работа в основном посвящена оценке абсолютного эффекта дополнительного года школьного обучения. Наиболее распространенным методом оценки грейд-эффекта с помощью сре-зовых данных является метод разрывности регрессии (Regression Discontinuity Analysis, RD-анализ [Imbens, Lemieux, 2008]).
Применение RD-анализа для оценки грейд-эффекта основано на том факте, что во всех странах основным критерием для начала школьного обучения является достижение ребенком школьного возраста. Таким образом, возраст — это критериальная переменная для начала школьного обучения. Важное условие применения RD-анализа состоит в наличии точки прерывности (cut-off point) в критериальной переменной, т.е. некоторого порогового значения, после достижения которого вероятность поступления в школу должна резко снижаться. В исследованиях грейд-эффекта такой пороговой точкой считается дата, к которой, согласно законодательству той или иной страны, ребенок должен достигнуть возраста приема в школу. Например, для Германии такой датой является 1 июля, а для Словакии — 1 сентября.
От того, насколько строго соблюдается правило порогового возраста при приеме в школу, зависит выбор вида RD-анализа: он может быть строгий (sharp) и нестрогий (fuzzy). Если в выборке меньше 5 % учеников, пошедших в школу с нарушением существующего правила, то можно использовать строгий тип анализа. В ином случае необходимо применять нестрогий тип RD-анализа. Подробнее о разновидностях метода будет сказано позже.
110
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
Метод RD позволяет устранить погрешности, вызванные первыми двумя из трех описанных выше факторов, искажающих выводы об эффективности школы (взросление, неслучайный ранний школьный старт и обучение по разным образовательным программам). Для процедурного решения проблем оценки эффективности года обучения в школе, обусловленных разделением обучения на разные виды программ, метода RD недостаточно.
Во всех рассматриваемых ниже исследованиях RD использован как основной метод, так что мы не будем это специально оговаривать.
Обычно период обучения, эффект от которого оценивается, равен одному году. Сравнивалась разница в достижениях между двумя группами учащихся — имевших и не имевших этот «дополнительный» год обучения. Оцененный эффект варьировал от 0,18 [Cascio, Lewis, 2006] до 0,53 [Luyten, 2006] в единицах стандартного отклонения и зависел от возраста учащихся, расы и оцениваемой когнитивной области. С. Сеси в своем обзоре исследований эффекта школьного обучения приводит данные в единицах шкалы IQ: разброс эффекта школы составил от 0,25 до 6 IQ-баллов [Ceci, 1991].
Судя по исследованиям, в которых анализировали^ данные PISA, половина от стандартного отклонения баллов — это типично обнаруживаемая эффективность одного школьного года жизни. М. Френетт [Frenette, 2008] показал, основываясь на канадских данных PISA, что наиболее чувствительны к школьному обучению чтение и математика (0,41 SD), а наименее чувствительны естественные науки (0,33 SD). Однако опять же результаты могли различаться в разных социально-экономических группах учащихся.
Судя по анализу данных TIMSS4 (когда национальный дизайн этого исследования включает детей разных когорт), дополнительный год обучения вносит позитивный вклад в достижения, который, однако, существенно различается по разным странам, предметам и школам [Luyten, 2006]. Кроме того, эффект года обучения зависит от уровня достижений в младшем классе: при высоких достижениях грейд-эффект мал. Вновь было обнаружено, что для естественных наук эффективность дополнительного года обучения меньше, чем для математики, во всех рассматриваемых странах, исключая Исландию. Эффективность года обучения для математики варьировала от приблизительно 0,25 SD (Англия) до 0,8 SD (Норвегия), для естественных наук — от 0,19 SD (Англия) до 0,53 SD (Норвегия).
Интересно отметить, что оцененная эффективность года обучения оказалась никак не связана с рейтингом страны в PISA или TIMSS. Иными словами, национальные достижения и эффективность года обучения имеют, по-видимому, разное происхождение:
4 TIMSS — Trends in Mathematics and Science Study, Международное сравнительное мониторинговое исследование качества математического и естественнонаучного образования.
111
Практика
средний балл в PISA/TIMSS, как уже было отмечено, представляет собой, скорее, результат кумулятивного влияния самых разных факторов, тогда как грейд-эффект точно показывает вклад школьного обучения в национальные достижения.
Среди факторов, которые изменяют эффект школьного обучения, исследователи называют пол (для девочек эффект школьного обучения выше, чем для мальчиков) и количество книг в доме (чем их больше, тем выше грейд-эффект) [Luyten, 2006], хотя данные зависимости и не являются устойчивыми для всех исследованных стран. На величину грейд-эффекта оказывает влияние также практика преподавания, которая оценивалась на основании показателей качества преподавания, поддержки учеников, профессиональной подготовки учителя, внимания со стороны школы к улучшению качества ведения уроков. Этот фактор способен изменить эффект одного года обучения на половину его исходной величины [Heck, Moriyama, 2010].
Для всех рассмотренных выше исследований характерны две особенности дизайна. Во-первых, они использовали преимущественно такие национальные выборки, где пороговый возраст поступления в школу выдерживается строго, так что исследователям не нужно было учитывать влияние всех возможных латентных переменных, связанных с более ранним или более поздним поступлением ребенка в школу. Лишь в редких случаях, например на выборке PISA в Германии [Fertig, Kluve, 2005], анализ проводился на выборках, где не соблюдалось правило порогового возраста и требовалось введение инструментальных переменных для контроля влияния ненаблюдаемых факторов.
Во-вторых, оценивая эффект школьного обучения, авторы имели дело только с одним образовательным треком — общим образованием. В исследуемых странах система образования предлагает только одну образовательную траекторию для возрастной когорты, на которой проводится исследование. К примеру, в Швеции, Англии, Канаде, Исландии и некоторых других странах, где авторы оценивали эффективность обучения в отношении результатов PISA, все 15-летние учащиеся учились по общеобразовательным программам. В исследованиях, использующих какие-то другие объективные результаты обучения (например, баллы по тестам способностей или результаты экзаменов), также все учащиеся обучались к моменту тестирования по какой-то одной образовательной программе. Иногда попадание в ту или иную программу обучения рассматривалось как результат предыдущего обучения или возраста, в котором ребенок пошел в школу (например, [Sprietsma, 2010]). В этом случае опять-таки не требовалось предпринимать никаких дополнительных шагов, чтобы учесть обучение по разным программам, поскольку обучение выступало в качестве независимой переменной в анализе.
Нам не удалось найти работ по анализу эффективности школьного обучения с помощью данных срезовых исследований, где
112
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
авторы учитывали бы обучение по разным программам как фактор, смещающий оценку грейд-эффекта. Но наличие нескольких программ, отбор на которые происходит по неизмеренным характеристикам, — это ситуация, характерная для многих стран, в том числе и для России. Методологическая возможность учесть этот фактор важна для справедливого сравнения эффективности школы в целом и разных программ обучения как между странами, так и внутри одной страны.
По данным PISA, учащиеся профессиональных училищ систематически показывают результаты ниже, чем ученики общеобразовательных школ. Явные различия в академических результатах между этими двумя группами учащихся проявляются во всех странах, где существует такое разделение учебных программ, в том числе в России [Первые результаты...; OECD, 2010]. Обычно профессиональное и общее полное образование — это совершенно независимые ветви образования, разница же между национальными системами заключается в том, насколько рано возникает необходимость выбора (и отбора) между разными программами и какие варианты программ предлагаются. Как правило, эти направления подготовки отличаются друг от друга не только учебным содержанием, но и уровнем способностей у учеников, отобранных на них [Hanushek, WoRmann, 2006].
И преимущества, и недостатки профессионального обучения неоднозначны. С одной стороны, профессиональные программы обучения могут быть хорошим вариантом для тех, кто иным образом не стал бы продолжать обучение после получения основного образования. С другой стороны, маловероятно, что после начального профессионального обучения молодой человек продолжит образование на более высоком уровне [Gangl, Muller, Raffe, 2003. P. 296].
Одним из преимуществ отбора на разные типы программ исследователи называют большую гомогенность групп учеников, в которых учителю, конечно, легче вести обучение. Он может выстраивать занятия, ориентируясь на уровень способностей учащихся, разброс показателей которого в группе невелик, и в итоге такая селекция оказывается полезна всем ученикам. Аргументом против отбора на общие и профессиональные программы обучения обычно служит то, что в случае концентрации плохо успевающих детей на программах профессионального образования теряется позитивный эффект группы сверстников. И хотя многие авторы предупреждают о преждевременности окончательных выводов (например, [Manning, Pischke, 2006]), в целом профессиональные программы подготовки имеют, скорее, плохую репутацию у исследователей: по их мнению, данные программы не только воспроизводят изначальное социальное неравенство через систему профподготовки, но и пагубно влияют на формирование различных умений [Hanushek, WoRmann, 2006; Ammermuller, 2005; Schutz, Ursprung, WoRmann, 2005].
113
Практика
№
Приведенных данных достаточно, чтобы продемонстрировать потенциальную необъективность сравнения эффективности образовательной системы с несколькими программами подготовки и системы, где учащиеся остаются в траектории общего образования. Правильно учесть факт обучения на разных программах — это довольно серьезная методологическая проблема, суть которой мы коротко поясним ниже. До сих пор не было попыток (во всяком случае, нам эти попытки неизвестны) оценить по результатам PISA эффективность образования в странах, где 15-летние учащиеся могут обучаться как на общей, так и на профессиональной программе. Иными словами, системы образования, подобные российской, т.е. с нестрогим правилом относительно возраста поступления в 1-й класс и с наличием разных программ обучения для 15-летних учащихся, не были систематически оценены на предмет эффективности года школьного обучения. Этот дефицит мы постараемся восполнить в данной работе.
2. Метод Всего для сравнительного анализа выбрано семь стран: Россия, Словакия, Чехия, Германия, Бразилия, Венгрия, Канада. Критерием для отбора этих стран являлись следующие их характеристики.
2.1. Выборка стран и учащихся 1. Эти страны различаются по позиции в рейтинге PISA (показатели России и Бразилии существенно ниже среднего международного значения; показатели Чехии, Словакии, Венгрии и Германии немного ниже или равны среднему международному значению; показатель Канады выше среднего международного значения). 2. Эти страны различаются по социально-экономическим характеристикам. 3. В этих странах большинство учеников в выборке PISA учатся в 9-х и 10-х классах. 4. Эти страны различаются в отношении возможностей выбора образовательных траекторий, которые дает ученикам 9-х и 10-х классов образовательная система: в России, Словакии и Чехии 9-классники учатся в общеобразовательных школах, а после 9-го класса происходит разделение траекторий; в Германии, Бразилии и Канаде нет разделения траекторий, все 9-классники и 10-класс-ники учатся в общеобразовательных школах; в Венгрии разделение траекторий происходит до 9-го класса. Первоначально выборка состояла из 15-летних учащихся, отобранных в рамках программы PISA для участия в исследовании. В целях данной работы из выборки были удалены учащиеся, хотя бы раз остававшиеся на второй год, поскольку их результаты могли исказить оценку эффекта дополнительного года обучения. В большинстве выбранных стран второгодников немного — не более 5 %. Однако в Бразилии второгодники в 9-м классе составляют почти половину общей численности учащихся — 47 %, в Германии их доля ниже, но существенно больше, чем в других странах, — 29%.
114
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
Выбор типа RD-анализа для оценки грейд-эффекта основан на определении пороговой даты и учете распределения учеников разных классов вокруг этой пороговой точки. Важно определить, каков процент детей, которые пошли в школу с нарушением правила порогового возраста, т.е. раньше или позже официально установленного возраста поступления в школу.
Выбор пороговой даты для каждой страны осуществлялся с учетом нескольких критериев: 1) законодательство страны; 2) распределение учеников по датам рождения внутри каждой ступени; 3) резкое снижение вероятности обучения в 10-м классе, если ученик рожден после пороговой даты (для каждой страны построен график вероятности исходя из даты рождения).
В табл. 1 приведены пороговые даты для каждой страны, а также процент школьников, которые пошли в школу с нарушением правила пороговой даты.
Таблица 1 Пороговые даты наступления
возраста, необходимого для начала школьного обучения, и процент школьников, пошедших в школу с нарушением правила пороговой даты
Страна Пороговая дата Доля школьников, пошедших в школу с нарушением правила пороговой даты (%)
Россия 1 октября 52
Канада 1 октября 18
Словакия 1 сентября 17
Чехия 1 сентября 20
Бразилия 1 сентября 29
Германия 1 июля 12
Венгрия 1 июня 20
Как видно из табл. 1, ни в одной из выбранных стран правило пороговой даты не соблюдается жестко (в выборке каждой страны более 5 % учеников начали школьное обучение раньше или позже положенного срока), поэтому для оценки эффекта одного года обучения был выбран нестрогий тип RD-анализа. Как было показано Г. Имбенсом и Дж. Ангристом, для расчета среднего эффекта воздействия в случае нестрогого RD-анализа может быть использован метод инструментальной переменной (IV анализ) [Imbens, Angrist, 1994]. В качестве инструментальной переменной в нашем исследовании выступает возраст. Для расчета эффекта вмешательства используется 2-шаговый метод наименьших квадратов (2-SLS method), на первом шаге рассчитывается регрессия, в которой зависимой переменной становится вероятность обучения в 10-м классе, а возраст ученика является независимой переменной. На втором шаге предсказанная вероятность включается как
№
2.2. Выбор типа RD-анализа
115
Практика
независимая переменная в следующее регрессионное уравнение для результатов по чтению. Полученный коэффициент регрессии для этой переменной и является оцениваемым эффектом одного года обучения. Расчет произведен с помощью программы STATA.
2.3. Оценка эффективности дополнительного года обучения для разных программ
В ряде стран (Чехия, Россия, Словакия) происходит разделение учебных траекторий и после 9-го класса ученик может продолжить обучение в общеобразовательной школе или перейти в школу профессионального или предпрофессионального обучения. В Венгрии такое разделение происходит после 8-го класса, поэтому учащиеся 9-х и 10-х классов могут учиться как в общеобразовательных школах, так и в профессиональных учебных заведениях. Чтобы оценить эффект дополнительного года обучения для разных программ, также использован метод разрывности регрессии.
При этом принципиально важным было правильно отобрать учеников для такого анализа. Если мы сравним всех 9-классников и 10-классников, обучающихся в общеобразовательной школе, мы переоценим эффект дополнительного года обучения, поскольку среди 9-классников будут те, кто затем пойдет в профессиональные школы, и вероятнее всего они будут иметь более низкие результаты PISA. Для оценки грейд-эффекта для учеников общеобразовательной школы проведен RD-анализ на ограниченной выборке: 10-классники из общеобразовательных школ и 9-классники с высокой вероятностью продолжения образования в общеобразовательной школе.
Расчет вероятности продолжения обучения в общеобразовательной школе проводился в два этапа. На первом этапе для всех 10-классников, исходя из их фактического пребывания в общеобразовательной или профессиональной школе, рассчитаны коэффициенты для переменных, которые могут быть связаны с тем, что учащийся может продолжить обучение в общеобразовательной школе. Метод — логистическая регрессия. Зависимой переменной являлось обучение в общеобразовательной школе, независимыми переменными — социально-экономический статус и пол. На втором этапе полученные коэффициенты использовались для расчета прогнозируемой вероятности продолжения обучения в общеобразовательной школе для 9-классников. В результате для RD-анализа отобраны только те 9-классники, которые имеют высокую предсказанную вероятность продолжить обучение в общеобразовательной школе (выше среднего значения по выборке).
Такой отбор 9-классников для анализа позволит более точно оценить именно эффект дополнительного года обучения, а не эффект отсева учащихся с низкими достижениями из общеобразовательной школы. На этой специально отобранной выборке мы оцениваем прирост результатов между 9-классниками с высокими шансами остаться в общеобразовательной траектории и 10-классниками из этой траектории. Таким образом, оцененный
116
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
прирост результатов скорее связан с полученным учебным опытом, а не с тем, что ученики с более низкими результатами ушли из школы.
На этой ограниченной выборке проведен IV анализ по той же схеме, что и для полной выборки. Полученные данные показывают эффект дополнительного года обучения для учащихся общеобразовательных программ.
В Венгрии, где разделение траекторий происходит до 9-го класса и соответственно 9-классники и 10-классники могут учиться как в общеобразовательных, так и в профессиональных школах, расчет грейд-эффекта для общеобразовательных школ произведен на выборке 9-классников и 10-классников, обучающихся в общеобразовательной школе.
Результирующая переменная — результаты PISA-2009 3. Описание
по чтению. переменных
Критериальная и инструментальная переменная — месяц рож- _____________
дения. Так как во всех отобранных странах все ученики родились в один год (1993), месяц рождения является достаточной информацией о возрасте ученика. Для включения в анализ в каждой стране возраст был центрирован относительно соответствующей пороговой даты; при этом создана обратная шкала, с тем чтобы старшие ученики имели более высокие значения по центрированной переменной «возраст». Таким образом, например, если пороговой датой считалось 1 сентября, то ученики, рожденные в сентябре, получали значение по этой переменной, равное 0, рожденные в октябре — равное -1, а в августе — 1.
Переменная воздействия — обучение в 10-м классе. Ученики, обучающиеся в 10-м классе, получали значение переменной, равное 1; те, которые учатся в 9-м классе, — 0. Коэффициент для этой переменной, полученный в результате IV анализа, будет отражать вклад дополнительного года обучения в показатели читательской грамотности.
Другие переменные (ковариаты):
• социально-экономический статус (СЭС). В базе PISA-2009 сводный индекс социально-экономического статуса является комплексным показателем, в который входит информация об образовательном уровне родителей, их профессиональном статусе и материальном положении семьи. Среднее международное значение СЭС равно 0, стандартное отклонение -1;
• пол. Девочкам присвоено значение 1 по этой переменной, мальчикам — 0;
• местоположение школы. Образовано четыре вспомогательные переменные: 1) школа в деревне; 2) школа в поселке (численность населения от 3 до 15 тыс. человек); 3) школа в маленьком городе (численность населения от 15 до 100 тыс.); 4) школа в городе (численность населения от 100 тыс.
117
Практика
до 1 млн). Референтной категорией являлась «школа, расположенная в мегаполисе (численность населения больше 1 млн)». В Словакии, где нет городов с населением больше 1 млн, референтной категорией являлась «школа, расположенная в городе (численность населения от 1 тыс. до 1 млн)».
Оценивалось несколько моделей.
Модель 1. Оценивался только эффект дополнительного года обучения без включения других переменных.
Модель 2. Наряду с грейд-эффектом взяты под контроль другие переменные: СЭС, пол, местоположение школы. В интерпретации результатов мы в большей степени опирались на итоги этой модели, так как она точнее оценивает грейд-эффект, учитывая индивидуальные особенности учеников.
Модель 3. То же, что в модели 2, но дополнительно оценивалось изменение грейд-эффекта в зависимости от СЭС учеников путем включения в модель переменной взаимодействия между СЭС и грейд-эффектом.
Модель 4. То же, что в модели 2, но дополнительно оценивалось изменение грейд-эффекта в зависимости от пола ученика путем включения в модель переменной взаимодействия между полом и эффектом одного года обучения.
В последних трех моделях применялась процедура кластерной коррекции, чтобы учесть эффект группировки учеников по школам. В результате этой процедуры стандартная ошибка и статистическая значимость коэффициентов оцениваются более точно.
4. Результаты В табл. 2 представлено распределение учащихся в составе на______________ циональных выборок, на которых проводился анализ, по различным образовательным программам.
4.1. Описательная ста- Таблица 2 Состав выборки учащихся в отобранных странах (%)
Страны Число учеников в выборке (человек) Доля учащихся разных классов 9-е классы 10-е классы
5 * 5 Z о о л л * О) о л S н о Общее образование Профессиональное образование Общее образование Предпрофес- сиональное образование Профессиональное образование
Россия 5308 60 28 100 81 19
Словакия 4555 36 57 100 29 42 29
Чехия 6064 49 47 100 39 61
Германия 4979 55 33 100 100
Бразилия 20 127 37 36 100 100
Венгрия 4605 67 22 82 18 86 14
Канада 23 207 14 84 100 100
118
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
В табл. 3 для каждой страны представлены результаты по чтению: среднее по стране и отдельно для 9-х и 10-х классов. В приложении (табл. П1) также приведены показатели социально-экономического статуса, доля учащихся женского пола в каждой выборке и количество школ, расположенных в тех или иных типах населенных пунктов.
Таблица 3 Достижения в PISA-2009 (чтение)
по отобранным странам (в баллах)
Россия Сло- вакия Чехия Герма- ния Брази- лия Венгрия Канада
Среднее (станд. откл.) Среднее (станд. откл.) Среднее (станд. откл.) Среднее (станд. откл.) Среднее (станд. откл.) Среднее (станд. откл.) Среднее (станд. откл.)
Среднее по стране 459 (90) 477 (90) 478(92) 497 (95) 412 (94) 494 (90) 524 (90)
9-й класс 455(87) 457 (80) 464(86) 489 (88) 406 (81) 499 (82) 483(89)
10-й класс 485(87) 492 (85) 505 (88) 551 (76) 464 (84) 534 (76) 532 (87)
Как видно из табл. 3, Канада имеет самые высокие средние баллы по читательской грамотности, показатели Германии и Венгрии близки к средним международным (500). Самые низкие баллы по читательской грамотности у Бразилии, они ниже средних международных значений почти на стандартное отклонение. В России также невысокие результаты — на 0,5 стандартного отклонения ниже средних международных.
Для тех стран, где есть разделение на профессиональные и общеобразовательные школы, на рис. 1 представлены результаты в PISA для разных типов школ.
Рис. 1
700
600
500 ^ 400 1 300
LQ
200
100
0
Результаты PISA-2009 по чтению для 9-х и 10-х классов общеобразовательных и профессиональных программ
II
II
II
II
Россия
Чехия
Словакия Венгрия
■ 9-й класс общеобразовательный в 10.й класс профессиональный -9-й класс профессиональный и Ю-й класс предпрофессиональный
■ 10-й класс общеобразовательный
119
Практика
Во всех включенных в исследование странах баллы у 10-классников выше, чем у 9-классников, а баллы учащихся общеобразовательных школ выше, чем у студентов профессиональных учебных заведений. Более того, в России и Словакии средние баллы у 10-классников профессиональных школ ниже, чем у 9-классников общеобразовательных учебных заведений. В Венгрии результаты 9-классников общеобразовательных школ выше, чем у 9-классников общеобразовательных школ в других выбранных странах, — возможно, это одно из следствий отбора в общеобразовательные школы после 8-го класса, которого нет в других странах, включенных в исследование.
4.2. Результаты RD-анализа для учащихся всех программ совокупно
Эффект дополнительного года обучения в России статистически незначим как в модели без ковариатов, так и с ними. В Словакии эффект становится незначимым при включении ковариатов. Полную таблицу результатов можно посмотреть в приложении (табл. П2).
На рис. 2 приведены значения грейд-эффекта для выбранных стран по всем программам совокупно.
Рис. 2 Эффект дополнительного года обучения
для всех программ совокупно (в баллах PISA)
Россия Словакия Венгрия
Чехия Бразилия Канада Германия
0,00 5,00 10,00 15,00 20,00 25,00 30,00 35,00
■ грейд-эффект + ковариаты ■ грейд-эффект
Как видно из рис. 2, в Германии грейд-эффект в чтении наиболее высокий, далее следуют Канада и Бразилия. Если же учитывать индивидуальные особенности учеников и местоположение школы, то Бразилия и Германия являются лидерами по величине грейд-эффекта в чтении. В Словакии эффект одного года значим только в модели 1 — причина, возможно, состоит в том, что разница в результатах между 9-м и 10-м классами частично связана с различным СЭС у 9-классников и 10-классников.
Грейд-эффект наиболее высок в тех странах, где в выборке нет учащихся профессиональных учебных заведений. Мы можем заключить, что наличие 10-классников, обучающихся в профессиональных школах, снижает общие баллы 10-класс-ников и как следствие — оценку грейд-эффекта.
120
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
Что касается зависимости грейд-эффекта от индивидуальных характеристик учеников, на основании проведенного анализа можно сделать вывод, что социально-экономический статус учащихся может изменить величину грейд-эффекта в некоторых странах. В Германии переменная взаимодействия с СЭС имеет отрицательное значение и равна минус 8,5 балла, т.е. дети из семей с высоким социально-экономическим статусом показывают в среднем меньший прирост результатов от 9-го к 10-му классу, и увеличение СЭС на 1 балл по прогнозам влечет за собой снижение эффекта дополнительного года обучения на 8,5 балла. В Венгрии и Словакии, наоборот, дети с более высоким СЭС демонстрируют более значительный прирост баллов: для Венгрии коэффициент переменной взаимодействия грейд-эффекта и СЭС равен 8,8 балла, для Словакии — 12,6 балла. Следовательно, в этих странах обучение в школе более эффективно для детей с высоким социально-экономическим статусом. Так, в Словакии, например, увеличение СЭС на 1 балл влечет за собой прирост грейд-эффекта на 12,6 балла.
Хотя во всех странах девочки имеют более высокие показатели в чтении, прирост результатов от 9-го к 10-му классу одинаков для мальчиков и девочек. Результаты RD-анализа для всех выбранных стран свидетельствуют об отсутствии статистической значимости переменной взаимодействия между грейд-эффектом и полом.
Комментируя значения коэффициентов для других переменных (табл. П1 приложения), можно сказать, что для показателей читательской грамотности имеет значение также местонахождение школы. В России, например, самые высокие показатели у учащихся школ в мегаполисах; учащиеся из школ в других населенных пунктах имеют значимо более низкие баллы. Такая же тенденция прослеживается в Канаде. В других странах дифференциация результатов по типам населенных пунктов не так сильна.
В тех странах, где происходит дифференциация учеников по типам школ, группы учащихся общеобразовательных школ и профессиональных школ значимо различаются по показателям СЭС и пола. В табл. 4 приведены средние показатели СЭС по каждой категории учеников и доли девочек в каждом типе класса.
В целом 10-классники общеобразовательных школ имеют более высокий СЭС, чем 9-классники и 10-классники профессиональных учебных заведений (табл. П5 приложения). Доля девочек среди учащихся в профессиональных учебных заведениях ниже, чем в общеобразовательных школах. Это означает, что социально-экономический статус и пол учащегося могут быть селективными характеристиками для продолжения обучения в общеобразовательной школе (возможно, скорее случайно, чем намеренно).
4.3. Результаты RD-анализа для учащихся общеобразовательных программ
121
Практика
Таблица 4 Средние показатели СЭС по каждой категории
учеников и доли девочек в каждом типе класса (без второгодников). В скобках — стандартное отклонение
Страна* Тип школ СЭС (баллы) Девочки (%)
9-й класс 10-й класс 9-й класс 10-й класс
Россия Общеобра- зовательные -0,21 (0,8) 0,11 (0,75) 50 59
Профессио- нальные -0,23 (0,75) 31
Сло- вакия Общеобра- зовательные -0,1 (0,78) 0,39 (0,84) 44 59
Профессио- нальные -0,48 (0,66) 39
Предпро- фессио- нальные -0,1 (0,71) 66
Чехия Общеобра- зовательные 0,03 (0,71) 0,48 (0,68) 45 64
Профессио- нальные -0,15 (0,64) 49
Венгрия Общеобра- зовательные 0,01 (0,88) 0,11 (0,89) 50 60
Профессио- нальные -0,81 (0,7) -0,89 (0,7) 39 45
* Для стран с разными программами обучения для 15-летних.
Результаты логистической регрессии показывают, что ученики с высоким социально-экономическим статусом и девочки имеют более высокую вероятность продолжить обучение в общеобразовательной школе (табл. П3 приложения).
В России средний показатель прогнозируемой вероятности продолжить обучение в общеобразовательной школе составляет 0,79, в Словакии — 0,28, в Чехии — 0,37. В табл. 5 указаны численность и характеристики учащихся, которые были отобраны для процедуры RD-анализа как ученики с высокой вероятностью продолжить обучение в общеобразовательной школе. Распределение прогнозируемой вероятности учиться в общеобразовательной школе для 9-классников полностью отображено в приложении (табл. П4).
Таблица 5 Численность 9-классников с высокой вероятностью
продолжения обучения в общеобразовательной школе
Россия Словакия Чехия
Вероятность (критерий для отбора) Больше 0,8 Больше 0,3 Больше 0,4
Численность, чел. 1713 539 1164
Доля от общего числа 58 36 41
9-классников, %
122
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
В целом в Словакии и Чехии меньшая доля 10-классников в выборке обучаются в общеобразовательной школе и вероятность продолжить обучение в общеобразовательной школе для 10-классников ниже по сравнению с Россией, что может отражать более строгий отбор в общеобразовательную школу после 9-го класса.
На рис. 3 представлены значения коэффициентов эффекта дополнительного года обучения для учащихся общеобразовательных программ при контроле социально-демографических характеристик. Для сравнения даны значения эффекта дополнительного года обучения для всех программ в совокупности.
Рис. 3 Эффект дополнительного года обучения
для учащихся всех программ (совокупно) и для общеобразовательной программы (в баллах PISA)
80 70
<
£ 60
X пз
g 50 пз о
3 40 н
ф
-е- 30 -е-
m
20 ф
Q.
^ 10 0
Россия Чехия Словакия Венгрия ■ Грейд-эффект для всех ■ Грейд-эффект для программ (совокупно) общеобразовательных
школ
Как видно из рис. 3, в Венгрии самый низкий эффект дополнительного года обучения для учащихся общеобразовательных школ, и он практически не отличается от эффекта для учащихся всех программ совокупно. В других странах наблюдаются явные различия в эффективности разных программ в отношении развития читательской грамотности учащихся.
В трех странах грейд-эффект для учащихся общеобразовательных школ существенно выше, чем для всех программ в совокупности. В России грейд-эффект для учащихся общеобразовательной программы, в отличие от совокупного эффекта всех программ, статистически значим (в модели с учетом социально-демографических характеристик) и составляет 26,6 балла.
123
Практика
№
5. Обсуждение В Словакии и Чехии, как видно из рис. 3, грейд-эффект для учащихся общеобразовательных программ существенно выше, чем совокупный для всех программ. В этих странах грейд-эффект для общеобразовательных школ выше, чем в любой другой выбранной стране, где нет разделения на разные траектории в 10-м классе. Кроме того, в Словакии и Чехии величина грейд-эффекта может изменяться в зависимости от индивидуальных характеристик ученика. Такой вывод можно сделать на основе значений статистически значимых коэффициентов переменных взаимодействия. Например, в Словакии переменная взаимодействия между грейд-эффектом и переменной «пол» имеет отрицательное значение (-34,3 балла), т.е. у девочек в среднем прирост результатов от 9-го к 10-му классу в общеобразовательной школе на 34 балла меньше. Таким образом, можно сделать вывод, что грейд-эффект в Словакии выше для мальчиков. Переменная взаимодействия между грейд-эффектом и переменной «СЭС» в Чехии для общеобразовательных школ имеет отрицательное значение (-28,3 балла). Следовательно, ученики с низким СЭС в среднем показывают лучший рост результатов от 9-го к 10-му классу, чем ученики с высоким СЭС (так же как и в Германии). В среднем увеличение индекса социально-экономического статуса на 1 балл снижает в Чехии прирост результатов от 9-го к 10-му классу на 28 баллов. В Словакии и Чехии ученики общеобразовательных школ в среднем меньше различаются в показателях читательской грамотности в зависимости от уровня СЭС, что отражается в меньшем значении коэффициентов СЭС для учеников общеобразовательных школ, чем для всех программ в целом. Возможное объяснение данного факта состоит в том, что в общеобразовательные школы Словакии и Чехии попадают дети с гораздо более высоким уровнем СЭС, чем в профессиональные и предпрофессиональные школы. Как следствие, ученики общеобразовательных школ в меньшей степени отличаются друг от друга по уровню СЭС, чем ученики общеобразовательных и профессиональных школ вместе взятых. Целью данной работы было оценить эффективность школьного обучения в России и некоторых других странах, не прибегая к лонгитюдным исследованиям. Международная программа PISA позволяет это сделать, так как включает в выборку детей, проучившихся разное количество лет. Мы смогли достаточно корректно сравнить достижения этих детей и учесть тот факт, что не все они поступили в школу в соответствии со своим возрастом, с помощью метода Regression Discontinuity. Этим же методом на выборке, ограниченной 10-классниками из общеобразовательных школ и 9-классниками с высокой вероятностью продолжения обучения в общеобразовательной школе, был рассчитан грейд-эффект для детей, включенных в разные образовательные программы.
124
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
Методически обеспеченный учет обучения ребенка на разных программах — принципиально новый подход, который позволил расширить список стран, где возможно оценить эффективность школьного обучения на основании результатов в PISA.
Между обнаруженным грейд-эффектом и достижениями страны в PISA-2009 по чтению не выявляется никакой связи. И если для Бразилии разительный контраст между достижениями в PISA (существенно ниже средних международных значений) и ее грейд-эффектом (28 баллов) может быть объяснен исходно слабым стартовым уровнем учащихся, т.е. большим потенциалом роста достижений, то во всех остальных случаях прямого универсального объяснения отсутствию связи между данными показателями найти не удается. Видимо, правильным будет признать, что данные о грейд-эффекте и данные о достижениях происходят из разных источников. Как уже было отмечено, достижения в PISA говорят, скорее, о кумулятивном эффекте всех факторов, связанных с образованием ребенка. Метод RD же позволяет более точно оценить роль школы в этих достижениях.
В данном исследовании эффективность обучения оценивалась с точки зрения роста грамотности только в задачах по чтению, а области математики и естественных наук не затрагивались. Дело в том, что в 2009 г. именно чтение представляло наибольший интерес для организаторов PISA, и поэтому мы можем быть уверены, что именно эта сфера была представлена задачами наиболее полно и тщательно.
Какова эффективность одного года школьного обучения в России и в других странах, показавших разные достижения в PISA? Грейд-эффект в России для учащихся всех программ совокупно оказывается незначимым с точки зрения баллов по чтению в PISA. Это означает, что результаты 15-летних учащихся не зависят от того, проучились ли они 9 или 10 лет к моменту тестирования. Показатель грейд-эффекта в России самый низкий по сравнению с другими странами, включенными в анализ, при этом во всех бывших социалистических странах — Венгрии, Словакии и Чехии — грейд-эффект меньше, чем в Германии, Канаде и даже Бразилии.
Кроме социалистического прошлого Венгрию, Россию, Чехию и Словакию объединяет практика раннего разделения на общую и профессиональную программы обучения. В Венгрии это разделение происходит даже раньше, чем в других исследованных странах, — уже на уровне 9-го класса. С учетом многократно подтвержденного негативного влияния программ профобразования на академические достижения [Hanushek, WoRmann, 2006; Ammermuller, 2005; Schutz, Ursprung, WoRmann, 2005] разумно предположить, что в этом случае мы имеем дело как раз с таким эффектом. И если мы хотим справедливо сравнивать национальные системы образования между собой, то при оценке эффективности таким способом нужно учитывать наличие в стране нескольких образовательных программ.
125
Практика
Какова эффективность одного года учебы для учеников из общеобразовательной траектории в России и в других странах, где есть разделение учащихся на разные виды программ? Эффективность года обучения на общеобразовательных программах оказывается существенно выше, чем эффективность, оцененная в отношении всех программ вместе. Так, для российских школьников, следующих общеобразовательной траектории, обнаруживается значимый грейд-эффект — 26,6 балла. И это, конечно, «хорошая новость» на фоне отсутствия какого-либо эффекта от года учебы для всех 15-летних. Так что школа в России остается действенным средством повышения читательской грамотности, хотя и только для тех учащихся, которые не покидают после 9-го класса стены общеобразовательной школы.
В других странах с двумя программами обучения для 15-летних — в Венгрии, Словакии и Чехии — величина грейд-эффекта для учащихся на общеобразовательной программе также оказывается выше, чем для всей выборки 15-летних.
Означает ли это, что профессиональные программы обучения имеют низкий обучающий эффект по сравнению с общеобразовательным треком (для результатов PISA в чтении). По-видимому, да. Даже при выровненных латентных характеристиках учащихся учреждений общего и профессионального образования первая группа получает от года обучения больше, чем вторая. Сам по себе факт обучения на профессиональной программе означает низкую эффективность обучения, вне зависимости даже от исходных умений и мотивации детей.
Для Чехии рост показателя эффективности при переходе от оценки всех программ совокупно к школьникам только из общеобразовательной траектории оказывается самым существенным из всех отобранных стран, для Венгрии — самым незначительным. Очевидно, этот разброс показателей соответствует дистанции в качестве обучения на разных образовательных треках. В России скачок в треть стандартного отклонения свидетельствует о наличии явных проблем с качеством начального и среднего профессионального образования, по сравнению с тем, которое предлагается учащимся общеобразовательной школы.
В какой степени эффективность одного года школьного обучения связана с социально-демографическими характеристиками школ и учеников? Как правило, сила и направление связи СЭС и эффективности школьного обучения зависят от особенностей национальной системы образования. В данном исследовании эта ранее выявленная закономерность получила подтверждение. Из отобранных стран только одна — Германия показала негативную связь между социально-экономическим бэкграундом школьника и эффективностью его обучения. Возможно, в Германии программа обучения в большей мере учитывает потребности детей с низкими социально-экономическими ресурсами, чем с высокими. Для Чехии такая же негативная связь была выявлена в отношении только
126
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
общеобразовательной программы. Для Словакии и Венгрии обнаружена обратная зависимость: школы с большим успехом обучают детей из семей с высоким социально-экономическим статусом.
Ранее полученные в исследованиях данные о том, что девочки имеют больший прирост результатов в читательской грамотности за дополнительный год обучения, не подтвердились. В отобранных странах эффективность обучения для девочек такая же, как и для мальчиков. Более того, в Словакии девочки имеют даже меньший прирост результатов за год обучения на общеобразовательной программе, чем мальчики.
В России, Бразилии и Канаде эффективность школьного обучения одинакова для детей с любым СЭС и не зависит от пола. Говорит ли это о равенстве образовательных возможностей в этих странах? По-видимому, да. Хотя применительно к России об эффективном использовании этих возможностей приходится говорить только в отношении общеобразовательной школы. Важно также подчеркнуть, что здесь речь идет об эффективности с точки зрения прироста достижений за один год, но это не означает, что дети с разными социально-демографическими характеристиками имеют равные достижения. Действительно, учащиеся из деревенских школ демонстрируют худшие результаты по сравнению с учениками городских школ, но связано это, по всей видимости, не с качеством школьного обучения, а с различиями между контингентами учащихся. В частности, в городских школах выше уровень среднешкольного социально-экономического статуса, что и определяет разницу в результатах PISA для города и деревни [Кузьмина, Тюменева, 2011]. При этом с точки зрения прироста достижений за один год обучения школы, по всей видимости, одинаковы.
По результатам проведенного исследования применительно к России можно говорить об определенных закономерностях проявления грейд-эффекта. Старт школьной жизни определяется во многом семейными ожиданиями и предварительной подготовленностью ребенка. Более подготовленные дети идут в школу раньше и к моменту тестирования в PISA учатся дольше, чем менее подготовленные. Эффект скрытого семейного присутствия виден в росте достижений детей по мере роста их СЭС. Этот «семейный шлейф» скажется и при отборе детей после 9-го класса, когда примерно пятая часть школьников завершает общее образование и начинает профессиональную подготовку. С этого момента мы имеем два показателя эффективности обучения. Для детей, оставшихся в системе общего образования, один год учебы дает значимый прирост в читательской грамотности: на треть стандартного отклонения. При этом для совокупной группы детей — как покинувших общеобразовательную траекторию, так и оставшихся в ней — не имеет значения, проучились ли они 9 лет или 10: никакого эффекта от года учебы нет.
Простой вывод вытекает из этих двух показателей, и касается он эффективности года обучения для детей, покидающих после
127
Практика
9-го класса общеобразовательную школу: год пребывания в школе для них дает отрицательный эффект5. Подчеркнем, что снижение показателя читательской грамотности в результате одного года учебы происходит у пятой части всех российских школьников.
В заключение мы хотели бы сравнить наши данные, основанные на достаточно строгом квазиэкспериментальном анализе, с результатами недавнего исследования, в котором методом срезов оценивалась динамика становления читательской грамотности у российских школьников [Цукерман, Ковалева, Кузнецова, 2011]. Авторы обнаружили отсутствие прироста достижений в задачах, близких к задачам PISA, между 5-м и 6-м классами общеобразовательной школы. Не рассматривая здесь разницу в дизайне обсуждаемых исследований, важно подчеркнуть непротиворечивость их результатов. И хотя в нашем исследовании удалось обнаружить значимый грейд-эффект для школьников, остающихся после 9-го класса в общеобразовательной траектории, проблема отсутствия эффекта школьного обучения для всей совокупности 15-летних остается, и тем более остается проблема отрицательной эффективности одного года обучения для детей, попадающих на профессиональные программы.
Невозможно, к сожалению, уточнить, какой именно это год обучения: был ли он проведен уже в НПО (СПО) или это какой-то конкретный год обучения в общеобразовательной школе. Как мы уже показали, нельзя точно указать момент, когда начинает появляться «эффект ПТУ»: если ребенок своей личной историей «приговорен» к уходу из школы после 9-го класса, то антиципация этого события (школой, родителями, да и самим ребенком) может сказываться на эффективности его обучения и с начальной школы. Правильней будет говорить о трех разных показателях эффективности года, потраченного на учебу, для трех групп 15-летних в России: положительном и значимом — для группы, оставшейся после 9-го класса в системе общеобразовательной школы, отрицательном — для группы покинувших ее и усредненном и в итоге отсутствующем эффекте для совокупной группы 15-летних.
Как уже упоминалось, все эти оценки касаются прироста только читательской грамотности: мы не оценивали здесь эффективность обучения с точки зрения математической и естественнонаучной грамотности. Судя по предыдущим данным, грамотность чтения и математическая грамотность — наиболее сенситивные к обучению области из оцениваемых тестом PISA, что дает основание ожидать схожих результатов применительно к математике. С другой стороны, работа с текстами (понимание и интерпретация
Авторы оценили эффект года обучения для этих детей по аналогии с тем, как это было сделано для 15-летних, оставшихся в общей школе после 9-класса. Из-за маленького размера этой выборки и плохого соответствия модели данным эти результаты не приводятся. Но, так же как и при косвенном подсчете, прямая оценка эффективности года обучения для детей, ушедших после 9-го класса в систему профобразования, оказалась отрицательной.
128
Ю. А. Тюменева, Ю. В. Кузьмина
Что дает год обучения российскому школьнику. На материалах PISA-2009...
текстов, использование текстов) не является приоритетной для российской основной и старшей школы, так что, возможно, еще и поэтому эффективность обучения в этой области оказалась столь низкой. Дальнейшие исследования, в том числе и на данных PISA-2012, где в фокусе находится уже математическая грамотность, смогут помочь ответить эти вопросы.
1. Кузьмина Ю. В., Тюменева Ю. А. Читательская грамотность 15-лет-
них школьников: значимость семейных, индивидуальных и школьных характеристик // Вопросы образования. 2011. № 3.
С.164-191.
2. Первые результаты международной программы PISA-2009. Материалы для обсуждения http://www.centeroko.ru/public.htm
3. Цукерман Г. А., Ковалева Г. С., Кузнецова М. И. Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников // Вопросы образования. 2011. № 2. С. 123-150.
4. Alexander J. R., Martin F. (2004) The end of the reading age: Grade and age effects in early schooling // Journal of School Psychology. Vol. 42. P. 403-416.
5. Ammermuller A. (2005) Educational opportunities and the role of institutions // ZEW Discussion Papers 05-44.
6. Angrist J. D., Imbens G.W., Rubin D. B. (1996) Identification of causal effects using instrumental variables // Journal of the American Statistical Association. Vol. 91. No. 434. P. 444-455.
7. Artman L., Cahan S., Avni-Babad D. (2006) Age, schooling and conditional reasoning // Cognitive Development. Vol. 21. P. 131-145.
8. Cahan S., Cohen N. (1989) Age versus schooling effects on intelligence development // Child Development. Vol. 60. P. 1239-1249.
9. Cahan S., Davis D. (1987) A between-grade-levels approach to the investigation of the absolute effects of schooling on achievement // American Educational Research Journal. Vol. 24. P. 1-12.
10. Cascio E., Lewis E. (2006) Schooling and the Armed Forces Qualifying Test: Evidence from school-entry laws // The Journal of Human Resources. Vol. 41. No. 2. P. 294-318.
11. Ceci S. J. (1991) How much does schooling influence general intelligence and its cognitive components? A reassessment of the evidence // Developmental Psychology. Vol. 27. P. 703-722.
12. Cliffordson C. (2010) Methodological issues in investigations of the relative effects of schooling and age on school performance: The between-grade regression discontinuity design applied to Swedish TIMSS 1995 data // Educational Research and Evaluation. Vol. 16. P. 39-52.
13. Crone D. A., Whitehurst G. J. (1999) Age and schooling effects on emergent literacy and early reading skills // Journal of Educational Psychology. Vol. 91. P. 604-614.
14. Fertig M., Kluve J. (2005) The effect of age at school entry on educational attainment in Germany // IZA Discussion Paper 1507.
№
Литература
129
Практика
15. Frenette M. (2008) The returns to schooling on academic performance: Evidence from large samples around school entry cut-off // Analytical Studies Branch Research Paper Series 317.
16. Gangl M., Muller W., Raffe D. (2003) Conclusions: Explaining crossnational differences in school-to-work transitions / W. Muller, M. Gangl (eds) Transitions from Education to Work in Europe. The Integration of Youth into EU Labour Markets. Oxford.
17. Hanushek E., WoRmann L. (2006) Does educational tracking affect performance and inequality? Differences-in-differences evidence across countries // Economic Journal. Vol. 116. P. 63-76.
18. Heck R. H., Moriyama K. (2010) Examining relationships among elementary schools’ contexts, leadership, instructional practices, and added-year outcomes: A regression discontinuity approach // School Effectiveness and School Improvement: An International Journal of Research, Policy and Practice. Vol. 21. P. 377-408.
19. Imbens G., Angrist J. (1994) Identification and estimation of local average treatment effects // Econometrica. Vol. 61. No. 2. P. 467-476.
20. Imbens G., Lemieux T. (2008) Regression discontinuity designs: A guide to practice // Journal of Econometrics. Vol. 142. No. 2. P.615-635.
21. Luyten J.W. (2006) An empirical assessment of the absolute effect of schooling: Regression-discontinuity applied to TIMSS-9 // Oxford Review of Education. Vol. 32. P. 397-429.
22. Luyten H., Peschar J., Coe R. (2008) Effects of schooling on reading performance, reading engagement, and reading activities of 15-year-olds in England // American Education Research Journal. Vol. 45. No. 2. P. 319-342.
23. Manning A., Pischke J. (2006) Comprehensive versus selective schooling in England and Wales: What do we know? // CEE Discussion Papers 0066.
24. Mayer M. E., Knutson D. (1997) Does age at enrollment in first grade affect children’s cognitive test scores? Harris School of Public Policy Studies.
25. OECD (2010) PISA-2009 results: What students know and can do: Student performance in reading, mathematics and science. Vol. I. OECD, Paris.
26. Schutz G., Ursprung H., WoRmann L. (2005) Education policy and equality of opportunity // CESifo Working Paper Series 1518.
27. Sprietsma M. (2010) Effect of relative age in the first grade of primary school on long-term scholastic results: International comparative evidence using PISA-2003 // Education Economics. Vol. 18. P. 1-32.
28. Suggate S. P. (2009) School entry age and reading achievement in the 2006 Programme for International Student Assessment (PISA) // International Journal of Educational Research. Vol. 48. P. 151-161.
130
Таблица П1 Результаты PISA-2009 в чтении, показатели СЭС Приложение
и пола учащегося и местоположения школ ______________
Показатели Группа Рос- сия Сло- вакия Чехия Гер- мания Бра- зилия Вен- грия Кана- да
Сред- нее (ст. откл.) Сред- нее (ст. откл.) Сред- нее (ст. откл.) Сред- нее (ст. откл.) Сред- нее (ст. откл.) Сред- нее (ст. откл.) Сред- нее (ст. откл.)
Чтение Вся выборка 459 (90) 477 (90) 478 (92) 497 (95) 412 (94) 494 (90) 524 (90)
9-й класс 455 (87) 457 (80) 464 (86) 489 (88) 406 (81) 499 (82) 483 (89)
9-й класс (общее) 517 (71)
9-й класс(профессиональное) 404 (65)
10-й класс 485 (87) 492 (85) 505 (88) 551 (76) 464 (84) 534 (76) 532 (87)
10-й класс (общее) 498 (82) 558 (60) 590 (58) 547 (71)
10-й класс(профессиональное) 425 (81) 420 (72) 477 (78) 435 (62)
10-й класс (предпрофессиональное) 499 (65)
оео Вся выборка -0,2 (0,8) -0,1 (0,84) -0,1 (0,7) 0,18 (0,9) -1,16 (1,2) -0,2 (0,97) 0,5 (0,8)
% девочек в выборке Вся выборка 50 50 47 49 53 50 50
% школ в деревне Вся выборка 20 11 12 3 4 3 8
% школ в поселках Вся выборка 17 18 25 23 14 17 16
% школ в малых городах Вся выборка 16 54 44 50 31 38 26
% школ в городах Вся выборка 33 17 10 18 32 22 33
131
Практика
Таблица П2 Эффект дополнительного года обучения для
результатов PISA-2009 по чтению (для всех программ)
Россия Сло- вакия Чехия Герма- ния Брази- лия Венгрия Канада
Модель 1 Эффект одного года 10,49 (12,7) 8,36* (4,32) 18,32*** (3,55) 31,84*** (3,65) 24,41*** (5,74) 14,78*** (4,61) 27,47*** (8,23)
Константа 464,78*** (4,34) 477,51*** (3) 479,57*** (2,06) 513*** (2,19) 439,28*** (3,92) 506,48*** (1,7) 508,45*** (7,55)
R2 0,015 0,016 0,039 0,091 0,045 0,025 0,003
Модель 2 Эффект одного года 14,48 (12,21) -2,04 (8,39) 15,12** (6,2) 26,79*** (3,68) 27,96*** (4,8) 13,88*** (4,18) 24,94*** (7,84)
СЭС 29,45*** (2,36) 34,01*** (2,66) 37,24*** (2,61) 33,6*** (2,2) 25,17*** (2,08) 39,77*** (2,56) 26,12*** (1,18)
Пол 44,27*** (2,73) 49,46*** (4,07) 46,04*** (3,99) 32*** (2,9) 22,56*** (2,25) 37,66*** (3,5) 31,83*** (1,73)
Школы в деревне -33,5*** (10,37) -36,58*** (9,99) -31,67*** (11) -36,25 (34,3) -12,38 (8,68) -17,47 (15,34) -25,75*** (5,68)
Школы в поселке -41,1*** (9,55) -11,56 (10,51) -15,58 (11,2) -4,22 (12,52) -5,92 (7,99) 1,68 (6,73) -19,66*** (4,84)
Школы в малом городе -35,45*** (10,81) -3,1 (9,38) -10,51 (10,92) 7,83 (11,36) 11,4 (8,69) 1,21 (5,72) -8,63* (4,98)
Школы в городе -28,84** (10,19) -11,54 (16,75) -6,88 (13,48) 18,58** (8,29) -2,93 (6,45) -13,38*** (4,92)
Константа 473,25*** (9,68) 468,3*** (9,65) 473,46*** (9,97) 486,41*** (11,29) 437,88*** (7,52) 491,01*** (6,39) 492,22*** (8,61)
R2 0,21 0,22 0,22 0,26 0,23 0,29 0,12
Модель 3 Эффект одного года 17,46 (12,67) -1,37 (8,19) 15,11** (6,19) 29,63*** (4) 33,5*** (5,98) 14,04*** (4,27) 23,98*** (9,09)
СЭС 24,73*** (6,48) 25,75*** (4,2) 35,98*** (3,45) 37,23*** (2,66) 20,88*** (2,98) 37,45*** (2,82) 24,3** (9,49)
Пол 44,16*** (2,72) 49,67*** (4,05) 46,05*** (3,98) 32,1*** (2,49) 22,6*** (2,24) 37,64*** (3,5) 31,8*** (1,72)
Школы в деревне -33,91*** (10,3) -38,38*** (10,16) -32,01*** (11,1) -36,42 (34,32) -12,65 (8,71) -16,8 (15,48) -25,78*** (5,68)
Школы в поселке -40,67*** (9,55) -12,47 (10,5) -15,66 (11,21) -4,59 (12,48) -6,06 (7,99) 1,91 (6,72) -19,68*** (4,83)
Школы в малом городе -35,7*** (10,79) -2,93 (9,28) -10,56 (10,92) 7,31 (11,36) 11,02 (8,75) 1,02 (5,74) -8,63* (4,98)
Школы в городе -24,66** (10,21) -11,52 (16,73) -6,79 (13,43) 18,29** (8,29) -2,99 (6,46) -13,38*** (4,91)
Эффект* СЭС 14,38 (19,1) 12,63* (6,76) 2,42 (5,58) -8,49** (3,93) 6,55 (4,54) 8,75** (3,9) 2,03 (10,17)
Константа 471,5*** (10,02) 467,88*** (9,57) 473,48*** (9,98) 486*** (11,25) 434,2*** (7,74) 490,91*** (6,45) 493,07*** (9,49)
R2 0,21 0,22 0,22 0,26 0,23 0,28 0,12
132
Эффект одного года 18,66 (17,76) 1,26 (10,72) 10,89 (7,98) 29,79*** (5,27) 32,26*** (7,4) 15,63** (6,76) 31,1** (12,08)
СЭС 29,49*** (2,36) 33,97*** (2,65) 37,29*** (2,61) 33,63*** (2,19) 25,17*** (2,08) 39,77*** (2,56) 26,13*** (1,18)
Пол 47,09*** (8,38) 53,55*** (6,22) 41,84*** (4,27) 34,38*** (4,3) 27,64*** (7,66) 38,43*** (4,26) 42,98*** (14,95)
Школы в деревне -33,46*** (10,43) -36,6*** (10) -31,54*** (11,01) -36,21 (34,23) -12,83 (8,72) -17,38 (15,36) -25,8*** (5,69)
Школы в поселке -41,08*** (9,61) -11,62 (10,5) -15,59 (11,19) -4,04 (12,52) -5,87 (7,98) 1,72 (6,71) -19,69*** (4,83)
Школы в малом городе -35,16*** (10,84) -3,15 (9,34) -10,37 (10,94) 7,81 (11,34) 11,35 (8,67) 1,22 (5,71) -8,63* (4,98)
Школы в городе -24,62** (10,36) -11,93 (16,7) -6,84 (13,47) 18,59** (8,29) -2,87 (6,43) -13,41*** (4,91)
Эффект* Пол -8,64 (25,44) -6,48 (10,15) 8,51 (8,94) -5,57 (6,5) -7,84 (10,71) -3,09 (7,81) -12,22 (16,42)
Константа 471,84*** (10,78) 466,45*** (10,15) 475,33*** (10,03) 485,16*** (11,55) 435,17*** (8,49) 490,68*** (6,52) 486,6*** (12,02)
R2 0,21 0,22 0,22 0,23 0,29 0,12
*** p < 0,01; ** p < 0,05; * p < 0,1.
Таблица П3 Коэффициенты регрессии для зависимой
переменной «обучение в общеобразовательной школе» (для 10-классников)
Переменные Россия Словакия Чехия
Beta Exp (Beta) Beta Exp (Beta) Beta Exp (Beta)
Социально-экономический статус 0,629 1,875 1,047 2,849 1,489 4,434
Пол (женский) 1,19 3,288 0,298 1,347 0,821 2,273
Константа 0,993 2,698 -1,096 0,334 -1,073 0,342
Таблица П4 Прогнозируемая вероятность продолжить
обучение в общеобразовательной школе для 9-классников
Россия Словакия Чехия
Минимум 0,31 0,01 0,02
Максимум 0,97 0,85 0,94
Среднее 0,79 0,28 0,37
25-й процентиль 0,69 0,16 0,19
75-й процентиль 0,88 0,36 0,53
133
Практика
Таблица П5 Эффект дополнительного года
обучения для результатов PISA-2009 по чтению (для общеобразовательной школы)
Россия Словакия Чехия Венгрия
Модель 1 Эффект одного года 6,63 (13,19) 60,13*** (6,5 67,8*** (5) 17,66*** (4,31)
Константа 486,79*** (5,56) 495,6*** (4,7) 510,9*** (2,9) 521,9*** (1,67)
R2 0,007 0,2 0,27 0,03
Модель 2 Эффект одного года 26,56* (14,99) 45,33*** (9,3) 70,36*** (6,2) 15,78*** (4,03)
СЭС 27,84*** (2,78) 12,17*** (2,9) 17,29*** (3,1) 29,93*** (2,29)
Пол 37,35*** (5,8) 35,3*** (3,8) 35,87*** (4,2) 29,62*** (2,7)
Школы в деревне -36,6*** (11,74) -45,6*** (11,9) -38,4*** (14,3) -31,93* (16,35)
Школы в поселке -40,65*** (9,96) -21,9** (9,8) -27,42** (11,7) 2,02 (5,58)
Школы в малом городе -37,88*** (10,67) 9,4 (10,5) -20,3* (11,6) -5,91 (5,69)
Школы в городе -24,37** (11,05) -10,24 (22,1) -9,12 (6,29)
Константа 478,49*** (13,09) 481*** (9,4) 496,1*** (12) 510,69*** (5,54)
R2 0,18 0,31 0,34 0,22
Модель 3 Эффект одного года 27,55* (14,9) 40,16*** (11,8) 85,97*** (8,3) 15,44*** (4,08)
СЭС 21,15*** (7,67) 5,6 (9) 35,48*** (6,3) 28,76*** (2,71)
Пол 34,98*** (6,08) 34,9 (3,8) 39,6*** (4,4) 29,62*** (2,7)
Школы в деревне -36,83*** (11,83) -45,6*** (12,3) -36,52** (14,5) -31,66* (16,43)
Школы в поселке -40,62*** (10,07) -22,18** (9,9) -27,15** (11,6) 2,09 (5,58)
Школы в малом городе -38,13*** (10,77) 9,3 (10,5) -20,1* (11,6) -6,1 (5,71)
Школы в городе -24,43** (14,19) -9,8 (22,2) -9,09 (6,28)
Эффект*СЭС 15,88 (17,07) 7,9 (11,4) -28,26*** (8,7) 4,24 (3,84)
Константа 479,7*** (13,12) 485,97*** (12,9) 482,1*** (13) 510,77 (5,55)
R2 0,14 0,31 0,34 0,22
134
Эффект одного года 53,9* (22,8) 66,38*** (13,95) 76,59*** (10,6) 16,24** (6,46)
СЭС 31,23*** (3,47) 12,54*** (2,8) 17,69*** (3,2) 29,93*** (2,29)
Пол 59,84*** (16,32) 55,38*** (10,5) 39,74*** (7,2) 29,83*** (3,73)
Школы в деревне -37,04*** (11,87) -45,26*** (12) -38,6*** (14,3) -31,91* (16,36)
Школы в поселке -40,62*** (10,07) -22,01** (9,4) -27,7*** (11,7) 2,03 (5,57)
Школы в малом городе -37,72*** (10,71) 9,3 (10) -20,38* (11,6) -5,91 (5,69)
Школы в городе -24,44** (11,09) -10,74 (22,17) -9,1 (6,29)
Эффект* Пол -38,98 (29,81) -34,33*** (13,9) -9,24 (11,6) -0,79 (7,4)
Константа 460,31*** (17,49) 469,2*** (10,6) 493,4*** (12,6) 510,58*** (5,8)
R2 0,21 0,32 0,34 0,22
*** p < 0,01; ** p < 0,05; * p < 0,1.
135
