CC BY-NC-ND
72
От редакции
Статья «Характеристики учителей и достижения школьников. Применение метода first difference к данным TIMSS-2007» вызвала внутри редакции бурное обсуждение, вышедшее за рамки конкретных тем, поднимаемых авторами данного текста. Оно оказалось настолько острым, что мы решили создать прецедент: познакомить читателя журнала с нашей «редакционной кухней», что отчасти нарушает сложившиеся академические традиции. Строгие правила предполагают устоявшуюся процедуру: обычно каждый материал, соответствующий нашим представлениям о качестве, проходит анонимное рецензирование. Рецензия, как водится, содержит рекомендации по улучшению текста. Авторы вправе принять во внимание или игнорировать пожелания. Процесс вполне рутинный, и обычно он происходит в закрытом режиме. В данном случае мы столкнулись с неординарной ситуацией. Участие рецензента оказалось настолько эффективным, что задело авторов «за живое», они выдвинули новые интересные аргументы, не столько доработав текст, сколько добавив ему новые «валентности». Возник интересный диалог, фактически ставший началом продуктивного многостороннего сотрудничества. В полемике приняли участие и члены редколлегии. Мы благодарим и рецензента, и авторов, которые дали согласие на публикацию своих мнений. А также мы приглашаем нашу читательскую аудиторию к участию в этом действе, которое можно считать виртуальным семинаром.
112
Ю. А. Тюменева, Т. Е. Хавенсон
ХАРАКТЕРИСТИКИ УЧИТЕЛЕЙ И ДОСТИЖЕНИЯ ШКОЛЬНИКОВ. ПРИМЕНЕНИЕ МЕТОДА FIRST DIFFERENCE К ДАННыМ TIMSS-20071
Статья поступила в редакцию в апреле 2012 г.
Международные исследования по оценке качества математиче- Аннотация
ского и естественно-научного образования (Trends in International _____
Mathematics and Science Study, TIMSS) обладают тем преимуществом, что кроме прямой когнитивной оценки школьников собирают информацию об учителях этих школьников: их образовании, опыте работы, практике ведения уроков. Чтобы оценить связь учительских характеристик с достижениями школьников и преодолеть ограничения корреляционного дизайна TIMSS, был применен метод first difference (метод первой разницы). Кроме того, эффекты учительских характеристик были оценены методом обычных регрессий. Обнаруженные связи различались от одной предметной области к другой, и результаты использования метода первой разницы отличались от результатов обычного корреляционного анализа. Для математики метод первой разницы обнаружил отрицательную связь репродуктивных заданий и групповой работы на уроках с достижениями, а задания на понимание и развитие метапредметных навыков показали положительную связь. Для предметов естественно-научного цикла репродуктивные задания имели, наоборот, положительную связь, тогда как задания на понимание и развитие метапредметных навыков либо не имели эффектов, либо они были негативные. Кроме того, для естественнонаучных предметов в отличие от математики значимое влияние на достижения оказывал опыт учителя.
Ключевые слова: TIMSS, школьники, когнитивное развитие, метапредметные навыки, математика, естественные науки, учителя, профессиональный опыт, метод первой разницы.
Авторы выражают огромную благодарность Мартину Карною, профессору Стэнфордского университета (США), руководителю Международной лаборатории анализа образовательной политики НИУ ВШЭ, за методологическую помощь в анализе данных. Работа выполнена при поддержке центра фундаментальных исследований НИУ ВШЭ.
113
Практика
Качество учителей рассматривается сейчас как ключевой фактор успешности процесса обучения и образовательных достижений школьников [Fallon, 1999; Metzler, Woessmann, 2010]. Широкий обзор исследований, посвященных эффектам учительской подготовки (длительности и специализации), подходов к преподаванию, педагогического опыта, повышения квалификации — всего, что составляет понятие «качество учителей»,— сделан, среди прочих, в работах [Hanushek, Rivkin, 2006; Hedges, Laine, Greenwald, 1994; Hanushek, Kain, Rivkin, 2005; Clotfelter, Ladd, Vigdor, 2006; Clotfelter, Ladd, Vigdor, 2007]. Общий вывод сводится к тому, что результаты, скорее, не согласованы между собой и нельзя говорить о каком-либо систематически обнаруживаемом влиянии учительских характеристик на достижения школьников.
Очевидно, что существующие исследования вовлекают разные переменные и методы, чем во многом и объясняются расхождения результатов. Ответ на вопрос «Учат ли учителя с одними характеристиками лучше, чем учителя с другими характеристиками?» зависит не только от реального влияния учительских характеристик, но и от методических особенностей исследования:
• как измерялось качество «лучше обученный ученик», что именно исследовалось как индикатор «лучшей/худшей обученности». Под последним могли пониматься, например, неуспеваемость на какой-то ступени обучения, поступление / провал вступительных экзаменов в вуз, средний балл, результаты тестов;
• какой именно набор учительских характеристик рассматривался и как, в свою очередь, они измерялись. Например, это могло быть число лет, потраченных учителем на свое обучение; наличие/отсутствие ученой степени; специализация учителя; опыт работы. Ясно, что более доступные для измерения характеристики использовались чаще, но неочевидно, что именно они являются в действительности важными;
• каков был дизайн сбора данных — на какой выборке учащихся, в какой момент времени, с какой частотой собирались данные;
• какие использовались методы статистического анализа.
Дизайн большинства исследований в образовании [Schneider
et al., 2007; Seidel, Shavelson, 2007] является корреляционным, т.е. неэкспериментальным. Однако корреляционный дизайн потенциально содержит множество ограничений для установления причинно-следственных отношений между учительскими характеристиками и достижениями учеников. Одно из таких ограничений — наличие разного рода наблюдаемых и ненаблюдаемых переменных, которые могут быть связаны одновременно как с зависимыми, так и с независимыми переменными и тем самым вызывать смещение при установлении связей. Даже если исследователь контролирует определенные переменные, например социально-экономический статус семьи учащегося, трудно доказать, что не остается других
114
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
латентных переменных, которые могли бы исказить результаты оценки. Например, учителя могут неслучайным образом распределяться по школам: более квалифицированные учителя часто работают в более престижных и сильных школах. В то же время семьи с более высоким социально-экономическим статусом отдают своих детей (тоже, как правило, лучше подготовленных) в те же более престижные школы2 [Nye, Konstantopoulos, Hedges, 2004; Seidel, Shavelson, 2007]. Иными словами, значимость характеристик учителя для достижений детей, о которой мы судим по коэффициентам регрессии, содержит не только «эффект учителя», но и «эффект распределения учителей и учеников по школам» [Pumsaran, 2010. P. 34-35] и другие отвлекающие переменные. Так что регрессионные оценки, построенные на срезовых (cross-sectional) данных, всегда будут допускать возможность смещения. Один из возможных подходов к решению этой проблемы — это использование методов анализа, которые позволяют работать с корреляционным дизайном исследования как с квазиэкспериментальным. Для данных TIMSS, на которых будет построено настоящее исследование, наиболее подходящим является один из вариантов метода фиксированных эффектов — метод первой разницы (first difference, FD). Более подробно этот метод будет описан в разделе «Методология».
Основной исследовательский вопрос, поставленный перед данной работой: какие учительские характеристики имеют значимую связь с достижениями российских восьмиклассников в TIMSS?
Несогласованность в результатах исследований связи учительских характеристик с достижениями учащихся может быть обусловлена разнородностью самих исследований. Они разнятся по способам операционализации зависимых и независимых переменных, по дизайну и по методам анализа данных. Следовательно, для того чтобы иметь возможность сравнивать полученные нами результаты с результатами других исследований, необходимо сузить диапазон рассматриваемых работ. В данном случае для рассмотрения были оставлены только те исследования, где:
• зависимая переменная, репрезентирующая образовательные достижения, была определена как результаты восьмиклассников в TIMSS (достижения по математике и естественным наукам);
• независимыми переменными стали характеристики учителей, измеренные через анкету TIMSS;
• использовался регрессионный анализ (обычный и методом первой разницы).
1. Связь учительских характеристик и достижений восьмиклассников в TIMSS: два метода регрессионного анализа
И наоборот, некоторые школы могут использовать своеобразную компенсаторную стратегию, когда более опытные учителя преподают в классах с более низкими достижениями. При наличии вступительных экзаменов в школы ученики могут «выравниваться» по успеваемости.
115
Практика
В рассматриваемых исследованиях мы искали ответы на следующие вопросы.
1. Какова связь учительских характеристик с результатами восьмиклассников в TIMSS?
2. Каковы общие характеристики смещения при оценке этой связи двумя методами: методом обычных регрессионных моделей (OLS) и методом первой разницы?
Стоит отметить, что и после сужения диапазона исследований по вышеназванным критериям сопоставимость исследований и результатов осталась неполной. Даже в тех случаях, когда исследовались одинаковые учительские переменные, они могли анализироваться как самостоятельные переменные, как индексы или как факторы, полученные в результате факторного анализа. В итоге трудно быть уверенным в том, что речь действительно шла об одной и той же переменной. Тем не менее ниже предлагается некоторая обобщающая картина того, какие же учительские или школьные характеристики продемонстрировали связь с достижениями восьмиклассников в предыдущих исследованиях, какую связь и при каких условиях.
В исследовании K. Yee [2007] было показано, что развитие математических метанавыков на уроке (например, решение задач, не имеющих однозначного или единственного способа решения), использование компьютеров на уроке математики и использование учебников как базы для занятий положительно сказывается на достижениях восьмиклассников в TIMSS.
R. Zuzovsky [2009] не выявила систематических эффектов ни для разных предметных областей, ни для учеников с высокими и низкими притязаниями в отношении уровня образования. Она обнаружила, что пол учителя (женский) положительно связан с достижениями учащихся для учеников с высокими притязаниями. Из характеристик учительского образования оказались позитивно значимыми наивысший достигнутый уровень образования (позитивная связь с достижениями в естественно-научных дисциплинах, негативная — для математики); релевантная область специализации учителя (негативная связь для учителей математики; позитивная — для преподавателей естественных наук); степень участия в профессиональном развитии с фокусом на содержании (позитивная связь только для математики и только для учеников с низкими притязаниями в отношении уровня образования); мера участия в профессиональном развитии с фокусом на педагогику (негативная связь для учеников с низкими притязаниями в отношении уровня образования).
S. Pong и A. Pallas [2001] обнаружили, что размер класса нелинейно связан с достижениями учащихся во всех исследованных ими странах. Оказалось, что ученики, посещающие большие классы в странах с централизованной системой образования, опережают по достижениям своих сверстников из маленьких классов. Напротив, в странах с децентрализованной системой образования
116
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
выявлены негативные соотношения между размером класса и достижениями.
Исследований, где одни и те же данные анализировались бы двумя методами — обычные регрессии и метод первой разницы,— немного. В работе T. Pumsaran [2010], где анализируются результаты TIMSS 1999 и 2007 г. с помощью двух моделей — OLS и FD,— основными независимыми переменными стали: пол и стаж учителя, наличие сертификата, образовательный уровень учителя (степень бакалавра или магистра) и его специализация во время обучения. FD-модель показала иные по сравнению с OLS результаты практически для всех переменных, за исключением учительского стажа и отсутствия у учителя степени бакалавра, которые имели значимые позитивные эффекты в обеих моделях. В целом количество обнаруженных значимых эффектов уменьшалось при использовании FD-моделей, и они оставались более согласованными между волнами исследований и по разным предметным областям. Помимо эффектов учительского стажа и достигнутого уровня образования автор обнаружил также, что степень магистра у учителя позитивно связана с достижениями учащихся, а учащиеся, которым преподают учителя-женщины, получают более высокие баллы в TIMSS, чем те, кого учат учителя-мужчины.
C. van Klaveren [2011] кроме обсуждавшихся выше переменных исследовал также эффекты преподавательского стиля с особенным вниманием к «стилю лекции», когда учитель преподает всему классу. При переходе от модели OLS к модели FD не было обнаружено значимой связи лекционного стиля преподавания с достижениями школьников, хотя в OLS-модели такая связь существовала на значимом уровне и для математики, и для физики. Итоги проверки эффектов других учительских характеристик не согласуются с результатами T. Pumsaran [2010]: полученная учителем степень связана с достижениями учащихся, тогда как стаж — нет.
T. Falch и M. R0nning [2011] установили, что FD дает отличные от OLS результаты при оценке влияния домашних заданий на результаты TIMSS. В частности, они обнаружили значимую позитивную связь между количеством работы, задаваемой на дом, и баллами в TIMSS, если оценивать эту связь с помощью оценок FD. OLS-модель не выявила такой связи.
К сожалению, в каждом из приведенных выше исследований в анализ включался свой набор переменных, так что повторных оценок тех же переменных и в том же составе практически не было. Таким образом, невозможно утверждать что-либо относительно устойчивости найденных эффектов для разных стран и волн исследований. T. Pumsaran [2010] обнаружил сходство найденных закономерностей между двумя волнами TIMSS практически для всех переменных учительского образования, за исключением наличия степеней бакалавра и магистра: их эффекты год от года менялись.
Конечно, эффект некоторых переменных будет с большей вероятностью меняться от одного исследования к другому даже
117
Практика
в квазиэкспериментальных моделях анализа. Это будет происходить в том случае, когда исследуемая характеристика напрямую зависит от национальной системы образования, от ее изменений, от национальных стандартов. Например, профессиональная подготовка учителей и требования к ней в разных странах разные и поэтому могут давать разные эффекты. Связь пола учителя с достижениями учеников, очевидно, может быть различной, прежде всего из-за разной доли учителей-женщин в разных странах. Так что некоторые параметры могут иметь значение только на национальном уровне и ожидаемо различаться в международных сопоставлениях.
Некоторые данные отечественных работ [Основные результаты..., 2008] позволяют утверждать, что большая часть разброса в достижениях восьмиклассников в TIMSS связана не со школьными или классными переменными, но с социально-экономическим статусом семьи. Однако данных о том, какие же все-таки школьные и учительские факторы являются значимыми для достижений российских школьников, нет. Эта работа является первой в России систематической попыткой оценить влияние качества российских учителей на достижения восьмиклассников в TIMSS.
2. Достижения России в TIMSS
За все годы участия в международном сравнительном исследовании TIMSS российские школьники не показали сколько-нибудь положительных сдвигов в результатах. Скорее, их успехи в математике и в естественно-научных дисциплинах можно описать нисходящими кривыми (рис. 1). Даже если принять во внимание значимый прирост баллов по естествознанию между 2003 и 2007 г., последние достижения российских восьмиклассников не превышают успехов их сверстников в 1995 г.
Рис. 1 Динамика достижений российских
школьников 8-х классов в TIMSS
118
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
В Институте содержания и методов обучения РАО был проведен содержательный анализ основных трудностей российских учащихся в решении задач TIMSS. На его основе были сформулированы рекомендации для авторов учебников, методистов и учителей и выделены некоторые новые цели обучения, например применение математических знаний в ситуациях, приближенных к реальным; работа с таблицами и диаграммами; решение задач, когда нужно установить нетривиальную зависимость между величинами [Основные результаты.., 2008].
Основная фигура, которая может управлять достижением этих целей,— это учитель. Так что оценка эффектов образовательных и профессиональных характеристик учителя, его педагогических подходов для результатов в TIMSS является одним из недостающих пока звеньев в цепочке управления качеством основного образования. Точность этой оценки исключительно важна, так как она может выступить одним из оснований для принятия решений в области образовательной политики. Поэтому мы отводим специальную часть работы на то, чтобы показать нашу методологию оценки учительских эффектов и действия, предпринятые для устранения возможных искажений в этой оценке.
В России в выборку восьмиклассников TIMSS в 2007 г. во- 3. Мето-шли 4472 учащихся из 210 общеобразовательных учреждений дология
58 регионов страны. Выборка репрезентативна по школам. В каж- ___________
дой школе опрашивается целый класс из параллели 8-х классов (с учетом доступности детей для опроса в день проведения 3.1. Выборка исследования). _____________
В данной работе для оценки связи учительских характеристик 3.2. Метод
и достижений учеников кроме обычных регрессий (OLS) был ис- _____________
пользован метод оценок первой разницы (first difference estimators,
FD) в регрессионных моделях с фиксированными эффектами [Dee,
Cohodes, 2008; Bruderl, 2005].
Данный подход широко распространен в панельных исследованиях, где сравниваются характеристики одного и того же респондента в два момента времени. Мы применяем оценки первой разницы не для двух моментов времени, а для одномоментного измерения двух характеристик одного и того же школьника, например его успеваемости по математике и физике. Основная идея метода в том, что, имея два измерения одних и тех же объектов, можно путем вычитания одного регрессионного уравнения из другого избавиться от одинаковых членов уравнений — латентных характеристик учеников в нашем случае. Именно в невозможности учесть все характеристики школьников, которые могут быть связаны как с их достижениями, так и с характеристиками учителей, и заключается основная проблема корреляционных исследований, так как эти характеристики могут служить причиной смещенных регрессионных оценок.
119
Практика
3.3. Описание модели
Поскольку в TIMSS в отношении каждого отдельного ученика доступны и результаты теста, и характеристики учителей, у которых он обучается тем предметам, по которым проходит тестирование, мы имеем возможность рассмотреть каждого школьника как наблюдение, на которое оказывается экспериментальное воздействие: он/она учится у двух учителей с разными характеристиками, а все остальные свойства ученика остаются зафиксированными. Следовательно, фиксируя характеристики одного и того же ученика, который находится под педагогическим воздействием нескольких учителей, мы тем самым исключаем влияние ненаблюдаемых переменных — неизмеренных характеристик учащихся. После такой фиксации все различия, которые демонстрирует ребенок в разных предметных областях TIMSS, могут быть приписаны только различиям между его учителями3.
Как было показано в обзоре аналогичных исследований, при использовании данных TIMSS наиболее часто рассматриваемыми
характеристиками учителей являются их образование, стаж, учительские подходы к проведению уроков и подготовке к ним, самооценка готовности вести тот или иной предмет, социально-демографические свойства, а также соотношение в учебном плане различных содержательных частей того или иного предмета.
На первом этапе нами был сформирован минимальный набор характеристик, которые были включены в модель № 14: образование, стаж и пол. Для нас важно было исследовать связь образования учителя и достижений учеников, так как вопросы педагогического образования сейчас широко обсуждаются в профессиональном сообществе в России.
Однако для российской ситуации не все вопросы TIMSS можно считать релевантными. Так, по данным TIMSS-2007, более 98%
Следует заметить, что разные способности и разная мотивация, которые проявляет ребенок в разных предметных областях, могут привести к разным достижениям по этим предметам. Также интересен вопрос о влиянии детскоучительских отношений на результаты по тесту. В рамках данной работы был оценен риск скрытого влияния этих переменных: полученные коэффициенты корреляции между достижениями учащихся по математике, химии, физике и биологии были положительны и значимы. Это означает отсутствие серьезных влияний разных способностей или межличностных отношений на разницу в достижениях по этим предметам. Подробнее об этом см. в разделах «Результаты» и «Обсуждение результатов».
При расчете всех регрессионных моделей в ходе исследования для определения значимости коэффициентов регрессии мы применяли процедуру коррекции ошибок регрессионных коэффициентов с учетом многоуровневой структуры данных TIMSS. Данные TIMSS имеют иерархическую трехуровневую структуру: уровень класса (опрашиваются все ученики в классе), уровень учителей, уровень школы. Тот факт, что учащиеся объединены в один класс, может давать свои искажающие эффекты, и наблюдения на уровне класса нельзя назвать независимыми друг от друга. Как правило, это приводит к заниженной оценке стандартных ошибок коэффициентов регрессии. Используемая нами процедура кластерной коррекции позволяет учесть этот факт и рассчитать ошибки правильно.
120
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
учителей имеют высшее образование. Когда учителя, работающие сегодня в школе, получали высшее образование, разделения на уровень бакалавра и магистра еще не было. 98,5% учителей математики имеют образование в области математики, в предметах естественно-научного цикла похожая картина. То есть в России переменные, характеризующие уровень образования и специализацию, имеют одинаковые для всех значения, и, следовательно, их бессмысленно рассматривать как предикторы каких-либо различий. На наш взгляд, в условиях российской школы интересно оценить влияние широты образования учителя, например имеет ли учитель математики кроме специализации по математике еще и специализацию по какому-либо другому предмету, или нет. Данные TIMSS позволяют это сделать через вопрос «Каковы основные области вашего профессионального образования?», ответы на который имели для нас ключевое значение.
Были сформированы следующие категории ответов:
1) специализация в области предмета преподавания без общей педагогики;
2) специализация в области предмета преподавания вместе с общей педагогикой;
3) все остальные варианты.
Разделяя категории таким способом, мы преследовали цель отделить образование, полученное в педагогических вузах, от университетского (профильные институты) образования. Так как прямого вопроса по этому поводу в TIMSS нет, границей разделения при имеющихся данных, на наш взгляд, могло быть наличие у учителя образования по общей педагогике.
Следующая переменная — стаж учителя. Он делился на интервалы: менее 3 лет, от 3 до 10 лет, от 11 до 20 лет, более 20 лет.
В эту же модель был включен параметр «пол учителя».
При построении модели № 2 в качестве независимых переменных добавились характеристики педагогических подходов учителя (учительские практики).
Формулировки вопросов и вариантов ответов по этим переменным были следующие.
1. «Сколько минут в неделю вы преподаете в тестируемом классе?»
2. Вопросы о практике учителя относительно домашних заданий. На их основе в TIMSS строятся индексы, принимающие три значения: высокий, средний, низкий уровень.
3. Распределение времени урока (в процентах) на разные типы учительской работы. Вопрос: «Какой процент времени в обычную неделю на ваших уроках в тестируемом классе учащиеся занимаются следующими видами деятельности?» Ответы на этот вопрос были сгруппированы в четыре категории, отражающие разные типы работы учителя с классом:
а) фронтальное обучение: «анализируют выполнение домашнего задания»; «слушают объяснение нового материала
121
Практика
в форме лекций»; «выполняют задания под вашим руководством»; «слушают, как вы повторяете объяснение или поясняете пройденный материал»;
б) индивидуальная работа: «выполняют задания самостоятельно, без вашей помощи»;
в) контроль усвоения: «выполняют самостоятельные или контрольные работы»;
г) непродуктивно потраченное время: «занимаются на уроках деятельностью, которая напрямую не связана с целью или содержанием самого урока (например, устанавливают порядок в классе, отвлекаются на различные школьные мероприятия)».
4. Распространенность различных видов заданий, которые выполняют учащиеся на уроке. Вопрос: «Как часто на ваших уроках в тестируемом классе учащиеся выполняют следующие виды деятельности?» («на каждом или почти на каждом уроке»; «примерно на половине уроков»; «на некоторых уроках»; «никогда») также был переструктурирован применительно к четырем типам деятельности на уроках.
Для занятий по математике:
• репродуктивная деятельность — «практикуются в выполнении вычислений без использования калькулятора»; «выполняют действия с обыкновенными и десятичными дробями»; «заучивают формулы и методы решения»; «применяют факты, понятия и методы для решения стандартных задач»;
• задания на понимание и интерпретацию: «используют знания свойств геометрических фигур, линий и углов для решения задач»; «представляют зависимость величин в виде уравнения или функции»; «интерпретируют данные, представленные в виде таблиц, диаграмм, схем, графиков»; «объясняют свои ответы»;
• метанавыки: «соотносят материал, изученный на уроках математики, со своей повседневной жизнью»; «разрабатывают самостоятельно методы решения сложных задач»; «решают нестандартные задачи, которые не имеют очевидного метода решения»;
• групповая работа: «работают вместе в небольших группах». Для занятий естественно-научного цикла:
• репродуктивная деятельность: «читают учебник или другие учебные материалы»; «заучивают определения, правила, факты и законы»; «наблюдают за тем, как вы проводите эксперимент или исследование»; «используют законы и формулы для решения задач»; «дают объяснения, касающиеся изученного материала»;
• задания на понимание и интерпретацию: «наблюдают за природными явлениями и описывают то, что они наблюдали»; «проводят эксперимент или исследование»;
122
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
• метанавыки: «планируют эксперимент или исследование»; «соотносят то, что изучают на уроках по естественно-научным предметам, с их повседневной жизнью»;
• групповая работа: «работают вместе в маленьких группах при проведении эксперимента или исследования».
Полная модель (модель № 3) включила также и время, потраченное на определенные темы.
В качестве зависимой переменной выступала разница в результатах школьников в TIMSS по разным областям: 1) балл по математике — балл по физике; 2) балл по математике — балл по химии; 3) балл по математике — балл по биологии.
Затем для каждой из этих переменных были построены регрессионные модели.
Кроме регрессионного анализа с оценками первой разницы нами были построены модели OLS. В качестве зависимой переменной в них выступает балл в TIMSS по одному из четырех рассматриваемых предметов, в качестве независимых — описанные выше учительские характеристики.
Среди естественно-научных предметов российские школь- 4. Результаты
ники наименее успешны в физике и наиболее успешны в химии. ________________
Гендерные различия были обнаружены только в физике, где мальчики имеют статистически значимо более высокие результаты 4.1. Описа-(рис. 2). тельная ста-
тистика
Рис. 2 Достижения российских школьников _______________
8-х классов в TIMSS-2007
Источник: [Martin, Mullis, Foy, 2008; Mullis, Martin, Foy, 2008].
Ответы российских учителей относительно специализаций в их образовании представлены в табл. 1, из нее видно, что около половины учителей-предметников не имели такой специализации, как общая педагогика.
что касается учительских практик, то более половины учителей математики ответили, что их ученики практически на каждом уроке выполняют следующие действия: практикуются в выполнении вычислений без использования калькулятора; применяют факты,
123
Практика
Таблица 1 Специализация учителей,
по данным TIMSS-2007 в России (%)
Тип образования учителя Мате- матика Физика Био- логия Химия
1. Релевантная предметная область 37,8 45,5 39,4 47,4
2. То же, но с общей педагогикой 44,7 39,7 46,3 44,4
3. Другие варианты 17,5 10,1 14,3 8,2
понятия и методы для решения стандартных задач; объясняют свои ответы. Суммарный индекс репродуктивного вида деятельности составил 0,79 (табл. 2). Реже всего школьники занимаются: интерпретацией данных, представленных в виде таблиц и диаграмм; разработкой самостоятельных методов решения сложных задач (индекс для метанавыков — 0,38), работают парами или в небольших группах. В этих вопросах мода и медиана падают на ответ «на некоторых уроках».
Таблица 2 Распространенность различных видов заданий,
которые выполняют учащиеся на уроке (среднее, ст. откл.)
Мате- матика Физика Биология Химия
Репродуктивная деятельность 0,79 (0,17) 0,67 (0,18) 0,65 (0,16) 0,67 (0,18)
Задания на понимание и интерпретацию 0,65 (0,13) 0,58 (0,11) 0,41 (0,15) 0,52 (0,14)
Метанавыки 0,38 (0,16) 0,57 (0,17) 0,61 (0,14) 0,57 (0,17)
Групповая работа 0,46 (0,21) 0,39 (0,18) 0,39 (0,18) 0,41 (0,19)
По ответам учителей химии можно сделать вывод, что чаще всего ученики используют законы и формулы для решения задач и дают объяснения, касающиеся изученного материала (более половины учителей используют этот метод преподавания на каждом уроке). Примерно на половине уроков ученики наблюдают за тем, как учитель проводит эксперимент, и заучивают определения, правила, факты и законы. Реже всего они планируют эксперимент и наблюдают за природными явлениями.
Практически на каждом уроке биологии дети дают объяснения, касающиеся изученного материала. И примерно в половине случаев заучивают определения, правила, факты и законы и читают учебник.
124
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
Наиболее частыми практиками на уроках физики являются: объяснения (учениками) изученного материала и использование законов и формул для решения задач.
В целом более чем на половине уроков по любому предмету присутствует репродуктивное обучение. Однако учителя по естественно-научным дисциплинам гораздо чаще, чем преподаватели математики, апеллируют к различным метанавыкам при обучении, в основном это касается связи изученного материала с реальной жизнью или проведения экспериментов.
В табл. 3 представлены данные относительно формы взаимодействия учителя с классом. Все учителя тратят примерно одинаковый процент времени на одни и те же формы работы. Отсутствие значимой разницы, возможно, говорит о централизованном учебном плане, где существуют предписания относительно того, как часто и что должен делать учитель на уроке. Наиболее частые формы деятельности — индивидуальная работа школьников по заданиям и контрольные работы, затем следует фронтальная работа учителя с классом, и небольшую часть времени учителя уделяют вопросам, не связанным с предметом (например, вопросам дисциплины).
Таблица 3 Распределение времени урока (в процентах)
на разные виды работы учителя (среднее, ст. откл.)
Математика Физика Биология Химия
Фронтальное обучение 11,87 (2,7) 12,12 (3,31) 12,61 (3,38) 12,95 (3,26)
Индивидуальная работа 19,75 (7,85) 16,35 (7,23) 15,96 (8,03) 14,92 (7,1)
Контроль усвоения 16,39 (6,35) 15,69 (6,98) 14,25 (7,06) 14,89 (7,88)
Непродуктивно потраченное время 1,23 (2,16) 1,57 (2,63) 1,51 (2,4) 1,18 (2,15)
Описательная статистика по объему домашних заданий показала, что в России учителя задают на дом либо средне, либо много. Переменная «минуты преподавания предмета в неделю» имеет довольно небольшое стандартное отклонение по всем дисциплинам, что говорит о том, что количество часов преподавания определяется образовательным стандартом и примерно одинаково во всех школах.
Применяя модели с фиксированными эффектами, мы делаем предположение о том, что никакие иные особенности учеников, кроме характеристик их учителя, не могут вызвать разницу в достижениях по разным предметам. Предполагается, что и способности ученика к различным областям знания зафиксированы и не влияют на разницу в достижениях. Для проверки данного предположения мы вычислили коэффициенты корреляции Пирсона между баллами школьников по математике и остальным предметам. Поскольку корреляция во всех случаях имела значение коэффициента не менее 0,8 (p < 0,001), можно заключить, что у учеников, склонных
4.2. Проверка скрытого влияния индивидуальных характеристик ученика на разницу в его достижениях по разным предметным областям TIMSS
125
Практика
4.3. Результаты регрессионных моделей
4.3.1. Метод наименьших квадратов (OLS)
4.3.2. Регрессии с фиксированными эффектами — оценки первой разницы
к изучению математики, наблюдается примерно такая же склонность к изучению естественных научных предметов. Тем самым получает обоснование применение регрессий с фиксированными эффектами для наших данных.
В табл. 1 приложения показаны результаты обычного регрессионного анализа. Видно, что здесь выявляется большое количество статистически значимых связей учительских характеристик с достижениями школьников. Из формальных характеристик учителей только наличие общей педагогики как специализации показало свой эффект (положительный), но исключительно для учителей физики. Количество часов преподавания предмета в неделю (положительный эффект) и объем домашних заданий (отрицательный эффект) опять-таки оказались важными для физики. Репродуктивные задания на уроках показали отрицательный эффект для биологии и химии, но только в полной модели. Задания на понимание и интерпретацию материала показали положительный эффект для физики и химии. Развитие метанавыков учащихся положительно сказалось на результатах по всем областям, кроме физики. Групповая работа учащихся и фронтальное обучение показали отрицательный эффект, но только для математики. Небольшой положительный эффект обнаружил процент времени, которое тратит учитель на работу по теме «данные». В общем, OLS-метод выявил довольно согласованные результаты во всех моделях, хотя за некоторыми исключениями.
Мы сознательно не даем более широкой интерпретации полученным результатам, так как сначала необходимо проверить их надежность с помощью квазиэкспериментальной модели.
В FD-подходе для оценки связи учительских характеристик с достижениями в математике мы имеем дело с тремя сравнениями: математика — физика, математика — биология и математика — химия. Если какая-то учительская характеристика имеет эффект во всех трех сопоставлениях, то можно утверждать, что эта характеристика учителей-математиков вызывает обнаруженные эффекты с высокой степенью стабильности. Такой стабильный, хотя и отрицательный, эффект по всем трем сравнениям обнаруживает групповая работа на уроках математики. Других повторяющихся эффектов найдено не было (табл. 2 приложения).
Кроме того, учителя с опытом работы от 3 до 20 лет имеют учащихся с более высокими баллами по математике. Положительный эффект имеют также задания, отнесенные нами к формированию метанавыков. Небольшой, хотя и значимый, положительный эффект имеет количество времени, потраченного учителем на работу с темой «данные».
Эффекты учительских характеристик, обнаруженные в отношении естественно-научных предметов — физики, биологии и химии,— хотя и довольно согласованны, но на первый взгляд могут
126
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
вызвать удивление (табл. 2 приложения). Так, для физики оказались важными задания репродуктивного типа, причем они показали положительный эффект. В то же время задания на понимание и интерпретацию показали отрицательную связь с достижениями.
В области биологии больший опыт учителя связан с лучшими достижениями учащихся, в том числе и опыт работы более 20 лет. С более высокими достижениями связан больший объем домашних заданий. В то же время задания на формирование метанавыков имели отрицательный эффект. Эти эффекты стабильны во всех трех моделях.
Наконец, в химии положительную связь с результатами показали задания репродуктивного типа. Задания на понимание имели отрицательную связь с достижениями. Эти закономерности проявлялись во всех моделях.
В разных предметных областях оказались значимыми разные учительские характеристики. Выявленные методом первой разницы связи учительских характеристик с достижениями учащихся довольно четко различаются между математикой и группой предметов естественно-научного цикла. На достижения учащихся в естественных науках позитивное влияние оказывают больший опыт учителя и задания репродуктивного типа (чтение учебника; заучивание фактов и законов; наблюдение за тем, как учитель проводит эксперимент или исследование; решение стандартных задачу. В то же время задания на интерпретацию и метанавыки (наблюдение за природными явлениями и описание; проведение экспериментов), скорее, снижают достижения по предмету.
Для математики же расклад обратный: большой стаж учителя (более 20 лет) и задания репродуктивного типа снижают достижения, а задания на метанавыки и понимание увеличивают.
Такое рассогласование может показаться странным, но стоит вспомнить, как именно выглядят эти группы заданий в математике и как — в естествознании. В естественных науках к группе заданий на понимание и метанавыки относились, например, наблюдение за природными явлениями и описание результатов или проведение экспериментов. Такого рода задания не могут вызвать роста знаний и умений только потому что они заданы. Здесь требуется мастерство самого педагога, чтобы управлять процессом эмпирического исследования, которое проводит ученик, так, чтобы ученик мог делать правильные выводы или задавать последующие вопросы. Конечно, современные стандарты требуют упражнений на понимание, интерпретацию и метанавыки. Судя по ответам учителей — участников TIMSS, они выполняют требования стандарта, однако при этом им не удается, по-видимому, управлять процессом обучения так, чтобы эти задания приводили к позитивному результату. Иными словами, задания, сами по себе имеющие высокий развивающий потенциал, без должного руководства процессом их выполнения со стороны учителя утрачивают заложенные
5. Обсуждение результатов
5.1. Какие учительские характеристики имеют значимую связь с достижениями российских восьмиклассников в TIMSS
127
Практика
в них возможности, превращаясь в неэффективную трату времени урока. Отсюда и негативная связь распространенности этих заданий с достижениями восьмиклассников в естественно-научных предметах.
Другое дело математика. Здесь в группу заданий на понимание и метанавыки вошли задания на интерпретацию диаграмм, представление зависимости в виде функции, решение нестандартных задач. Так же как в естественно-научной области, задания этой группы в математике сложные, комплексные. Но здесь они не требуют для реализации своего развивающего потенциала обязательного активного и «правильного» участия со стороны учителя. Возможно, решение нестандартных математических задач уже само по себе продвигает учащихся. Иными словами, в математике позитивный эффект таких задач обеспечивается просто включением их в преподавательскую практику. В естественных науках использование заданий этой группы на уроках требует особых компетенций учителя, без чего эти задания «не работают».
С этой же точки зрения интересно отметить негативную связь групповой работы на уроках математики с результатами учащихся в TIMSS по математике. Для математики групповая работа — это единственный тип деятельности (из измеряемых TIMSS), где очевидна роль учителя и его организационных, диагностических и прогностических умений. И здесь, так же как и в случае с экспериментированием в естественно-научных предметах, мы видим отрицательную связь этой практики с достижениями. Сам по себе формат работы, даже если он указывается как необходимый в образовательных стандартах (например, групповая дискуссия), не дает никаких преимуществ учащимся. Конечно, задания могут иметь богатый потенциал. В некоторых случаях для роста достижений школьников достаточно самих этих заданий (например, интерпретация диаграммы или решение нестандартных задач в математике). В других случаях необходим дополнительный вклад учителя, чтобы реализовать потенциал этих заданий (групповая работа, экспериментирование). И если эту работу учитель выполнить не может, то задание просто забирает время урока и тем самым приводит к снижению результатов.
Приведенное объяснение получило лишь косвенную поддержку в данном исследовании. Пока мы только можем констатировать, что ряд учительских практик ведения урока обнаружил противоположные связи с достижениями в двух предметных областях: математике и естественно-научных дисциплинах. Однако точные причины таких результатов могут быть установлены в специальном исследовании происходящего на уроках и того, как это происходящее связано с последующими учебными достижениями школьников.
Обычные регрессионные модели — это типичный инструмент оценки значения тех или иных факторов для исследуемой характеристики. Поскольку для оценки значения разных учительских характеристик для достижений ученика мы применили два метода,
128
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
то будет целесообразным сравнить результаты, полученные в ходе применения обычных регрессионных моделей, с полученными технически относительно более сложным методом первой разницы. О чем говорят различия этих двух аналитических подходов? И можно ли дать им какую-то содержательную интерпретацию?
Как было отмечено во многих работах, метод FD должен корректировать смещения в распределении учеников по учителям и по школам [Pumsaran, 2010; Klaveren, 2011; Falch, R0nning, 2011]. Это нужно принимать во внимание, когда интерпретируется разница результатов между обычными регрессиями и методом FD. Схожесть результатов FD и OLS означает, что по этой характеристике значительных смещений не было, а различия результатов — что по этой характеристике ученики и учителя распределяются неслучайно.
В нашем случае для математики при переходе от OLS к FD пропадает негативный эффект фронтального обучения и появляется позитивный эффект учительского стажа. Можно сделать вывод, что более и менее опытные учителя распределены по школам неслучайно, а ученики неслучайно распределяются по учителям, которые тратят много времени на фронтальную работу с классом. Судя по тому, что положительный эффект фронтального обучения пропадает в FD-модели, можно предположить, что более подготовленные дети чаще учатся у учителей, тратящих много времени на фронтальную работу с классом.
Другие результаты по математике не претерпели изменений при переходе к FD-модели, так что можно утверждать, что ученики распределены случайно по учителям, использующим в своей работе задания на понимание, интерпретацию и метанавыки.
В естественно-научных предметах при переходе от OLS к FD-моделям теряют позитивный эффект такие учительские практики, как задания на понимание, на метанавыки и групповые задания. Вероятно, учителя просто используют эти педагогические подходы при работе с детьми, которые изначально лучше подготовлены, но отнюдь не сами эти практики приводят к лучшей подготовленности.
В то же время при переходе к моделям FD обнаруживаются позитивные эффекты репродуктивных заданий, чего не было видно в OLS-анализе. Кроме того, показывает свою значимость положительный эффект большого стажа учителя (биология). Это означает, что более подготовленные дети занимаются по естественнонаучным предметам, скорее, у учителей со средним или небольшим стажем.
В целом анализ показал, что все значимые характеристики учителей по естественным наукам являются предметом смещения, так как при переходе к FD-модели можно видеть изменение их эффекта. Таким образом, применение нового методологического подхода позволило не только ответить на поставленный в исследовании вопрос о связи учительских характеристик и достижений учеников,
129
Практика
но и выявить те характеристики, которые свойственны некоторым группам учителей, например тем, кто работает в высокостатусных школах или с более подготовленными учениками. Эта информация может быть использована и при выработке образовательной политики, и для планирования будущих исследований, особенного экспериментального плана.
5.2. Ограни- Основным концептуальным дефицитом этого исследования
чения иссле- нужно признать его ограниченность рамками TIMSS. В анализ были дования включены только переменные, измеряемые в этом исследовании,
______________ и, следовательно, невозможно утверждать, что полученные результаты оставались бы неизменными при анализе другого набора факторов. То же самое можно сказать и о зависимой переменной. Мы исследовали достижения в математике и естественно-научных предметах так, как они измерялись в TIMSS. Возможно, при оценке достижений по соответствующим областям в других стандартизированных тестах, например в ЕГЭ, обнаружились бы другие закономерности.
Основным методологическим дефицитом этого исследования можно назвать его неполную прозрачность в отношении фиксируемых индивидуальных переменных. Как было уже указано, методом FD мы фиксируем все личностные характеристики учащегося, даже не зная, каковы они. Последнее действительно не будет иметь значения для оценки учительских факторов, когда неизвестные, но зафиксированные особенности ученика — одни и те же на разных уроках (например, начальная подготовка, познавательная активность или мотивация). Однако часть характеристик может носить социальный характер, т.е. отражать межличностные отношения между учеником и учителем. Тогда эти параметры невозможно полностью ни зафиксировать (так как они «принадлежат» и учителю, и ученику), ни проконтролировать (так как это неизмеренная характеристика).
Некоторые результаты указывают, тем не менее, на то, что межличностные отношения, складывающиеся на уроках, не играют самостоятельной роли в разнице достижений восьмиклассника по разным предметам, оцениваемых в TIMSS. Так, были выявлены значимые корреляции (не менее 0,8) между результатами в разных предметных областях TIMSS. Это означает, что все индивидуальные характеристики ученика, такие как способности, мотивация, симпатия или антипатия к преподавателю, действуют совместно и согласованно, как единый комплекс. Ни в нашей работе, ни в работах других исследователей — мы анализировали литературу за 15-летний период,— не было обнаружено признаков, указывающих на какое-то специфическое воздействие межличностных отношений между учеником и учителем на межпредметную разницу в достижениях. Возможно, из-за плохой измеримости, возможно, из-за несистематического характера эффектов межличностных характеристик, но пока гипотеза об их влиянии
130
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
не находит подтверждения. Тем не менее такая вероятность остается, так как любое, в том числе и это, исследование ограничено своими данными. И это задача следующих этапов работы — измерить дополнительные, может быть более тонкие, характеристики учителя и учебного процесса для сфокусированного их изучения.
1. Основные результаты Международного исследования качества школьного математического и естественно-научного образования TIMSS-2007. Аналитический отчет. ч. 2. Москва, РАО, ИСМО, центр оценки качества образования, 2008.
2. Bruderl J. (2005) Panel data analysis. University of Mannheim http:// www2.sowi.uni-mannheim.de/lsssm/veranst/Panelanalyse.pdf
3. Clotfelter Ch., Ladd H. F., Vigdor J. L. (2006) Teacher-student matching and the assessment of teacher effectiveness / NBER Working Paper No. 11936, National Bureau of Economic Research, Inc.
4. Clotfelter Ch., Ladd H. F., Vigdor J. L. (2007) Teacher credentials and student achievement in high school: A cross-subject analysis with student fixed effects / NBER Working Paper No. 13617, National Bureau of Economic Research, Inc.
5. Dee T.S., Cohodes S. R. (2008) Out-of-field teachers and student achievement: Evidence from matched-pairs comparisons // Public Finance Review. Vol. 36. P. 7-32.
6. Falch T., R0nning M. (2011) Homework assignment and student achievement in OECD countries / Working Paper Series, Norwegian University of Science and Technology (NTNU). Iss. 5.
7. Fallon D. (1999) Our grand opportunity: Remarks on teacher education for college and university chief executives. Paper presented at the President’s Summit on Teacher Quality, University of Maryland.
8. Hanushek E.A., Rivkin S. (2006) Teacher quality / E.A. Hanushek, F. Welch (eds) Handbook of the economics of education. Amsterdam, The Netherlands: North-Holland. P. 1051-1078.
9. Hanushek E.A., Kain J. F., Rivkin S. G. (2005) Teachers, schools, and academic achievement // Econometrica. Vol. 73. No. 2. P. 417-458.
10. Hedges L., Laine R., Greenwald R. (1994) A meta-analysis of the effects of differential school inputs on student outcomes // Educational Researcher. Vol. 23. No. 3. P. 5-14.
11. Klaveren C. van. (2011) Lecturing style teaching and student performance // Economics of Education Review. Vol. 30. No. 4. P. 729-739.
12. Martin M., Mullis I., Foy P. (2008) TIMSS-2007. International science report. TIMSS&PIRLS International Study Center, Boston College.
13. Metzler J., Woessmann L. (2010) The impact of teacher subject knowledge on student achievement: Evidence from within-teacher within-subject variation / IZA Discussion Paper No. 4999, Germany.
14. Mullis I., Martin M., Foy P. (2008) TIMSS-2007. International mathematics report. TIMSS&PIRLS International Study Center, Boston College.
№
Литература
131
Практика
15. Nye B., Konstantopoulos S., Hedges L.V. (2004) How large are teacher effects? // Educational Evaluation and Policy Analysis. Vol. 26. P.237-257.
16. Pong S., Pallas A. (2001) Class size and eighth-grade math achievement in the United States and abroad // Educational Evaluation and Policy Analysis. Vol. 23. No. 3. P. 251-273.
17. Pumsaran T. (2010) Teacher’s educational background and student achievement in Thailand: A dissertation submitted to the School of Education and the committee on graduate studies of Stanford University. Ch. 2.
18. Schneider B., Carnoy M., Kilpatrick J., Schmidt W. H., Shavelson R. J. (2007) Estimating causal effects using experimental and observational designs. Washington, DC: American Educational Research Association.
19. Seidel T., Shavelson R. J. (2007) Teaching effectiveness research in the past decade: The role of theory and research design in disentangling meta-analysis results // Review of Educational Research. Vol. 77. No. 4. P. 454-499.
20. Yee K.M. (2007) Head of the class: Exploring the link between teacher quality, instructional practice, and student outcomes in Indonesia, Malaysia, and the Philippines. A thesis submitted to the faculty of the graduate school of arts and sciences of Georgetown University, Washington, DC.
21. Zuzovsky R. (2009) Teachers’ qualifications and their impact on student achievement: Findings from TIMSS 2003 data for Israel // IERI Monograph Series. Issues and Methodologies in Large-Scale Assessments. No. 2. P. 37-62.
Таблица 1
Регрессии методом наименьших квадратов
Математика Физика Биология Химия
Образование кат. 2 0,11 (0,10) 0,05 (0,09) 0,20** (0,09) 0,17** (0,08) 0,08 (0,09) 0,05 (0,09) 0,02 (0,08) -0,05 (0,09)
Образование кат. 3 0,09 (0,12) 0,03 (0,12) 0,07 (0,13) 0,14 (0,13) -0,14 (0,13) -0,11 (0,15) -0,00 (0,15) -0,08 (0,13)
Стаж 3-10 лет 0,34 (0,28) 0,30 (0,31) -0,14 (0,22) -0,08 (0,19) 0,04 (0,28) 0,07 (0,27) 0,43 (0,39) 0,44 (0,32)
Стаж 11 -20 лет 0,22 (0,27) 0,07 (0,31) -0,03 (0,20) -0,12 (0,18) 0,23 (0,28) 0,17 (0,27) 0,35 (0,38) 0,30 (0,31)
Стаж более 21 года 0,19 (0,26) -0,00 (0,31) -0,02 (0,20) -0,04 (0,17) 0,23 (0,27) 0,18 (0,27) 0,43 (0,38) 0,32 (0,32)
Пол учителя (женский) 0,05 (0,21) -0,06 (0,22) 0,14 (0,12) 0,00 (0,10) 0,02 (0,04) 0,01 (0,04) -0,01 (0,26) 0,05 (0,26)
Минут преподавания в неделю 0,00 (0,00) 0,00 (0,00) 0,01** (0,00) 0,00* (0,00) 0,00 (0,00) 0,00 (0,00) -0,00 (0,00) -0,00 (0,00)
Уровень домашних заданий(высокий) 0,05 (0,08) 0,06 (0,08) -0,20** (0,09) _0 24*** (0,09) 0,08 (0,13) 0,07 (0,13) 0,06 (0,10) 0,05 (0,09)
Задания репродуктивные -0,20 (0,31) -0,16 (0,31) 0,02 (0,21) -0,03 (0,21) -0,55** (0,25) -0,58** (0,25) -0,48* (0,25) -0,49** (0,25)
Задания на понимание 0,45 (0,34) 0,41 (0,34) 1 00 * * * * ’(0,40) 40 * * * * (0,39) 0,18 (0,36) 0,08 (0,35) 0,98*** (0,34) 1 07** * (0,34)
Формирование метанавыков 0,93*** (0,33) 0 92 * * * (0,33) -0,40 (0,25) -0,29 (0,24) 0,82** (0,33) 0,83*** (0,31) 0,58** (0,24) 0,47* (0,24)
Групповая работа -0,49* (0,26) -0,46* (0,25) 0,33 (0,24) 0,45* (0,25) 0,27 (0,24) 0,24 (0,23) -0,00 (0,25) 0,03 (0,25)
ь
0
*
п>
1
п>
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
134
Математика Физика Биология Химия
Фронтальное обучение -0,08** (0,03) -0,07** (0,03) -0,01 (0,03) -0,00 (0,03) -0,06 (0,05) -0,05 (0,05) 0,01 (0,04) 0,01 (0,04)
Индив. работа 0,00 (0,01) 0,00 (0,01) 0,01 (0,01) 0,02* (0,01) -0,00 (0,01) 0,00 (0,01) 0,01 (0,01) 0,01 (0,01)
Контроль усвоения -0,01 (0,01) -0,01 (0,01) -0,00 (0,01) 0,00 (0,01) -0,01 (0,01) -0,00 (0,01) 0,01 (0,01) 0,01 (0,01)
Непродуктивное время -0,03 (0,02) -0,02 (0,02) -0,02 (0,02) -0,02 (0,02) -0,02 (0,02) 0,00 (0,02) 0,00 (0,02) 0,01 (0,02)
Пол ученика (женский) 0,06 (0,04) 0,06 (0,04) 0,06 (0,04) 0 2 0 * * * * (0,04) 0 25**** (0,04) 0 25* * * * (0,04) 0,03 (0,04) 0,01 (0,04) 0,00 (0,04) -0,03 (0,04) -0,02 (0,05) -0,03 (0,04)
Constant -0,45 (0,34) 0,42 (0,78) 0,32 (0,69) -0,14 (0,18) -1,29* (0,69) -1,35** (0,63) -0,35 (0,27) 0,16 (1,09) 0,17 (1,05) -0,45 (0,45) -1,17 (1,06) -0,85 (0,95)
R2 0,006 0,066 0,059 0,031 0,097 0,095 0,011 0,043 0,034 0,004 0,048 0,045
N 4371 4125 4190 4187 3871 4076 4166 3719 3962 4321 3925 4029
*р < 0,1; **р < 0,05; ***р < 0,01; ****р < 0,001.
В скобках указаны стандартные ошибки, вычисленные после применения кластерной коррекции. Контрольные группы для переменных «Образование» и «Стажучителя» — первая градация.
Практика
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
Таблица 2 Регрессионные модели с фиксированными
эффектами. Оценки первой разницы
Математика — физика Математика — биология Математика — химия
Учитель математики
Образование кат. 2 0,01 (0,06) -0,02 (0,06) 0,08 (0,07) 0,01 (0,07) 0,04 (0,07) -0,01 (0,07)
Образование кат.3 -0,05 (0,08) -0,07 (0,09) 0,04 (0,09) -0,05 (0,09) -0,08 (0,08) -0,10 (0,09)
Стаж 3-10 лет 0 54**** (0,14) 0,29* (0,16) 0,12 (0,13) -0,15 (0,18) -0,08 (0,25) -0,26 (0,32)
Стаж 1120 лет 0 54**** (0,11) 0,23* (0,13) 0,14 (0,13) -0,15 (0,18) -0,06 (0,26) -0,25 (0,32)
Стаж более 21 года 0 47**** (0,11) 0,17 (0,13) 0,11 (0,12) -0,19 (0,17) -0,18 (0,25) -0,38 (0,32)
Пол учителя (женский) 0,12 (0,18) 0,18 (0,20) 0,14 (0,17) 0,11 (0,18) 0,10 (0,16) 0,21 (0,15)
Минут преподавания в неделю О О о о о о о о о о о о О О о о о о о о о о о о 0,00 (0,00) -0,00 (0,00)
Уровень домашних заданий (высокий) 0,05 (0,05) 0,05 (0,05) 0,02 (0,06) 0,02 (0,06) 0,01 (0,06) 0,02 (0,06)
Задания репродуктивные -0,29 (0,18) -0,27 (0,18) -0,28 (0,20) -0,33* (0,18) -0,23 (0,21) -0,20 (0,21)
Задания на понимание 0,28 (0,24) 0,34 (0,23) 0,43* (0,25) 0,30 (0,23) 0,06 (0,26) 0,08 (0,25)
Форми- рование метанавыков 0,18 (0,23) 0,12 (0,22) 0,22 (0,24) 0,24 (0,22) 0,50** (0,25) 0,49** (0,23)
Групповая работа -0,21 (0,18) -0,24 (0,18) -0,21 (0,19) -0,24 (0,17) -0,33* (0,18) -0,42** (0,17)
Фронтальное обучение -0,04 (0,03) -0,01 (0,03) -0,01 (0,03) -0,02 (0,03) 0,03 (0,04) 0,03 (0,04)
Индив. работа 0,00 (0,01) 0,00 (0,01) 0,00 (0,01) 0,00 (0,01) 0,01 (0,01) 0,01 (0,01)
Контроль усвоения 0,00 (0,01) 0,01 (0,01) -0,00 (0,01) -0,00 (0,01) 0,01 (0,01) 0,01 (0,01)
Непродуктивное время 0,00 (0,01) 0,01 (0,01) 0,01 (0,01) 0,01 (0,01) 0,00 (0,01) -0,00 (0,01)
135
Практика
Математика — физика Математика — биология Математика — химия
Учитель физики Учитель биологии Учитель химии
Образование кат. 2 -0,07 (0,06) -0,07 (0,07) -0,00 (0,06) -0,00 (0,06) О О О о 0,08 (0,07)
Образование кат.3 0,05 (0,10) 0,13 (0,11) 0,01 (0,11) 0,03 (0,12) -0,15 (0,10) -0,17 (0,10)
Стаж 3-10 лет -0,15 (0,14) -0,04 (0,14) -0,28* (0,15) -0,28 (0,17) -0,44 (0,27) -0,47 (0,37)
Стаж 11-20 лет -0,13 (0,12) 0,00 (0,12) -0,30** (0,14) -0,33** (0,15) -0,22 (0,24) -0,34 (0,35)
Стаж более 21 года -0,13 (0,12) 0,00 (0,12) -0,30** (0,13) -0,36** (0,15) -0,26 (0,24) -0,39 (0,35)
Пол учителя (женский) -0,10 (0,08) -0,05 (0,07) -0,02 (0,02) -0,03 (0,04) -0,16 (0,13) -0,25** (0,10)
Минут преподавания в неделю О о о о о о О О о о о о -0,00 (0,00) -0,00 (0,00) -0,00 (0,00) -0,00 (0,00)
Уровень домашних заданий (высокий) 0,07 (0,06) о о о о CD СО -0,15* (0,08) -0,12 (0,08) -0,02 (0,08) 0,01 (0,07)
Задания репродуктивные -0,25 (0,16) -0,33** (0,15) -0,16 (0,22) -0,17 (0,21) -0 64**** (0,19) -0,55*** (0,20)
Задания на понимание 0,46 (0,31) 0,72** (0,29) 0,09 (0,22) 0,04 (0,20) 0,38 (0,26) 0,23 (0,25)
Формирование метанавыков -0,09 (0,21) -0,11 (0,19) 0,57** (0,27) 0,46* (0,25) 0,04 (0,21) -0,03 (0,22)
Групповая работа -0,01 (0,22) -0,14 (0,19) -0,02 (0,18) -0,01 (0,19) -0,12 (0,17) -0,09 (0,17)
Фронтальное обучение 0,01 (0,03) 0,00 (0,03) -0,02 (0,03) -0,03 (0,04) -0,03 (0,03) -0,02 (0,03)
Индив. работа 0,00 (0,01) 0,00 (0,01) -0,01 (0,01) -0,01 (0,01) 0,00 (0,01) 0,00 (0,01)
Контроль усвоения -0,00 (0,01) -0,00 (0,01) -0,00 (0,01) -0,01 (0,01) -0,01 (0,01) -0,01 (0,01)
Непродуктивное время 0,01 (0,02) 0,01 (0,02) -0,01 (0,02) -0,01 (0,02) -0,03* (0,02) -0,02 (0,02)
Пол ученика (женский) 0,50**** (0,04) 0,47**** ’(0,04) 0 48**** ’(0,04) 0,05 (0,04) 0,04 (0,04) 0,04 (0,04) 0,17**** ’(0,04) 0,15**** ’(0,04) 0,15**** ’(0,04)
Constant -0,66**** (0,19) -0,32 (0,74) -0,43 (0,78) -0,06 (0,25) 0,50 (1,11) 0,50 (1,01) 0,30 (0,38) 0,74 (1,11) -0,08 (0,91)
R2 0,067 0,081 0,079 0,007 0,026 0,018 0,017 0,042 0,03
N 4104 3580 3835 4083 3488 3796 4238 3710 3840
*p < 0,1; **p < 0,05; *** p < 0,01; **** p < 0,001.
В скобках указаны стандартные ошибки, вычисленные после применения кластерной коррекции.
Контрольные группы для переменных «Образование» и «Стаж учителя» — первая градация.
136
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
РЕЦЕНЗИЯ НА СТАТЬЮ
«ХАРАКТЕРИСТИКИ УчИТЕЛЕй И ДОСТИЖЕНИЯ
школьников. применение метода first
DIFFERENCE К ДАННыМ TIMSS-2007»
Авторы ставят перед собой и своими читателями следующие исследовательские вопросы:
1) какие учительские характеристики имеют значимый эффект для достижений российских восьмиклассников в TIMSS;
2) каковы последствия применения двух разных методов — обычных регрессий и метода первой разницы — для выявления значимых учительских эффектов?
На второй вопрос текст отвечает подробно и убедительно, поэтому описанное исследование представляет несомненный интерес для специалистов по статистическим методам оценки результатов тестов. Авторы продемонстрировали, что при ответе на один и тот же содержательный вопрос две разные модели статистического анализа приводят к разным выводам. Детально, доказательно, с изрядной долей критичности показаны ограничения обеих моделей.
Удалось ли авторам ответить на первый вопрос? При анализе метода получения первичной информации, на основе которой тест TIMSS позволяет рассмотреть отношения между учительскими характеристиками и достижениями учеников, авторы проявляют зрелую осторожность. Совершенно справедливо утверждается, что
• исследуемая характеристика напрямую зависит от национальной системы образования;
• вопросы из учительских анкет TIMSS не вполне соответствуют реалиям российской системы образования;
• одни и те же термины (например, «репродуктивные задания», «метанавыки») в этих анкетах имеют совершенно разные значения для учителей математики и естественных наук, поэтому сравнивать связь «характеристики учителя — достижения ученика» на уроках математики и science не вполне правомерно;
• одно и то же событие урока (например, лекция учителя) должно иметь совершенно разное влияние на достижения учеников, включенных в разную деятельность, а TIMSS не позволяет обнаружить, в какую деятельность включен ученик, слушающий лекцию.
К этим суждениям стоило бы добавить еще несколько достаточно очевидных соображений. Авторы пишут: «Мы рассматриваем каждого школьника как наблюдение, на которое оказывается экспериментальное воздействие — он/она учится у двух учителей с разными характеристиками, а все остальные свойства ученика остаются зафиксированными». Не надо быть искушенным
137
Практика
исследователем, чтобы добавить к этому тезису незамысловатую мысль: зафиксированными остаются все свойства ученика, кроме ключевого: его/ее отношения к человеку, преподающему тот или иной предмет. Речь идет не о стаже, не о методах преподавания и других измеряемых характеристиках учителя, а о том, нравится ли этот учитель этому ученику по-человечески...
Итак, каждый вывод, полученный в исследовании, нуждается как минимум в следующих оговорках:
• это справедливо только для России;
• это справедливо только для учеников 8-х классов;
• это справедливо только для математики, и мы не всегда имеем право сравнивать математику с химией (и наоборот);
• это справедливо, если иметь в виду, что самые существенные факторы, влияющие на исследуемый процесс, не учтены.
Резюме: рецензируемая статья посвящена методу анализа тестовых данных, а не результатам этого анализа. Поэтому ее композицию и смысловые акценты следует переработать. После такой переработки рукопись можно публиковать.
Рецензент: доктор психологических наук, профессор, ведущий научный сотрудник ПИ РАО Г. А. Цукерман
138
Ю. А. Тюменева, Т. Е. Хавенсон
Характеристики учителей и достижения школьников. Применение метода first difference...
ОТВЕТ АВТОРОВ РЕЦЕНЗЕНТУ
Авторы выражают благодарность рецензенту за внимательное прочтение их работы. Из текста рецензии авторы смогли выделить два замечания, которые требуют ответа и корректировки текста.
1. Рецензент указывает на то, что среди индивидуальных особенностей учащегося «зафиксированными остаются все свойства ученика, кроме ключевого: его/ее отношения к человеку, преподающему тот или иной предмет». И ниже в той же связи: «это справедливо, если иметь в виду, что самые существенные факторы, влияющие на исследуемый процесс, не учтены...»
Авторы были бы признательны рецензенту за любые ссылки на работы, где показано, что межличностные отношения ученика и учителя являются «ключевыми» и «самыми существенными» факторами межпредметной разницы в достижениях. На житейском уровне с этим утверждением можно согласиться, однако, к сожалению, мы не можем руководствоваться житейскими рассуждениями, когда обосновываем или опровергаем выводы.
Понимая, что наше исследование, так же как любое другое научное исследование, имеет ограничения, связанные прежде всего с особенностью данных TIMSS, мы оценивали риск смещения результатов из-за каких-либо неучтенных индивидуальных особенностей ученика, например его способностей или мотивации. Были подсчитаны коэффициенты корреляции между достижениями по разным предметам. Оказалось, что они положительны и значимы (подробное обсуждение этого вопроса, см. в тексте, с. 125 и 130-131). Иными словами, взятые все вместе, неизмеренные индивидуальные особенности (способности, мотивация, отношение к учителю и т.д. и т.п.) изменяются согласованно от предмета к предмету, иными словами, действуют как единый комплекс. Нам не удалось найти признаков того, что социальные параметры обучения изменяют разницу в достижениях по разным предметам в каком-то специфическом направлении. По нашим данным, скорее, межличностные отношения учащегося и учителя действуют «заодно» с мотивацией, способностями и любыми другими индивидуальными характеристиками ученика.
Это те выводы, к которым приходят авторы на основе данных, полученных на более чем 4-тысячной выборке, участвующей в этом международном исследовании. Если у рецензента есть другие данные, мы будем рады поработать с ними в дальнейшем.
Мы приняли во внимание эти опасения рецензента и расширили соответствующие части статьи, в том числе добавили отдельный раздел «Ограничения исследования».
139
Практика
2. Рецензент резюмирует, что «статья посвящена методу анализа тестовых данных, а не результатам этого анализа». И рекомендует «ее композицию и смысловые акценты... переработать», добавляя, что после такой переработки рукопись можно публиковать.
Во-первых, нам хотелось бы подчеркнуть, что статья посвящена и методам анализа (правда, «не тестовых данных», а сравнительной значимости контекстных переменных для достижений), и результатам анализа. Обсуждение результатов работы на нескольких конференциях и семинарах показало, что материал вызывает наибольший интерес как раз не у статистиков, а у методистов школ, разработчиков программ и политиков в области образования.
Работа показывает, что:
• многие распространенные представления о важности той или иной деятельности на уроке должны быть переоценены ;
• для некоторых «прописанных» стандартами и программами учительских практик, возможно, требуется «переоснастить» учителя как организатора;
• смещения в случайном распределении учеников по учителям и школам происходят именно по тем признакам, которые школьная администрация может зафиксировать, и не происходят по другим параметрам, хотя бы и более важным.
Эти и некоторые другие содержательные выводы, по мнению авторов, могут представлять интерес для читателей журнала, и было бы ошибкой оставить в рукописи только методические находки.
РЕЦЕНЗЕНТ - РЕДАКЦИИ
Меня чрезвычайно тронули старательные авторы статьи, которую, разумеется, надо печатать: общую культуру обращения с большими объемами тестовой информации она, безусловно, повысит.
Милым авторам передайте, что единственное, от чего я им желаю избавиться срочно,— это от самоутешения типа «На конференциях наш доклад понравился.» Избавиться от этого помогают наставления Гамлета:
«Несведущие будут смеяться, но знаток опечалится, а суд последнего, с вашего позволения, должен для вас перевешивать целый театр, полный первых».
140
