CC BY-NC-ND
447
Связь результатов Единого государственного экзамена и успеваемости в вузе
Т. Е.Хавенсон, А. А. Соловьева
Статья поступила в редакцию в августе 2013 г.
Хавенсон Татьяна Евгеньевна
научный сотрудник Международной лаборатории анализа образовательной политики Института образования НИУ ВШЭ. Адрес: Москва, 101000, Милютинский пер., д. 13. E-mail: tkhavenson@hse.ru Соловьева Анна Андреевна стажер-исследователь Международной лаборатории анализа образовательной политики Института образования НИУ ВШЭ. Адрес: Москва, 101 000, Милютинский пер., д. 13. E-mail: soloveva.anna@gmail.com
Аннотация. Анализируется возможность прогнозировать успешность обучения в вузе на основании результатов Единого государственного экзамена. В частности, проверяется гипотеза о том, что баллы ЕГЭ по разным предметам в равной степени эффективны в качестве прогностического фактора дальнейшей успеваемости. С помощью методов регрессионного анализа оценивалась сила связи результатов вступительных экзаменов (как суммарного балла ЕГЭ, так и баллов по отдельным предметам) и успеваемости студентов в вузе. Выборка исследования составила око-
ло 19 тыс. студентов пяти российских вузов, поступивших на 1-й курс в период с 2009 по 2011 г. Так как в выборку вошли вузы разных профилей, изначально для каждого факультета в вузе рассчитывались отдельные регрессии. Для объединения данных был проведен метаанализ результатов регрессий. В качестве основного показателя успеваемости в университете была выбрана средняя оценка за 1-й год учебы. Установлено, что результаты ЕГЭ связаны с успеваемостью на 2-м курсе и на старших курсах только опосредованно — через успеваемость на 1-м курсе. На основании полученных результатов авторы делают вывод, что предсказательная способность суммарного балла ЕГЭ является приемлемой для того, чтобы признать этот экзамен валидным инструментом отбора абитуриентов. Проанализирована связь баллов ЕГЭ с другим средством отбора абитуриентов — результатами предметных олимпиад.
Ключевые слова: Единый государственный экзамен, олимпиады для школьников, вступительные экзамены, прогностическая валидность, метаанализ, успеваемость в вузе.
Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ в 2012 г.
В 2013 г. выпускниками вузов впервые стали студенты, поступавшие в большинстве своем по результатам Единого государственного экзамена. Разработка и введение в практику ЕГЭ стали ключевыми элементами реформы российской образовательной системы. Основная черта ЕГЭ как новой оценочной процедуры — его стандартизированный и всеобщий характер. Такая форма экзаменов была призвана решить сразу несколько важных задач.
176
Вопросы образования. 2014. № 1
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
Во-первых, ЕГЭ должен был стать основой для системы оценки качества школьного образования и всеобщей итоговой аттестации выпускников школ; во-вторых, он должен был способствовать обеспечению равного доступа к высшему образованию для всех выпускников школ, вне зависимости от их социальных и экономических характеристик [Болотов, Вальдман, 2012].
На основании результатов ЕГЭ должно быть возможно предсказание успеваемости студентов в вузе: поскольку абитуриенты ранжируются и отбираются по результатам ЕГЭ, предполагается, что те из них, кто имеет более высокие баллы, являются более способными, а значит, должны демонстрировать более высокие академические достижения после поступления. Кроме того, система построена так, что выпускники школ отбираются на основании суммарного балла ЕГЭ по требуемым для поступления на конкретную специальность предметам1. Таким образом, предполагается, что все предметы предсказывают дальнейшую успеваемость в равной степени. Эти две основные предпосылки новой системы экзаменов, касающиеся отбора в вузы, проверяются в данном исследовании.
Основной его целью является изучение связи результатов ЕГЭ и дальнейшей успеваемости студента в вузе, а значит, оценка валидности ЕГЭ 2 как инструмента отбора студентов в вузыз. Учитывая, что помимо ЕГЭ существует дополнительный инструмент отбора абитуриентов в вузы — олимпиады школьников, нам также представляется важным сравнить предсказательную валидность этих способов отбора в отношении дальнейшей успеваемости.
Поскольку ЕГЭ создан относительно недавно, российская эмпирическая база для исследований пока невелика. К тому же ана-
1 Некоторые вузы могут устанавливать минимальные баллы для результатов ЕГЭ (порог удовлетворительной оценки), однако далеко не все пользуются данной возможностью, и устанавливаемые пороги не всегда высоки, что позволяет нам говорить о том, что на практике все еще применяется простое суммирование.
2 В данном исследовании мы рассматривали именно прогностическую валидность ЕГЭ, т. е. оценивали, насколько точно на основании ЕГЭ можно предсказывать дальнейшую успеваемость студента в вузе.
3 Помимо «входных» способностей студента, которые призван измерять ЕГЭ, на успеваемость в вузе влияет большое количество факторов: мотивация и способность к самоконтролю [Гордеева и др., 2011], экономический и культурный капитал семьи, национальность, пол [Patterson, Mattern, Kobrin, 2009; Shaw et al., 2012]. Однако в данном исследовании нас интересует именно предсказательная способность ЕГЭ, поэтому далее мы не будем останавливаться на других возможных предикторах успеваемости.
1. Исследования связи результатов вступительных экзаменов с успеваемостью в вузе
http://vo.hse.ru
177
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
лиз результатов затрудняет сложность доступа к имеющимся данным, отсутствие единых баз с информацией по ЕГЭ и успеваемости в вузе. Тем не менее ряд исследований по этой теме уже проведен [Польдин, 2011; Пересецкий, Давтян, 2011; Дерка-чев, Суворова, 2008; Замков, 2012; Гордеева и др., 2011].
В среднем, по результатам перечисленных исследований, баллы ЕГЭ объясняют 25-30% вариации успеваемости студентов в вузе. Это достаточно много, так как на успеваемость влияет огромное количество факторов помимо результатов вступительных испытаний. Если рассматривать отдельные предметы, то чаще других значимыми предикторами оказываются ЕГЭ по математике и по русскому языку. Учет того, что некоторые студенты были зачислены как призеры олимпиад, в среднем добавляет 10% к объяснению успеваемости. Однако данные исследования проведены на специфических выборках, обычно по отдельным факультетам одного вуза, почти исключительно социально-экономического профиля, так что понять, как функционирует ЕГЭ для отбора студентов на факультеты разных направлений подготовки, на основании полученных в них результатов нельзя.
Стандартизированные вступительные экзамены широко используются в мировой практике, самые известные из них — SAT и ACT в США и Matura в ряде европейских стран. Сходные процедуры применяются также, например, в Израиле, Иране, Японии, Китае.
В США каждый вуз устанавливает, какой из этих тестов, SAT или ACT, принимается в качестве вступительного экзамена. Сейчас все чаще вузы принимают результаты обоих тестов, устанавливая шкалы соответствия баллов по одному и другому. То есть если выпускник планирует поступать в вуз, то он обязан пройти один из этих тестов. SAT применяется с 1926 г., за прошедший период он подвергся значительным изменениям, затронувшим общую концепцию теста. В 1959 г., во многом как альтернатива SAT, возник экзамен ACT. Он позиционировался как тест, измеряющий скорее не общие врожденные интеллектуальные способности школьников, а навыки, получаемые в школе, т. е. предполагалось, что его результаты больше зависят от желания и способности школьника учиться. Однако со временем произошла конвергенция SAT и ACT. Сегодня считается, что оба экзамена оценивают как предметные знания, так и общие способности абитуриентов к учебе [Atkinson, 2009], т. е. являются одновременно тестами знаний и тестами способностей [Зелман, 2004]. Судя по результатам исследований, эти экзамены не различаются значимо по способности предсказывать успеваемость абитуриента в вузе [Atkinson, 2009].
В США накоплен большой опыт проведения стандартизированных экзаменов и имеется большое количество исследований их валидности. По сравнению с другими вступительными
178
Вопросы образования. 2014. № 1
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
экзаменами, использующимися в мировой практике, SAT и ACT наиболее тщательно изучены, и результаты этих исследований представлены в открытом доступе. Поэтому мы обратимся к исследованиям SAT и ACT, для того чтобы установить некоторые референтные значения для нашего исследования.
Основной подход к анализу валидности SAT и ACT — оценка силы линейной взаимосвязи между результатами тестов и показателями успеваемости студентов в вузе с помощью расчета коэффициента корреляции Пирсона или регрессионных моделей, где зависимая переменная — показатель успеваемости, а предикторы — баллы SAT или ACT. В роли итогового показателя качества предсказания выступают величина коэффициента корреляции, возведенная в квадрат, или коэффициент детерминации в регрессионных моделях, интерпретируемые как доля вариации зависимой переменной, которая объясняется независимыми переменными.
В соответствии с результатами метаанализа, т. е. статистического обобщения результатов нескольких исследований, средняя оценка коэффициента корреляции между баллами по вступительным тестам (SAT и ACT) и показателем академической успешности студента за весь период учебы находится в интервале от 0,35 до 0,46 с учетом стандартной ошибки. Таким образом, вступительные экзамены предсказывают 12-25% вариации оценок в вузе (величина R2) [Kuncel, Hezlett, 2007]. Именно эти значения мы будем использовать как референтные при оценке прогностической валидности ЕГЭ, поскольку обобщение результатов большого количества измерений дает более надежные результаты, чем отдельные исследования, даже на крупных выборках.
Результаты ряда исследований [Patterson, Mattern, Kobrin, 2009; Kobrin et al., 2008; Radunzel, Noble, 2012; Allen et al., 2008] показывают примерно одинаковый уровень предсказательной силы SAT и ACT за достаточно большой промежуток времени, следовательно, связь между баллами на вступительных экзаменах и успеваемостью в вузе устойчива.
В ряде работ наряду с результатами вступительных испытаний SAT или ACT учитывается средняя оценка школьного аттестата. И она зачастую оказывается лучшим предиктором успеваемости в вузах, чем баллы SAT или ACT [Patterson, Mattern, 2012], а совместный учет результатов вступительных экзаменов и средней школьной оценки в одной модели значительно повышает успешность предсказания академических достижений [Rothstein, 2004; Sawyer, 2010]. Поскольку в ЕГЭ совмещены выпускной и вступительный экзамены, он также выполняет функцию школьной оценки.
Многие исследования показывают, что именно 1-й год учебы в вузе является определяющим для успеваемости на всех после-
http://vo.hse.ru
179
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
дующих курсах, сдачи итоговых экзаменов [Patterson, Mattern, 2011; 2012; Radunzel, Noble, 2012] и даже для успеваемости в магистратуре [Radunzel, Noble, 2012]. Поэтому важным условием прогностической валидности экзамена является его способность предсказывать успеваемость именно на 1-м курсе.
2. Методология исследования
Шаг 1. Оценка связи ЕГЭ и успеваемости отдельно для каждого факультета
В соответствии с общепринятой методологией мы оценивали прогностическую валидность ЕГЭ путем измерения силы связи результатов ЕГЭ и дальнейшей успеваемости в вузе с помощью линейного регрессионного анализа. В качестве основного показателя успеваемости в университете была выбрана средняя оценка за 1-й год учебы.
В качестве независимых переменных использовались либо сумма баллов по всем предметам ЕГЭ (модель 1), либо баллы по каждому предмету ЕГЭ отдельно (модель 2):
(1)
(2)
Yiy = а + b ( X Xjj) + е;
Yy = а + b X i + b2 X> i + bjXji + е,
i=1
где Yiy — показатель успеваемости студента, поступившего в вуз в год y; Xni — балл студента i по ЕГЭ по предмету j; е — ошибка.
Таким образом, анализ коэффициентов детерминации4 моделей парной регрессии (1) позволяет оценить прогностическую валидность суммарного балла ЕГЭ. Анализ стандартизированных регрессионных коэффициентов множественной регрессии (2), в свою очередь, позволяет оценить валидность ЕГЭ по каждому отдельному предмету и сравнить силу связи баллов ЕГЭ по каждому предмету с успеваемостью в вузе5.
4 Далее мы будем использовать как синонимы данный термин и словосочетание «доля объясненной дисперсии» либо краткое обозначение R2.
5 Результатами расчета регрессионных моделей могут быть два вида коэффициентов: нестандартизированные и стандартизированные. Первые показывают, насколько увеличится или уменьшится значение зависимой переменной (успеваемости, например)при изменении независимой переменной (балла ЕГЭ) на единицу. Данные коэффициенты позволяют рассчитать значение зависимой переменной на основе значений независимой. Стандартизированные же коэффициенты показывают силу связи между зависимой переменной и каждой из независимых переменных, позволяя сравнить силу связи между ними. Для интерпретации результатов регрессионного анализа чаще опираются на нестандартизированные коэффициенты, но в нашем случае они не-
180
Вопросы образования. 2014. № 1
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
На первом этапе каждый факультет университета рассматривался как отдельная единица анализа, т. е. для каждого факультета строилась отдельная регрессионная модель. Это необходимо для того, чтобы избежать влияния особенностей оценки успеваемости студента на каждом факультете, различий в разбросе баллов ЕГЭ и других факторов на характер связи между успеваемостью и результатами вступительных экзаменов. Объединение студентов разных факультетов в одну модель могло бы привести к недооценке силы связи между ЕГЭ и успеваемостью на изучаемых направлениях подготовки. Отдельно строились и регрессионные модели для студентов, поступивших в разные годы, поскольку шкалы ЕГЭ за разные годы несравнимы между собой. Таким образом, всего было построено примерно по 200 моделей каждого типа — парных (1) и множественных (2) — отдельно по факультетам каждого вуза и когортам студентов.
Для того чтобы объединить результаты регрессионных моделей, выявить главные закономерности и дать общую оценку валидности ЕГЭ, на втором этапе исследования был проведен метаанализ полученных регрессионных коэффициентов.
Метаанализ — это статистический метод, позволяющий объединить результаты отдельных исследований, посвященных одной теме и одному объекту. Основная идея метаанализа заключается в том, чтобы найти среднее значение изучаемого эффекта, но не просто рассчитывая среднее арифметическое по полученным коэффициентам, а взвешивая каждый из них в соответствии со степенью надежности. Обычно он применяется либо для объединения данных отдельных опубликованных исследований, либо для обобщения результатов исследований, проводимых на небольших выборках, в которых и сами результаты, и статистические критерии не могут быть достаточно надежными.
В данном исследовании использовалась модель случайных эффектов, которая позволяет делать допущение о том, что на величину веса коэффициента в каждом отдельном случае влияет уникальный набор факторов, которые исследователь не может учесть при объединении результатов. Такое допущение важно потому, что на силу связи между «входными» способностями студента, которые оценивает ЕГЭ, и его успеваемостью влияет много факторов, например политика вуза в отношении разных групп студентов, особенности образовательной программы, методы оценки полученных знаний. Кроме того, вузы, вошедшие в выборку, различаются по размеру, селективности, численности студентов, профильным направлениям. Как показывают иссле-
Шаг 2. Обобщение результатов с помощью метаанализа
информативны, и необходимо ориентироваться именно на стандартизированные.
http://vo.hse.ru
181
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
дования SAT [Mattern, Patterson, 2011a; 2011b], каждый из этих признаков влияет на взаимосвязь результатов вступительного экзамена и успеваемости. По этим причинам, объединяя результаты, мы должны учитывать, что для каждого отдельного факультета существует уникальный набор факторов, влияющих на то, насколько сильно успехи студента в вузе будут зависеть от его «входных» способностей.
Для метаанализа исследований, использующих коэффициенты корреляции, существуют две модификации метода построения моделей случайного эффекта: Хеджа—Олкина [Hedges, Olkin, 1985] и Хантера — Шмидта [Hunter, Schmidt, 1990]. В данной статье будут представлены результаты моделей Хеджа — Олкина.
В методе Хеджа—Олкина все манипуляции над коэффициентами корреляции проводятся после их стандартизации в z-распределение Фишера. Среднее взвешенное значение коэффициента рассчитывается следующим образом:
(3)
£ z" 1 nr-r+т2
£ (—— + т2' '
|=Л n - 3
-1
r
(4)
(5)
где ——значение среднего стандартизованного коэффициента корреляции; z — значение стандартизованного коэффициента корреляции в исследовании i; ni — размер выборки в исследовании i; т2 — коэффициент межгрупповой дисперсии, который рассчитывается как:
т2 =
Q - (к - 1) c
где к— количество коэффициентов, объединяемых в метаанализе; с — константа, использующаяся для сохранения размерности; Q — коэффициент гомогенности:
к 2
Q = £ (n - 3) (zn- - .
і=і
Стандартная ошибка среднего рассчитывается следующим образом:
(6)
SE(-)
1
182
Вопросы образования. 2014. № 1
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
Таблица 1. Описание выборки
Вуз № Количество факультетов, вошедших в выборку Численность студентов в выборке Профиль вуза Средний балл зачисленных по результатам ЕГЭ в 2011 г. Количество победителей олимпиад среди студентов, поступивших в 2009-2011 гг.
2010 2011
1 14 4 653 Классический 58,2 59,9 17
2 19 6 054 Классический 59,5 59,6 129
3 23 6 618 Социально- экономический 82,8 85,2 2226
4 7 1 013 Технический 63,3 64,8 Нет данных
5 2 708 Технический 57,9 59,3 Нет данных
Всего 65 19 046
Источник: По данным Мониторинга качества приема в вузы России — 2011 http://www.hse.ru/ ege/second_section/
В выборку исследования вошли пять университетов из разных регионов России. Четыре из них предоставили информацию обо всех студентах, один — по двум наиболее крупным факультетам.
Исследование проводилось на данных по студентам, поступившим в университет в 2009-2011 гг. Для отбора студентов строилась кластерная выборка, где единицей отбора выступали университеты, согласившиеся предоставить данные. В целом в выборке имеются данные по 65 факультетам и более чем по 19 тыс. студентов. В табл. 1 представлена статистика по показателям размера и селективности университетов.
Дальнейшая аналитическая стратегия продиктована задачей определить, насколько результаты ЕГЭ способны давать долгосрочный прогноз успеваемости в вузе: мы начали с оценки силы связи результатов вступительных экзаменов и успеваемости за разные годы обучения в вузе. Для этого с помощью метода моделирования структурными уравнениями были оценены модели прямого влияния баллов ЕГЭ на результаты обучения на 2-м курсе и выше и модели, где связь между баллами ЕГЭ и результатами обучения на 2-м курсе и выше опосредовалась успеваемостью на 1-м курсе. Общая схема модели представлена на рис. 1. В табл. 2 приведены сводные данные по полученным моделям.
По результатам проведенного анализа видно, что баллы ЕГЭ хорошо предсказывают только успеваемость на 1-м курсе и напрямую не связаны с оценками на последующих курсах. В то же
Эмпирическая
база
3. Результаты
3.1. Способность ЕГЭ предсказывать
долгосрочную
успеваемость
http://vo.hse.ru
183
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
Рис. 1. Схема путевой модели для оценки прямого и опосредованного влияния ЕГЭ на успеваемость
ЕГЭ
2-й курс
3-й курс
Таблица 2. Результаты оценки прямой и непрямой связи баллов ЕГЭ и успеваемости в разные годы обучения в вузе
(значения коэффициентов корреляции Пирсона)
Связь между переменными Вуз № Сред- нее значе- ние Стан- дартное откло- нение
1 2 3 4 5
Прямой эффект
ЕГЭ ^ 1-й курс 0,55* О со го 0,48* О -ti- ro 0,45* 0,44 0,08
ЕГЭ ^ 2-й курс 0,13* 0,07* -0,01 0,16* 0,10 0,09 0,07
ЕГЭ ^ 3-й курс 0,04 -0,02 0,05* 0,16* -0,03 0,04 0,08
1-й курс ^ 2-й курс О О 0,71* СО : О : 0,48* О : СО ГО 0,69 0,13
1-й курс ^ 3-й курс 0,65* 0,69* 0,66* 0,41* 0,67* 0,62 0,12
2-й курс ^ 3-й курс 0,29* 0,39* 0,33* 0,66* 0,29* 0,39 0,16
Непрямой эффект8
ЕГЭ ^ 1-й курс ^ 2-й курс 0,39 0,23 0,35 0,20 0,37 0,31 0,09
ЕГЭ ^ 1-й курс ^ 3-й курс 0,36 0,22 0,32 0,17 0,30 0,27 0,08
* Коэффициенты, статистически значимые на уровне значимости 0,05.
a Непрямой эффект рассчитывается как произведение прямых эффектов ЕГЭ на 1-й курс и 1-го курса на 2-й и 3-й курсы соответственно.
время успеваемость на 2-м и 3-м курсах достаточно сильно зависит от того, как студент учился на 1-м курсе. То есть непрямая связь баллов ЕГЭ с успеваемостью на 2-м и 3-м курсах, опосредованная оценками за 1-й курс, является довольно сильной: в среднем 0,3 и для 2-го, и для 3-го курса. Из чего следует, что далее в анализе мы можем рассматривать только связь ЕГЭ с успеваемостью на 1-м курсе, а его способность предсказывать итоги 1-го года учебы мы будем считать достаточной для того, чтобы считать экзамен валидным.
184
Вопросы образования. 2014. № 1
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
Таблица 3. Количество моделей, объединенных в метаанализе
Укрупненные направления подготовки Факультеты Количество моделей
Математика и информатика Математика и информатика 26
Физика и инженернотехнические специальности Физика Инженерно-технические специальности 56
Естественные науки и медицина Биология Экология География Химия Геология Медицина 32
Экономика Экономика 21
Менеджмент, маркетинг, социология, связи с общественностью Менеджмент, маркетинг, социология Сервис, реклама, связи с общественностью 33
Филология и журналистика Филология Журналистика 18
Гуманитарные науки История Философия, культурология, востоковедение, политология 18
В процессе работы мы разделили все факультеты в нашей выборке на семь основных направлений; дальнейшее обобщение с помощью процедур метаанализа проводилось для каждого направления отдельно. В табл. 3 представлены данные направления и количество исходных регрессионных моделей (1) и (2), объединенных в метаанализе. В ходе объединения мы руководствовались не только принятыми классификаторами направлений подготовки, но и наполненностью групп в наших данных.
На рис. 2 показано, какая доля вариации6 7 8 успеваемости на 1-м курсе объясняется результатами вступительных экзаменов в рамках каждого направления8.
Значения R2 в диапазоне 0,13-0,3 означают, что от 13 до 30% успеваемости на 1-м курсе объясняются суммарным баллом ЕГЭ,
3.2. Предсказательная валидность суммарного балла ЕГЭ для разных направлений подготовки6
6 На первых этапах исследования мы выяснили, что ни в одном из представленных в нашей выборке вузов не наблюдается тенденция к увеличению или уменьшению предсказательной валидности ЕГЭ с 2009 по 2011 г., поэтому далее предсказательная способность ЕГЭ не анализировалась для разных годов отдельно.
7 Коэффициент детерминации R2 регрессионных моделей первого типа (1). Здесь и далее линиями представлен доверительный интервал.
8 Вычисление средних значений производилось с помощью процедур метаанализа.
http://vo.hse.ru
185
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
Рис. 2. Средние значения А2 для разных направлений подготовки
0,50
Все коэффициенты статистически значимы на уровне значимости 0,05.
тика нерия стика
с которым абитуриент пришел в вуз. Это достаточно много, учитывая, что мы не рассматриваем никакие другие показатели, потенциально оказывающие влияние на успеваемость. Полученные результаты практически совпадают с референтным значением 0,12-0,25, которое мы установили по результатам обзора исследований прогностической валидности SAT и ACT.
Так как доверительные интервалы для доли объясненной вариации для большинства направлений пересекаются, мы можем заключить, что ЕГЭ предсказывает успеваемость примерно одинаково на всех направлениях подготовки. Тем не менее некоторые различия присутствуют: на факультетах экономики, математики и информатики, менеджмента и маркетинга ЕГЭ предсказывает большую долю успеваемости, тогда как для физико-технического направления суммарный балл ЕГЭ является не столь сильным предиктором дальнейшей успеваемости, причем значения R2 статистически значимо ниже, чем на трех вышеуказанных направлениях. Но в целом мы можем утверждать, что суммарный балл ЕГЭ имеет достаточно высокую предсказательную валидность для всех направлений подготовки.
Причины различий в предсказательной силе суммарного балла ЕГЭ для разных направлений становятся понятными, если рассмотреть композицию предсказательной валидности разных предметов, составляющих суммарный балл ЕГЭ. Для этого были оценены модели (2) и с помощью метаанализа обобщены их результаты. На рис. 3-6 представлены различия стандартизирован-
186
Вопросы образования. 2014. № 1
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
Рис. 3. Средние значения стандартизированных коэффициентов регрессии ЕГЭ по отдельным предметам для факультетов математики и информатики, физики и инженерных специальностей
0,50
ос
CD
5:
э:
<D
э-
оз
Все коэффициенты статистически значимы на уровне значимости 0,05.
Математика Русский Информа- Математика Русский Физика язык тика язык
Физика и инженерия
0,21
0,16
0,10
0,25
0,19
0,14
0,18
0,11
0,04
ных регрессионных коэффициентов9 при баллах ЕГЭ по разным предметам для ряда направлений подготовки.
На факультетах, относящихся к направлению «Математика и информатика», статистически значимы регрессионные коэффициенты при баллах ЕГЭ по всем предметам, и наиболее важными для предсказания дальнейшей успеваемости являются профильные предметы — математика и информатика. Это означает, что успеваемость в вузе связана с результатами ЕГЭ по всем предметам, и сильнее всего эта связь для профильных для этого направления ЕГЭ — по математике и по информатике. При этом коэффициент при баллах ЕГЭ по русскому языку ненамного меньше, чем при профильных предметах. Напротив, для направления «Физика и инженерно-технические специальности» баллы ЕГЭ по русскому языку и по математике оказались несколько лучшими предикторами, чем результаты ЕГЭ по профильному предмету. Причем все коэффициенты регрессии ниже, чем в модели для направления «Математика и информатика».
Интерпретация коэффициентов регрессии при результатах ЕГЭ по разным предметам для естественных наук затруднена, поскольку в это направление были объединены наиболее разнородные факультеты10, которые различаются по набору
9 Данные коэффициенты можно интерпретировать как силу связи между баллом по конкретному предмету ЕГЭ и успеваемостью в вузе.
10 Это было сделано с целью преодоления ограничений на размер выборки в метаанализе.
http://vo.hse.ru
187
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
Рис. 4. Средние значения стандартизированных коэффициентов регрессии ЕГЭ по отдельным предметам для факультетов естественно-научного направления
0,50
Все коэффициенты статистически значимы на уровне значимости 0,05, кроме коэффициента при ЕГЭ по биологии.
Рис. 5. Средние значения стандартизированных коэффициентов регрессии ЕГЭ по отдельным предметам для факультетов экономики, маркетинга и менеджмента
0,50
ос
ш
S:
3;
ш
Все коэффициенты статистически значимы на уровне значимости 0,05.
Экономика
0,40
>0,32
0,24
0,28
>0,21
0,14
0,20
>0,12*
0,05
0,23
>0,15
0,08
Менеджмент и маркетинг
0,28
> 0,20
0,13
0,31
>0,26
0,20
0,20
>0,14
0,08
0,17
' 0,11
0,05
Матема- Русский Общество- Иностран- Матема- Русский Общество- Иностран-
тика язык знание ный язык тика язык знание ныйязык
вступительных экзаменов. По этой причине в рамках данного направления нельзя сделать вывод о том, предсказывают ли баллы ЕГЭ по математике и русскому языку успеваемость лучше, чем профильные предметы. Однако по представленным резуль-
188
Вопросы образования. 2014. № 1
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
Рис. 6. Средние значения стандартизированных коэффициентов регрессии ЕГЭ по отдельным предметам для гуманитарных факультетов, филологии и журналистики
Гуманитарные науки
0,29 j 0,24
0,20
0,12
|о,09
0,05
0,24
>0,18
0,12 0,08
Филология и журналистика
0,37
0,25
^ 0,20
0,16
>0,30
0,23
0,24
>0,19
0,13
Русский История Общество- Иностран- Русский История Литература
язык знание ный язык язык
0,50
сс
5:
э:
э-
оз
а:
СО
Все коэффициенты статистически значимы на уровне значимости 0,05, кроме коэффициента при ЕГЭ по иностранному языку.
-0,09
татам можно судить о предсказательной валидности ЕГЭ по каждому предмету отдельно.
Для факультетов экономики, а также маркетинга и менеджмента лучшим предиктором успеваемости является результат ЕГЭ по математике, также относительно высокий коэффициент у русского языка. Иностранный язык и обществознание имеют почти равные коэффициенты, которые заметно ниже, чем для русского языка и математики.
Для факультетов филологии и журналистики наибольшей предсказательной способностью обладает ЕГЭ по истории, его коэффициент значительно выше, чем у ЕГЭ по профильным русскому и литературе. Для остальных гуманитарных наук (философии, культурологии, востоковедения, политологии, истории) значимы только ЕГЭ по обществознанию и русскому языку и не значимы по истории и иностранному языку.
Так как сила связи баллов ЕГЭ по разным предметам с успеваемостью в вузе интерпретируется как оценка их предсказательной валидности, ее можно ранжировать (табл. 4).
В целом по итогам анализа предсказательной валидности результатов ЕГЭ по отдельным предметам видно, что ЕГЭ по математике и русскому языку почти на всех направлениях оказываются лучшими предикторами успеваемости, чем ЕГЭ по профильным предметам. Причем иногда ЕГЭ по профильным предметам оказывается наиболее слабым предиктором, уступая
http://vo.hse.ru
189
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
Таблица 4. Предсказательная валидность ЕГЭ по разным предметам в среднем для всех факультетов
Предмет ЕГЭ Среднее значение стандартизированного коэффициента регрессии (стандартная ошибка)
Информатика 0,29 (0,05)
Русский язык 0,22 (0,03)
Математика 0,21 (0,04)
История 0,19 (0,05)
Химия 0,21 (0,07)
Литература 0,19 (0,05)
Физика 0,16 (0,04)
Обществознание 0,15 (0,04)
Иностранный язык 0,13 (0,04)
География 0,15 (0,08)
Биология 0,09 (0,05)
как ЕГЭ по русскому языку и по математике, так и ЕГЭ по иностранному языку.
Можно предложить несколько объяснений, почему именно ЕГЭ по математике и русскому языку имеют наиболее высокую валидность.
Во-первых, именно у этих ЕГЭ наиболее ярко выражена двойная функция: аттестация знаний, полученных в школе, и оценка компетенций, необходимых для поступления в вуз. ЕГЭ по математике и русскому языку сдают как школьники, которым нужен только школьный аттестат, так и те, кто по его результатам планирует поступать в вуз, в том числе на профильные факультеты. Возможно, само содержание тестов по этим предметам более дифференцированно, и оценка по ним лучше разделяет абитуриентов, т. е. различия между абитуриентами в баллах ЕГЭ по математике и русскому языку более точно отражают различия в их компетенциях, чем остальные ЕГЭ11. Кроме того, как было показано выше, исследования валидности SAT и ACT в США де-
11 Здесь мы исходим из непроверенной, но адекватной, на наш взгляд предпосылки, что предметы ЕГЭ по выбору сдают более мотивированные ученики — либо потому, что им нравится данный предмет и они хорошо по нему учатся в школе, либо потому, что он необходим им для поступления в вуз, либо по ряду других возможных причин. Но эти экзамены однозначно реже идут сдавать те, кто с трудом осваивает школьную программу по ним.
190
Вопросы образования. 2014. № 1
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
монстрируют, что учет школьной оценки значительно улучшает прогноз успеваемости в университете. В нашем случае можно говорить о том, что ЕГЭ отчасти выполняет функцию итоговой школьной оценки.
Во-вторых, следствием того, что эти два предмета обязательные, может быть тот факт, что им уделяют наибольшее внимание как разработчики ЕГЭ, так и все, кто связан с подготовкой к экзамену. В школах наибольшие усилия направляются именно на ЕГЭ по обязательным предметам, поэтому у всех учащихся есть возможность готовиться к ним самостоятельно, т. е. без помощи репетиторов и дополнительных курсов вне школы, а это уравнивает шансы школьников из разных слоев общества сдать его успешно, поэтому на эти предметы менее всего действуют внеинтеллектуальные факторы.
В-третьих, объяснение данного феномена может быть связано не с особенностями ЕГЭ по тем или иным предметам, а с содержанием учебных программ 1-го года обучения в вузах. Практически на всех направлениях обучения 1-й год студенты изучают большое количество общеобразовательных предметов, не отражающих специфику данного направления. И поэтому ЕГЭ по таким же общеобразовательным русскому языку и математике и показывают наиболее сильную связь с академическими достижениями в вузе.
Наконец, в-четвертых, можно предположить, что русский язык и математика — это просто базовые для школьной образовательной программы предметы, а их знание связано с базовыми компетенциями, которые необходимы для успешной учебы на любых направлениях подготовки.
С другой стороны, то, что ЕГЭ по профильному предмету часто является наиболее слабым предиктором успеваемости, — результат безусловно неожиданный. Мы предполагаем, что он связан, во-первых, с самим содержанием ЕГЭ по этим предметам, а во-вторых, с особенностями обучения по профильным предметам в вузе. Для успешной учебы в университете по профильным предметам важнее способность понимать материал и учиться новому, а не готовность зубрить правильные решения и отдельные факты. Можно предположить, что ЕГЭ по профильным предметам измеряет скорее фактические знания выпускников, сформированные в школе навыки, а не общее понимание предмета и способности абитуриента к деятельности в конкретной области науки, т. е. это скорее тесты знаний, а не тесты способностей 12. *
12 Проверить данные предположения можно было бы, изучив связь результатов ЕГЭ по профильным предметам и успеваемости на последующих курсах. Однако характер имеющихся у нас данных не позволяет сделать это в полной мере. Кроме того, описанные выше результаты путевого анализа связи суммарного балла ЕГЭ и успеваемости на разных годах
http://vo.hse.ru
191
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
3.3. Сравнение ЕГЭ и олимпиад школьников
Олимпиады для школьников рассматриваются как форма работы с одаренными детьми, которые демонстрируют наиболее высокие результаты в освоении школьной программы. Победители и призеры ряда олимпиад имеют право на внеконкурсное зачисление в университет. Таким образом, ЕГЭ и олимпиады являются комплементарными формами отбора абитуриентов: олимпиады выявляют наиболее способных абитуриентов, а на основании ЕГЭ отбираются остальные. Одной из наших задач было оценить прогностическую валидность олимпиад как способа отбора абитуриентов и сравнить ее с эффективностью отбора будущих студентов по ЕГЭ.
В нашей выборке только в одном вузе было действительно большое количество студентов, зачисленных по результатам олимпиад, поэтому сравнение ЕГЭ и олимпиад мы проводили только на данных этого вуза. Данная категория абитуриентов при поступлении не обязана предоставлять сведения о результатах ЕГЭ, поэтому в среднем на каждом факультете около 20% олимпиадников не имели ЕГЭ хотя бы по одному конкурсному предмету.
Для начала мы проверили, сдают ли студенты, зачисленные как победители олимпиад, ЕГЭ лучше, чем остальные. Для каждого факультета отдельно была рассчитана разница суммарного балла ЕГЭ между студентами, зачисленными по результатам олимпиад, и теми, кто поступал по ЕГЭ.
На рис. 7 приведены средние значения по трем группам факультетов: 1-я группа — факультеты, где принимались результаты олимпиад по математике, 2-я группа—олимпиады по математике и экономике, 3-я — все остальные олимпиады. Почти на всех факультетах средний суммарный балл ЕГЭ студентов-олимпиадни-ков и остальных студентов одинаков. Исключением являются факультеты, где большинство студентов поступали по результатам олимпиад по математике либо по математике и экономике: там балл у студентов — победителей и призеров олимпиад статистически значимо выше, чем у студентов, поступавших по ЕГЭ. Таким образом, олимпиады по математике дифференцируют студентов так же, как суммарный балл ЕГЭ: те абитуриенты, которые проявили себя хорошо на олимпиадах, в целом сдают ЕГЭ лучше, т. е. результаты олимпиад по математике согласованы с результатами ЕГЭ.
Далее мы проверяли, есть ли различия в успеваемости в вузе между зачисленными по результатам олимпиад и остальными студентами. Средняя разница в успеваемости за 1-й курс у олимпиадников и остальных студентов небольшая, и данные различия статистически значимы примерно на половине факуль-
обучения показывают, что наиболее сильна связь баллов ЕГЭ именно с результатами обучения на 1-м курсе, а уже эта успеваемость опосредует дальнейшую.
192
Вопросы образования. 2014. № 1
Разница в суммарном балле ЕГЭ
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
Рис. 7. Разница в суммарных баллах ЕГЭ между студентами, зачисленными по результатам олимпиад, и студентами, поступившими по ЕГЭ
Рис. 8. Разница в средней оценке за 1-й курс между студентами, зачисленными по результатам олимпиад, и студентами, посту -пившими по ЕГЭ
... Олимпиада
по математике — ЕГЭ
... Олимпиада
по математике и экономике — ЕГЭ
---- Олимпиада
по другим предметам — ЕГЭ
тетов вуза. На рис. 8 представлена разница в средней оценке у студентов-олимпиадников и тех, кто поступал по ЕГЭ, по трем вышеописанным группам. Так же как и в случае с ЕГЭ, олимпиады по математике и экономике лучше других олимпиад дифференцируют студентов по успеваемости.
Таким образом, студенты, поступившие по результатам олимпиад, сдают ЕГЭ и учатся в вузе значимо успешнее только на некоторых факультетах, в основном связанных с математикой и экономикой, а на остальных факультетах, по нашим данным, они не проявляют себя заметно лучше тех, кто поступал по ЕГЭ.
Основным исследовательским вопросом в данной работе была 4. Заключение оценка ЕГЭ как средства отбора абитуриентов в вузы. Для этого мы тестировали способность Единого государственного экзамена предсказывать дальнейшую успеваемость студентов в вузе для разных направлений подготовки. Оценивалась валидность как суммарного балла ЕГЭ — основного инструмента отбора, так и баллов ЕГЭ по отдельным предметам, составляющих суммарный балл. Также мы проанализировали особенности взаимодействия ЕГЭ с другим средством отбора абитуриентов — олимпиадами, рассматривая их как комплементарные инструменты.
Результаты анализа показывают, что предсказательная способность суммарного балла ЕГЭ является приемлемой для того,
http://vo.hse.ru
193
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
чтобы признать этот экзамен валидным инструментом отбора абитуриентов. При оценке мы ориентировались на показатели валидности стандартизированных экзаменов SAT и ACT в США, которые, учитывая богатый и долгий опыт их разработки и исследований, можно считать надежным референтным значением. Среднее значение коэффициента детерминации для моделей с суммарным баллом ЕГЭ — 0,20, т. е. в среднем по разным направлениям подготовки успеваемость студентов на 1-м курсе1з на 20% объясняется только одним фактором — баллом вступительных экзаменов в форме ЕГЭ. На разных факультетах этот показатель варьирует от 15 до 35%. В связи с этим мы полагаем, что многофункциональность ЕГЭ, т. е. совмещение в нем школьной оценки и вступительного экзамена, является скорее преимуществом, поскольку увеличивает его способность дифференцировать абитуриентов. К тому же суммарный балл ЕГЭ несет информацию не только о готовности к обучению в вузе, но и о степени освоения школьной программы.
Предсказательная способность баллов ЕГЭ по отдельным предметам, составляющих суммарный итоговый балл ЕГЭ, примерно одинакова, но все же ЕГЭ по математике и русскому языку являются лучшими предикторами для подавляющего большинства направлений. При этом ЕГЭ по профильным предметам часто оказываются слабее связанными с дальнейшей успеваемостью.
При сравнении групп студентов, поступивших в вуз на основании результатов ЕГЭ и как победители олимпиад, мы выявили, что разница между ними как в среднем балле ЕГЭ, так и в средней оценке за 1-й курс имеет место только на тех факультетах, где отбор преимущественно идет по математическим и экономическим олимпиадам. Но в обоих случаях показатели студентов, поступивших как победители или призеры олимпиад, ненамного выше, чем у остальных. Наши результаты не опровергают полностью представление, что олимпиады удачно пишут одаренные дети, однако они не подтверждают, что данная категория студентов проявляет себя в дальнейшем значительно лучше тех, кто поступил по ЕГЭ.
Таким образом, для вузов, вошедших в выборку, ЕГЭ показал себя как валидный инструмент отбора абитуриентов, кото-
13 Именно 1-й год учебы определяет успеваемость на всех последующих курсах, и его результаты являются основным предиктором оценок на 2-м и последующих курсах, а уже не результаты вступительных экзаменов. Это было зафиксировано нами во всех вузах, вошедших в выборку. Таким образом, балл ЕГЭ опосредованно связан с долгосрочной успеваемостью в вузе, но для обоснования валидности ЕГЭ достаточно наличия прямой связи вступительных экзаменов и успеваемости на 1-м курсе, которая в свою очередь связана с дальнейшей успеваемостью.
194
Вопросы образования. 2014. № 1
Т. Е. Хавенсон, А. А. Соловьева Связь результатов Единого государственного экзамена и успеваемости в вузе
рый наряду с олимпиадами позволяет выявлять наиболее способных абитуриентов и предсказывать их успеваемость в вузе. Подобные исследования необходимо проводить как на более широких выборках, увеличивая количество вузов-участников, так и, наоборот, анализируя более глубоко данные небольшого количества вузов, рассматривая более широкий круг исследовательских вопросов. Например, можно оценить связь баллов ЕГЭ по профильным предметам с успеваемостью по профильным предметам на 1-м и последующих курсах, что позволило бы проверить ряд гипотез, выдвинутых нами в разделе 3.2. Кроме того, необходимо оценить влияние факторов, которые могут опосредовать связь между результатами вступительных экзаменов и долгосрочной успеваемостью. В данной статье мы рассмотрели в качестве такого фактора только успеваемость на 1-м курсе, но это могут быть также социально-демографические характеристики студента или его семьи.
1. Болотов В. А., Вальдман И. А. Как обеспечить эффективное использование результатов оценки образовательных достижений школьников // Образовательная политика. 2012. № 1 (57). С. 36-42.
2. Гордеева Т. О., Осин Е. Н., Кузьменко Н. Е., Леонтьев Д. А., Рыжова О. Н., Демидова Е. Д. Об эффективности двух систем зачисления абитуриентов в химические вузы: дальнейший анализ проблемы // В. В. Лунин (ред.) Естественно-научное образование: тенденции развития в России и в мире. М.: МГУ, 2011. С. 88-100.
3. Деркачев П. В., Суворова И. К. Единый государственный экзамен как способ оценки потенциала к получению высшего образования // Сборник статей аспирантов ГУ ВШЭ. М.: ГУ ВШЭ, 2008. C. 34-64.
4. Замков О. О. Оценки ЕГЭ как индикатор последующих академических успехов студентов международной программы по экономике // Е. Г. Ясин (ред.) Сборник статей XIII Международной научной конференция по проблемам развития экономики и общества. М.: НИУ ВШЭ, 2012. Кн. 1. С. 304-313.
5. Зелман М. Особенности ЕГЭ в контексте опыта образовательного тестирования в США // Вопросы образования. 2004. № 2. C. 234-248.
6. Пересецкий А. А., Давтян М. А. Эффективность ЕГЭ и олимпиад как инструмента отбора абитуриентов // Прикладная эконометрика. 2011. № 3. С. 41-56.
7. Польдин О. В. Прогнозирование успеваемости в вузе по результатам ЕГЭ // Прикладная эконометрика. 2011. № 1. С. 56-69.
8. Allen J., Robbins S., Casillas A., Oh I.-S. (2008) Third-Year College Retention and Transfer: Effects of Academic Performance, Motivation, and Social Connectedness // Research in Higher Education. Vol. 49. P. 647-664.
9. Atkinson R. C. (2009) The New SAT: A Test at War with Itself http://www.rca. ucsd.edu/speeches/AERA_041509_Speech_Reflections_on_a_Century_ of_College_Admissions_Tests.pdf
10. Field A. P. (1999) A Bluffer's Guide to Meta-Analysis I: Correlations // Newsletter of the Mathematical, Statistical and Computing Section of the British Psychological Society. Vol. 7. No 1. P. 16-25.
Литература
http://vo.hse.ru
195
СТАТИСТИКА И СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
11. Field A. P. (2001) Meta-Analysis of Correlation Coefficients: A Monte Carlo Comparison of Fixed-and-Random-Effects Methods // Psychological Methods. No. 6. P. 161-180.
12. Gavaghan D. J., Moore R. A., McQuay H.J. (2000) An Evaluation of Homogeneity Tests in Meta-Analyses in Pain Using Simulations of Individual Patient Data // Pain. Vol. 85. No. 3. P. 415-424.
13. Hedges L. V., Olkin I. (1985) Statistical Methods for Meta-Analysis. Orlando, FL: Academic Press.
14. Hunter J.E., Schmidt F. I. (2004) Methods of Meta-Analysis: Correcting Error and Bias in Research Findings. London: Sage.
15. Hunter J. E., Schmidt F. L. (1990) Methods of Meta-analysis: Correcting Error and Bias in Research Findings. Newbury Park, CA: Sage.
16. Kobrin J. L., Patterson B. F., Shaw E. J., Mattern K. D., Barbuti S. M. (2008) Validity of the SAT for Predicting First-Year College Grade Point Average. Research Report No. 2008-5 http://research.collegeboard. org/publications/content/2012/05/validity-sat-predicting-first-year-col-lege-grade-point-average
17. Kuncel N. R., Hezlett S. A. (2010) Fact and Fiction in Cognitive Ability Testing for Admissions and Hiring Decisions // Current Directions in Psychological Science. Vol. 19. No. 6. P. 339-345.
18. Kuncel N. R., Hezlett S. A. (2007) Standardized Tests Predict Graduate Students Success // Science. Vol. 315. No. 5815. P. 1080-1081.
19. Mattern K. D., Patterson B. F. (2011a) The Relationship between SAT Scores and Retention to the Third Year: 2006 SAT Validity Sample. Statistical Report No. 2011-2.
20. Mattern K. D., Patterson B. F. (2001b) The Relationship Between SAT Scores and Retention to the Fourth Year: 2006 SAT Validity Sample. Statistical Report No. 2011-6.
21. Mattern K. D., Patterson B. F., Shaw E. J., Kobrin J. L., Barbuti S. M. (2008) Differential Validity and Prediction of the SAT. Research Report No. 2008-4.
22. National Research Council (1992) Combining Information: Statistical Issues and Opportunities for Research. Washington, D.C.: National Academy Press.
23. Patterson B. F., Mattern K. D. (2012) Validity of the SAT for Predicting First-Year Grades: 2009 SAT Validity Sample. Statistical Report No. 2012-2.
24. Patterson B. F., Mattern K. D., Kobrin J. L. (2009) Validity of the SAT for Predicting FYGPA: 2007 SAT Validity Sample. Statistical Report No. 2009-1.
25. Patterson B. F., Mattern K. D. (2011) Validity of the SAT for Predicting Forth-Year Grades: 2006 SAT Validity Sample. Statistical Report No. 2011-7.
26. Radunzel J., Noble J. (2012) Predicting Long-Term College Success through Degree Completion Using ACT Composite Score, ACT Benchmarks, and High School Grade Point Average. ACT Research Report Series. No. 2012-5. Iova City: ACT Inc.
27. Rothstein J. M. (2004) College Performance Predictions and the SAT // Journal of Econometrics. No. 121. P. 297-317.
28. Sawyer R. (2010) Usefulness of High School Average and ACT Scores in Making College Admission Decisions. ACT Research Report Series No. 2010-2.
29. Shaw E. J., Kobrin J. L., Patterson B. F., Mattern K. D. (2012) The Validity of the SAT for Predicting Cumulative Grade Point Average by College. Major Research Report No. 2012-6. Annual Meeting of the American Educational Research Association, New Orleans, LA. 10 April 2011.
196
Вопросы образования. 2014. № 1
EDUCATION STATISTICS AND SOCIOLOGY
En
Studying the Relation between the Unified State Exam Points and Higher Education Performance
Tatyana Khavenson Authors
Research Fellow, The International Laboratory for Education Policy Analysis at the HSE Graduate School of Education. Address: 13 Milyutinsky lane, Moscow,
101000, Russian Federation. E-mail: tkhavenson@hse.ru
Anna Solovyova
Research Assistant, The International Laboratory for Education Policy Analysis at the HSE Graduate School of Education. Address: 13 Milyutinsky lane, Moscow, 101 000, Russian Federation. E-mail: soloveva.anna@gmail.com
This paper analyzes the possibility of predicting efficiency of learning in a high- Abstract er education institution based on results of the Unified State Exam (USE). In particular, the authors test the hypothesis that USE results in different subjects are equally efficient predictors of further student performance. Methods of regression analysis have been used to assess how preliminary examinations (both total USE points and points in specific subjects) affect academic performance in higher education. The research involved about 19,000 students enrolled at five Russian higher education institutions between 2009 and 2011. As long as the sample included institutions of different profiles, individual regressions were calculated for each faculty. A meta-analysis of regression coefficients was performed later to bring the data together. Average first-year grade was used as the key university performance factor. It was found out that USE points were only related to performance in the second and the subsequent years through performance in the first year, i. e. indirectly. The research results allow to conclude that predictive capacity of total USE points is high enough to accept this examination as a valid student selection tool. The explained variation in university performance varies from 15 to 35% in different faculties. Predictive capacity of particular subjects making the USE total points is relatively the same, but USE points in mathematics and Russian are often the best predictors of performance. The paper also analyzes the relation between USE points and another student selection tool — results of academic competitions in specific subjects.
Unified State Exam, high school academic competitions, preliminary examina- Key words tions, predictive validity, meta-analysis, higher education performance.
Allen J., Robbins S., Casillas A., Oh I.-S. (2008) Third-Year College Retention References and Transfer: Effects of Academic Performance, Motivation, and Social Connectedness. Research in Higher Education, vol. 49, pp. 647-664.
Atkinson R. C. (2009) The New SAT: A Test at War with Itself. Available at: http:// www.rca.ucsd.edu/speeches/AERA_041509_Speech_Reflections_on_a_ Century_of_College_Admissions_Tests.pdf (accessed 31 January 2014).
Bolotov V., Valdman I. (2012) Kak obespechit effektivnoye ispolzovaniye rezulta-tov otsenki obrazovatelnykh dostizheniy shkolnikov [How to Provide Efficient Use of Academic Performance Assessment Results]. Obrazovatelnaya poli-tika, no 1 (57), pp. 36-42.
Derkachyov P., Suvorova I. (2008) Yediny gosudarstvenny ekzamen kak spos-ob otsenki potentsiala k polucheniyu vysshego obrazovaniya [The Unified State Exam as a Way of Assessing Potential for Success in Higher Education]. Sbornik statey aspirantov HSE [Collection of articles by PhD students from the Higher School of Economics]. Moscow: HSE, pp. 34-64.
http://vo.hse.ru
197
En
EDUCATION STATISTICS AND SOCIOLOGY
Field A. P. (1999) A Bluffer's Guide to Meta-Analysis I: Correlations. Newsletter of the Mathematical, Statistical and Computing Section of the British Psychological Society, vol. 7, no 1, pp. 16-25.
Field A. P. (2001) Meta-Analysis of Correlation Coefficients: A Monte Carlo Comparison of Fixed-and-Random-Effects Methods. Psychological Methods, no 6, pp. 161-180.
Gavaghan D. J., Moore R. A., McQuay H.J. (2000) An Evaluation of Homogeneity Tests in Meta-Analyses in Pain Using Simulations of Individual Patient Data. Pain, vol. 85, no 3, pp. 415-424.
Gordeyeva T., Osin Y., Kuzmenko N., Leontyev D., Ryzhova O., Demidova Y. (2011) Ob effektivnosti dvukh system zachisleniya abituriyentov v khimich-eskiye vuzy: dalneyshiy analiz problem [On Efficiency of the Two Admission Systems in Chemical Universities: A Further Analysis]. Yestestvennonauch-noye obrazovaniye: tendentsii razvitiya v Rossii i mire (red. V. Lunin) [Scientific Education: Developmental Trends in Russia and Worldwide (ed. V. Lunin)], Moscow: MGU, pp. 88-100.
Hedges L. V., Olkin I. (1985) Statistical Methods for Meta-Analysis. Orlando, FL: Academic Press.
Hunter J. E., Schmidt F. I. (2004) Methods of Meta-Analysis: Correcting Error and Bias in Research Findings. London: Sage.
Hunter J. E., Schmidt F. L. (1990) Methods of Meta-analysis: Correcting Error and Bias in Research Findings. Newbury Park, CA: Sage.
Kobrin J. L., Patterson B. F., Shaw E. J., Mattern K. D., Barbuti S. M. (2008) Validity of the SAT for Predicting First-Year College Grade Point Average. Research Report No 2008-5. Available at: http://research.collegeboard. org/publications/content/2012/05/validity-sat-predicting-first-year-col-lege-grade-point-average (accessed 31 January 2014).
Kuncel N. R., Hezlett S. A. (2010) Fact and Fiction in Cognitive Ability Testing for Admissions and Hiring Decisions. Current Directions in Psychological Science, vol. 19, no 6, pp. 339-345.
Kuncel N. R., Hezlett S. A. (2007) Standardized Tests Predict Graduate Students Success. Science, vol. 315, no 5815, pp. 1080-1081.
Mattern K. D., Patterson B. F. (2011a) The Relationship between SAT Scores and Retention to the Third Year: 2006 SAT Validity Sample. College Board Statistical Report No 2011-2.
Mattern K. D., Patterson B. F. (2001b) The Relationship Between SAT Scores and Retention to the Fourth Year: 2006 SAT Validity Sample. College Board Statistical Report No 2011-6.
Mattern K. D., Patterson B. F., Shaw E. J., Kobrin J. L., Barbuti S. M. (2008) Differential Validity and Prediction of the SAT. College Board Research Report No 2008-4.
National Research Council (1992) Combining Information: Statistical Issues and Opportunities for Research. Washington, DC: National Academy Press.
Patterson B. F., Mattern K. D. (2012) Validity of the SAT for Predicting First-Year Grades: 2009 SAT Validity Sample. College Board Statistical Report No 2012-2.
Patterson B. F., Mattern K. D., Kobrin J. L. (2009) Validity of the SAT for Predicting FYGPA: 2007 SAT Validity Sample. College Board Statistical Report No 2009-1.
Patterson B. F., Mattern K. D. (2011) Validity of the SAT for Predicting Forth-Year Grades: 2006 SAT Validity Sample. College Board Statistical Report No 2011-7.
Peresetsky A., Davtyan M. (2011) Effektivnost YGE i olimpiad kak instrumenta otbora abituriyentov [Efficiency of the USE and Academic Competitions as Student Selection Tools]. Prikladnaya ekonometrika, no 3, pp. 41-56.
198
Educational Studies. 2014. No. 1
EDUCATION STATISTICS AND SOCIOLOGY
En
Poldin O. Prognozirovaniye uspevayemosti v vuze po rezultatam YGE [Predicting Higher Education Performance by USE Points]. Prikladnaya ekonometri-ka, no 1, pp. 56-69.
Radunzel J., Noble J. (2012) Predicting Long-Term College Success through Degree Completion Using ACT Composite Score, ACT Benchmarks, and High School Grade Point Average. ACT Research Report Series. No 2012-5. lova City: ACT Inc.
Rothstein J. M. (2004) College Performance Predictions and the SAT. Journal of Econometrics, no 121, pp. 297-317.
Sawyer R. (2010) Usefulness of High School Average and ACT Scores in Making College Admission Decisions. ACT Research Report Series No 2010-2.
Shaw E. J., Kobrin J. L., Patterson B. F., Mattern K. D. (2012) The Validity of the SAT for Predicting Cumulative Grade Point Average by College. Paper presented at the Annual Meeting of the American Educational Research Association, New Orleans, LA. 10 April, 2011.
Zamkov O. (2012) Otsenki YGE kak indicator posleduyushchikh akademich-eskikh uspekhov studentov mezhdunarodnoy programmy po ekonomike [USE Points as an Indicator of Subsequent Academic Success in the International Economics Program]. Proceedings of the 13th International Scientific Conference on Economy and Society Development (Moscow, Russia, May 3-5, 2012) (ed. Y. Yasin). Moscow: HSE, pp. 304-313.
Zelman M. (2004) Osobennosti YGE v kontekste opyta obrazovatelnogo testi -rovaniya v SShA [Specifics of the USE in the Context of Educational Testing in the US]. Voprosy obrazovaniya, no 2, pp. 234-248.
http://vo.hse.ru
199
