CC BY
20■ МАССОВЫЕ ОПРОСЫ, ЭКСПЕРИМЕНТЫ, МОНОГРАФИЧЕСКИЕ ИССЛЕДОВАНИЯ
Т.Е. ХАВЕНСОН
КАЧЕСТВО ОТВЕТОВ ШКОЛЬНИКОВ НА ВОПРОСЫ О СОЦИАЛЬНО-ЭКОНОМИЧЕСКОМ ПОЛОЖЕНИИ СЕМЬИ
Аннотация. В статье рассматривается проблема качества ответов, которые дают дети школьного возраста в процессе анкетного опроса. Представлены результаты систематического обзора исследований, посвященных социально-экономическому положению семьи. Под качеством ответов понимается способность детей правильно указывать образование и профессию родителей и количество пропусков ответов. Основное внимание уделяется оценке уровня образования, профессии или формы занятости родителей. Исследуется роль следующих характеристик респондентов: возраст, успеваемость, состав семьи. Обзор строится на 16 исследованиях, проведенных в период с 1990 по 2015 год. Полученные результаты позволяют заключить, что дети старшего школьного возраста в целом осведомлены об уровне образования и профессии родителей. Ответы респондентов в принципе могут быть использованы в качестве базового источника информации. Вместе с тем необходимо осмотрительно в методическом отношении подходить к суждениям школьников.
Ключевые слова: достоверность ответов; школьники среднего и старшего возраста; измерение социально-экономического положения членов семьи.
Для цитирования: Хавенсон Т.Е. Качество ответов школьников на вопросы о социально-экономическом положении семьи // Социологический журнал. 2016. Том 22. № 4. С. 74-89. Б01: 10.19181Аофиг.2016.22.4.4808
Хавенсон Татьяна Евгеньевна — научный сотрудник, международная лаборатория анализа образовательной политики, институт образования НИУ ВШЭ; старший преподаватель, кафедра методов сбора и анализа социологической информации, факультет социальных наук НИУ ВШЭ. Адрес: 101000, Потаповский пер., 10/16, оф. 408. Телефон: +7(495)772-95-90*22094. Электронная почта: [email protected]
Введение
Регулярное изучение роли институтов образования, в частности школы, в воспроизводстве неравенства, социальной мобильности, трудоустройства началось с 60-70-х годов прошлого века. В СССР в качестве примера можно привести исследования В.Н. Шубкина и коллег «Проект 17—17» [1, с. 245—247]. В США одним из первых было исследование Дж. Коулмана, в рамках которого опрашивались дети разных возрастов [7]. Примерно в то же время в сфере образования было проведено «Первое международное математическое исследование» ("First International Mathematics Study" [FIMS]), включавшее тестирование и опрос тринадцатилетних учеников в 12 странах [11].
С тех пор опросы, где школьники выступают в роли основных респондентов, проводятся регулярно. Однако темы исследований подразумевают изучение не только мнения или отношения школьников к изучаемому явлению, но и сбор информации по фактологическим вопросам, в том числе в сфере семьи. Дополнение опросов детей опросами родителей затратно, как с точки зрения финансовых, так и временных и организационных ресурсов; доступ к информации из административных источников также ограничен. Следовательно, в большинстве случаев дети являются единственным источником информации. Не верифицируя эту инф ормацию в других источниках, исследователи неявно предполагают, что ответы школьников на подобные вопросы не подвержены ошибке измерения, или, по крайней мере, что эта ошибка примерно такая же, как и в ответах взрослых. Суждения школьников принимаются некритично, как правильные по умолчанию. Так ли это? Соответствуют ли подобные вопросы уровню компетентности респондентов среднего и старшего школьного возраста? Действительно ли школьники могут ответить на вопросы об образовании или профессии родителей и других индикаторах, позволяющих оценить социальный, культурный, материальный капитал и прочие аспекты социально-экономического положения семьи?1
1 В англоязычных публикациях наиболее широко распространенным термином является "Socio-economic status" (SES) или "Socio-economic background", либо подразумевающий всевозможные характеристики семьи, либо выступающий обобщением для понятий «социальный капитал», «культурный капитал», «экономический (финансовый) капитал» и т. д. В данном контексте слово «статус», как и слово «капитал», используется в синонимичном значении. В русскоязычной научной литературе термин «статус» в большей степени применяется для обозначения относительной позиции человека на социальной лестнице. Социальный капитал также чаще описывает ресурсы человека, которые он может задействовать для достижения определенных целей (социальные связи, сети и т. п.). Кроме того, социальный капитал рассматривается как атрибут общества (доверие, умение договариваться) и как атрибут человека. Целью данной статьи не является рассмотрение теоретических подходов к упомянутым понятиям «статус» и «капитал», однако нам необходимо иметь какой-то обобщающий термин, который обозначал бы именно ресурсы, материальные, социальные или культурные, а не позицию человека. Мы будем использовать в качестве такового термин «социально-экономическое положение» (СЭП).
Основываясь на предшествующем опыте [18], рекомендуется не задавать подросткам до 18 лет вопросы, касающиеся фактической информации о школе, семье, здоровье, так как дети недостаточно осведомлены об этом. Кроме этого, метааналитические исследования показывают, что результаты в числе прочего зависят и от подходов к измерению социально-экономического положения семьи [25; 28; 29]. Ситуация опроса детей школьного возраста является в определенной степени методологическим вызовом, выбор индикатора СЭП зачастую определяется такими факторами, как уместность или возможность задавания вопроса, а не его необходимостью для целей исследования. Например, прямой вопрос о доходе семьи практически никогда не может быть включен в анкету для школьников, поэтому финансовое положение оценивается по косвенным признакам.
Исследований на тему надежности измерения названных выше концептов в ситуации, когда источником информации выступают дети, немного, и они имеют разрозненный характер, систематических обобщений практически нет. Последний раз попытка предпринималась в 1989 году [20].
Данная работа призвана восполнить этот пробел. Ее целью является анализ качества подходов к измерению социально-экономического положения семьи в опросах детей школьного возраста. В связи с этим сформулируем три исследовательских вопроса.
1. Какие из переменных-индикаторов СЭП семьи характеризуются высокой согласованностью в ответах детей и родителей?
2. Какие переменные-индикаторы СЭП и в какой степени связаны с тенденцией к пропуску ответов?
3. Какие характеристики респондентов влияют на смещение в ответах на рассматриваемые вопросы?
Мы применили метод систематического обзора [21], проанализировав существующие исследования, в которых изучается качество информации о социально-экономическом положении семьи, собранной посредством опроса детей школьного возраста. Далее мы кратко опишем основные подходы к операционализации СЭП семьи (1); в разделе «методология» поясним принципы отбора и опишем выборку статей (2); затем представим анализ исследований, включенных в обзор (3); и наконец, обобщим полученные результаты (4).
Две модели операционализации
социально-экономического положения семьи
С начала массовых исследований в области социологии образования прослеживалось две основные модели измерения СЭП семьи: модель Блау-Дункана и Висконсинская модель. Первая была изложена в работе П. Блау и О. Дункана «The American Occupational Structure» (1967), вторая — в трудах группы университета Висконсина [24]. Обе модели разрабатывались для объяснения социальной мобильности. Первая фокусировалась на позиции, которую занимает семья индивида в общественной иерархии, вторая — на социальных и психоло-
гических аспектах взаимодействия людей в процессах социальной мобильности. Несмотря на различия, обе модели предполагали схожие индикаторы для операционализации СЭП семьи.
В модели, предложенной Блау и Дунканом, в качестве индикаторов социально-экономического положения рассматривались образование и профессия отца. При этом образование и профессиональная позиция оценивались как две отдельные характеристики. Профессиональный статус измерялся шкалой престижа профессий («социо-экономиче-ский индекс», Socio-economic Index (SEI), предложенной Дунканом и соавторами в 1961 г. (см.: [6, p. 153—155]). Изначально индекс конструировался с учетом необходимого уровня образования и дохода, который имеют представители той или иной профессии. Каждой профессии в итоге был приписан балл, который и отражал уровень ее престижа. Таким образом, при измерении социально-экономического положения упор делался на статусе членов семьи.
Висконсинская модель в некоторой степени явилась реакцией на работу Блау и Дункана. Авторы этой модели предлагали для объяснения занимаемой профессиональной позиции учитывать также социально-психологические характеристики: способности, притязания, мотивацию и другие, а не только профессиональный и образовательный статус отца. Эмпирической базой для первоначальной проверки модели было лонгитюдное исследование образовательных Ф и профессиональных достижений мужчин — выходцев из семей фер- Ф
меров. Социально-экономический статус авторы рассматривали как один из факторов профессиональной траектории, в него включались следующие индикаторы: образование матери и отца, профессия отца, субъективное восприятие материального положения семьи, субъективное восприятие родительских ожиданий относительно получения высшего образования, оценка силы этих ожиданий [2, с. 87].
Несколько позже в качестве близких к СЭП концептов, имеющих отношение к образовательным достижениям, стали рассматривать культурный капитал, структуру семьи и внутрисемейные отношения. Здесь можно упомянуть таких авторов, как Д. Коулман и П. Бурдье, инициировавших дискуссию о теоретических основах измерения тех аспектов семьи ребенка, которые конвертируются в его образовательные достижения [2; 3].
В связи с распространением опроса школьников впоследствии произошли еще большие изменения в подходах к операционализации СЭП: в обиход вошли такие косвенные индикаторы финансового положения, как наличие тех или иных предметов домашнего пользования; объектом дискурса стало наличие в доме книг, общение с родителями и формы проведения досуга [6; 10; 25]. В анкеты международных исследований, таких как TIMSS2 и PISA3, стал включаться широкий спектр индикаторов, измеряющих различные аспекты СЭП.
2 Trends in Mathematics and Science Study (URL: <timss.bc.edu>).
3 Programme in International Students Assessment (URL: <pisa.oecd.org>).
Методология
Существует ряд эмпирических исследований, посвященных анализу качества измерения того или иного индикатора СЭП. Все они построены на специфических выборках и используют разные подходы для оценки ответов детей на вопросы о семье. Строить рекомендации на результатах каждого из них в отдельности не представляется возможным. В случаях, когда результаты эмпирических исследований противоречивы или представляют собой набор разрозненных выводов, полученных в специфических условиях, рекомендуется применение метода систематического обзора для получения обобщенных выводов [21, p. 1021]. Применение этого метода особенно оправдано в ситуации, когда результаты необходимы для построения рекомендаций, в частности по дальнейшему включению переменных в анкеты школьников или по корректировке уже собранных данных.
В отличие от обычного обзора литературы метод систематического обзора минимизирует смещение в выборе источников, так как предполагает наличие правил отбора первичных источников, что исключает произвольную селективность и смещение результатов. Поэтому метод может быть направлен на поиск ответов на специфические вопросы или проверку конкретных гипотез. Существует две разновидности метода систематического обзора — со статистическим обобщением (чаще называемым метаанализом) и без статистического обобщения. Последний позволяет обобщить выводы, полученные в предыдущих исследованиях, однако не ставит целью дать однозначную статистическую оценку изучаемого явления. В настоящем исследовании мы будем применять именно последнюю вариацию систематического обзора, во-первых, в силу небольшого количества существующих исследований, во-вторых, в связи с тем, что в большинстве проанализированных проектов представлены только окончательные результаты, тогда как для проведения метаанализа требуется большее количество исходных данных.
Эмпирической базой исследования являются опубликованные статьи, сфокусированные на анализе качества измерения СЭП семьи. Тематически отобранные статьи в основном связаны с образованием и развитием детей. Именно в обозначенных областях публикуется наибольшее количество интересующих нас исследований. Однако это не было критерием отбора статей. Фактически предпринята попытка собрать все статьи, в которых описываются результаты методологических исследований качества ответов школьников на вопросы о социально-экономическом положении семьи.
Поиск статей осуществлялся несколькими способами: 1) метод снежного кома — по спискам литературы статей, так или иначе затрагивающих данную тему; 2) поиск в библиографических базах статей (SCOPUS, WOS, JSTOR, EBSCO, Science Direct и др.), которые ссылаются на уже найденные и включенные в выборку статьи. Особый упор был сделан на статью Е.Д. Лукер, содержащую обзор методологических
исследований [20]. В целом материалы отбирались по следующим критериям: 1) наличие ответов детей школьного возраста; 2) статья должна быть методологической; отбирались материалы на английском и русском языках (на русском сугубо методологических статей не оказалось); 3) из итогового списка были исключены исследования, которые фокусировались на узких или специфических группах населения, например этнических или расовых группах. В итоге было отобрано 16 статей. Наиболее часто в центре внимания исследователей оказываются такие индикаторы, как уровень образования (14 статей) и профессия родителей (10 статей и три статьи, где рассматривается только профессия отца). Кроме того, образовавшаяся выборка статей позволяет обобщить информацию о структуре семьи (три статьи), форме занятости родителей (четыре материала).
Результаты
Согласованность ответов детей и родителей
Поскольку вопросы о СЭП семей в целом касаются прежде всего родителей (их образование, профессия, род деятельности; состав семьи, наличие дома определенных предметов), ответы взрослых расценивались как эталонные. Но даже если их ответы подвержены ошибке измерения или представляют собой результат неосознанной ошибки, реально только они могут служить точкой отсчета для сравнения. Для оценки согласованности ответов детей и родителей рассчитываются такие параметры, как процент совпадений ответов детей и родителей, коэффициент согласованности (Каппа Коэна), коэффициенты корреляции и парные регрессии. Среди отобранных статей в 14 рассматривался вопрос согласованности ответов детей и родителей.
Корреляция между ответами детей и родителей об уровне образования родителей колеблется от средней (0,5) до сильной (0,8). Среднее и медиана коэффициента корреляции равны 0,6 для образования как матери, так и отца. Корреляция ответов детей о профессии родителей с ответами последних варьирует примерно в том же диапазоне, что и в вопросе об образовании (0,5—0,9), но среднее и медиана коэффициента корреляции выше и равны 0,7 для обоих родителей. То есть в половине рассмотренных исследований4 дети адекватно отвечают на вопрос о профессии родителей, что говорит о тесной (выше 0,7) связи.
Впрочем, корреляция может быть достаточно высокой даже при не очень точных ответах: главное, чтобы дети отвечали сонаправленно родительским самооценкам. Поэтому рассмотрим также процент совпадений и коэффициент согласованности Каппа, который учитывает случайные совпадения и делает соответствующую поправку. Коэффициент
4 Количество исследований не во всех случаях равно количеству статей, включенных в обзор, так как в части статей рассматривалось несколько разных выборок — разные возрасты или разные страны.
изменяется от 0 до 1 и равен единице при стопроцентной согласованности. Ориентация только на процент совпадений может дать более оптимистическую картину, нежели при использовании коэффициента согласованности. В вопросе об образовании в среднем около 60% ответов детей совпадают с ответами родителей; коэффициент согласованности по этой переменной равен 0,5 для обоих родителей. Для вопроса о профессии среднее значение коэффициента Каппа несколько выше — 0,7; в данном случае совпадает около 70% ответов детей и родителей.
Следовательно, между ответами детей и родителей на вопросы об образовании и профессии наблюдаются связь и согласованность. В некоторых исследованиях обнаружены различия в точности ответов касательно матери и отца, но они невелики, что не позволяет говорить об устойчивой тенденции. В ряде случаев дети точнее оценивают характеристики матерей, в других — отцов. Иными словами, качество ответов детей на вопросы о статусных позициях родителей можно считать вполне приемлемым для формулировки выводов.
Если обратиться к тому, на какие результаты исследований могут оказать влияние вышеупомянутые смещения, то в первую очередь это частотные распределения — как одномерные, так и двумерные (таблицы сопряженности). Ответы детей не позволяют оценивать, какова в изучаемой совокупности доля родителей с тем или иным уровнем образования. Однако можно предположить, что общие тенденции достаточно устойчивы и не подвержены большим смещениям. В нашем случае шесть статей содержат подобные результаты. Два исследования показывают, что использование переменной «образование» из детской либо родительской анкеты приводит к разным результатам, в случае «профессии» такой разницы не наблюдается [8; 12]. В одном исследовании опора на ответы детей и родителей об образовании привела к разным значениям коэффициентов в регрессионных моделях [17]. Три исследования свидетельствуют: различий нет ни по одной из переменных, или они очень малы [4; 16; 23]. Таким образом, несмотря на фактическое расхождение в ответах детей и родителей на вопросы об уровне образования или о профессии, результаты углубленного статистического анализа не демонстрируют значимых различий при использовании обеих групп данных. Это может быть связано, во-первых, с упомянутой выше сона-правленностью, то есть тенденции в ответах детей те же, что и в ответах родителей, и это не влияет на результаты анализа. Во-вторых, отмеченное обстоятельство может быть обусловлено эффектом усреднения в группах. Другими словами, когда исследователь делит детей на группы по социально-экономическому положению, основываясь на их ответах об образовании или о профессии родителей, в каждой группе дети, давшие неправильный ответ (меньшая часть), ошибочно приписываются к той или иной группе, но большая часть детей, адекватно атрибутированных, «утянет» тенденцию в нужную сторону. И наконец, в-третьих: факт устойчивости результатов статистического анализа может служить
критерием приемлемости зафиксированного уровня согласованности ответов детей и родителей. Результаты, например, регрессионного анализа могут быть пере- или недооценены с точки зрения величин коэффициентов регрессии, но анализ, основанный на ответах детей, вряд ли приведет к противоположным результатам.
Как видно по приведенным усредненным значениям коэффициентов корреляции и коэффициентов согласованности, а также проценту совпадений, согласованность ответов выше в вопросе о профессии, чем об образовании. Стоит отметить, что вопрос о профессии задается в открытой форме, чаще всего ученику предлагается своими словами описать, что делают родители на работе и как называется их профессия, а затем уже эти ответы переводятся в тот или иной индекс профессий, например: КСО, КБ1, БОР и т. п. Вопрос же об образовании имеет закрытую форму: перечисляются основные модели (типы) образования или учебных заведений, которые могли закончить родители, например школа, колледж, университет, зачастую еще и с разделением на уровни внутри ступени образования. Можно предположить, что вопрос об образовании более труден — детям школьного возраста надо узнать и выбрать тип образования, с которым сами они еще не сталкивались. Не исключено, что именно это приводит к более низкому качеству ответов про образование родителей.
В целом же в большинстве случаев детские ошибки не очень серьезны. Обычно диапазон несовпадений — одна категория вверх или вниз, чаще вверх [13; 16; 17]. В профессии (где предъявляются укрупненные категории) точность выше [23; 25]. Для формы занятости, так же как и для профессии, уменьшение количества категорий повышает точность ответов [26]. Таким образом, формулирование вопросов с учетом уровня знаний детей могло бы повысить качество их ответов. Также укрупнение категорий, например рассмотрение высшего образования в целом, без разделения на бакалавриат, магистратуру, наличие ученой степени, может увеличить согласованность ответов.
Пропуск ответов
Данные о пропуске ответов по различным переменным-индикаторам СЭП содержатся в 11 статьях. Результаты исследований по данному вопросу различаются между собой в большей степени, чем результаты о согласованности детско-родительских ответов. Так, для профессии матери минимальный показатель — 0,6%, а максимальный — 46%. Средняя доля пропусков — 12% (медиана 9%). По переменной «профессия отца» средняя доля пропусков — 7% (медиана 5%), а в общем разброс ответов колеблется от 1 до 34%. В вопросе об образовании дети в среднем пропускают 7% позиций (медиана 5%). Очевидно, с тенденцией к пропускам ответов связано большое количество факторов — от формулировки вопросов до совместного проживания с родителем, о котором идет речь в вопросе. Наибольшее количество пропусков наблюдается в тех случаях, когда дети живут с одним из родителей и хуже знают ситуацию другого или не хотят
отвечать на вопросы о нем. Вместе с тем низкие значения медианы позволяют заключить, что дети школьного возраста не так часто пропускают ответы об уровне образования или профессии родителей, чтобы можно было говорить о непригодности получаемых данных для анализа. Чаще они выбирают вариант ответа «не знаю», если он присутствует в анкете. Например, вопрос об образовании пропустили 11% (отец) и 5% (мать) респондентов, а вариант «не знаю» выбрали 34 и 27% соответственно [13]. Наши собственные расчеты по Т1М88 2011 для России показывают, что в вопросе об образовании матери доля пропусков составляет 2 и 12% приходится на вариант «не знаю». Тем не менее когда вариант ответа «не знаю» отсутствует, респонденты чаще произвольно выбирают любую позицию, чем пропускают ответ, что приводит к искажению данных. Конечно, наличие такого варианта имеет свои минусы. Его выбор — это легкий путь; возможно, подумав, школьник мог бы правильно назвать уровень образования или профессию родителей, но он отметит этот вариант как наиболее простой и продолжит заполнять анкету. И все-таки мы считаем, что в случае респондентов школьного возраста правильнее такой вариант ответа оставлять, и вместе с этим мотивировать учеников не пропускать ответы и выбирать вариант «не знаю», если только они действительно не обладают нужной информацией.
Характеристики респондентов,
связанные с качеством ответов на вопросы о СЭП семьи
Проанализируем результаты сравнений перечисленных выше показателей согласованности и количества пропусков в ответах для респондентов с разными характеристиками: возраст, класс школы, пол, социально-экономическое положение, структура семьи. Восемь статей, вошедших в выборку, позволяют это сделать.
Наиболее важным фактором, связанным с качеством ответов, является возраст. С его увеличением уменьшается количество пропусков и повышается согласованность в ответах детей и родителей [9; 15; 16; 17; 22]. Одно исследование показало, что значимого прироста в качестве ответов для респондентов 13 и 15 лет не произошло [19]. Нижняя граница возраста в нашей выборке соответствует 11-12 годам (6 класс школы), верхняя — 15-18 (10-12 классы5). Учитывая разброс в показателях качества и количества пропусков в ответах, можно сделать вывод, что ученики средней школы являются недостаточно компетентными респондентами, когда дело касается вопросов о семье, их ответы лучше верифицировать в других источниках, либо не включать в анкеты вопросы о СЭП семьи. Ученики старшей школы демонстрируют более высокое качество ответов: процент несовпадений в ответах детей
5 Все исследования, включенные в выборку, построены на данных США или Европы. К старшей школе там относятся 10-12 классы, возраст окончания школы — около 18 лет.
и родителей и количество пропусков вопроса в их возрастной группе меньше. Но даже самые высокие значения коэффициента Каппа говорят о достаточно сильной, но отнюдь не максимальной согласованности, совпадение редко превышает 80%. Следовательно, ответы учеников старшей школы можно рассматривать как информацию достаточно высокого качества, но при возможности следует проверять ее с помощью опросов других членов семьи или привлечения административных данных.
Среди других характеристик респондентов, связанных с качеством ответов, рассматривались также успеваемость детей, структура семьи, пол, социально-экономические показатели (по ответам родителей). У тех, кто правильно отвечает на вопросы об образовании и профессии родителей, выше академические достижения [12; 17; 22]. Проживание с обоими родителями снижает вероятность пропуска вопроса и увеличивает согласованность ответов [9; 22]; также на нее положительно влияет атмосфера в семье, в частности регулярность общения детей с родителями [17]. Согласованность больше, если выше уровень образования родителей (по ответам взрослых) [8; 13; 23]; дети из частных школ точнее называют профессию и уровень образования родителей [30]. Мальчики несколько чаще девочек пропускают ответы или отвечают неправильно [9; 13; 17; 22; 30]. Таким образом, выявлены «группы риска» или категории респондентов, где может наблюдаться большее смещение в ответах, чем в других группах: это дети из семей с низким СЭП; дети, которые отвечают про родителя, не проживающего с ними; мальчики; хуже успевающие ученики. Стоит отметить, что различия по всем перечисленным признакам значительно меньше, чем различия по возрасту, но зато свойственны респондентам из всех возрастных групп. Иными словами, если можно дать рекомендацию не опрашивать детей младшего и среднего школьного возраста по вопросам о СЭП семьи, то в отношении вышеперечисленных категорий респондентов по понятным причинам такую рекомендацию дать невозможно. Одной из доступных форм устранения проблемы смещения может быть частичный контроль ответов и введение поправочных коэффициентов при необходимости.
Выводы
Анализ показал, что связь между ответами родителей и детей по большинству вопросов о СЭП достаточно значима (корреляция около 0,6—0,7; совпадение — в среднем до 70%). То есть дети старшего школьного возраста дают вполне приемлемую по качеству информацию о социально-экономическом положении семьи.
По вопросам о профессии родителей качество ответов выше, чем по вопросам об их образовании. Во-первых, профессия родителей в большей степени на виду у детей. Уровень образования начинает их волновать тогда, когда они задумываются о своей жизненной траектории, а это происходит ближе к старшей школе. Во-вторых, уровень
образования может быть известен детям из разговоров с родителями, из рассказов последних о своей студенческой жизни, но этот обмен информацией происходит только в семьях, где существуют близкие отношения между родителями и детьми. В-третьих, рассматриваемое соотношение качества ответов может объясняться формой вопроса — открытой в случае профессии, закрытой в случае образования, а также тем, что степень обобщения в вопросе о профессии более высокая и градации выбора более широкие, что облегчает детям задачу.
Среднее количество пропусков для вопросов о профессии и образовании родителей примерно одинаковы: соответственно 12 и 7% (медианы 9 и 5%) — для матери, 7 и 8% (медианы 5 и 3%) — для отца. Значения медиан во всех случаях довольно низкие, следовательно, как минимум в половине исследований количество пропусков не является критичным. В случае профессии большую роль играет характер собираемой информации, а именно: интересуют ли исследователей профессия, форма занятости или факт трудоустроенности родителей. Значительно реже дети школьного возраста пропускают вопрос о форме занятости родителей. Эта информация лежит на поверхности, и ответ не составляет труда. Также количество пропусков снижает наличие варианта ответа «не знаю».
Наиболее важным фактором, связанным с качеством ответов, как уже отмечалось, является возраст респондента. Согласованность ответов учеников-старшеклассников с ответами родителей выше, чем в остальных группах, а число пропусков заметно меньше. Говорить о достоверности высказываний респондентов можно применительно к возрасту 15-16 лет, то есть к ученикам старшей школы. Ответы респондентов — учеников средней школы нельзя назвать достаточно качественными для того, чтобы использовать их как единственный источник информации о СЭП семьи. Следующими по значимости факторами выступают успехи в учебе, социально-экономические показатели и структура семьи. Дети из семей с более высоким СЭП (по ответам родителей), проживающие с матерью и отцом и успевающие в школе, как правило, дают ответы, более согласованные с родительскими. Это может объясняться как тесным контактом в семьях, так и развитыми когнитивными способностями детей. Таким образом, потенциальное смещение в ответах детей неравномерно, оно выше в определенных группах. Это приводит к необходимости более тщательно проверять информацию, полученную от этих групп респондентов. Другой подход может заключаться в использовании более простой формы вопросов и проведении пилотажных исследований с фокусировкой на этих группах.
Используемые индикаторы СЭП семьи, во-первых, хорошо изучены с точки зрения адекватности ответов детей; во-вторых, результаты свидетельствуют о достаточно высокой информативности ответов школьников касательно профессии и образования родителей. Как и ожидалось, доход семьи оценивается школьниками весьма расплывчато.
Показатели материального благополучия семьи, социального и культурного капитала — количество книг в доме, наличие различных предметов повседневного обихода, досуговые практики, детско-родительские отношения — регулярно включаются в анкеты. Существуют исследования, демонстрирующие их содержательную валидность, то есть связь с социальным и культурным капиталом, возможность использования в качестве индикаторов СЭП. Вместе с тем практически не исследованы причины пропуска ответов и то, насколько хорошо дети школьного возраста могут ответить на соответствующие вопросы. А значит, к информации, касающейся обозначенных параметров, следует относиться критически.
Что можно было бы предпринять для повышения качества ответов детей старшего школьного возраста на вопросы о СЭП семьи? На наш взгляд, этому могут способствовать: 1) обобщение или укрупнение категорий при формулировке вопросов и анализе данных; 2) частичная верификация информации с помощью других источников, например опроса родителей или использования административных данных. Здесь стоит учитывать, что склонность давать неправильные ответы неравномерна, некоторые группы детей ошибаются чаще других. В случае верификации ответов на такие группы надо обращать особое внимание; 3) просьба к детям накануне проведения опроса уточнить у родителей их образование и профессию.
ЛИТЕРАТУРА
1. Астафьев Я., Шубкин В. Социология образования // Социология в России / Под ред. В.А. Ядова. М.: ИС РАН, 1998. С. 240-255.
2. Бурдье П. Формы капитала // Экономическая социология. 2002. Т. 3. № 5. С. 60-74.
3. Коулман Д. Капитал социальный и человеческий // Общественные науки и современность. 2001. Т. 3. С. 121-139.
4. Adams R., Wu M. PISA 2000 Technical report. Paris: OECD Publishing, 2002. - 322 p.
5. Brese M.F., Mirazchiyski M.P. Measuring students' family background in large-scale education studies // Paper presented at the Fourth IEA International Research Conference. Gothenburg, Sweden: IEA, 2010. — 28 p.
6. Buchmann C. Measuring family background in international studies of education: Conceptual issues and methodological challenges // Methodological advances in cross-national surveys of educational achievement / Ed. by A. Porter, A. Gamoran. Washington, DC: National Academies Press, 2002. P. 150-197.
7. Coleman J. Equality of Educational Opportunity. Washington, DC: NCES, 1966.
8. Engzell P., Jonsson J.O. Estimating social and ethnic inequality in school surveys: Biases from child misreporting and parent nonresponse // European Sociological Review. 2015. Vol. 31. No. 3. P. 312-325. DOI: 10.1093/esr/jcv005
9. Ensminger M.E, et al.The validity of measures of socioeconomic status of adolescents // Journal ofAdolescent Research. 2000. Vol. 15. No. 3. P. 392-419. DOI: 10.1177/0743558400153005
Ф
#
10. Entwisle D.R., Astone N.M. Some practical guidelines for measuring youth's race/ethnicity and socioeconomic status // Child Development. 1994. Vol. 65. No. 6. P. 1521-1540. DOI: 10.2307/1131278
11. Husen T. International project for the evaluation of educational achievement. International study of achievement in mathematics: A comparison of twelve countries. Stockholm: Almqvist &Wiksell, 1967. — 304 p.
12. Jerrim J., Micklewright J. Socio-economic gradients in children's cognitive skills: Are cross-country comparisons robust to who reports family background? // European Sociological Review. 2014. Vol. 30. No. 6. P. 766-781. DOI: 10.1093/esr/jcu072
13. John N.S. The validity of children's reports of their parents' educational level: A methodological note // Sociology of Education. 1970. Vol. 43. No. 3. P. 255-269. DOI: 10.2307/2112066
14. Kaufman P., Rasinski K.A. Chapter 3. Consistency and Correspondence Between Student and Parent Responses // Quality of the Responses of Eighth-grade Students in NELS: 88. Washington, DC: National Center for Education Statistics, 1991. P. 12-27.
15. Kayser B.D., Summers G.F. The adequacy of student reports of parental SES characteristics // Sociological Methods & Research. 1973. Vol. 1. No. 3. P. 303-315. DOI: 10.1177/004912417300100302
16. Kerckhoff A.C., Mason W.M., Poss S.S. On the accuracy of children's reports of family social status // Sociology of Education. 1973. Vol. 46. No. 2. P. 219-247. DOI: 10.2307/2112098
17. Kreuter F., Eckman S., Maaz K, & Watermann R. Children's reports of parents' education level: Does it matter whom you ask and what you ask about? // Survey Research Methods. 2010. Vol. 4. No. 3. P. 127-138.
18. Leeuw J. Improving data quality when surveying children and adolescents: Cognitive and social development and its role in questionnaire construction and pretesting. Report prepared for the Annual Meeting of the Academy of Finland: Research programs Public health challenges and health and welfare of children and young people. May 10-12, Naantali, Finland, 2011 [online]. Accessed 21.10.2016. URL: <http://www.aka.fi/globalassets/awanhat/documents/ tiedostot/lapset/presentations-of-the-annual-seminar-10-12-may-2011/ surveying-children-and-adolescents_de-leeuw.pdf>
19. Lien N, Friestad C, Klepp K.I. Adolescents' proxy reports of parents' socioeconomic status: How valid are they? // Journal of Epidemiology and Community Health. 2001. Vol. 55. No. 10. P. 731-737. DOI: 10.1136/jech.55.10.731
20. Looker E.D. Accuracy of proxy reports of parental status characteristics // Sociology of Education. 1989. Vol. 62. No. 4. P. 257 -276. DOI: 10.2307/2112830
21. Petticrew M., Roberts H. Systematic reviews in the social sciences: A practical guide. Malden, MA Oxford: Blackwell Publ., 2006. — 336 p. DOI: 10.1002/9780470754887
22. Pueyo M.-J, Serra-Sutton V., Alonso J., Starfield B, Rajmil L. Self-reported social class in adolescents: Validity and relationship with gradients in self-reported health // BMC Health Services Research. 2007. Vol. 7. No. 151 [online]. Accessed: 10.12.2016. URL: <http://www.biomedcentral.com/1472-6963/7/151>.
23. Schulz W. Measuring the socio-economic background of students and its effect on achievement in PISA 2000 and PISA 2003 // Annual Meetings of the American
Educational Research Association (AERA). 2006 [online]. Accessed: 10.12.2016. URL: <https://www.acer.edu.au/files/aera2006_schulzw_pisa_escsachievement.pdf>.
24. Sewell W.H., Haller A.O., Portes A. The Educational and Early Occupational Attainment Process // American Sociological Review. 1969. No. 1 (34). P. 82-92.
25. Sirin S.R. Socioeconomic status and academic achievement: A meta-analytic review of research // Review of Educational Research. 2005. Vol. 75. No. 3. P. 417-453. DOI: 10.3102/00346543075003417
26. Vereecken C, Vandegehuchte A. Measurement of parental occupation: Agreement between parents and their children // Archives of Public Health. 2003. Vol. 61. P. 141-149.
27. West P., Sweeting H, Speed E. We really do know what you do: A comparison of reports from 11 year olds and their parents in respect of parental economic activity and occupation // Sociology. 2001. Vol. 35. No. 2. P. 539-559. DOI: 10.1177/S0038038501000268
28. White K.R. The relation between socioeconomic status and academic achievement // Psychological Bulletin. 1982. Vol. 91. No. 3. P. 461- 481. DOI: 10.1037/0033-2909.91.3.461
29. White S.B., et al. Socioeconomic status and achievement revisited // Urban Education. 1993. Vol. 28. No. 3. P. 328-343. DOI: 10.1177/0042085993028003007
30. YoungbloodR.L. Student-parent agreement on socioeconomic indicators: A research note from Manila // Public Opinion Quarterly. 1977. Vol. 41. No. 3. P. 396-399. DOI: 10.1086/268397
Sotsiologicheskiy Zhurnal = Sociological Journal 2016. Vol. 22. No. 4. P. 74-89. DOI: 10.19181/socjour.2016.22.4.4808
T.E. Khavenson
National Research University Higher School of Economics, Moscow, Russian Federation.
Tatiana E. Khavenson — Research fellow, International Laboratory for Education Policy Analysis, Institute of Education NRU HSE; senior lecturer, Department of Sociological Research Methods, Faculty of Social Sciences NRU HSE. Address: 16/10, of. 408, Potapovski per., 101000, Moscow, Russian Federation. Phone: +7 (495) 772-95-90*22094. Email: [email protected]
Quality of School Age Children Reports on Family's Socio-economic Status
Abstract. The conclusions that researchers make from the studies are strongly contingent on the quality of information they gathered. It is especially relevant when school age children are the single source of information. They might lack of knowledge of some factual questions, e. g. parents' level of education or occupation or other characteristics of family socioeconomic status (SES). In this paper we present the systematic review of the studies devoted to the assessment of the quality of school age children responses on family SES
Ф
#
Дата поступления: 01.04.2016.
proxies. The quality of responses refers to the ability of children correctly indicate the education and occupation oftheir parents and the number ofmissing answers on a particular SES measure. 16 papers were included in our sample for the review. We conclude that school age children reports are of moderate quality. Average percentage of agreement is 70% for occupation and 60% for educational questions. Correlation is about 0.7 for occupation and 0.6 for education. We also make some conclusions about tendency to miss the question and the respondents' characteristics that might be related to the response quality.
Keywords: SES measures; measurement; children responses; authenticity of responses; secondary and high school-aged pupils; estimation ofsocial and economic situation in families.
For citation: Khavenson T.E. Quality of school age children reports on family's socioeconomic status. Sotsiologicheskiy Zhurnal = Sociological Journal. 2016. Vol. 22. No. 4. P. 74-89. DOI: 10.19181/socjour.2016.22.4.4808
REFERENCES
1. Astafev Ya., Shubkin V. Sociology of education. Sotsiologiya v Rossii. [Sociology in Russia.] Ed. by V.A. Yadov. Moscow: IS RAN publ., 1998. P. 240-255. (In Russ.)
2. Burd'e P. Forms of capital. Ekonomicheskayasotsiologiya. 2002.Vol. 3. No. 5. P. 60-74. (In Russ.)
3. Koulman D. Social and human capital. Obshchestvennye nauki i sovremennost'. 2001. Vol. 3. P. 121-139. (In Russ.)
4. Adams R., Wu M. PISA 2000 Technical report. Paris: OECD Publishing, 2002. 322 p.
5. Brese M.F., Mirazchiyski M.P. Measuring students' family background in large-scale education studies. Paper presented at the Fourth IEA International Research Conference. Gothenburg, Sweden: IEA, 2010. 28 p.
6. Buchmann C. Measuring family background in international studies of education: Conceptual issues and methodological challenges. Methodological advances in cross-national surveys of educational achievement. Ed. by A. Porter, A. Gamoran. Washington, DC: National Academies Press, 2002. P. 150-197.
7. Coleman J. Equality of Educational Opportunity. Washington, DC: NCES, 1966.
8. Engzell P., Jonsson J.O. Estimating social and ethnic inequality in school surveys: Biases from child misreporting and parent nonresponse. European Sociological Review. 2015. Vol. 31. No. 3. P. 312-325. DOI: 10.1093/esr/jcv005
9. Ensminger M.E., et al. The validity of measures of socioeconomic status of adolescents. Journal of Adolescent Research. 2000. Vol. 15. No. 3. P. 392-419. DOI: 10.1177/0743558400153005
10. Entwisle D.R., Astone N.M. Some practical guidelines for measuring youth's race/ethnicity and socioeconomic status. Child Development. 1994. Vol. 65. No. 6. P. 1521-1540. DOI: 10.2307/1131278
11. Husen T. International project for the evaluation of educational achievement. International study of achievement in mathematics: A comparison of twelve countries. Stockholm: Almqvist & Wiksell, 1967. 304 p.
12. Jerrim J., Micklewright J. Socio-economic gradients in children's cognitive skills: Are cross-country comparisons robust to who reports family background? European Sociological Review. 2014. Vol. 30. No. 6. P. 766-781. DOI: 10.1093/esr/jcu072
13. John N.S. The validity of children's reports of their parents' educational level: A methodological note. Sociology ofEducation. 1970. Vol. 43. No. 3. P. 255-269. DOI: 10.2307/2112066
14. Kaufman P., Rasinski K.A. Chapter 3. Consistency and Correspondence Between Student and Parent Responses. Quality of the Responses of Eighth-grade Students in NELS: 88. Washington, DC: National Center for Education Statistics, 1991. P. 12-27.
15. Kayser B.D., Summers G.F. The adequacy of student reports of parental SES characteristics. Sociological Methods & Research. 1973. Vol. 1. No. 3. P. 303-315. DOI: 10.1177/004912417300100302
16. Kerckhoff A.C., Mason W.M., Poss S.S. On the accuracy of children's reports of family social status. Sociology of Education. 1973. Vol. 46. No. 2. P. 219-247. DOI: 10.2307/2112098
17. Kreuter F., Eckman S., Maaz K., & Watermann R. Children's reports of parents' education level: Does it matter whom you ask and what you ask about? Survey Research Methods. 2010. Vol. 4. No. 3. P. 127-138.
18. Leeuw J. Improving data quality when surveying children and adolescents: Cognitive and social development and its role in questionnaire construction and pretesting. Report prepared for the Annual Meeting of the Academy ofFinland: Research programs Public health challenges and health and welfare of children and young people. May 10—12, Naantali, Finland, 2011 [online]. Accessed 21.10.2016. URL: <http://www.aka.fi/globalassets/ awanhat/documents/tiedostot/lapset/presentations-of-the-annual-seminar-10-12-may-2011/surveying-children-and-adolescents_de-leeuw.pdf>
19. Lien N., Friestad C., Klepp K.I. Adolescents' proxy reports of parents' socioeconomic status: How valid are they? Journal of Epidemiology and Community Health. 2001. Vol. 55. No. 10. P. 731-737. DOI: 10.1136/jech.55.10.731
20. Looker E.D. Accuracy of proxy reports of parental status characteristics. Sociology of Education. 1989. Vol. 62. No. 4. P. 257-276. DOI: 10.2307/2112830
21. Petticrew M., Roberts H. Systematic reviews in the social sciences: A practical guide. Malden, MA Oxford: Blackwell Publ., 2006. 336 p. DOI: 10.1002/9780470754887
22. Pueyo M.-J., Serra-Sutton V., Alonso J., Starfield B., Rajmil L. Self-reported social class in adolescents: Validity and relationship with gradients in self-reported health. BMC Health Services Research. 2007. Vol. 7. No. 151 [online]. Accessed: 10.12.2016. URL: <http://www.biomedcentral.com/1472-6963/7/151>.
23. Schulz W. Measuring the socio-economic background of students and its effect on achievement in PISA 2000 and PISA 2003. Annual Meetings of the American Educational Research Association (AERA). 2006 [online]. Accessed: 10.12.2016. URL: <https://www. acer.edu.au/files/aera2006_schulzw_pisa_escsachievement.pdf>.
24. Sewell W.H., Haller A.O., Portes A. The Educational and Early Occupational Attainment Process. American Sociological Review. 1969. No. 1 (34). P. 82-92.
25. Sirin S.R. Socioeconomic status and academic achievement: A meta-analytic review of research. Review of Educational Research. 2005. Vol. 75. No. 3. P. 417-453. DOI: 10.3102/00346543075003417
26. Vereecken C., Vandegehuchte A. Measurement of parental occupation: Agreement between parents and their children. Archives of Public Health. 2003. Vol. 61. P. 141-149.
27. West P., Sweeting H., Speed E. We really do know what you do: A comparison of reports from 11 year olds and their parents in respect of parental economic activity and occupation. Sociology. 2001. Vol. 35. No. 2. P. 539 - 559. DOI: 10.1177/ S0038038501000268
28. White K.R. The relation between socioeconomic status and academic achievement. Psychological Bulletin. 1982. Vol. 91. No. 3. P. 461- 481. DOI: 10.1037/00332909.91.3.461
29. White S.B., et al. Socioeconomic status and achievement revisited. Urban Education. 1993. Vol. 28. No. 3. P. 328-343. DOI: 10.1177/0042085993028003007
30. Youngblood R.L. Student-parent agreement on socioeconomic indicators: A research note from Manila. Public Opinion Quarterly. 1977. Vol. 41. No. 3. P. 396-399. DOI: 10.1086/268397
Received: 01.04.2016.
