CC BY
91
ТЕОРИЯ, МЕТОДОЛОГИЯ И МЕТОДЫ
DOI: 10.14515/monitoring.2016.5.05 Правильная ссылка на статью:
Ипатова А. А. Опыт анализа комментариев интервьюеров к телефонным интервью // Мониторинг общественного мнения : Экономические и социальные перемены. 2016. № 5. С. 64—76. For citation:
Ipatova A. A. The experience in the analysis of the interviewers comments to telephone interviews. Monitoring of Public Opinion: Economic and Social Changes. 2016. № 5. P. 64—76.
А. А. Ипатова
ОПЫТ АНАЛИЗА КОММЕНТАРИЕВ ИНТЕРВЬЮЕРОВ К ТЕЛЕФОННЫМ
ИНТЕРВЬЮ
ОПЫТ АНАЛИЗА КОММЕНТАРИЕВ ИНТЕРВЬЮЕРОВ К ТЕЛЕФОННЫМ ИНТЕРВЬЮ
ИПАТОВА Анна Алексеевна — кандидат культурологии, старший научный сотрудник Лаборатории методологии социальных исследований Института социального анализа и прогнозирования РАНХиГС при Президенте Российской Федерации, Москва, Россия. E-MAIL: [email protected] ORCID: 0000-0002-1425-3434
Аннотация. Проблема качества данных — ключевая для опросной индустрии. С появлением электронных способов сбора данных ее решение приобрело еще один возможный подход — анализ параданных, или данных о ходе и процедуре опроса. Парадан-ные уже несколько лет активно используются для снижения временных и материальных затрат на проведение опросов, для выявления фальсификаций и фабрикаций интервьюеров и контроля за качеством данных. Ин-
THE EXPERIENCE IN THE ANALYSIS OF THE INTERVIEWERS COMMENTS TO TELEPHONE INTERVIEWS
IPATOVA Anna Alekseevna1—PhD in Cultural Studies, Senior researcher E-MAIL: [email protected] ORCID: 0000-0002-1425-3434
1 Laboratory for survey research methodology, Institute for Social Analysis and Prediction, The Russian Presidential Academy of National Economy and Public Administration (RANEPA), Moscow, Russia
Abstract. Data quality is the key problem in the public opinion research. The vast growth of computer assisted methods of data collection made it possible to solve this problem using paradata — data about the process of survey production. For some years paradata is successfully used for fabrication and falsification detecting and predicting time and cost efficiency. At the same time, many survey researchers all over the world use paradata to improve data collection process and request inter-
тервьюеров просят фиксировать свои наблюдения о процедуре опроса или инструменте, респонденте или домохозяйстве в целом. В статье представлен анализ и типология комментариев, которые интервьюеры фиксировали в ходе телефонного опроса. Показано, что комментарии интервьюеров к анкете представляют собой богатый материал, который можно использовать как для корректировки данных, так и для доработки инструментария.
Ключевые слова: качество данных, параданные, наблюдения интервьюеров, компьютеризированное телефонное интервью, поведение интервьюера
viewers to collect observations about main features of selected household or respondent. This paper examines the types of observations interviewers made for the telephone interview on sensitive topic. Observations collected by interviewers revealed to be valuable and rich information source for the survey researcher. Potentially these observations can be used for data correction and further development of the tool.
Key words: data quality, paradata, interviewer observation, CATI, interviewer behavior
Использование параданных, или данных, сопутствующих процедуре опроса,— активно развивающая область в социальных исследованиях. Уже более десяти лет параданные применяются для повышения качества данных, например, для выявления фальсификаций и фабрикаций, прогнозирования и сокращения временных и материальных затрат. В 2004 г. Бюро статистики США впервые опробовало разработанный на основе параданных инструмент анализа истории обращений 1 компьютеризированного личного опроса в Национальном опросе о здоровье 2, и это позволило выявить оптимальные комбинации времени и дня недели для первого обращения по отобранным домохозяйствам [Tan, 2011: 9]. Было установлено, что больше трети первых обращений происходили в период с 8 утра до 16 дня с понедельника по четверг, и из этих обращений в 30,9 % случаев был установлен контакт с отобранным респондентом. В вечернее же время (с 16 часов дня до 21 часа вечера) и в выходные дни уровень результативности первых контактов был выше (40,8 % и 38 % соответственно). Коллеги пришли к выводу, что вполне логично рекомендовать интервьюерам совершать первое обращение по попавшему в выборку домохозяйству в наиболее благоприятное время, то есть вечером или в выходные дни. Были и другие результаты, например, выявление оптимального числа обращений по адресам отобранных домохозяйств, описанные в статье Сафира и Тэн [Safir, Tan, 2009]. В том же, 2004 г., другим американским коллегам в Национальном опросе о здоровье и употреблении наркотиков 3 при помощи параданных удалось выявить недобросовестных интервьюеров, опре-
1 CHI — Contact History Instrument.
2 NHIS — National Health Interview Survey. Подробнее см.: http://www.cdc.gov/nchs/nhis/index.htm.
3 NSDUH — The National Survey on Drug Use and Health. Подробнее см.: https://nsduhweb.rti.org/respweb/homepage.cfm.
делить сфальсифицированные анкеты, и, тем самым, улучшить качество данных с меньшими затратами, чем это приходилось делать ранее (подробнее см. [Murphy et al., 2004]). В 2008 г. статистическое агентство Канады также сообщило, что анализ параданных, а именно общего системного времени, потраченного на установление результативных и нерезультативных соединений, позволяет вычислить общую продуктивность опросов, сравнивать их между собой, выявлять удачные и неудачные практики организации проектов, которые можно использовать в дальнейшем (подробнее см.: [Laflamme, 2008]) 4.
В приведенных выше примерах речь идёт скорее о параданных, собираемых автоматически в компьютеризированных опроса по месту жительства 5, но есть и другой тип параданных—то, что отдельно зафиксировано интервьюером, а именно его личные наблюдения, комментарии, оценки. Так, в некоторых опросах интервьюеров просят записывать ту или иную информацию о домохозяйстве или респонденте (многоквартирный это дом или частный, сколько этажей в доме, есть ли в доме консьерж или домофон / кодовый замок, есть ли придомовая территория, и другую информацию, которую можно использовать, например, для повторного обращения к данной единице выборочной совокупности). Эти данные уже давно и успешно собираются в разных зарубежных исследованиях6, в частности в уже упомянутых опросах канадского статистического агентства (подробнее см.: [Laflamme, 2008]), в Британском опросе о преступности7 (подробнее см.: [Lynn, 2002]), Американском национальном опросе жертв преступлений8 (подробнее см.: [National Crime, 20012]), в Американских национальных опросах о росте семьи 9 (подробнее см.: [Groves, Wagner, Peytcheva, 2007; West, Kreuter, 2011]) и о здоровье (см. выше), в Европейском социальном исследовании 10 (подробнее см.: [Sampling.., 2014]) и многих других. В середине 90-х в одной из волн Британского опроса о преступности была впервые опробована шкала PEDAKSI 11—управление ключевыми элементами опроса на стадии установления контакта с респондентом [Lynn, 2002]. Этот инструмент был разработан для оценки уровня неответов, а также вызванного ими смещения. Впоследствии коллеги пришли к выводу, что данные показали валидные оценки, и могут быть использованы для анализа смещения, вызванного неответами, а сам инструмент PEDAKSI — для оценки репрезентативности выборки [Lynn, 2002:9].
Это лишь немногие примеры применения параданных в известных опросах. В целом, в передовых исследованиях общественного мнения за рубежом пара-
4 Первый обзор на тему использования параданных для контроля ошибок и стоимости в компьютеризированных опросах сделали в 2006 году Роберт Гроувз и Стивен Хееринга, назвав такого рода исследования «responsive designs», или исследования с адаптивным дизайном. Подробнее см.: [Groves, Heeringa, 2006].
5 Подробнее о параданных в компьютеризированных телефонных опросах см.: [Ипатова, 2014].
6 Конечно, российские опросные организации также собирают и анализируют эту информацию, но нам не приходилось встречать в академических изданиях подробного описания применения данной методики.
7 BCS — British Crime Survey. Сегодня называется Crime Survey for England and Wales. Подробнее см.: http://www. crimesurvey.co.uk.
8 NCVS — National Crime Victimization Survey, ранее — National Crime Survey (NCS). Подробнее см.: http://www.bjs. gov/index.cfm?ty=dcdetail&iid=245.
9 NSFG — National Survey of Family Growth. Подробнее см.: http://www.cdc.gov/nchs/nsfg/about_nsfg.htm.
10 ESS — European Social Survey. Подробнее см.: http://www.europeansocialsurvey.org.
11 PEDAKSI — Pre-Emptive Doorstep Administration of Key Survey Item.
данные заняли особое место. Практики их использования активно развиваются и дорабатываются, позволяя исследователям по-новому подходить к вопросам снижения стоимости и экономии временных ресурсов и контроля за качеством данных. Из последних систематизированных описаний применения параданных в опросах стоит отметить работу Уэста [West, 2011], а также сборник статей под редакцией Кройтер «Улучшение опросов при помощи параданных» [Improving Surveys..., 2013]. В России такого рода исследования пока только набирают ход, и далее мы приведем пример подобного опроса.
Опрос семей с детьми
Лаборатория методологии социальных исследований Института социального анализа и прогнозирования РАНХиГС при Президенте Российской Федерации на протяжении последних лет реализует в своих опросах сбор и анализ параданных. В качестве одного из последних и наиболее последовательных примеров их применения для методического сопровождения автоматизированных опросов можно привести исследование «Оценка и анализ региональных различий в эффективности социальной поддержки семей с детьми в России» в 2015 г.: опрос родителей несовершеннолетних детей о социальной помощи и поддержке в их регионе. Исследование проводилось методом телефонного опроса по случайной систематической стратифицированной двухосновной выборке номеров мобильных и стационарных телефонов в двух регионах, в Самарской области (900 целевых анкет) и Алтайском крае (900 целевых анкет), в период с 20 июля по 26 августа 2015 года в два этапа. Всего было два вида анкет: большая (целевая, когда респондент отвечал критериям отбора, то есть получал пособия на детей) и малая (нецелевая, когда респондент не отвечал критериям отбора и ему задавались только вопросы социально-демографического толка). В проекте работали три звонковых центра: «Максима» (г. Чебоксары), «Квалитас» (г. Воронеж) и «Контекст» (г. Томск). В этом проекте параданные использовались в двух целях: 1. для ежедневного мониторинга показателей дозвона и работы звонковых центров; 2. для оценки и возможной доработки инструментария на основании наблюдений интервьюера. В первом случае самым значимым результатом стало изменение системы дозвона, а именно переход на втором этапе с ручного на автоматизированный дозвон. Кроме того, на четвертый день первого этапа опроса один из звонковых центров был отключен ввиду больших временных и материальных затрат. Переход на автоматизированный дозвон позволил вернуть этот звонковый центр на втором этапе. Второй случай, использование наблюдений интервьюеров, мы разберем подробнее ниже.
Интервьюеры — это «глаза и уши» опросной компании в поле. Помимо данных, внесенных в анкету, они узнают намного больше о самом респонденте, его жизненной ситуации, взглядах на разные темы, о его аргументациях, страхах, мечтах. Конечно, при прослушивании аудиозаписей у аналитика есть возможность прикоснуться к миру респондента, но тотальное прослушивание всех аудиозаписей в поисках интересных или нетипичных случаев сложно реализуемо на практике и многократно увеличивает стоимость исследования. При программировании анкеты была создана специальная текстовая переменная, где интервьюер мог запи-
сать примечание к анкете или оставить любой другой комментарий. Это делалось по желанию интервьюера, процедура не была стандартизирована. Интервьюерам было сообщено об этой возможности на инструктаже, а также отмечено, что все оставленные комментарии будут проанализированы. В самой анкете примечание к открытому вопросу выглядело следующим образом: «Интервьюер, напишите, пожалуйста, если данное интервью Вам показалось отличающимся по какой-либо причине от остальных».
Интервьюеры оставили 304 примечания к 3966 анкетам (1800 целевых анкет, 2166 — нецелевых). Не все комментарии представляют собой ценность, зачастую просто дублируя то, что уже и так понятно из полученных данных (орфография сохранена):
«Женщина отказалась называть доход семьи»;
«Катя разведена, воспитывает дочь»;
«Лилия — вдова, сын получает пенсию по потере кормильца»;
«Не подходят»;
«Респондент—молодая одинокая мама (мать-одиночка)»;
«Светлана, сын 2005 г. р., пособие на ребенка не получают»;
«Семья с ребенком-инвалидом».
В большинстве такого рода дублирующих комментариев нет ничего нового: из вопросов про социальные категории мы и так увидим, что одна семья принадлежит к многодетным, в другой — есть ребенок-инвалид; из закрытия «отказ от ответа» на вопрос о доходах—что женщина отказалась называть сумму; из вопроса про семейный статус — что женщина разведена или овдовела. Из новой информации присутствует только имя респондента, но польза от него для анализа состоявшегося интервью сомнительна 12.
Другой тип комментариев связан с особенностями взаимодействия с запрограммированной анкетой. Так, несколько интервьюеров оставили технический комментарий, в котором указали на недочёт при программировании анкеты: в вопросе про ежемесячную компенсацию родительской платы за детский сад респонденты иногда называли не денежный эквивалент, а процент компенсации. Анкета значение «%» не пропускала и требовала ввести цифру (орфография сохранена):
«В вопросе про ежемесячную компенсацию оплаты детского сада/школы компьютер не принят ответ со знаком«%». Там везде получилось просто 50. Но это именно 50 %! Каждый ребенок получает эту компенсацию за школу!»;
«Так и не поняла, где нужно записать, что возвращают 70 % за детский сад, если респондент не может вспомнить сумму в денежном выражении, комментарий можно оставить только в последней колонке, и все равно требуется ввести какое-то число».
Была найдена и другая ошибка, связанная с ситуацией многопоколенного проживания в рамках одного домохозяйства, где у респондента есть и несовершеннолетние дети, и несовершеннолетние братья или сестры:
«В семье есть еще несовершеннолетние дети (брат и сестра респондента). И пришлось отметить в графе совершеннолетних членов семьи, так как они не являются ни родными, ни опекаемыми детьми респондента».
12 При повторном дозвоне на тот же номер информация об имени респондента может оказаться полезной, но в данном исследовании этого предусмотрено не было.
Анкета не была рассчитана на такую ситуацию, поскольку все вопросы про пособия задавались только родителям/официальным опекунам детей. Выбранный интервьюером вариант объясним, так как на этот случай не были даны чёткие указания, как поступить, ведь нужно было и полностью заполнить карточку домохозяйства, и отдельно указать всех своих несовершеннолетних детей. В анкете также не было предусмотрено наличие и несовершеннолетних членов домохозяйства — собственных детей, и несовершеннолетних членов домохозяйства — братьев и сестёр. Этот вопрос нужно анализировать в дальнейшем отдельно, но факт, что интервьюер нашёл ошибку (нестыковку) в анкете, а также подробно описал и пояснил свои действия, позволяет нам работать с этой ней.
Указали нам и на ошибку, которая на деле могла оказаться оплошностью интервьюера при работе с анкетой или простым техническим сбоем. Опять же, у была есть вся необходимая информация для оценки сложившейся ситуации:
«Неверно была завершена работа с анкетой при использовании кнопки «перезвонить сейчас», открылась новая анкета, поэтому часть анкеты просто «восстановили» с респондентом. И дальше продолжили опрос».
Подобные комментарии вне сомнения ценны, они указывают на ошибки инструментария или недочёты заказчика при проведении инструктажа. Именно технические комментарии позволяют в режиме реального времени (если это возможно) дорабатывать анкету, добавлять к вопросам необходимые уточнения, редактировать полученный массив данных с учетом этой информации. Так, в проекте во всех случаях наличия компенсации части родительской платы за детский сад в многодетных семьях пришлось редактировать полученные значения переменных с учётом аудиозаписей или оставленных комментариев, а также добавить в вопрос примечание для интервьюера: «Если респондент не знает, сколько в рублях составляет компенсация части платы за детский сад, то пусть укажет% компенсации». Такая мера хоть и вызвала дополнительные временные затраты, но была необходима для более полного понимания ответов на заданный вопрос.
Другой вид комментариев связан с особенностью отбора респондентов для проведения интервью, а также с тем, кем оно было проведено (в рамках данного проекта мы репрезентировали домохозяйство, и разрешалось начинать интервью с одним из родителей, а заканчивать — с другим). Важно, что многие из подобных случаев были зафиксированы интервьюерами (орфография сохранена):
«Анкета начата с мужем, затем он перевел разговор на жену, сообщил ее мобильный телефон»;
«Была плохая связь, начали опрос по стационарному телефону, затем перешли на сотовый 8**********»;
«Сначала бабушка представилась мамой детям и пришлось начать все заново, когда подошла настоящая мама»;
«Отвечала мама по телефону несовершеннолетней дочери».
Как видим, в одном из примечаний описан случай обмана со стороны респондента — бабушка представилась мамой. Очевидно, такая анкета может иметь несоответствия, а сам разговор — аномальную длительность, потому интервьюер зафиксировала этот момент, дав понятное объяснение, что она ошибку не допускала. В случаях перезвона на другие телефонные номера интервьюеры писали
их в примечании, и в дальнейшем нам было проще отслеживать этот контакт 13, видеть причину перезвона на новый номер. Дополнительно это не анализировалось, но в перспективе возможно оценить частоту возникновения подобных ситуаций, а также их вариации, и детальнее подойти к вопросу стандартизации поведения интервьюера с выбором в разных проектах тех или иных подходящих решений.
Значительны по объёму комментарии четвертого типа: особенности ответа на вопрос, а также неправильные фиксации ответа. Часто в них отмечался номер вопроса и описывалась возникшая ситуация, или же объяснялось, почему в полученных данных могут быть несоответствия (орфография сохранена):
«В вопросе Q380101 с июня месяца пособие на ребёнка перестали выплачивать (уже полтора года ребенку)»;
«Семья до недавнего времени (до июля) относилась к категории многодетных семей, в июле старшему сыну исполнилось 18, поэтому сейчас к этой категории не относятся»;
«Девушка является мамой двух детей, но пособия еще все не оформили, второму ребенку всего три недели, но будет оформлять. Пока даже пособие по родам не получила»;
«Респондент сначала сказала, что у них ребенок-инвалид, но в конце анкеты объяснила, что ребенок с врожденной патологией, но инвалидность официально не оформлена»;
«Семья относится к трем льготным категориям. В вопросе Q3801 — респондент назвала общую сумму пособий на троих детей — 2900, сколько на каждого ребенка в отдельности платят, не знает, поэтому мы разделили эту сумму на три, и я записала одинаковые значения».
Интервьюеры пишут объяснения к анкетам, например, что респондент не успел еще оформить пособия на новорожденного ребенка, или же что респондент не понял вопрос и дал неверный ответ, но позже это прояснилось. Некоторые приведённые выше комментарии описывают жизненную ситуацию людей, которые должны получать пособия, но по тем или иным причинам их не получают. Эти комментарии позволяют понять противоречия в данных, когда при перекрёстном анализе переменных респондент является получателем, а пособие не зафиксировано. Учитывая сложность и многофакторность назначения и выплаты пособий на детей, их региональную специфику, а также плохую осведомленность населения о получаемых или положенных выплатах, создание универсальной и подходящей под каждую жизненную ситуацию анкеты едва ли возможно. Комментарии интервьюеров в данном случае являются незаменимым инструментом для понимания конкретной ситуации, а также для выявления значимых проблем при оформлении пособий.
Иногда интервьюеры оценивают адекватность ответа и пишут свои наблюдения о том, что респондент лукавит, не разбирается в вопросе, противоречит сам себе (орфография сохранена):
«Семья малообеспеченная (общий доход на пятерых составляет 20 тыс. руб.), но при этом оба ребенка посещают кружок (бальные танцы), за который они платят 10 тыс. руб. в месяц!!»;
13 Технически можно запретить интервьюерам перезванивать на номера, не попавшие в выборку, в первую очередь для того, чтобы избежать возможных фальсификаций и набора «своих» номеров. В данном проекте было принято решение разрешить звонковым центрам звонить на дополнительные номера, названные членами отобранных домохозяйств. Ручной набор нового номера согласовывался с супервайзером. При помощи параданных все такие случаи могут быть обнаружены и проверены.
«Женщина не назвала подсобное хозяйство как источник доходов, но по разговору, видимо, оно является тоже источником дохода, наряду с зарплатой»;
«^28 — Ситуация странная, женщина путает интервьюера, сначала говорит, о том, что получала материнский капитал, затем говорит, что о существование федерального материнского капитала ничего не слышала».
Такого рода комментарии показывают, насколько серьёзно интервьюеры подходят к своей работе, стараются адекватно оценивать ответы респондентов, а не просто ставить галочки и цифры в анкете. Именно эти комментарии и примечания открывают другую проблемную область — стандартизацию работы интервьюера. С одной стороны, мы должны зафиксировать самостоятельный ответ респондента. С другой — интервьюер и респондент конструируют ответ вместе, один интервьюер переспросит, а другой — нет. В результате мы получаем разный инструментарий, где, если обобщить, для одних респондентов зафиксированы спонтанные ответы на вопрос, а для других — взвешенные и аргументированные. Сказать о том, разные ли это ответы или нет, мы не готовы. Стандартизировать работу и уйти от эффекта интервьюера сложно, этот вопрос требует отдельной и тщательной проработки. Тем не менее, параданные, а именно комментарии интервьюеров об особенностях ответа на вопрос, представляются нам одним из возможных заходов в эту проблемную область.
Приведём в качестве примера следующий комментарий. Интервьюер описывает ситуацию, где он намерено решает не задавать один из вопросов анкеты:
«Бабушка — опекун, вопросы о желании или нежелании иметь детей опустили...».
Прослушав это интервью, мы обнаружили, что имеет место трудная жизненная ситуация: немолодая бабушка-опекун самостоятельно воспитывает маленького внука, оставшегося без родителей, поэтому вопрос про планы на рождение детей кажется интервьюеру неуместным, и по этическим соображениям он его пропускает. Сама формулировка комментария показывает, что интервьюер не до конца уверен в правильности своих действий (ставит три точки после комментария), а также пытается разделить ответственность за это решение со своими коллегами/ супервайзером—употребляет глагол в множественном числе. Оценка поведения интервьюера в данном случае может быть разной (как и оценка инструментария), но однозначно одно: интервьюер правильно поступил, что зафиксировал этот отход от стандартизации в примечании, поскольку именно оно даёт возможность проработать как сам кейс, так и обобщить его до более конкретных рекомендаций.
Немного отличаются описательные комментарии, в которых акцент делается на том, что остается за рамками анкеты, но что, на взгляд интервьюера, является важным. Это маленькие истории людей, рассказанные интервьюерами. Обычно такие примечания пишутся к нетипичным (сильно отличающимся от других) респондентам или интервью. Такие примечания зачастую эмоциональны (орфография сохранена):
«Бабушка — опекун своей внучки. Говорит, что, возможно, скоро ее лишат опекунства, т. к. она старенькая, а у внучки какие-то проблемы со здоровьем (психикой). Бабушка всего боится. Боится обращаться за социальными выплатами и прочим, так как думает, что потом ее могут попросить все это вернуть обратно. Живут с внучкой на одну пенсию»;
«Инвалид боевых действий в Чеченской республике нуждается в собственном жилье. Стоит в очереди с 2002 г. номер где-то 500»;
«Бабушка — опекун, но выплаты не получает, оформили опекунство по просьбе школы, мама живет отдельно, в другом городе, но семья благополучная; опекунство нужно, чтобы учиться в школе»;
«Мать-одиночка с двумя детьми. Ранее снимала квартиру, но стало тяжело жить, поэтому переехала к маме в сельскую местность»;
«Муж умер в 2014—2015 гг., воспитывает одна четырёх несовершеннолетних детей, ей отказали участвовать в программе «Социальный контракт»»;
«Официально многодетная семья, ждет сегодня-завтра четвёртого ребенка».
В примечаниях представлены описания жизненных ситуаций, когда у детей нет одного или обоих родителей, их воспитанием занимаются матери-одиночки, бабушки или дедушки. В комментариях видно, что в одном случае—родитель умер, в другом — имеет пагубные пристрастия (алкоголизм, наркоманию), в третьем—лишен родительских прав. Обозначены трудности, которые респонденты не смогли преодолеть: нехватка денежных средств на съём жилья и вынужденный переезд к родителям, сложности во взаимоотношениях с отцом ребёнка и не оформленная прописка и так далее. Бывает, люди открыто говорят о том, что несколько обошли закон: оформили опекунство при живых и дееспособных родителях, чтобы ребёнок имел возможность посещать нужную школу. Эти комментарии дают возможность понять особенности повседневной жизни респондента, оценить, насколько получаемые пособия соответствуют нуждам семьи, увидеть прямые причины сложившейся ситуации.
К этому же типу комментариев мы отнесли жалобы респондентов, их просьбы «донести» до государства свои проблемы. Тут есть рассказы и про органы власти, социальной защиты, про обращения к Президенту, особенности начисления пособий многодетным семьям и снятие статуса многодетности, когда старший ребенок становится совершеннолетним, и про программы материнского капитала и социальный контракт, про недобросовестных усыновителей и многое другое (орфография сохранена):
«Женщине отказали в бесплатных обедах на детей в школе, т. к. сумма дохода превышает на 12 рублей»;
«ИП женщина просила отметить, что доходы ИП не учитываются при выходе в декрет, а раньше учитывались»;
«Респондент просила особо отметить, что органы соц. защиты её района работают отвратительно. По телефону кричат, ничего не отвечают»;
«Респондентка жалуется на то, что мало информации о том, какие пособия и субсидии им могут полагаться. Также она говорила о том, что было бы неплохо упростить процедуры получения пособий (имея ввиду бюрократию, бумажную волокиту)»;
«У женщины трое детей, когда старшей исполнилось 18 лет, с них сняли статус многодетной семьи, и она (респондентка) выразила недовольство по этому поводу, т. к., по ее словам, в некоторых регионах с семей сразу не снимают статус многодетной в таких же случаях»;
«Марина, мама трех несовершеннолетних детей, считает, что если в других регионах многодетные семьи получают льготы на оплату жилищно-коммунальных услуг, то и в Алтайском крае должны получать»;
«Чтобы соц. защита помогала малоимущим, я писала Путину, что-то начали делать... но в итоге сказали, мне не положено, дали 1000 руб., чтоб собрать детей в школу и все, и в реабилитационном центре кое-как выбила путевку.Для того, чтобы обучить ребенка, на что обучать если надо деньги на съем жилья, откуда их взять?!».
Случаев-жалоб было более 20 и важно, что у респондента появляется уверенность хотя бы в том, что его слова зафиксировали, а у интервьюера — возможность записать проблему, а не объяснять, почему его это не волнует. Действительно, в опросах на сенситивную тематику, когда интервьюер анонсирует тему исследования и она оказывается важной для опрашиваемого, у последнего может возникнуть желание не просто отвечать на вопросы, но и поделиться тем, что действительно волнует, в чем-то, возможно, даже указать на темы, пропущенные в инструментарии, способные оказать существенное влияние на результат. Создав переменную комментария для интервьюера, мы также частично решаем вопрос сложной коммуникативной ситуации, в которой может оказаться интервьюер, предоставляя ему удобный инструмент для фиксации слов респондента.
В нескольких случаях интервьюеры писали в примечании свои собственные чувства и мысли, возникшие в ходе конкретного интервью. Польза таких комментариев для анализа данных опроса не очевидна. И все же категорично заявлять о том, что они бесполезны, не правильно: опрос затрагивает сенситивную тематику, причем сенситивна она не только для респондента, но и для интервьюера, и эмоциональный выплеск для последнего имеет большую ценность. По сути, мы даем интервьюерам высказаться после напряженного интервью, иногда, даже описать свои эмоции и переживания 14:
«У респондента двое детей — девочки-двойняшки — одна из них — инвалид ДЦП. Охотно, активно женщина участвовала в интервью. Я лично при проведении интервью очень сильно нервничала и переживала за судьбу молодой мамы»; «Женщина очень приятная».
В первом из приведенных комментариев интервьюер сообщает о своих переживаниях, а также даёт характеристику коммуникативному поведению респондента. Это позволяет ему поставить точку в проведенном интервью и уже после этого переходить к следующему. Присутствие в комментариях большого числа эмоциональных слов и выражений подтверждает, что интервьюер — это не бесчувственная машина по задаванию вопросов, эффект которого можно полностью нивелировать. Интервьюеры, особенно работающие на опросах с сенситивной тематикой или встречающиеся с трудной жизненной ситуацией, проявляют эмпатию и переживают за респондентов. При помощи таких комментариев можно оценить и человеческие качества самого интервьюера: доброжелательность, стрессо-устойчивость, доброту, человечность, внимательное, уважительно отношение к респонденту. Для этих целей комментарий интервьюера к анкете становится
14 Это спорный момент, поскольку в такой ситуации исследователь взаимодействует напрямую с интервьюером, а не звонковым центром. Еще несколько лет назад нам приходилось отдельно запрашивать у звонковых центров не обезличенные цифровые логины интервьюеров, а их имена и фамилии, в том числе и для возможности отслеживать работу одних и тех же интервьюеров в разных проектах. На наш взгляд, именно такие условия взаимодействия заказчик — исполнитель и следует создавать. При таком подходе эмоциональный комфорт интервьюеров и возможность последних дать обратную связь видится нам как одна из важнейших задач исследователя. Конечно, это не исключает взаимодействия с полевыми менеджерами, а лишь дополняет его.
чуть ли не эффективнее просушивания аудиозаписей, и определенно является более простым и доступным для анализа.
Вместо заключения
Представленная типология комментариев условна: мы не определяем чёткие критерии для отнесения комментария к тому или иному идеальному типу. Более того, многие из них представляют собой смешанный тип. Есть и другие проблемы: ошибки интервьюеров при заполнении примечаний (потому мы решили сохранить их орфографию), а часть комментариев не имеет никакого смысла («000», «1»), что показывает в том числе и проблему с мотивацией интервьюеров. Задача, которая не была стандартизирована, частью интервьюеров воспринималась как дополнительная нагрузка, потому они либо некачественно заполняли это поле, либо вовсе его пропускали. Эта ситуация в целом типична—американские коллеги, проводившие подобного рода неконтролируемый эксперимент в Опросе о потребительских расходах, также столкнулись с отсутствуем мотивации у интервьюеров 15. Не всем интервьюерам была понятна и цель подобного нововведения, особенно тем, кто не прошел инструктаж. Решение этой проблемы пока не представляется очевидным, поскольку в текущей ситуации звонковые центры не всегда могут заранее предоставить исчерпывающие списки интервьюеров, которые будут работать на проекте.
Комментарии интервьюеров к анкете представляют собой богатый материал, который можно использовать как для оценки их работы, так и для более глубокого понимания конкретного интервью. Это полезный, но ненадёжный источник данных. Во-первых, комментарии весьма субъективны и напрямую зависят от интервьюера. Во-вторых, комментарии довольно специфичны и зависят от тематики проекта, а значит их сложно стандартизировать и ввести в систему оценки как количественную переменную. Наконец, делегирование интервьюеру возможности оценить и описать состоявшееся взаимодействие отчасти поднимает его статус. Мы считаем, что почти все приведенные выше комментарии представляют и методическую, и аналитическую ценность. Конечно, любая переменная, связанная с интервьюером, может внести еще больше смещений в данные. Потому разговор о том, чтобы на основании наблюдений интервьюеров перевзвешивать массив или как-то корректировать данные, преждевременен. На данном этапе мы рассматриваем комментарии интервьюеров как инструмент поиска и понимания особых случаев, указание на то, что необходимо прослушать аналитику, инструмент доработки сложных анкет, в том числе на сенситивную тематику. Мы говорим об оценке данных и процедуры опроса, корректировке инструментария и поиске нетипичных ситуаций, а также о более взвешенном понимании роли интервьюера. Дав последним возможность оставить комментарии к анкете в свободной форме, мы смогли провести разведывательное исследование и понять,
15 В Опросе о потребительских расходах (Consumer Expenditure Survey, подробнее см. http://www.bls.gov/CEX/), проводимом Бюро переписи США, интервьюерам была дана возможность фиксировать свои наблюдения, просматривать результаты предыдущих обращений по адресу, а также ознакомиться с комментариями своих коллег. При подробном анализе выяснилось, что только около 20 % интервьюеров воспользовались этой возможностью [Henly, Bates, 2005: 4130]. Кроме того, поскольку эксперимент не был контролируемым, нет никаких оснований полагать, что практики пользования интервьюеров вообще сопоставимы.
каким образом в дальнейшем выставлять подобные требования. Самый главный вывод — требования должны зависеть от поставленных перед исследователем задач, иными словами — параданные любого вида должны собираться с очевидной и прагматичной целью. В перспективе нам видится исследование, где одна группа аналитиков будет отбирать анкеты и оценивать инструментарий при помощи случайного отбора (привычным способом), а другая — основываясь на комментариях интервьюеров. Гипотетически, результаты будут различны поскольку разнятся задачи и метод, но цель состоит в том, чтобы зафиксировать сильные и слабые стороны обоих методов в рамках одного проекта, и в дальнейшем выработать кумулятивную оценку, разработать методику, включающую оба подхода.
Список литературы
Ипатова А. А. Использование параданных в анализе телефонных опросов // Телескоп. 2014. № 6. С. 34—41. [Ipatova A. Ispolzovanie paradannyih v analize telefonnyih oprosov (Using paradata in the analysis of telephone interviews). Teleskop. 2014. № 6. P. 34—41] (In Rus.)
Groves R. M., Heeringa S. G. Responsive design for household surveys: tools for actively controlling survey errors and costs. Journal of the Royal Statistical Society. A. 2006. Part 3. P. 439—457.
Groves R., Wagner J., Peytcheva Е. Use of interviewer judgments about attributes of selected respondents in post-survey adjustment for unit nonresponse: An illustration with the National Survey of Family Growth / Proceedings of the Section on Survey Research Methods of the American Statistical Association. 2007. P. 3428—3431.
Henly M., Bates N. Using call record data to understand response in panel surveys / Proceedings of the American Statistical Association, Section on Survey Research Methods. 2006. P. 4128—4135.
Improving surveys with paradata. Analytic uses of process information. Edited by F. Kreuter. Hoboken, New Jersey: John Wiley & Sons. 2013.
Laflamme F. Data Collection Research using Paradata at Statistics Canada/ Symposium 2008: Data Collection: Challenges, Achievements and New Directions.—Component of Statistics Canada Catalogue. № 11—522-X. URL: http://www.statcan.gc.ca/pub/ 11—522-x/2008000/article/10997-eng.pdf (date of access: 29.10.2016).
Lynn P. PEDAKSI: methodology for collecting data about survey non-respondents Working Papers of the Institute for Social and Economic Research. Paper 2002—05. 2002.
Murphy J., Baxter R., Eyerman J., Cunningham D., Kennet J. A system for detecting interviewer falsification. Paper Presented at the American Association for Public Opinion Research 59th Annual Conference. 2004. URL: http://www.rti.org/sites/ default/files/resources/paper-detectingintrvfalsifi.pdf (date of access: 22.04.2016).
National Crime Victimization Survey. CAPI Interviewing Manual for Field Representatives. NCVS-550 (CAPI). 2012. December. URL: http://www.bjs.gov/content/pub/pdf/ manual12.pdf (date of access: 12.09.2016).
Safir A., Tan L. Using Contact Attempt History Data to Determine the Optimal Number of Contact Attempts. Paper presented at the Annual Meeting of the American Association for Public Opinion Research. 2009. URL: http://www.bls.gov/osmr/pdf/st090200. pdf (date of access: 23.08.2016).
Sampling for the European Social Survey Round VII: Principles and Requirements. 2nd version. 2014. 29 Jan. URL: http://www.europeansocialsurvey.org/docs/round7/ methods/ESS 7_sampling_guidelines.pdf (date of access: 23.08.2016).
Tan L. An Introduction to the Contact History Instrument (CHI) for the Consumer Expenditure Survey. Consumer Expenditure Survey Anthology. 2011. P. 8—16. URL: http://www.bls.gov/cex/anthology11/csxanthol11.pdf (date of access: 22.08.2016).
West B. T. Paradata in Survey Research. Survey Practice. Vol. 4. No 4. 2011. URL: http://www.surveypractice.org/index.php/SurveyPractice/article/view/112/html (date of access: 29.10.2016).
West B. T., Kreuter F. Observational Strategies Associated with Increased Accuracy of Interviewer Observations: Evidence from the National Survey of Family Growth / Proceedings of the Section on Survey Research Methods of the American Statistical Association. Vol. 13. 2011. URL: http://www-personal.umich.edu/~bwest/just_jsm_ proc_2011.pdf (date of access: 22.04.2016).
