CC BY
135
ТЕОРИЯ, ИСТОРИЯ И МЕТОДОЛОГИЯ
DOI: 10.14515/monitoring.2015.4.01 УДК 303.621.322
Правильная ссылка на статью:
Рогозин Д. М. По(д)делки в «бумажном» поквартирном опросе // Мониторинг общественного мнения: экономические и социальные перемены. 2015. №4. С.3-35. DOI: 10.14515/monitoring.2015.4.01 For citation:
Rogozin D.M. Fabrication in paper-and-pencil door-to-door survey //Monitoring of Public Opinion: Economic and Social Changes. 2015. №4. P.3-35. DOI: 10.14515/monitoring.2015.4.01
Д. М.РОГОЗИН
ПО(Д)ДЕЛКИ В «БУМАЖНОМ» ПОКВАРТИРНОМ ОПРОСЕ
ПО(Д)ДЕЛКИ В «БУМАЖНОМ»
ПОКВАРТИРНОМ ОПРОСЕ
РОГОЗИН Дмитрий Михайлович — кандидат социологических наук, зав. лабораторией методологии федеративных исследований ИнСАП РАНХиГС при Президенте РФ; старший научный сотрудник Института социологии РАН, г. Москва, Россия.
E-mail: [email protected] ORCID: 0000-0001-7879-1111
Аннотация. В статье речь идет о массированном контроле полевых работ, проведенных тремя нижегородскими компаниями в городе Вязники, в ходе которого выявлены факты отклонений от проектируемой маршрутной выборки и фабрикаций реализованной. Статистические данные, собранные со значительными нарушениями опросной технологии, наполовину сфабрикованные, а затем представленные в качестве соответствующих предъявляемым требованиям несут прямую угрозу не только для научного вывода, но и доверия массовым опросам со стороны общественности. В непростой ситуации, вызванной внутренней и внешней
FABRICATION IN PAPER-AND-PENCIL DOOR-TO-DOOR SURVEY
ROGOZIN Dmitrii Mikhailovich — Candidate of Sociological Sciences, Head of Laboratory for Federative Research Methodology, Russian Presidential Academy for National Economy and Public Administration; Senior researcher, Institute of Sociology RAS, Moscow, Russia. Email: [email protected] ORCID: 0000-0001-7879-1111
Abstract. The article considers massive control of the field work conducted by three companies based in Nizhny Novgorod (Vyazniki city); the survey control revealed deviations from the sample route plan and fabrications. The statistical data obtained contain significant violations of polling techniques, is semi fabricated and consequently presented as appropriate which pose a direct threat to scientific approach and may damage public trust in mass surveys. This uneasy situation caused by Russian internal and external policies and the total fabrication game of the regional companies to get rewards may lead to undermining the technological chain of mass surveys. On the one hand, we try
3 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
российской политикой, игра региональных компаний в тотальные фабрикации ради получения небольших вознаграждений может привести к подрыву всей технологической цепочки массовых опросов. С одной стороны, мы пытаемся раскрыть действительное положение дел, предоставить опросной индустрии аргументы для избавления от сложившейся практики двойных этических стандартов, поддерживающей фабрикации декларируемых правил выборочного исследования. С другой — вынесение столь острой информации за пределы профессионального цеха может
дискредитировать ведущие опросные компании, реализующие общероссийские выборки с привлечением региональных субподрядчиков. Двойственность решения об открытости и прозрачности опросной технологии подлежит тщательному обдумыванию и обсуждению, однако выгоды открытой позиции не вызывают сомнений. Пришло время делать работу так, как того требуют правила стандартизированных интервью, или пересмотреть последние, подобрать иные выборочные форматы, релевантные текущей ситуации на опросном рынке. На этом фоне способы контроля полевых работ заслуживают особого внимания и тщательного разбора результатов.
Автор надеется настоящим текстом открыть пространство для диалога о профессии интервьюера и подойти к выработке стандартов качества, профессиональных компетенций и соответствующего им уровня оплаты труда, необходимых для надлежащего выполнения опросных заданий.
Ключевые слова: методы, опросы, интервью, интервьюер, опросные технологии, фабрикация, фальсификация, полевое исследование, контроль.
to uncover the actual state of affairs, to let the polling community know the facts to help getting rid of ethical double standards allowing fabrications of the sample requirements. On the other hand, the release of this sensitive information outside of professional community may damage the leading polling companies conducing all-Russian opinion surveys with the regional subcontractors. Ambiguity of openness and transparency of the polling technology needs to be thoroughly considered and discussed; however, the benefits are evident. It is time to do the work according to the requirements for the standardized interviews or to review them and find the appropriate modern formats. This is why controlling the field work requires special attention. The author hopes that this article will help start a dialogue about professional interviewing and elaborate new quality and competency standards needed to properly conduct opinion polls.
Keywords: methods, surveys, interviews,
interviewer, survey techniques, fabrication, falsification, field study, control
4 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
От Главного редактора. На фоне резонансных политических баталий в современной России регулярно вспыхивают «войны рейтингов», в которых стороны привычно обвиняют друг друга в фальсификации данных о популярности и поддержке тех или иных политических фигур, партий, инициатив. Негативный отпечаток при этом, естественно, ложится на конкретные службы и на исследовательскую индустрию в целом, якобы способствующую таким фальсификациям.
Тем, кто знает ситуацию изнутри, гораздо более важными, чем манипуляции результатами опросов в политических целях, представляются проблемы с качеством сбора данных. Именно здесь, на наш взгляд, лежит фундаментальная опасность и вызов, не ответив на который, отечественные полстеры не смогут гарантировать надежность и валидность опросов, включая рейтинги органов власти и политиков.
Наш постоянный автор и член редколлегии Дмитрий Рогозин чрезвычайно остро ставит этот вопрос в статье, которую мы предлагаем вашему заинтересованному вниманию. Его нелицеприятные выводы основаны на эмпирическом эксперименте, участниками которого, сами того не подозревая, стали три нижегородские компании.
Рискуя навлечь на себя ответную критику, редколлегия «Мониторинга» все-таки решила не скрывать истинные названия компаний и имена интервьюеров, чье качество работы подвергнуто сомнению в статье Д. Рогозина. Риски конфронтации внутри профессионального сообщества мы оцениваем ниже, чем общую выгоду от прямого и честного разговора о качестве сбора опросов данных, от которого критически зависит и на котором базируется вся наша индустрия. Мы рассматриваем этот разговор как давно назревший и даже «перезревший», рассчитываем на его продолжение со стороны московских и региональных коллег.
Призываем всех соблюдать в этом разговоре правила взаимного уважения и корректности, но также открытости и прямоты, без которых невозможно существование, а тем более развитие ни одного профессионального сообщества.
Идут контролеры.
Идут.
Они контролируют наши шаги, Они компостируют наши мозги. А мы все равно не видим ни зги. Средь нас до сих пор затесались враги.
Ты жди контролеров, Ты жди.
(О. Арефьева. Контролер)
В течение последних 20-25 лет в России постоянно снижался интерес к интервьюерам, опросная отрасль, в которой базовым элементом выступает взаимодействие между интервьюером и респондентом, практически полностью игнорирует данное взаимодействие.
5 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Отсутствуют научные публикации, не проводятся конференции, посвященные труду интервьюеров, не поднимаются вопросы о качестве их работы и профессиональных навыках.
Когда руководители региональных компаний начинают разговор об особенностях своего труда, они чаще всего употребляют слово «социология». Ирония в том, что к социологии их работа имеет опосредованное отношение. Большинство из них заняты исключительно организацией полевых работ для внешних подрядчиков. Базовая основополагающая деятельность остается в тени не только у научных работников, но и у персонала региональных опросных компаний. Отсутствуют профессиональные компетенции интервьюеров, не налажена логистика управления полем, не соотнесены правила проектируемой выборки и ее фактическая реализация. Взаимодействие между интервьюером и региональным работодателем сводится к передаче анкеты, кратким комментариям по ее заполнению (по старинке называемым инструктажем) и единичным случаям контроля, которые чаще инициируются внешними заказчиками полевых работ из Москвы или Санкт-Петербурга. Вместе с тем сложность получения согласия на интервью, сенситивность вопросов и сдельная оплата труда выступают весомыми стимулами для фабрикаций [Birnbaum, 2012: 3]. При отсутствии должного контроля и включения интервьюеров в программу исследования избежать фабрикации практически невозможно.
Нельзя сказать, что Россия сильно отличается в этом вопросе от западного мира. В личной беседе Ф. Конрад, один из ведущих американских методологов, посетовал, что, к сожалению, проблемам фабрикаций и фальсификаций в последние годы уделяется мало внимания. Тем не менее можно обнаружить десятки публикаций (см., например: [Biemer, Stokes, 1989; Forsman, Schreiner, 1991; Bredl, Winker, Kotschau, 2012]), конференции, секции или круглые столы [Schreiner, Pennie, Newbrough, 1988; Murphy, et al., 2004; Eyerman et al., 2005], посвященных умышленным ошибкам и отклонениям от опросной процедуры, допускаемым интервьюерами и составляющим одну из наиболее критичных компонент ошибки измерения.
Сколь бы ужасающей, с этической точки зрения, не представлялась реальность стандартизированного интервью, обнаружить подлог можно лишь через включение в диалог всех заинтересованных сторон. Региональные опросные компании — первые из них. Поэтому важнейшим шагом должен быть детальный разбор полученных результатов, а не защита заведомо слабой позиции, не оправдательные стратегии (ссылки на низкую оплату труда и тяжелые полевые условия), не отрицание очевидных фактов фабрикаций и фальсификаций интервью. Как более 50 лет назад писал Франклин Эванс, «обманы интервьюеров, возможно, куда более распространены, чем могут себе представить многие исследователи» [Evans, 1961: 126].
Второй шаг — принципиальное решение о продолжении опросного бизнеса или исход из него. Если руководство компании не видит возможности качественной работы, заводит риторику о тяжелой жизни, профессиональное сообщество должно сделать все, чтобы исключить такие бизнес-единицы из рынка опросных технологий. Их деятельность даже на локальном уровне наносит непоправимый ущерб репутации всей индустрии. Если мы ведем речь о бизнесе, а не о подработке, временной шабашке, непродолжительной халтуре, в годовые бюджеты даже небольших опросных фирм следует включить инвестиции в технологии и
6 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
основные фонды. Тот, кто не видит возможности хотя бы среднесрочного инвестиционного планирования и развития собственной компании, должен уйти из отрасли.
После принятия столь непростого решения, связанного с рисками значительных убытков, можно переходить к планам конкретных действий, направленных на изменение технологических условий реализованной выборки. Во-первых, совместному проектированию новых стандартов полевых работ, предложений по модификации проектируемой выборки и требований к реализованной. Во-вторых, организации комплексной программы переподготовки кадров, непрерывному обучению интервьюеров, включающему тренинги, вебинары, участие в российских и международных конференциях. В-третьих, переопределению организационной структуры и статуса интервьюера в компании, сближению с его жизненным миром. Основатель российского полстерского ремесла Борис Грушин считал, что совместное творческое действие не может обходиться без тесных межличностных коммуникаций, в том числе за кружкой пива. Не нужно игнорировать этот совет.
Мы находимся на самой низкой точке опросного мастерства, поэтому прирост профессиональных качеств может быть фантастическим. Позволим себе и окружающим рассматривать наши упущения и недостатки как возможности роста.
Методика контроля. Контроль полевых работ в Вязниках опирается на методику личных повторных интервью по краткой анкете, апробированную в рамках проекта «Лига профессиональных интервьюеров», запущенного в начале 2014 г. Результаты, методология экспериментальных планов и методических наблюдений представлены на конференциях и в научных публикациях [Вьюговская, Галиева, Рогозин, 2014; Рогозин, Галиева, 2014; Рогозин, Ипатова, 2015]. Разработанные и примененные процедуры контроля полевых работ соответствуют международным стандартам, в частности требованиям Американской ассоциации исследователей общественного мнения (AAPOR). С. Бредл, П. Винкер и К. Котчау отмечают, что повторные интервью — наиболее распространенная в мире техника по выявлению фабрикаций [Bredl, Winker, Kotschau, 2012: 1].
Контроль реализованной выборки проводился с выездом на место проведения опроса, завершенного за неделю до этого. Всего опрошено по маршрутной выборке в городе Вязники, Владимирской области, 900 респондентов, по 300 на три привлеченные к полевым работам компании: RAI, «Точка зрения» и ВВСС. Предварительно разработан бланк регистрации контроля (см. рис. 1) и выписаны маршруты всех интервьюеров с привязкой их к картам Яндекса.
7 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Бланк регистрации №.
Город: Вязники Дата: Бремя начала: УИК: Кол-во анкет: Начальная точка:
ФИО контролера: Бремя окончания: Компания: Интервьюер:
№ Улица № дома № ква рт. Рез-т конта ига Разговор с Й§Ш'ДРУГ им Шгш. пола Сшм. возраста Сшж. занятости Рез-т опроса Понравился интервьюер Члены семьи (пол, возраст) Примечания
1
2
3
38
39
4-0
Результат контакта'.1 - согласие; 2 - отказ; 3 - никого ищ/не открыли дверь; 4 - невозможно попасть в подъезд/дом. Разговор с Qg&iAiHtp.: 1 - разговоре респондентом; 2- разговор с информантом
Соответствие пола, возрасти и занятости: 1 - соответствует данным опроса, 0-НЕ соответствует данным опроса
Результат опроса: 1 - полное интервью, 2 - прерванное интервью. 3- отказ, 4 - не подошли по квоте, 5 - никого не было дома, 6 - не знаю, был ли опрос Понравился интервьюер: 0 - совсем не понравился. 1 - нейтрально. 2- очень понравился
Рисунок 1 - Бланк регистрации контроля (распечатан на двух оборотах листа А4, к нему прилагается лист реализованного маршрута с картой, на которой отмечены адреса полностью
взятых интервью)
Контролер проставлял адреса полностью взятых интервью и сверял фактические параметры жильцов домохозяйства с проставленными интервьюером в анкете. Проверялись имя, пол, возраст, наличие работы у респондента. Кроме того, задавался вопрос о фактическом проведении интервью. Если никого не оказывалось дома, контролер пытался получить сведения от соседей, искал наиболее информированного жильца, старшего по подъезду или родственников.
C 19 по 22 марта включительно в Вязниках на контроле работали три человека: Елена Вьюговская, Надежда Галиева и Дмитрий Рогозин. Всего пройдено 480 адресов (из 900), которые указаны в качестве полностью взятых интервью (из них 223 (47%) проверила Вьюговская, 188 (39%) — Галиева, 69 (14%) — Рогозин). Большинство контактов с респондентами и информантами записаны на диктофон, в некоторых случаях проводилась фотосъемка.
8 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Рисунок 2 - Бланк регистрации на маршруте контроля по ул. Стахановская
Данные бланков регистрации были занесены в матрицу данных и обрабатывались количественно, наиболее показательные аудиозаписи транскрибировались.
Контроль проводился в течение 10 рабочих дней, благодаря совмещению полевой и аналитической работы. График дня на выезде строился следующим образом: с 7:00 до 12:00 — аналитическая работа, с 12:30 до 18:30 — полевые работы, контроль прохождения маршрутов; с 20:00 до 23:00 — первичная обработка полевых материалов. Из 6 дней в Москве лишь 46 человеко-часов удалось посвятить написанию итогового отчета. При полной загрузке есть резервы для сокращения подобных работ до 5-6 рабочих дней.
Результат ревизии поля. Из 480 обращений удалось точно установить наличие или отсутствие интервью по указанному адресу ровно в половине случаев. Если не рассматривать оставшиеся 240 адресов, получаем в среднем по трем компаниям 35% интервью, проведенных по адресу, 5% — на улице, в местах скопления людей (табл. 1). По 43% указанным в анкете адресов интервью не проводилось. Отсутствие интервью по указанному адресу определялось в случае прямого отрицания жильцов, проживающих в квартире или доме, и полном несовпадении социально-демографических признаков любого из них с указанными в анкете. Нежилые помещения или отсутствие помещений вообще (например, в доме заканчивается нумерация квартир) приходится в среднем на 18% заполненных анкет. Отсутствие жилого объекта (квартиры или строения) определялось визуально.
9 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Таблица 1 Результат контроля маршрутов интервьюеров трех компаний, в %
Интервью проводилось Компания Итого
ВВСС RAI «Точка зрения»
В квартире 45 20 48 35
На улице 14 1 2 5
Не было интервью 29 50 46 43
Нет объекта (нет квартиры, нежилое строение) 12 29 5 18
Оценка по точно установленным результатам интервью является наиболее консервативной. За рамками счета оказываются ситуации, когда члены домохозяйства подтвердили наличие родственника, проживающего по указанному адресу и соответствующего критериям пола, возраста и занятости, указанным в анкете, однако ничего не знали о проведении опроса. Для определения максимально возможных взятых интервью без нарушения процедуры, можно рассчитать оптимистическую оценку корректно взятых интервью. Предположим, во всех случаях, когда информанты подтверждают наличие в их семье респондента с указанными характеристиками, интервью состоялись по месту жительства. Такой пересчет привел к увеличению количества валидных наблюдений с 240 до 309. Иначе говоря, только по 171 жилому помещению, приписанному к реализованной выборке основного поля и попавшему в выборку контроля, нам ничего неизвестно о соответствии одного из членов домохозяйства параметрам, указанным интервьюером в анкете.
Оптимистическая оценка, с учетом выдвинутого допущения, позволяет говорить об интервалах корректно заполненных анкет с точки зрения фактического соответствия процедуре отбора в каждой из анализируемых опросных компаний (табл. 2).
Таблица 2 Результат контроля работы интервьюеров с точной идентификацией и оценкой ситуации опроса, в %
Интервью проводилось ВВСС RAI Точка зрения Итого
Точно Оценка Точно Оценка Точно Оценка Точно Оценка
В квартире 45 53 20 26 48 54 35 42
На улице 14 10 1 1 2 1 5 4
Не было интервью 29 28 50 50 46 41 43 41
Нет объекта (нет квартиры, нежилое строение) 12 9 29 24 5 4 18 14
Примечание: Точное определение кода возможно только в случае присутствия респондента на момент контроля или информант (член семьи, не соответствующий описаниям по полу и возрасту) категорически заявляет об отсутствии опроса. Оценка касается ситуации, когда полностью совпадает социально-демографические характеристики жильца, которые подтверждает информант, что свидетельствует о состоявшемся интервью._
У компании ВВСС доля взятых по месту жительства интервью оценивается в интервале от 45% до 53% от реализованной выборки. Наблюдается максимальный среди всех компаний процент интервью, взятых у членов домохозяйства вне места их проживания — от 10% до 14%.
10 с
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Это свидетельствует о включенности компании в маркетинговые исследования и фактический опыт в реализации конформных выборок (см. подробнее: [Рогозин, 2008a, 2008b]. Если такое предположение верно, руководство компании несет ответственность за согласие работать по технологии маршрутной выборки при отсутствии должного опыта и понимания требований к прохождению маршрута.
Рисунок 3 - Контроль работы интервьюеров по адресу ул. Советская
Компания RAI отличается максимальным количеством приписок и фабрикаций. Интервью не проводились в 50% от существующих жилых помещений и от 24% до 29% в несуществующих. Интервьюеры компании проявили наибольшую изобретательность в фабрикациях и поддержании фабрикаций посредством формирования базы телефонных номеров, сговору с респондентами, не соответствующими условиям отбора.
Компания «Точка зрения» дает аналогичные ВВСС результаты по доле опроса непосредственно по адресам попавших в выборку домохозяйств. Однако из-за отсутствия практики опроса на улице и в местах скопления людей, наблюдается значительно большее количество фабрикаций интервью, по всей видимости, компенсировавшей неэффективную организацию полевых работ. Интервьюеры компании «Точка зрения», действительно работающие в поле, менее других отклонялись от маршрутной выборки.
Можно выделить два вида нарушений опросной технологии. Первый состоит в тотальной подмене опросного задания сделанным самостоятельно продуктом (анкетой); второй — в частичной трансформации продукта, выборе наиболее удобного способа проведения интервью или заполнения анкеты. Многообразие нарушений напрямую связано с изобретательностью и
11 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
креативностью интервьюеров. Всего выделено 6 подвидов, по 3 на каждый вид нарушений (см. рис. 4).
Приписка к домохозяйству не проживающего в нём респондента
Приписка несуществующего жильца к ^ адресу маршрута с последующей привязкой мобильного телефона, включённого в аферу лица, к анкете
Подделки
(фабрикации)
Отсутствие домов или " квартир, указанных в анкете, наличие нежилых помещений, пустующих домов по заполненному интервьюером адресу
Опрос нескольких членов домохозяйства
Поделки
(фальсификации
Возможное проведение опроса вне места проживания и сбои в приписывании адресов опрошенным
Организация экспресс опроса в придомовых территориях с быстрым прохождением анкеты
Рисунок 4 - Схема опросных под(д)елок
Первый подвид фабрикаций (подделки) определяется припиской домохозяйству не проживающего в нем респондента, когда контролер выясняет, что в доме или квартире нет человека с указанными социально-демографическими характеристиками (имя, пол, возраст, наличие занятости). Второй (поделки) выступает расширенной модификацией первого. Кроме приписки несуществующего жильца домохозяйству, интервьюер предоставляет телефон включенных в аферу лиц, чтобы ввести в заблуждение во время телефонного контроля. Третий подвид определяется фактическим отсутствием домов и квартир, указанных в анкетах. Мы не знаем проводилось ли интервью в каком-либо другом месте, но в анкете и маршрутном листе указан адрес либо нежилого строения, либо несуществующей квартиры, либо пустующего дома.
Подделки определяют стратегию опроса, инициативно модифицирующую правила маршрутной выборки. Первый подвид фальсификации состоит в опросе нескольких членов домохозяйства с последующей припиской ответов одного из них домохозяйству, расположенному по другому адресу. Возможно, часть фабрикаций третьего типа (отсутствие жилых помещений) являются результатом фальсификаций, для которых по лени или невнимательности интервьюер отобрал ошибочное место жительства. Второй подвид — опрос вне места проживания с уточнением фактического адреса у респондента. В тех случаях, когда люди не скрывали своего адреса и удавалось застать их дома, идентификация фальсификации становилась возможной через рассказ людей о том, где их опросили. Однако смущение и задержки в ответе выдавали, что интервьюеры, как правило, оговаривали необходимость сокрытия этой информации в случае контроля, т.е. отдавали себе отчет в нарушении процедуры.
12 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Третий подвид фальсификаций маршрутной выборки — частный случай второго, когда опрос проходит в непосредственной близости от мест проживания респондентов (придворовые территории, магазины шаговой доступности, иные места скопления людей). В относительно людных местах интервьюеры вынуждены проводить опрос в ускоренном режиме, зачастую интересуясь лишь базовыми параметрами респондентов, пропуская вопросы, путая порядок и содержание. Анкета, составленная для поквартирного опроса, очевидно дает сбои в быстром разговоре среди людей, порой незнакомых респонденту.
Рисунок 5 - Женщина, принимавшая участие в опросе, показывает фото дочки
Ниже представлены примеры фабрикаций и фальсификаций, выявленные в ходе контроля. В силу массового нарушения предписанной процедуры опроса в оценку работы опросной компании включались лишь явные фабрикации. Фальсификации приведены для иллюстрации реальных практик проведения интервью.
Фабрикации, или подделки опроса
Подделка № 1. Приписка к домохозяйству не проживающего в нем респондента
В первый же день контроля по маршрутам интервьюеров выяснилось, что весьма распространены полное или частичное несовпадения имен, возраста, пола и занятости респондентов с данными фактически проживающих по указанным адресам жильцов (см., например, фрагменты 1, 2). Столь частое и систематическое нарушение нельзя списать на забывчивость, ошибки набивки, опечатки, допущенные при заполнении анкеты или переносе данных на электронный носитель.
Фрагмент 1. Разговор в частном доме с хозяйкой, ничего не знающей об опросе;
Интервьюер Лосева, компания ВВСС
13 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
1 М1: Здравствуйте. А подскажите, пожалуйста, к вам приходили интервью брать на прошлой неделе, кто-нибудь?
2 Ж: Нет.
3 М1: А вот скажите, а здесь Ирина проживает 26 лет?
4 Ж: Нет.
5 М1: Никакой Ирины нет?
6 Ж: У нас Ирина дочь, но она в Нижнем живет.
7 М1: А возраст?
8 Ж: Ей не 26. Двадцать один только будет.
9 М1: Просто у нас опрос проходил на прошлой неделе, и интервьюеры отметили ваш дом, что они опросили Ирину 26 лет. Она в декрете, написано.
10 Ж: Нет, в декрете я (смех).
11 М1: (смех) Что-то попадает.
12 Ж: Хоть что-то выходит.
Подделка №2. Приписка несуществующего жильца к адресу маршрута с последующей привязкой мобильного телефона, включенного в аферу лица, к анкете
Фрагмент 2. Отсутствие респондента по указанному адресу (разговор на маршруте в подъезде); Интервьюер Русина, компания ВВСС
1 М1: Здравствуйте.
2 М2: Здрасти.
3 М1: У нас здесь проводился опрос. Скажите, пожалуйста, у вас проживает Елена, 37 лет?
4 М2: Нет, никого.
5 М1: Нет, вообще, в принципе проживает...
6 М2: Нет, мы снимаем квартиру.
7 М1: Елена, 37 лет.
8 М2: Нееет!
9 (к двери подходит молодая женщина, супруга отвечающего мужчины)
10 Ж: Здрасти
11 М1: Здрасти. У нас просто опрос здесь проводился. Стоит 10/34 восьмая квартира.
12 М2: Неет. Не знаю никого.
13 Ж: Мы вообще снимаем квартиру. эту.
14 М1: Ага, ну вдвоем вы здесь. То есть никакой Елены здесь нет.
15 Ж: Нет, никакой Елены здесь нет.
16 М1: Тридцати семи лет.
17 Ж: (смеется)
18 М1: А может быть кто-нибудь к вам приходил, спрашивал?
19 М2: Нет.
20 М1: Вот так же, как я. Нет?
14 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
21 М2: Нет.
22 М1: Ага. Спасибо большое.
23 М2: Пожалуйста.
Разговаривая с соседями, важно не торопиться и подробно, возвращаясь к фактологической информации, уточнить отсутствие указанного в маршрутном листе и анкете респондента.
Рисунок 6 - Разговор с соседями о семье, проживающей по адресу, указанному в
маршрутном листе
Фрагмент 3. Отсутствие респондента по указанному адресу (разговор c соседями во дворе); Интервьюер Русина, компания ВВСС
1 М: Здравствуйте. А вы не подскажете, вот, в четвертой квартире проживает Татьяна, 49 лет?
2 Ж1: В четвертой?
3 М: В четвертой.
4 Ж2: Какая Татьяна?
5 М: Ну у меня написано... мы просто проверяем, проводили ли здесь опрос. У меня записано, что в четвертой квартире Татьяна, 49 лет.
6 Ж1: А дом какой?
7 М: Ваш дом, 16а, квартира четыре.
8 Ж1: Квартира. Живут Фроловы.
9 М: Фроловы. А сколько им лет?
15 с
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
10 Ж1: Да, по сколько... По тридцать восемь, около сорока лет.
11 М: Около сорока. Может Татьяна там есть?
12 Ж1: Нет.
13 Ж2: Нет. Надя, Надя.
14 Ж1: Надежда Валерьевна и это.
15 Ж2: Да.
16 Ж1: Роман, Роман Вадимович.
17 Ж2: Татьяны нет, вообще.
18 М: Они вдвоем живут, да?
19 Ж1: Нет, дети.
20 Ж2: Двое детей.
21 М: Мужчине около сорока и женщине.
22 Ж1: И женщине. Ну, около сорока. Точно.
23 М: А дети какого возраста?
24 Ж1: А дети, значит, это. Дане тринадцать лет.
25 М: Даня — это мальчик.
26 Ж1: Даня, ага.
27 Ж2: Данил.
28 Ж1: Данила. А девочке Насте — два с половиной.
29 М: Молодцы. А у меня, сейчас я еще раз проверю. Адрес: 1-е мая, 16а, квартира четыре; Татьяна, 49 лет.
30 Ж1: Нет, таких у нас нет.
31 Ж2: Таких нет.
В большинстве анкет представлены телефоны респондентов для возможности постопросного контроля. Мы позвонили по телефонам квартир, в которых по итогам проверки не проживали респонденты. Отвечая на звонок, абонент идентифицирует себя, соглашаясь с именем. Однако использует короткие и однотипные подтверждения (строка 5, 7). Когда же задается конкретный вопрос, сначала идет ссылка на плохую связь, после чего она вовсе обрывается. Повторные звонки в этот и следующий день не приводят к результату. В первый раз идут длинные гудки, во второй сообщается, что абонент временно недоступен.
Фрагмент 4. Контрольный звонок по телефону «респондента», указанному интервьюером в анкете; интервьюер Русина, компания ВВСС
1 Ж: Алло.
2 М: Здравствуйте. Это Елена?
3 Ж: Алло?
4 М: Здравствуйте. Слышно меня?
5 Ж: Да, да.
6 М: Меня зовут Дмитрий. Я с Еленой разговариваю?
7 Ж: Да.
16 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
8 М: Мы проводили опрос недавно, в Вязниках, вы не принимали в нем участие?
9 Ж: Да, да. Только мне сейчас не удобно, не удобно говорить.
10 М: А когда...
11 Ж: Не удобно разговаривать.
12 М: Да, да, да. А когда.
13 Ж: Не удобно.
14 М: А когда вам перезвонить?
15 (женщина положила трубку)
В разговоре с предполагаемым респондентом из следующей квартиры, в которой вместо указанной работающей Татьяны, 49 лет, проживает семья с двумя детьми, аналогичным образом четко идентифицируется имя. Затем, ссылаясь на плохую слышимость и занятость, игнорируются последующие вопросы, прерывается связь. Интервьюер лишь успел задать вопрос о месте проживания, на что получил неопределенное: «Пушкино» (строка 11).
Фрагмент 5. Контрольный звонок по телефону «респондента», указанному интервьюером в анкете; Интервьюер Русина, компания ВВСС
1 Ж: Алло.
2 М: Алло, здравствуйте. А я с Татьяной говорю?
3 Ж: Да, да, здравствуйте.
4 М: Мы проводили недавно опрос в Вязниках, скажите, пожалуйста, вы принимали в нем участие?
5 Ж: Алло.
6 М: Алло, алло. А слышно меня?
7 Ж: Плохо. Я на работе. А?
8 М: Я очень быстро вас спрошу. Скажите, пожалуйста, вы принимали участие в опросе в Вязниках?
9 Ж: Да, да, да.
10 М: А подскажите, по какой улице и по какому адресу вы проживаете?
11 Ж: Алло, Пушкино
12 М: Какой, какой адрес?
13 Ж: Алло.
14 М: Да, да, да. Я вас слушаю. А по какому адресу вы проживаете, скажите, пожалуйста.
15 (женщина положила трубку)
Подделка № 3. Отсутствие домов или квартир, указанных в анкете. Наличие нежилых помещений, пустующих домов по заполненному интервьюером адресу
Интервьюер, фабрикующий анкеты, не всегда бывает на месте, приписываемом к жилому помещению респондента. По аналогии с предыдущими домами или просматривая карту, они невольно ошибаются в определении фактического адреса. Так, в одном из домов по ул. Чехова находится всего 12 квартир. Интервьюер указала, что провела опрос в 14-й квартире.
17 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Наибольшее количество приписок приходится на частный сектор. Так, интервьюер Юрьева сносно брала интервью в центре города, сфальсифицировав лишь одно или два из них. Вместе с тем все отмеченные ею дома в частном секторе не соответствуют ее описаниям. В них не живут представленные респонденты, а сами дома находятся на значительном расстоянии друг от друга, что позволяет говорить о явных приписках.
По одному из адресов никто не живет, недавно умерла бабушка. Об этом сообщили жильцы из соседнего дома (указанного в маршрутном листе в качестве места жительства, где взято интервью) (они также не подошли под параметры, описанные интервьюером, и ничего не слышали об опросе).
Рисунок 7 - Дом по улице Молчанова, в котором с недавних пор никто не живет
Немалое количество нежилых домов, несуществующих квартир, указанных интервьюерами в маршрутных листах и анкетах, говорит о том, что они не ожидают качественной проверки своей работы. Единственная практика, в которой упражняются интервьюеры, фальсифицирующие анкеты, это организация ответов по телефонным номерам, приписанным к опрошенным квартирам.
Фальсификации, или поделки опроса
Поделка № 1. Опрос нескольких членов домохозяйства
В «бумажном» опросе отсутствуют какие-либо механизмы определения качества работы интервьюера, оценка ее коммуникативных навыков, приемов получения ответов, ведения стандартизированной беседы. Можно лишь выяснить общее впечатление, зафиксировать отсутствие каких-либо негативных воспоминаний. Ни о какой возможности оценки адекватности ответов речи быть не может. Этим и пользуются интервьюеры, как правило, внимательно
18 с
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
относясь лишь к заполнению социально-демографических характеристик, на что обратил внимание еще A. Эванс [Evans, 1961: 127].
Фрагмент 6. Разговор с мамой респондента, присутствовавшей во время интервью;
интервьюер Орлова, компания ВВСС
1 М: Здравствуйте.
2 Ж: Здравствуйте.
3 М: А подскажите, пожалуйста, вот мы опрос проводили, у вас Елена Викторовна проживает по этому адресу?
4 Ж: Да.
5 М: 48 лет ей.
6 Ж: Да. Она на работе.
7 М: На работе. Отлично. А она вам не рассказывала, не упоминала об интервью?
8 Ж: Да, я лично присутствовала.
9 М: А, вы даже были.
10 Ж: Да.
11 М: И где вас... вы дома прямо разговаривали?
12 Ж: Да, да.
13 М: Понравился вам интервьюер? Хорошо работала?
14 Ж: Нормально, хорошо.
15 М: Все расспросила?
16 Ж: Все, все, все.
17 М: Вежливая была?
18 Ж: Вежливая. Никаких претензий.
19 М: Никаких. Отлично. А вы вдвоем проживаете?
20 Ж: Вдвоем. Внучка у нас еще. (неразборчиво)
21 М: Сколько вам лет?
22 Ж: Мне 74.
23 М: 74, а дочери, соответственно.
24 Ж: Сорок восемь.
25 М: Огромное спасибо.
26 Ж: Пожалуйста. Все, все нормально, очень даже хорошо.
27 М: Но вы ей рассказали, как и что здесь? Какая ситуация?
28 Ж: Да, все нормально. Мы пока всем довольны.
29 М: Серьезно? Это очень редко бывает.
30 Ж: Ну, покамест довольны. Ну а чего? Чо тут возмущаться-то? Все равно, как бы мы чего не хотели, по-нашему не будет.
31 М: Думаете?
32 Ж: Конечно.
33 М: Ну иногда же бывает, хорошее.
34 Ж: Ну хорошее то, что Крым наш. Вот это очень хорошо.
35 М: Ага.
19 с
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
36 Ж: Очень хорошо. И Севастополь. Пока мы довольны Путиным.
37 М: Спасибо, спасибо большое вам.
В приведенном фрагменте 6 интервью проводится в присутствии третьих лиц, что является незначительным нарушением процедуры стандартизированного интервью и может быть проигнорировано. Однако весьма часто, если третье лицо (родственники, проживающие по тому же адресу, или знакомые, друзья, находящиеся в гостях) входят в целевую группу опроса, интервьюер принимает решение опросить всех доступных в данный момент респондентов и затем, возможно, приписать заполненную анкету к другому адресу.
У интервьюера Сомовой, о работе которой хорошо отзываются респонденты, встретилось интервью, рассказывая о котором респондент упомянула, что опросили не только ее, но и сестру, проживающую с ней в одной квартире (строки 41-47).
Фрагмент 7. Разговор с респондентом, в квартире которой дополнительно опросили ее сестру; интервьюер Сомова, компания ВВСС
1 М1: (звонит в домофон, без разговора открывают дверь, поднимается к квартире). Здравствуйте. У нас проходил опрос на прошлой неделе. Скажите, пожалуйста, Валентина Алексеевна проживает...
2 М2: Александровна.
3 М1: Александровна, да (в документах значится Алексеевна).
4 Ж: Вам кого?
5 М1: Мы проводили опрос, видимо, с вами на предыдущей неделе.
6 Ж: Ну.
7 М1: Мы контролируем, действительно ли приходил интервьюер.
8 Ж: Да, приходил, я открывала.
9 М1: Ага, и вам 47 лет.
10 Ж: Да.
11 М1: Вы работаете и у вас трое детей (перед этим соседка во дворе сказала, что по этому адресу проживают трое детей)
12 Ж: ОСВАР. Завод ОСВАР.
13 М1: ОСВАР.
14 Ж: ОСВАР. Она просто неправильно поняла.
15 М1: ОСВАР — это место работы?
16 Ж: Завод наш, завод ОСВАР. Работаю в пятом цеху, маляром.
17 М1: Ага, ага. Ясно. Она вежливо себя вела?
18 Ж: Она очень хорошо себя вела, не грубила, ничего. Женщина положительная.
19 М1: Хорошая. А сами вопросы как вам? Стоит их задавать? Стоит вас беспокоить?
20 Ж: Понимаете, тут много приходило. Женщины приходят, отвечаешь. Но они, это. не грубят, ничего. Я не знаю по какому вопросу эта девушка приходила, но я открывала двоим или троим дверь за одну неделю. И разные вопросы были.
21 М1: Как такое возможно вообще? А раньше такое случалось?
22 Ж: Нет, нет (смех).
20 с
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
23 М1: Разные вопросы, разные люди.
24 Ж: Да, как я понимаю, от разных организаций. Ну а тут, какие вопросы у вас были?
25 М1: У нас были про работу, про выезд, про выездную...
26 Ж: А, да, это была девушка.
27 М1: Это вы уже про другую говорите?
28 Ж: Нет. Это тоже вежливая. Но тут тоже приходили, тоже задавали вопросы. Одна девушка от вас и другая девушка. совсем другая область.
29 М1: А вы с мужем живете? Просто для справки.
30 Ж: Нет. Я живу одна, являюсь матерью одиночкой.
31 М1: И у вас трое детей, я правильно.
32 Ж: Двое.
33 М1: Двое.
34 М2: (неразборчиво из-за двери)
35 Ж: (мужчине, оборачиваясь) Да, я иду сейчас пить. (обращаясь к М1) Нет, девушка была. Очень положительная. Да, когда ходят, они не грубят, ничего.
36 М1: Ну мало ли, может, отвлекают, настаивают на чем-то.
37 Ж: Нет, нет.
38 М1: Пытаются договориться, не все вопросы вам задают. И такое бывает. По-разному.
39 Ж: Нет, все нормально.
40 М1: Все хорошо.
41 Ж: И это, вроде она говорила еще с Евдокимовой Ольгой Александровной. Не она?
42 М1: Не знаю, у меня этой информации нет. А Евдокимова Ольга Александровна — это кто?
43 Ж: Это сестра. Она тоже проживает здесь. Но мне кажется она записывала.
44 М1: А она.
45 Ж: Это моя сестра. Она тоже такого же мнения, потому что у нас семья большая, и у нас есть такие люди, но не люди в квартире, а в родне, что мужья уезжают. И знаю, что из-за того семьи распадаются, конечно, лучше бы в городе была работа.
46 М1: А, ну вот это как раз мы спрашивали. Именно про это. А она еще поговорила с вашей сестрой получается или вы за сестру?
47 Ж: Нет, она с сестрой разговаривала. Да, она выходила. Сейчас она уехала, она в двери застала.
48 М1: А не скажете, где она проживает?
49 Ж: Здесь.
50 М1: Вы вдвоем здесь живете.
51 Ж: Нет, она с семьей.
52 М1: А вы в гости пришли?
53 Ж: Нет, я здесь живу.
54 М1: Вы двумя семьями живете? В одной квартире двумя семьями.
55 Ж: Да.
56 М1: А у нее сколько детей?
21 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
57 Ж: У нее двое тоже детей.
58 М1: Какая же у вас здесь квартира по площади?
59 Ж: Четырехкомнатная. Ну ее давали, нас было десять человек, плюс родители, что вы хотите? (смеется)
60 М1: Нет, ну все равно мало, четырехкомнатная мало на такую семью.
61 Ж: Ничего, живем, нормально. Ладно извините, надо на работу собираться.
62 М1: Это вы меня извините, спасибо большое. Спасибо.
63 Ж: А девушка была положительная.
64 М1: Да, да. Спасибо.
Невозможно выявить подобные ситуации сразу, несколькими прямыми вопросами. Только продолжительная беседа, обмен репликами, позволяют обнаружить дополнительные нюансы прошлого интервью. В этом же доме интервьюер провел интервью с Ириной Анатольевной, 53 года. Квартира опечатана за неуплату платежей по газу (ООО «Газпром межрегионгаз Владимир») и, судя по состоянию двери и попавшей на нее побелки от стен, в ней давно никто не живет (рис. 8). Возможно, она использовалась интервьюером для указания дополнительно опрошенного респондента. Безусловно, это лишь предположение, однако для проходящего по маршруту интервьюера эта ситуация представляется вполне правдоподобной.
Рисунок 8 - Опечатанная дверь, в квартире, где отмечено проведение интервью
Более-менее добросовестное прохождение маршрута у интервьюера Сомовой наблюдается лишь в двух многоквартирных домах, когда можно было переходить из подъезда в подъезд для разговоров с респондентами. Продолжение маршрута в этот же день приходится на частный сектор, дома, расположенные в двух км от первого этапа пути. В пяти оставшихся (всего за день зафиксировано 26 полностью взятых интервью) домах, обнаружены фальсификации.
22 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Один респондент приписан нежилому пока дому (рис. 9), остальные опрашивались вне места проживания.
Рисунок 9 - Нежилой недавно построенный дом
Поделка № 2. Возможное проведение опроса вне места проживания и сбои в приписывании адресов опрошенным
Вполне возможны прямые фабрикации, связанные с усталостью и желанием поскорее закончить маршрут. Например, Сомова, чьи интервью подтвердили многие респонденты на улице Горького, указала дома в частном секторе, где уже нельзя было обнаружить ее присутствие.
Фрагмент 8. Разговор с жителями Комзяковской улицы
1 М1: Извините, а вы не знаете на Комзяковской, д. 8, кто-нибудь живет?
2 Ж: Я их не знаю.
3 М2: Кто живет?
4 М1: Кто-нибудь живет там вообще?
5 Ж: В новом-то? Никто пока не живет.
6 М1: Вот следующий, вон тот.
7 Ж: Пока никто не живет. В этой-то новой.
Указанные интервьюером Сомовой дома, где проходил опрос, расположены удаленно друг от друга, требуется пройти не менее полукилометра до каждого дома. На пути находятся множество жилых одноэтажных домов, в которых на момент нашего прихода в пятницу вполне можно было застать людей.
По одному из адресов на улице Механизаторов хозяйка отметила, что ее опрашивали в другом месте. В бланке интервьюеров указано, что по этому адресу проживает Ирина, 45 лет.
23 с
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Фактически нашей собеседницей оказалась Надежда, 45 лет. По-видимому, организуя опрос в местах скопления людей, на более многолюдной улице Горького, интервьюер запутался в записях и приписал респонденту другой адрес проживания. По ходу разговора также выяснилось, что подобную стратегию интервьюеры реализуют парами, оптимизируя рекрутинг новых респондентов и распределяя точки опроса, в зависимости от приписанных им избирательных участков (см. фрагмент 9).
Фрагмент 9. Разговор с жителями Комзяковской улицы
1 М: То есть их было двое. Они вас в перекрест что ли опрашивали?
2 Ж: Меня не конкретно здесь опросили, уж открою вам тайну (смеется).
3 М: Ааа... Они вас просили, наверное, не говорить, что опросили вас в другом месте.
4 Ж: Ну, конкретно не дома.
5 М: Где-то в городе.
6 Ж: Нет, здесь недалеко, но не конкретно возле дома. Но опрос был, все было.
7 М: Все прошли.
8 Ж: Ну, что надо было, меня все спросили.
9 М: А подскажите все-таки, о чем вас спрашивали? Все же такое несовпадение большое (другое имя и возраст).
10 Ж: Как я работаю, какую я зарплату получаю, имею ли я компьютер там. Ну, я так все уже сейчас не вспомню. Умею ли я пользоваться. Потом что еще, работает ли муж там, еще какие-то вопросы.
Поделка № 3. Организация экспресс-опроса в придомовых территориях с быстрым прохождением анкеты
Экспресс-опрос в местах скопления людей удобен в небольших микрорайонах, в которых несколько многоэтажек составляют замкнутое пространство с центрами в локальных магазинах или на стоянках автотранспорта. В таком городском ландшафте работала интервьюер Лосева с напарницей (что подтвердили жители). Опрашивая в магазинах и в проходе между домами, интервьюеры затем разделились: одна прошла по квартирам, вторая опрашивала на улице и в магазине.
24 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Рисунок 10 - Жилые дома по ул. Механизаторов
Опрос около магазина продуктивен. С одной стороны, удалось поговорить со всеми продавцами, с другой — кроме взятых интервью, заручиться их поддержкой в рекрутировании новых респондентов.
Фрагмент 10. Разговор с в продуктовом магазине в торце дома по ул. Механизаторов
1 Ж1: Свет, с фотографиями опрос-то, сейчас вывесят.
2 Ж2: Не надо.
3 Ж3: С фотографиями не надо.
4 М: (Смеется) Да я спрашиваю. Я всегда спрашиваю разрешение.
5 Ж2: Они позорят двор (смеется).
6 М: На прошлой неделе здесь ходили интервьюеры и проводили опрос. Я вот спрашиваю, с кем они разговаривали.
7 Ж2: Кто на прошлой неделе ходили?
8 Ж1: Женщины ходили.
9 М: Две женщины.
10 Ж1: Да. У нас спрашивали. Вот у меня и вон, у напарницы.
11 Ж3: В магазине были.
12 Ж2: (неразборчиво)
13 Ж1: И наш номер телефона брали.
14 Ж3: Были-были, и работали очень хорошо.
15 М: А вот вы знаете, кто в этом доме проживает, чтобы мне не стучаться. Вот, допустим, в шестой квартире. Я сейчас звонил, почему то...
25 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
16 Ж1: Это 113 дом-то.
17 М: 113,правильно.
18 Ж1: Ивковы — вторая или пятая...
19 Ж2: Вторая, третья, пятая у Ивковых.
20 Ж1: Двухэтажная, кто у нас здесь на втором этаже-то живет?
21 Ж3: Сапелкины на третьем.
22 Ж2: Телышевы или Сапелкины, да.
23 М: Телышевы. А вот у меня стоит Лариса, 53 лет.
24 Ж1: Телышева.
25 Ж2: Телышева. Вот их машина стоит. Он дома, Миша.
26 М: О, я зайду тогда. А вас тоже всех опросили?
27 Ж1: Опросили.
28 М: А вы из какой квартиры? Значит, вас отметили.
29 Ж1: Нет, я не люблю отмечаться.
30 Ж2: Да тебя не опрашивали сроду. Чо ты?
31 Ж1: Ну какая квартира-то?
32 М: У меня вот есть квартиры, сейчас скажу. Шестая, двадцатая, двадцать седьмая.
33 Ж1: Есть, есть.
34 М: Тридцатая, тридцать восьмая.
35 Ж1: Двадцать седьмая есть.
36 М: Это вы?
37 Ж1: Ты посмотри, там 53 нет?
38 Ж2: Тридцатая — это Мохова.
Однако в их рассказе возникает и много путаницы. Они отвлекаются на покупателей, перебивают друг друга, не отвечают точно на поставленные вопросы. В такой ситуации интервьюер отмечает ответы скорее формально. Неудивительно, что в каких-то квартирах, не оказывается опрошенных людей. Они либо назвали не тот адрес, либо интервьюер в спешке отвлекся.
Именно об этих интервьюерах (известна лишь Лосева, кто была ее напарница, неясно) упомянули, что были подарены ручки. Но не всем. Видимо, подарок определялся особенностями общения и взаимным расположением. Другие респонденты о подарках вовсе не упоминали, а на прямой вопрос отвечали отрицательно.
Оценка работы интервьюеров
Практика фабрикации интервью в еще большей степени касается маршрутных листов. Как правило, они заполняются не во время прохождения опроса, а постфактум, с приписками и вольным заполнением значимых для нас параметров (что доказывает нелогичность маршрута, странный порядок следования результативности обращений, общий уровень сфабрикованных интервью), поэтому мы не можем в полной мере опираться на традиционный
26 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
анализ эффективности опроса исходя из оценки, во-первых, результативности труда интервьюеров, во-вторых, отклонения показателей результатов отдельного интервьюера от средних значений.
В табл. 5 представлены стандартизированные остатки, рассчитанные по двум признакам — интервьюерам и результатам прохождения маршрута — и оценки работ интервьюера, проставленные исходя из контроля на маршруте.
Таблица 5 Стандартизированные остатки результативности прохождения маршрута интервьюерами
№ Интервьюер Результат прохождения маршрута Оценка работы* Контролер
Полное интервью Не подошел по квоте Отказ Никого нет дома
1 Абдулханнянова -0,6 -1,1 0,4 1,5 0 Галиева
2 Астахова -2,4 -1,1 -1,5 5,5
3 Веселова 0,9 -1,2 -0,6 0,9
4 Ветрова 2,4 0,4 -1,2 -2,0 2 Галиева
5 Горшкова 6,1 -5,4 -4,1 2,9 2 Галиева
6 Дедова 5,1 -1,7 -2,1 -2,0
7 Денисова 2,0 -2,6 -2,5 3,0 1 Галиева
8 Живоцков 4,7 -2,6 -2,0 -0,7
9 Киренкова 2,5 -0,4 -1,9 -0,5 1 Вьюговская
10 Козлова 2,1 -1,0 -0,8 -0,6 2 Галиева
11 Котова -2,7 2,1 3,7 -2,9 2 Галиева
12 Круглова 1,6 -0,5 -0,2 -1,2 0 Галиева
13 Кучина 4,6 -2,0 -1,4 -1,9 1 Вьюговская
14 Лосева -1,4 -2,3 -0,5 4,7 1 Рогозин
15 Макарова -2,2 -0,2 -3,1 6,0 0+ Галиева
№ Интервьюер Результат прохождения маршрута Оценка работы* Контролер
Полное интервью Не подошел по квоте Отказ Никого нет дома
16 Малкина 1,5 -0,7 0,6 -1,7 2 Галиева
17 Миронова 3,2 0,5 -2,7 -1,7
18 Наумкина -2,2 8,0 -1,1 -5,0
19 Носова -2,9 5,2 3,5 -5,8 ■
20 Орлова (RAI) 2,0 0,2 -0,4 -2,2 1 Галиева
21 Орлова (ВВСС) -1,0 2,2 3,5 -4,9 0 Вьюговская
22 Репина 5,0 -3,7 -2,4 0,6 0 Вьюговская
23 Русина -3,3 -2,5 2,3 4,2 2 Рогозин
24 Серова -2,4 0,3 0,7 1,8 1 Вьюговская
25 Синева -2,4 -1,6 1,4 3,1 2 Вьюговская
26 Ситнева -0,4 1,4 0,2 -1,3
27 Смирнова -1,3 -1,5 -1,9 5,1
27 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
28 Соколова (RAI) 0,1 -1,7 5,8 -4,2 1 Вьюговская
29 Соколова («Точка зрения») 1,6 -1,8 -3,3 3,4 1 Вьюговская
30 Соловьева 0,9 0,1 -1,2 0,0 2 Вьюговская
31 Сомова -1,0 0,6 1,0 -0,5 0 Рогозин
32 Толстых -1,3 1,9 1,0 -1,5 0 Галиева
33 Фадеева 0,5 -0,1 -0,3 -0,2 1 Галиева/Ро гозин
34 Царбаева -1,2 1,0 0,3 0,0
35 Юрьева 2,4 -2,0 0,6 -1,3 1 Рогозин
* 0 — незначительные и редкие отклонения от стандартов отбора респондентов, 1 — встречающиеся в работе фальсификации, 2 — значительные фальсификации и фабрикации.
Гипотетически интервьюеры, допустившие наибольшее количество нарушений, должны больше отклоняться от средних значений по всем вариантам результативности прохождения маршрута. Однако это не происходит. Примерно одинаковый разброс наблюдается как у интервьюеров, допустивших минимальные отклонения от маршрутного задания, так и у наиболее откровенных фабрикаторов анкет (см. рис. 11).
Рисунок 11 - Графическое представление соотношения оценки работы со стандартизированными остатками по результату прохождения маршрута
28
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Западные исследователи обнаружили, что интервьюеры, фальсифицирующие данные, избегают крайних ответов, чаще склоняясь к средним значениям на предлагаемой шкале [Porras, English, 2004; Brendt, Winker, Kotschau, 2012, p. 4]. Можно предположить, что вопросы, распределения у которых смещены в ту или иную сторону будут давать большие смещения у фабрикующих интервьюеров. Вместе с тем подавляющее большинство ответов на аттитюдные и оценочные вопросы находятся именно в середине шкалы, к чему располагают и принятые в обществе культурные нормы. Поэтому в таких случаях статистическими методами трудно различить сфабрикованные анкеты от реально заполненных.
Кроме того, при массовых фабрикациях мы не можем рассматривать средние значения и разброс от средних в качестве меры для выявления фальсификаций. Последние как раз представляют фабрикационную активность, поэтому следует опираться на фактический контроль маршрута и наличие соответствий или несоответствий анкете, выявленных в ходе разговора с членами домохозяйства (табл. 6).
Таблица 6 Ранжирование интервьюеров по степени допущенных фабрикаций, абс. значения*
Интервью было (включая ответы информантов)
ТВОРЦЫ ПОДЕЛОК В квартире На улице Не было Нет объекта БРАКОДЕЛЫ
Абдулханнянова 6 0 1 0
0 0 6 5 Ветрова
0 0 7 0 Горшкова
Денисова 5 0 3 0
Киренкова 3 0 16 1
0 0 6 1 Козлова
0 0 1 2 Котова
Круглова 10 0 0 0
Кучина 1 1 2 4
Лосева 11 1 4 0
Макарова 16 0 1 0
0 0 0 2 Малкина
Орлова (RAI) 3 0 3 1
Орлова (ВВСС) 16 2 10 1
Репина 14 0 0 1
0 0 4 1 Русина
Серова 1 1 9 0
1 0 14 8 Синева
Ситнева 4 0 7 0
Соколова (RAI) 3 0 5 2
Соколова («Точка зрения») 3 0 6 0
29 с
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
2 0 7 10 Соловьева
Сомова 10 3 1 1
Толстых 8 4 4 1
Фадеева 3 0 6 2
Юрьева 7 0 3 1
* Зеленый цвет — незначительные или редкие отклонения от опросного задания, светло-красный — встречающиеся в работе фальсификации, темно-красный — многочисленные фабрикации.
Фабрикаторы анкеты стремятся угадать реальные распределения, вживаются в ту или иную роль, приписываемую воображаемому респонденту, снижают до минимума собственные фантазии, пытаясь припомнить ответы, услышанные в ходе тех или иных разговоров [Hood, Bushery, 1997: 820]. Искусство фабрикации поддерживается риском, азартом ухода от незадачливых контролеров. Поэтому столь неэффективны средства контроля, нацеленные исключительно на обнаружение обмана и наказание виновных. Единственная возможность исправить тотальную ситуацию лжи состоит в том, чтобы включить интервьюеров в исследовательскую команду и сформировать иную игровую ситуацию, где выигрыш связан не с полностью заполненной анкетой, а с корректным и изящно взятым интервью.
Основные итоги
1 C 19 по 22 марта 2015 г. включительно в Вязниках работало 3 контролера. За 4 дня удалось обойти 480 жилых помещений (квартиры и частные дома), указанных в маршрутных листах и анкетах в качестве полностью взятых интервью. Объем контролируемых полных интервью составил 53% от массива, что значительно превышает стандартную практику контроля полных интервью. Отбор контролируемых маршрутов проходил случайным образом, что позволяет с высокой точностью переносить полученные результаты на всю совокупность полностью взятых интервью.
2 Все три компании, участвующие в проведении опроса, допустили многочисленные фабрикации и фальсификации интервью. Наихудшее положение у компании RAI. По оценкам контроля, интервьюеры взяли без каких-либо фальсификаций не более 27% от заявленных интервью, в 50% опрос не проводился по указанным адресам и в не менее 24% жилого объекта по указанному адресу не существует. У компании ВВСС доля подтвержденных интервью составила не более 63%, у «Точки зрения» — не более 55%. Таким образом, в целом по массиву опрошено менее половины респондентов, остальные результаты сфабрикованы или сфальсифицированы.
3 Заполнение маршрутных листов проводилось формально, как правило, после прохождения поля. Большинство интервьюеров не ходили по маршруту, выбирая удобные для себя способы обращения к потенциальным респондентам. Поэтому целесообразность расчета коэффициентов результативности опроса сомнительна, доля полных интервью, отказов, отбора по скринингу скорее отражает волюнтаризм интервьюеров, нежели соответствует реалиям опроса.
30 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
4 Наибольшее количество Фабрикаций приходится на частный сектор. Обнаружить фабрикации можно, анализируя проставленные интервьюером на карте точки прохождения маршрута (полностью взятые интервью, отказы, отсутствие хозяев дома и т.д.). Порой расстояние между одним домом и вторым, в которых взято интервью, составляет 1-2 км, а промежуток между интервью — несколько минут. Формально за это время нужно было по всему следованию маршрута обращаться в дома, получать отказ или регистрировать отсутствие хозяев дома. По большинству адресов в частном секторе не проживают отмеченные интервьюерами респонденты, что грозит существенными смещениями выборки.
5 Опросными компаниями в основном проигнорированы начальные точки и маршруты, построенные для реализации выборки. Работа интервьюеров не была согласована, маршруты прохождения выбирались произвольно, зачастую попросту отсутствовали. Ни одна компания не реализовала маршрутную выборку согласно представленному проекту.
6 Интервьюеры, как правило, либо вовсе не опрашивали респондентов, либо опрашивали достижимых «здесь и сейчас» прохожих, в местах скопления людей, во дворах, интересовались наличием подходящих соседей и шли по полученным рекомендациям. Маршрутная выборка полностью сфальсифицирована и заменена конформной, т.е. в лучшем случае ограничена опросом всех доступных в поле видимости интервьюера лиц, подходящих под квотное задание. Из-за значительных несоответствий отмеченных и реально проживающих лиц в отдельных районах города следует ожидать значительные смещения в структуре опрошенных.
7 Ни одна компания, принявшая участие в исследовании, не обладает нужными компетенциями в области управления качеством для проведения маршрутных выборок. Исходя из недопустимого качества текущего исполнения спроектированной выборки не рекомендуется предоставлять заказы в компанию RAI. Компании ВВСС и «Точка зрения» могут привлекаться к общероссийским обследованиям, однако это потребует дополнительных инвестиций на переподготовку и обучение персонала, постановку системы полевого учета и контроля, а также дополнительных тренингов среди интервьюеров. Сотрудничество с компаниями, допустившими массовые фабрикации в исследовании, возможно лишь при их заинтересованном участии в программах повышения качества и переподготовки интервьюеров.
8 Требуется дополнительное исследование жизненного мира и ценностей интервьюеров, работающих на проекте. Особенности их мировоззренческой позиции могут дать дополнительные аргументы для разработки адекватных систем управления полевыми работами.
9 Контроль реализованной выборки проходил только по первому критерию наличия или отсутствия заявленных респондентов по приписанным им адресам. При бумажной технологии учета данных нет возможности проводить анализ качества ведения стандартизированных интервью, соответствия вербального поведения интервьюера заданию, заложенному в опросном инструменте. Рекомендуется
31 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
ускорить поэтапный отказ от бумаги в пользу планшетных технологий и компьютерного сопровождения интервью, что позволит регистрировать параданные и оперативно управлять качеством опроса. Компании, не готовые к модернизации опросной технологии, должны быть исключены из индустрии.
10 Для подготовки собранных анкет к анализу (предварительного тотального редактирования данных) требуется проведение верификации всего массива и выделение среди неохваченных контролем интервью, сфабрикованных и сфальсифицированных. Организация такой работы — отдельная задача, требующая встреч с интервьюерами, принимавшими участие в опросе, и дополнительных переговоров с субподрядчиками.
Что делать?
Сложившаяся в России практика контроля полевых работ сводится к составлению небольшой выборки (от 5% до 20%) из полностью взятых интервью с последующим формальным уточнением наличия респондента по указанным реквизитам. Из-за высокой цены централизованного контроля удаленных точек опроса личные интервью стали проверяться по оставленным телефонам, что привело со стороны недобросовестных интервьюеров к формированию стратегий сокрытия информации через подставных лиц. Обнаруженные фабрикации какого-либо интервьюера приводят к тотальной проверке его работы и последующим штрафным санкциям. Такая практика не только не эффективна, но и порождает опасную презумпцию невиновности недобросовестных интервьюеров, подталкивает к реализации игровой ситуации «поймай или проиграешь». Во-первых, фактически генеральный московский подрядчик берет на себя функции менеджера поля (супервайзера), субподрядчика по контролю интервьюеров. Во-вторых, контроль ограничивается выборкой проверяемых интервьюеров и наличием респондента по указанным реквизитам. В-третьих, выявленные отклонения никак не учитываются в редактировании всего массива, в котором сохраняются ошибки измерения, допущенные в оставшейся части выборки.
В качестве альтернативы стихийного контроля единичных случаев можно рассмотреть аудит реализованной выборки:
1 Оценка качества полевых работ проводится для всего массива посредством организации выборочного случайного контроля, достаточного для репрезентации массива с заданной случайной ошибкой выборки.
2 Аудит не направлен на выявление плохих и хороших интервьюеров (это побочный результат деятельности аудиторов). Основные задачи — оценить систематические смещения, связанные с эффектом интервьюера, уровнем отказов и качеством составленной анкеты (даже после тщательного пилотажа возможны ошибки в анкетных вопросах) [Bredl, Winker, Kotschau, 2012: 1]. В зависимости от сроков и финансовых ресурсов могут решаться все задачи или первая, в порядке значимости.
32 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
3 Выявленные фальсификации и фабрикации в отобранном массиве отражают ситуацию по всему исследованию, поэтому ответственность за них несут не отдельные интервьюеры, а субподрядчик как организатор территориальной реализации выборки. Таким образом, разделяются области ответственности. Московская компания не вмешивается во внутреннюю политику найма и управления персоналом, реализуемую в регионе.
4 Выявление недобросовестных интервьюеров, ранжирование их по степени допущенных фабрикаций оправданно лишь в образовательном контексте, как материал для тренингов, программ непрерывного обучения интервьюеров, которые должны финансироваться на паритетных началах генеральным московским подрядчиком и региональным исполнителем, заинтересованным в качестве полевых работ. В других случаях контроль интервьюеров должен быть прописан отдельными пунктами в соглашении и выступать предметом переговоров в определении характера и оплаты полевых работ.
5 Основные усилия по аудиту должны направляться не на выявление фабрикаций и фальсификаций, а на анализ качества интервьюирования, соблюдение интервьюером норм вежливости, стратегий получения релевантного ответа, получение информированного согласия и наличие корректного завершения интервью. Такая работа становится возможной при двух условиях: 1) внедрение автоматизированных форм ведения опроса; 2) снижение процента фабрикаций и фальсификаций. Если количество полностью взятых интервью не превышает 50% от всего массива, о качестве взаимодействия между интервьюером и респондентом говорить не приходится.
6 Аудит реализованной выборки должен стать частью опросной технологии и выполняться отдельным подразделением или юридическим лицом, не заинтересованным и не включенным в текущие решения по управлению и корректировке работ по реализации выборки.
Назрела необходимость организации общей базы интервьюеров, разговоры о которой поднимаются не первый год. Катастрофически низкий уровень качества полевых исследований требует радикальных мер по перепроектированию их логистики и обучению, включая региональные и федеральные опросные компании.
С февраля 2015 г. Лаборатория методологии федеративных исследований РАНХиГС включилась в Методический семинар Гарвардского университета (США) по выявлению и исправлению фабрикаций массовых опросов. Необходимо организовать российский аналог регулярного семинара, который выполнял бы роль коллегиального органа для обсуждения стандартов качества полевых работ и подготовки решений, влияющих на индустрию массовых опросов. Мы приглашаем Фонд «Общественное мнение», ВЦИОМ и представителей региональных нижегородских компаний RAI, ВВСС и «Точка зрения».
33 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
Литература
1 Вьюговская Е.В., Галиева Н.И., Рогозин Д.М. Этнография «бумажных» квартирных опросов // Мониторинг общественного мнения: экономические и социальные перемены. 2014. № 5. С. 31-55.
2 Рогозин Д. М. Уровень неответов при организации конформной выборки в торговых центрах // Телескоп: Журнал социологических и маркетинговых исследований. 2008b. № 1. С. 51-58.
3 Рогозин Д.М. Конформная выборка в торговых центрах // Социологический журнал. 2008a. № 1. С. 22-48.
4 Рогозин Д.М., Галиева Н.И. Методическая (не)устойчивость массового опроса // Полития: Анализ. Хроника. Прогноз. 2014. № 3. С. 169-180.
5 Рогозин Д.М., Ипатова А.А. Насколько разумна наша вера в результаты «бумажных» квартирных опросов? — М: Радуга, 2015.
6 Biemer P., Stokes S. The optimal design quality control sample and time stamps to detect interviewer cheating // Journal of Official Statistics. 1989. Vol. 5. No. 1. P. 2329.
7 Birnbaum B. et al. Using behavioral data to identify interviewer fabrication in surveys // Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. -ACM, 2013. P. 2911-2920.
8 Birnbaum B. Algorithmic approaches to detecting interviewer fabrication in surveys / A dissertation submitted in partial fulfillment of the requirements for the degree of Doctor of Philosophy; Reading Committee by G. Borriello, A.R. Karin, A.D. Flaxman; Department of Computer Science and Engineering. University of Washington, 2012.
9 Bredl S., Winker P., Kotschau K. A statistical approach to detect interviewer falsification of survey data // Survey Methodology. 2012. Vol. 38. No. 1. P. 1-10.
10 Evans F.B. Living research: On interviewer cheating // Public Opinion Quarterly. 1961. Vol. 25, No. 1. P. 126-127.
11 Eyerman J., Murphy J., McCue C., Hottinger C., Kennet J. Interviewer falsification detection using data mining / Proceedings: Symposium 2005, Methodological Challenges for Future Information Needs; Statistics Canada. Toronto, 2005.
12 Finn A., Ranchhod V. Genuine Fakes: The prevalence and implications of fieldworker fraud in a large South African survey. Southern Africa Labor and Development Research Unit, 2013.
13 Forsman G., Schreiner I. The design and analysis of reinterview: An overview // Measurement errors in surveys / Ed. by P.B. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz, S. Sudman. New York: John Wiley & Sons, 1991. P. 279-301.
14 Hood C., Bushery M. Getting more bang from the reinterviewer buck: Identifying ‘at risk’ interviewers// Proceeding of the Survey research method section; American Statistical Association, 1997. P. 820-824.
15 Murphy J., Baxter R., Eyerman J., Cummingham D., Kennet J. A system for detecting interviewer falsification / Paper presented at the American Association for Public Opinion Research 59th Annual Conference. Los Angeles, 2004.
34 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
16 Poras J., English N. Data-driven approaches to identifying interviewer data falsification: The case of health surveys // Proceedings of the Survey research method section; American Statistical Association, 2004. P. 4223-4228.
17 Schreiner I., Pennie K., Newbrough J. Interviewer falsification in Census Bureau Surveys / Proceedings of the Survey Research Method Section; American Statistical Association. New York, 1988. P. 491-496.
35 [
МОНИТОРИНГ ОБЩЕСТВЕННОГО МНЕНИЯ №4 (128)
ИЮЛЬ-АВГУСТ 2015
