CC BY
65
ЛРШШЕСШ СОИЮАСШ
•шчд
^МТ^си
Д.М.Рогозин
АУДИТ РЕАЛИЗОВАННОЙ ВЫБОРКИ: ОТ МАРШРУТА К ОТБОРУ ПО КВОТАМ
Ключевые слова: опрос общественного мнения, конформная выборка, маршрутная выборка, фабрикация данных, эффект интервьюера
1 См., напр. Алексеев 2014; Шлосберг 2015.
2 Рогов 2014.
3 Иллич 2006.
4 Johnson, EШott 1998: 993.
В России много говорят о недоверии к социологическим службам, как правило ссылаясь на их ангажированность. Опросные компании, в том числе принадлежащие к так называемой «большой тройке» (ФОМ, ВЦИОМ, Левада-Центр), обвиняют в продажности, отсутствии профессиональной этики1, пытаются дать собственные интерпретации тем или иным распределениям в ответах2 или просто пишут о тотальной лжи в опросах. Известный философ Иван Иллич называл подобные выпады амебными, поскольку за ними стоят не факты, а домыслы и личные убеждения, которые могут быть наполнены любым содержанием3. Да, работа российских компаний не лишена недочетов, и довольно серьезных, иначе бы не было сбоев в электоральных прогнозах, странных и надуманных описаний социальных групп, категоричности зачастую необоснованных статистических выводов. Но давно пришло время заменить политическую риторику методическим анализом, поскольку большая часть нарушений коренится в процедуре исследования, а не в злом умысле представителей опросной индустрии.
Одной из распространенных форм некорректных методических описаний, которые допускают опросные компании, являются рассуждения о случайной ошибке выборки или привычные для обывателя упоминания о 3-х или 5-процентной ошибке предлагаемых к рассмотрению цифр. Указания западных исследователей на дизайн-эффект и необходимость пересчета ошибки выборки для многоступенчатых дизайнов4 не имеют к отечественным практикам ни малейшего отношения. Выборки, реализуемые в поквартирных опросах, не случайны и даже не приближаются к таковым. Квотная выборка, которая используется в подавляющем большинстве опросов, не может быть случайной. Заявления, что квоты применяются лишь при отборе внутри домохозяйства, — не более чем отговорки, ибо на самом деле квоты начинают работать намного раньше, еще на стадии прохождения маршрута, будучи следствием естественного стремления интервьюеров сократить свои трудозатраты и увеличить вознаграждение.
Аудит реализованной выборки — это не способ уличения во лжи или контроля над отклонениями и принуждения к их исправлению. Мы лишь наблюдаем за реалиями опроса и фиксируем обыденные практики профессиональной деятельности интервьюеров. Зачастую
лршшкмм соипологпа
они расходятся с представлениями поллстеров и социологов, рассуждающих о качестве опросов общественного мнения. Как заметил еще полвека назад Фрэнк Йейтс, «будут ли результаты выборки достаточно представительными для всей совокупности, зависит прежде всего от ошибок, вносимых самим процессом отбора. Эти ошибки должны быть достаточно малы, чтобы результаты выборочного исследования оказа-5 Йейтс 1965:24. лись пригодными для поставленной цели»5. Соответственно, первый шаг к оценке адекватности опроса — это идентификация допущенных ошибок или отклонений от первоначального замысла, проекта отбора. Наша задача — фиксировать происходящее, выделять значимые детали, описывать отклонения фактической выборки от проектируемой. Только так можно начать разговор о качестве опросных технологий, прервав бесконечные сетования на лживость, проплаченность и ангажированность российских поллстеров.
Теоретическая рамка
6 Могильчак 2015: 33, 42.
7 Кокрен 1976: 225—226; Levy, Lemenhow 2008: 83—84.
8 Bostoen, Chalabi 2006; Grais, Rose, Guthmann 2007.
В проектируемых российских опросах, проводимых по месту жительства, доминирует метод маршрутной, или систематической пространственной, выборки (area systematic sample), предполагающий последовательное применение процедур отбора6. Вначале, еще в кабинете головной компании, производится идентификация населенных пунктов исходя из административных данных (сетка избирательных участков) и государственной статистики (например, распределения по полу, возрасту). Формируется опросное задание — список поселений (в городах это определенные улицы, по границам избирательных участков) с приписанным количеством мужчин и женщин установленных возрастных групп. Здесь возможен тот или иной вариант случайного отбора, а значит, и вполне классическая, предельно рациональная объяснительная схема репрезентации. На этапе выбора домохозяйств (теоретически) начинается систематический отбор7, то есть случайным образом назначается стартовая точка, а затем с некоторым шагом в заданном направлении отбираются домохозяйства, в которых, в свою очередь, должны отбираться респонденты согласно квотному заданию. Такого рода дизайн соответствует многоступенчатой стратифицированной выборке с систематическим выбором домохозяйств (маршрутный подход) и квотным отбором внутри домохозяйства, производящимся лишь на последней стадии реализации выборки.
Дизайны общероссийских выборок были разработаны еще в 1980—1990-е годы и с тех пор не менялись. Схожая ситуация наблюдается и в других странах, где при проведении опросов применяются многоступенчатые кластерные или стратифицированные выборки с последующим определением стартовой точки и маршрутом (их дизайны разработаны чуть раньше, в 1960—1970-е годы). Однако там не раз предпринимались и предпринимаются попытки оптимизировать опросный дизайн с целью преодоления заложенных в нем противоречий8. В России же на протяжении долгих лет отсутствовал какой-либо мето-
лршшкш соипологпа
9 Berinsky 2006: 500.
0 Bostoen, Chalabi 2006: 752.
11 Dillman, Smyth, Christian 2014: 64.
дический интерес к совершенствованию выборок, что постепенно привело к упрощению процедур и фактическому переходу к отбору респондентов на основе квотного контроля (quota-control method) по образцу американских опросов 1930—1940-х годов9. Столь резкое заявление, естественно, нуждается в надежной доказательной базе. Прежде всего необходимо максимально точно сформулировать критическую позицию, четко эксплицировав базовые основания и аргументы для последующих рассуждений, затем представить материал полевых исследований, эмпирически подтверждающий выдвинутый тезис, и наконец наметить приемы и техники дальнейшего аудита и анализа особенностей конструирования общероссийских и региональных выборок.
Маршруты, намеченные на бумаге, практически никогда не становятся маршрутами, пройденными интервьюерами. И в этом состоит главная подмена, главный обман отечественного извода массового опроса. Даже детальное прописывание правил не срабатывает. Причина тому — не злой умысел интервьюера, а отсутствие интереса самих исследователей к этой части процедуры, следствием чего становится, в частности, весьма небрежное ведение документации, позволяющей отслеживать прохождение маршрута. Если обращения в квартиры или дома не регистрируются или регистрируются постфактум, для отчетности, настаивать на этом бессмысленно. Более того, при квотированном отборе соблюдение маршрута настолько увеличивает продолжительность опроса, что ни один здравомыслящий интервьюер не будет покорно ходить по квартирам, отсчитывая нужное количество домохозяйств, в поисках подходящего по социально-демографическим характеристикам человека.
Как справедливо отмечают Кристоф Бостоен и Саид Чалаби, истоки такого положения вещей отчасти кроются в сложности и неоднозначности самого метода, в котором, во-первых, недостаточно четко определены параметры оценки степени выполнения предписаний, во-вторых, имеется множество сценариев распределения отобранных домохозяйств, нуждающихся в верификации и валидации, в-третьих, отсутствуют какие-либо процедуры, позволяющие поддерживать случайность отбора единиц наблюдения10. Примечательно, что критикуемая в России за сложность адресная выборка была разработана в качестве альтернативы считающейся слишком сложной с точки зрения проектирования и реализации вероятностной пространственной выборке (area probability sample)11, весьма близкой к маршрутной и отличающейся от нее лишь лишением интервьюера права выбора строений и домохо-зяйств. Маршрутный подход требует тщательного контроля и дополнительных мер по оценке возможных смещений, связанных со стратегиями прохождения маршрута, в которых слишком много отдано на откуп интервьюеру и которые, соответственно, никак не вписываются в формальные процедуры согласованной организации выборки. Проблема маршрутного метода не только в реализации, но и в проектировании таковой.
12 См., напр. Вьюговская, Галиева, Рогозин 2014; Рогозин, Галиева 2014.
Вероятно, поэтому спроектированная и реализованная выборки в российских условиях настолько далеко отстоят друг от друга, что за последние 20 лет их еще никто не решился сопоставить. Впрочем, не окунувшись в специфику интервьюерского труда, это сделать, по-видимому, невозможно. Нужно самому пройти размеченные на бумаге маршруты, расспросить людей, принявших участие в опросах или отказавшихся выступать в качестве респондентов. Другими словами, следует отбросить нормативный стиль мышления и открыто посмотреть на реалии, не вписывающиеся в предустановленную схему отбора.
Наблюдая за работой полевых интервьюеров, которые участвовали в поквартирных опросах и должны были проходить по заданному маршруту12, мы выделили три модуса отбора: ориентацию на место проживания, «эффект путешественника» и интервью как повод для возобновления отношений. Первый модус максимально приближен к требованиям маршрутной выборки. Второй отражает скорее находчивость интервьюера в сложной ситуации опроса. Третий опирается на сетевые отношения интервьюера, возможность обратиться за помощью к родственникам, друзьям, знакомым. В каждом модусе отбора мы выделяем по два способа его реализации (см. рис. 1).
Ориентация на место проживания может выражаться в последовательном прохождении маршрута. Подобное решение наиболее вероятно для улиц, на которых расположены однотипные строения. Если перед интервьюером стоят одноэтажные деревянные дома, мало чем отличающиеся друг от друга, проблем не возникает. Появление разнородных строений, более ухоженных дворов или многоэтажек нередко приводит к тому, что интервьюеры начинают обращаться с просьбой об интервью лишь в какой-то определенный, привычный для них тип строений. Одни обходят стороной новые многоэтажные дома с явно состоятельными жильцами, объясняя это невозможностью попасть во двор или подъезд. Подобные аргументы не всегда имеют под собой основания: достаточно немного подождать — и можно пройти вместе с жильцами или поговорить с охранниками. Не все отказывают и, что важно, не все дома хорошей застройки неприступны и закрыты от посторонних глаз. Другие интервьюеры сторонятся разваливающихся домов с откровенно неблагополучными, а то и пьяными жильцами, разговоры с которыми не сулят ничего хорошего. Третьи никогда не останавливаются около домов с кодовыми замками, не пытаются каким-то образом завязать разговор по домофону или дождаться входящих или выходящих из подъезда жильцов. Сопоставляя адреса, по которым взяты интервью, с типами близлежащих строений, можно отчетливо различить внутренние предпочтения интервьюеров, их индивидуальный стиль отбора.
Оба варианта отбора, относящиеся к модусу ориентации на место проживания, предполагают относительно кучное расположение адресов респондентов. Если интервьюер действительно проходил по маршруту, уже по карте можно смоделировать направление его движения. Даже
Рисунок 1 Способы отбора домохозяйств в квотной выборке
ю №
о
со О
кэ о
о
Ориентация на МбСТО
проживания
1 способ
Последовательное прохождение маршрута, разговор с открывшим дверь
□□□□ □□□□ □□□□ □□□□ □□□□
□ □□о
1) Начальная точка, 2) направление, 3) карта, 4) формальные правила корректировки движения
2 способ
Выбор привычных строений, наиболее доступных для интервью
Эффект
путешественника, <-
расспросы аборигенов
3 способ
Обращение к респонденту или неподходящему по квоте жителю, открывшему дверь, для рекрутинга его знакомых
4 способ
Обращение к прохожему для рекрутинга его знакомых
Интервью как ПОВОД для возобновления отношений
А
А,
А
5 способ
Опрос знакомых
А
•е
□ □□□ □ □□□ □ □□□ □ □□
ПОР
б способ
Обращение к знакомым с просьбой помочь найти людей, подходящих под опросное задание (место проживания и квоты)
О
о б
13 На рис. 1 этот способ обозначен под номером 3.
учитывая высокий уровень отказов и возможную концентрацию «отказников» на каких-то участках маршрута, трудно представить себе целые кварталы пропущенных домов или появление одного-двух интервью в высотных зданиях, отстоящих друг от друга на сотни метров и разделенных десятками других домов. Подобные ситуации свидетельствуют об использовании интервьюерами иных способов отбора, принадлежащих к двум другим модусам.
«Эффект путешественника» проявляется в активном поиске подходящих по квоте респондентов. Интервьюер не ограничивается обращением к открывшим дверь жильцам и распространяет свои вопросы не только на проживающих в той же квартире членов их семей, но и на соседей, друзей и знакомых. Любой, с кем удалось заговорить, становится информантом, потенциальным рекрутером новых респондентов. Зная адрес и имя человека и обладая возможностью сослаться на кого-то из его окружения, легче начать разговор и получить согласие на интервью. Это позволяет преодолеть недоверие, продемонстрировать пусть иллюзорную, но близость к респонденту. Более того, иногда такой потенциальный рекрутер берет на себя активную роль: звонит своим знакомым, спускается к соседям по подъезду, представляет интервьюера, тем самым гарантируя безопасность предстоящего разговора. Подобное развитие событий встречается не часто, однако при использовании интервьюером модуса путешественника его вероятность резко возрастает.
Первый способ отбора в рамках данного модуса13, когда интервьюер обращается к респонденту или к человеку, который мог бы стать респондентом, но по квотному заданию не подходит для этого, опосредован особенностями квотной выборки. Наиболее сложная задача в начале интервью — сломить недоверие первых секунд, расположить к себе человека, убедить его открыть дверь и выслушать просьбу до конца. Отказ сразу, наотмашь естественен и вполне оправдан, завязавшийся разговор уже требует аргументации, ссылки на занятость и т.п. Понятно, что интервьюер не может сходу перейти к квотному заданию, спросив человека о его возрасте. Предварительно он должен представиться, объяснить причину, по которой он задает этот вопрос, а значит, имплицитно или эксплицитно получить согласие на участие в интервью. Но, получив такое согласие, психологически трудно от него отказаться по внешним причинам, тем более что это влечет за собой неприятные для интервьюера последствия. Формальное исполнение роли «переключателя» между подходящими и неподходящими для опроса людьми чревато резким снижением производительности труда, невозможностью быстро набрать нужное число опрошенных. Поэтому интервьюеры привлекают своих собеседников к рекрутингу, фактически делегируя им право отбора подпадающих под квотные требования людей. Предоставленная ими информация о соседях, в том числе об их расположенности к разговору с незнакомцем и наличии дома, а также упомянутая выше возможность сослаться на рекомендателя дают интервьюеру неоспоримые преимущества в рекрутинге новых респондентов.
14 Яушева 2007. 15 Яковлева 2011.
Что касается такого способа отбора, как обращение к человеку, встретившемуся в подъезде, во дворе или на улице, то он может принимать двоякую форму. С одной стороны, в нарушение инструкции об опросе исключительно по месту жительства интервьюер может предложить своему случайному собеседнику принять участие в опросе, с другой стороны, он может расспросить его о подходящих по квотному заданию жильцах. Второй подход наиболее близок к позиции «путешественника». Интересоваться людьми, спрашивать, где и когда их лучше застать, аналогично расспросам на улице о тех или иных достопримечательностях или объектах (магазинах, почте, вокзале и т.д.). Эта ситуация привычна и полностью вписывается в жизненные практики людей, в какой бы отдаленной местности они ни проживали. В данном случае выборка по типу максимально приближается к неслучайному отбору, обусловленному местом и временем. И пока в научных журналах появляются разрозненные статьи, обосновывающие преимущества такой выборки для репрезентации городского населения14 или труднодоступных групп15, интервьюеры эффективно используют ее в спроектированных маршрутных выборках, заведомо нарушая правила их формирования.
Интервью как повод для возобновления отношений — наиболее радикальный вариант отклонения от маршрутной выборки. Интервьюер ориентируется лишь на обозначенную площадь, поселение или улицы (для крупного населенного пункта), где должен быть проведен опрос, задействуя свои прошлые или настоящие отношения с проживающими там людьми. Похоже, опросные компании предпочитают именно этот модус отбора респондентов. По возможности проведение опроса на той или иной территории поручается уроженцам этих мест или тем, у которых там проживают родственники, друзья, знакомые. Подобная установка объясняется двумя обстоятельствами. Во-первых, логично предположить, что знание контекста (по собственному опыту или со слов доверенных лиц) значительно облегчит процедуру отбора; во-вторых, сами интервьюеры с энтузиазмом откликаются на такие предложения, используя работу в качестве повода повидать старых знакомых, посетить родные места.
Опрос знакомых или получение от них рекомендаций для разговора с их знакомыми дают максимальный пространственный разброс взятых интервью по представленной в выборочном задании территории. Здесь уже нельзя восстановить логику маршрута, поскольку она полностью отсутствует.
Ничего страшного в подобных способах отбора нет. Интервьюер лишь оптимизирует свой доход, который никак не связан с правильностью прохождения маршрута, зато напрямую коррелирует с количеством взятых анкет, соответствующих квотному заданию. Подлог начинается с сокрытия реальных действий, искаженного описания реализованной выборки, а значит, фальсификации статистического вывода. Фактически в результате ориентации на исполнение квот в рамках отобранных
JPflKTirtfCMM СОИЮАОГПО.
ранее территорий маршрутная выборка подменяется выборкой, контролируемой квотами (quota-controlled sample), которая, как уже упоминалось, активно применялась в массовых опросах в США в 1930— 1940-е годы, а затем была подвергнута сокрушительной критике, вплоть до отказа от использования полученных таким образом данных, пред-6 Подробнее см. ставляющих целое десятилетие американской истории16.
« 2<50)9 Рассуждения о репрезентативности и случайной ошибке выборки,
о которых так любят говорить журналисты, — самый серьезный подлог, который можно себе представить в опросной индустрии. Российским массовым опросам нельзя доверять не потому, что кто-то пытается ввести общество в заблуждение. Поллстеры и социологи просто подменяют одну реальность другой, хитро посматривая друг на друга: мы-то понимаем, как обстоят дела de facto, а вот другим знать об этом не обязательно.
Объект Летом 2015 г. по заказу Российской академии народного хозяйства
и регламент и государственной службы ВЦИОМ осуществлял комплексное иссле-аудита дование уровня жизни в Воронежской, Самарской и Челябинской областях. Опрос проводился на планшетах (CAPI) и заранее был запланирован как показательный, с максимальным контролем качества на полевом этапе. По уверению представителей ВЦИОМ, в ходе опроса они проверили около 50% анкет, забраковав беспрецедентное их число по причине фальсификаций, что в 2—2,5 раза повысило стоимость полевых работ по сравнению с аналогичными опросами. В каждом регионе были спроектированы маршрутные выборки домохозяйств с разбивкой по избирательным участкам (с учетом числа проживающих на приписанных к ним территориях). На этапе отбора внутри домохозяйства предполагалось применение квот по полу и возрасту. В каждом регионе планировалось собрать по тысяче автоматизированных интервью.
В Воронежской области полевые работы сопровождались целым рядом проблем. Во-первых, ВЦИОМовская служба внутреннего контроля поля обнаружила многочисленные приписки и фабрикации; во-вторых, региональный партнер ВЦИОМ (ИЦ «Каскад», Воронеж) не справлялся с поставленными задачами, срывая сроки. Поэтому к опросу были привлечены дополнительные бригады интервьюеров — из Астрахани (ИП Кармушин), Тулы (ТНСС) и Москвы (ИП Н). В Самарской области, напротив, поле было проведено быстро, а стандартная проверка не выявила фактов нарушения опросной дисциплины. Фонд социологических исследований (ФСИ, Самара) рассматривался как образцовый исполнитель в этом проекте и приводился в пример другим участникам. В Челябинской области на последнем этапе полевых работ были обнаружены фабрикации, что потребовало перезапуска исследования, которое на момент аудита оказалось незавершенным. Поэтому детальному контролю подверглись два региона и, соответственно,
работа пяти компаний. Аудит проводился выездной бригадой из четырех специалистов РАНХиГС. Полевая часть аудита проходила с 12 по 26 сентября включительно.
Перед отъездом мы сформировали случайную выборку избирательных участков в двух областях, по которым планировался аудит. В Воронежской области намеченная выборка была воспроизведена почти полностью, однако поскольку мы не рассчитали временные затраты, связанные с удаленностью отобранных населенных пунктов и продолжительностью разговоров по корректно взятым интервью, нам пришлось отказаться от поездки в поселки Хохольского, Верхнехавского, Ольховатского и Калачевского районов, которые изначально входили в нее. Вместе с тем в силу непредвиденных обстоятельств (необходимость отправить одного участника аудита на поезде в Москву из Россо-ши) мы провели аудит в Россошанском районе, который подарил нам уникальный кейс привлечения к работе интервьюером («Каскад») учителя физкультуры местной школы.
В Самарской области наши планы по маршрутам оказались во многом нарушены. Мы въехали в правобережную часть и опрашивали вокруг двух крупных городов — Сызрани и Тольятти. Здесь действовала добросовестная бригада интервьюеров, и режим нашей работы ничем не отличался от режима работы в Воронежской области. В результате мы не успели обследовать только один район в Тольятти, но зато обошли дополнительный (в самом начале пути).
Напротив, в Самаре мы столкнулись с массовыми фабрикация-ми, что, с одной стороны, несколько ускорило прохождение маршрутов (сократилось число разговоров), но, с другой, потребовало преодоления значительных расстояний. Из-за нехватки времени и больших расстояний в Самарской области мы не провели аудит в шести отобранных районах.
Столь явные нарушения в структуре реализованной выборки по сравнению с первоначальным случайным отбором ставят под вопрос репрезентативность полученных распределений. Возможно, основные фабрикации пришлись именно на Самару, где, наряду с четырьмя намеченными, мы дополнительно проверили еще три района. Однако это не снижает значимости анализа дескриптивных статистик, свидетельствующего о ненадлежащей работе «левобережной» бригады из ФСИ.
В ходе экспедиции нами было проверено 893 домохозяйства, или 45% от реализованной выборки (составлявшей 2 тыс. опрошенных по двум областям). Контакт с жильцами или их соседями был установлен в 551 случае. По 342 домохозяйствам по причине отсутствия хозяев, невозможности попасть в подъезд или нежелания жильцов вступать в коммуникацию информацию об участии или неучастии в опросе получить не удалось.
Даже с учетом отказа от посещения удаленных районов члены выездной бригады за две недели проехали на машине 3950 км (по весьма посредственным дорогам) и прошли десятки километров пешком.
лршшкш соипологпа
В будущем следует внимательнее относиться к особенностям полевой работы и формировать задания, приемлемые с точки зрения не только теории вероятности, но и экономической целесообразности.
Аудиторское заключение
7 Bostoen, Chalabi 2006: 752.
18 Подробнее см. Kalton 1983: 90—93; Baker et al.
2013.
Для проведения исследования была спроектирована традиционная маршрутная выборка. В инструкции, разосланной региональным партнерам, подчеркивалось, что «опрос проводится строго по квартирам, опрос на придомовой территории недопустим». Кроме того, было ограничено число интервью в одном доме (в зависимости от этажности), причем интервьюеры должны были заполнять анкету на каждое обращение к потенциальному респонденту, что позволило бы провести анализ достижимости и оценить качество реализованной маршрутной выборки. Ни одно из этих требований выполнено не было. Не высказывая никаких возражений против предписанных правил, компании de facto руководствовались давно сложившимися нормами конформного отбора. На это однозначно указывает расположение адресов, к которым приписаны взятые интервью. По списку адресов с полными интервью в большинстве случаев нельзя восстановить какую-либо формальную логику маршрута; многочисленные аудиозаписи свидетельствуют об опросе на придомовой территории; итоговая документация, на основе которой можно было бы анализировать достижимость, отсутствует. Поэтому, начиная аудит, мы сразу же отказались от инспектирования степени соблюдения правил прохождения маршрута, поскольку их придерживались лишь единичные интервьюеры.
Причины столь массового саботажа регламентируемых в договорной документации позиций кроются не столько в профессиональной некомпетентности региональных исполнителей, сколько в расхождении между фактическим и декларируемым опросными заданиями. Система отчетности компаний построена таким образом, что прохождение маршрута никак не оценивается и не оплачивается, оно выступает лишь «обременением» к установленному количеству анкет, соответствующих выставленным квотам. Отсутствие основы в маршрутной выборке чревато серьезным ухудшением качества репрезентации17; отсутствие же экономической и иной мотивации к прохождению маршрута делает эту выборку фикцией, фигурой отчетной речи.
В итоге региональными компаниями реализуется конформная квотная выборка, в которой приоритет остается за опросом в квартирах, однако интервьюеры не придерживаются какого-либо маршрута, преимущественно ориентируясь лишь на квотное задание. Соответственно, при анализе ошибок и нарушений реализованной выборки мы придерживались модифицированных критериев, релевантных для выборок конформного типа18. Если применительно к маршрутной выборке ре-крутинг через респондентов их друзей и знакомых, опрос гостей и опрос на придомовой территории представляют собой значительные нарушения процедуры, то для конформной поквартирной выборки подобные
лршшкш соипологпа
19 Роберт Гроувз, который одним из первых провел систематическое сопоставление стоимости и дизайна выборки, убедительно показал, что разговор об ошибках в исследовании должен вестись в контексте отпущенных на него средств (см. Groves 1989).
модусы организации опроса являются нарушениями незначительными (см. рис. 2). Другими словами, проводя аудит конформной выборки, мы существенно расширяем легитимные практики отбора. Корректная реализация маршрутной выборки возможна лишь при последовательном прохождении маршрута и беседе с находящимися по адресу обращения жильцами. Корректная конформная выборка допускает все шесть обозначенных выше способов отбора (см. рис. 1), в том числе произвольный выбор строений (способ 2), эффект путешественника (способы 3, 4), опросы знакомых (способ 5) и обращение к ним за помощью в рекру-тинге удовлетворяющих квотному заданию респондентов (способ 6). Во всех этих случаях мы говорим лишь о незначительных нарушениях или об отклонениях от первоначального модельного представления о правилах реализации выборки (1-го способа).
Итак, конформная поквартирная выборка предполагает опрос по месту жительства с предпочтением проведения интервью непосредственно в жилых помещениях. При этом полностью отсутствуют формальные правила прохождения маршрута, и отбор респондентов полностью отдан на откуп интервьюера. Мы выделяем четыре базовых результата, зафиксированных в аудите: корректное проведение опроса (К), незначительные нарушения (О1), значительные нарушения (О2) и фабрикации (Ф).
Корректное проведение опроса практически полностью совпадает с представлениями о маршрутной выборке, за исключением одного важнейшего момента. В конформной выборке мы не проверяем, в какой мере интервьюер придерживался некоего (пусть даже выбранного самостоятельно) маршрута, что обусловлено не только редкостью подобных практик, но и доминированием при их демонстрации фабрика-ций. Иначе говоря, чем логичнее выглядит маршрут на карте, тем выше вероятность подтасовок. Так, наиболее «правильные» маршруты оказались у тех интервьюеров из ФСИ (Самара), которые de facto не взяли ни одного интервью. Все приписки приходились на близлежащие дома и квартиры, в конфигурации которых угадывался маршрут. В условиях, когда правила оплаты труда (калькуляция по завершенным интервью) и затраченное на опрос время работают против прохождения маршрутов, «правильные» маршруты указывают на самые грубые нарушения процедуры — ошибки измерения, осознанно допускаемые интервьюерами, фабрикации и фальсификации анкет19.
Помимо четырех содержательных кодов (результатов) аудита нам пришлось ввести два дополнительных, фиксирующих невозможность точно определить, проводился ли опрос: идентифицирована личность (и/л) и неизвестно, был ли опрос (н/о). Первый использовался в ситуации, когда соседи (или сам жилец) подтвердили, что по этому адресу проживает человек, чьи данные (имя, пол и возраст) совпадают с фигурирующими в анкете, но узнать, было ли интервью и как оно проводилось, не удалось. Второй — когда из-за отсутствия хозяев, неосведомленности соседей или невозможности попасть в подъезд
Рисунок 2 Идентификация ошибок и нарушений в зависимости от типа выборки
О
со О
кэ о
о
Незначительные нарушения
Значительные нарушения
Фабрикации
со со
Маршрутная выборка
Произвольный выбор квартир
Отказ от установленной в проектируемой выборке начальной точки
Нарушение маршрута
Ошибки регистрации
Опрос при третьихлицах
Рекрутинг через респондентов (опрос соседей, знакомых и родственников, проживающих по Опрос на придомовой другим адресам на территории выборки)
территории, в местах скопления людей
Опрос нескольких членов одного домохозяйства
Опрос гостей, проживающих на территории выборки
Опрос горожан в селе с припиской им сельского проживания (дачники, гости)
Опрос гостей, не проживающих на территории выборки
Респондент в измененном состоянии (алкоголь, наркотики)
Конформная выборка
Рекрутинг через респондентов (опрос соседей, знакомых и родственников, проживающих по другим адресам на территории выборки)
Опрос на придомовой территории, в местах скопления людей
_ Опрос гостей, проживающих на
территории выборки
Ошибки регистрации
Опрос при третьихлицах
Опрос гостей, не проживающих на территории выборки
Опрос нескольких членов одного домохозяйства
Опрос горожан в селе с припиской им сельского проживания (дачники, гости)
Респондент в измененном состоянии (алкоголь, наркотики)
Имитация интервью (знакомые, профессиональные респонденты)
Имитация интервью (знакомые, профессиональные респонденты)
Г>>
О
о б
(на лестничную площадку) аудиторы в принципе не смогли получить никакой информации об опросе. Всего по массиву содержательный код прохождения опроса не удалось установить для 49% адресов (11% — идентифицирована личность респондента, 38% — об опросе ничего не известно). Соответственно, в среднем коэффициент ответов в аудите составил 51% (см. табл. 1).
Таблица 1 Итоговый результат аудита по областям
Воронежская обл. Самарская обл. Итого
абс. % абс. % абс. %
Опрос проведен корректно 158 42 129 25 7 ос 2 32
Опрос проведен с незначительными 22 6 27 5 49 5
нарушениями
Опрос проведен со значительными 10 3 10 2 20 2
нарушениями
Фабрикация (опрос не проводился) 9 2 91 18 100 11
Идентифицирована личность 41 11 54 10 95 11
Неизвестно, был ли опрос 133 36 209 40 342 38
Итого 373 100 520 100 893 100
Не было интервьюера, по которому мы не смогли проверить хотя бы несколько интервью. В каждом случае закрытые квартиры и отсутствие соседей чередовались с разговорами, на основе которых можно было делать однозначные выводы. Поэтому мы предполагаем, что пропорции содержательных результатов аудита (корректное проведение опроса, значительные и незначительные нарушения, фабрикации) сохраняются и в ситуациях, по которым нам ничего не известно. Подобный прием широко применяется Американской ассоциацией ис-20 Стандартные следователей общественного мнения и, в частности, вошел в описания определения 2°05. правил расчета коэффициентов результативности20. В соответствии с этим подходом для расчета долей содержательных кодов определяется итоговое количество релевантных интервью исходя из трех составляющих: (1) количества зафиксированных в ходе аудита случаев; (2) количества случаев, рассчитанных среди совокупности, где отсутствовала какая-либо информация об опросе; (3) количества случаев, рассчитанных среди совокупности, где была идентифицирована личность, отвечающая описаниям в реализованной выборке. Расчет осуществляется по формулам:
-ПРШПЖКМ СОИЮАОГПО.
к„ = к +
к
01л
: 01 +
(К + 01 + 02 + Ф) 01
х н/о -
к
02п = 02 +
(К + 01 + 02 + Ф) 02
(К + 01 + 02 + Ф) Ф„ = Ф + :
х н/о -
(К+ 01+ 02) 01
(К-
х н/о +
0102
02)
х и/л
х и/л
(К+ 01+ 02) х н/о
х и/л
(К + 01 + 02 + Ф)
где К — опрос проведен корректно, О1 — опрос проведен с незначительными нарушениями, О2 — опрос проведен со значительными нарушениями, Ф — фабрикации, и/л — идентифицирована личность респондента, н/о — неизвестно, был ли опрос.
Полученные по пересчитанных кодам результаты аудита в двух областях заметно отличались друг от друга. В Воронежской области, где работали четыре компании и ситуация изначально рассматривалась как проблематичная, корректное проведение опроса зафиксировано в 80% прошедших аудит интервью; в Самарской, где работала одна компания и не было выявлено нарушений при оперативном контроле, — в 53%. При этом разительно различались именно пропорции фабрикаций. По Воронежской области мы оцениваем их на уровне 4%, по Самарской — 32% (см. табл. 2).
Таблица 2 Пересчитанные коды аудита по областям
Результат аудита Код Воронежская обл. Самарская обл.
Опрос проведен корректно К 80% 53%
Опрос проведен с незначительными нарушениями О1 11% 11%
Опрос проведен со значительными нарушениями О2 5% 4%
Фабрикация (опрос не проводился) Ф 4% 32%
Итого 100% 100%
Ни одна из опросных компаний, работавших в Воронежской области, не приближается по уровню фабрикаций к ФСИ (см. табл. 3). Опытные имитаторы из этой компании представили отчетность в максимально правдоподобном виде, творчески подойдя и к фабрикации аудиозаписей, поставив и разыграв спектакли со своими знакомыми.
Пересчитанные коды аудита позволяют говорить о беспрецедентном уровне фабрикаций, допущенных ФСИ. Правда, по двум компаниям было проверено слишком мало интервью (ИП Н — 40, ТНСС — 27), чтобы анализировать полученные распределения. Однако выборки по ИП Кормушин (143 интервью), «Каскаду» (163 интервью) и ФСИ
Таблица 3 Итоговый результат аудита по опросным компаниям
Итоговый результат аудита Код ИП Кормушин ИП Н «Каскад» ТНСС ФСИ
абс. % абс. % абс. % абс. % абс. %
Опрос проведен корректно К 73 51 13 33 63 39 9 33 129 25
Опрос проведен с незначительными нарушениями О1 3 2 3 8 12 7 4 15 27 5
Опрос проведен со значительными нарушениями О2 2 1 — — 4 2 4 15 10 2
Фабрикация (опрос не проводился) Ф — — 3 7 6 4 — — 91 18
Идентифицирована личность и/л 16 11 3 8 21 13 1 4 54 10
Неизвестно, был ли опрос н/о 49 34 18 45 57 35 9 33 209 40
Итого 143 100 40 100 163 100 27 100 520 100
(520 интервью) вполне представительны для расчета дескриптивных статистик.
Бригада интервьюеров из ИП Кормушин продемонстрировала высокое качество работы (с точки зрения конформной выборки). Мы не обнаружили ни одной фабрикации при очень небольшом количестве отступлений от выборочного задания. У «Каскада» довольно много мелких нарушений, но они, на наш взгляд, не должны вызывать значимых смещений в итоговых распределениях (см. табл. 4).
Всего в реализованную выборку аудита попали 43 интервьюера. Поскольку аудит был направлен на оценку работы интервьюерских команд в целом, а не отдельных интервьюеров (это прерогатива региональных организаций), мы ограничились анализом деятельности тех из них, у кого проверили более 20 интервью.
Пересчитав коды, отражающие качество полевой работы, мы получили четыре списка интервьюеров (см. табл. 5). В первый вошли те, чью работу можно назвать практически идеальной, во второй — допустившие терпимые (при нестрогом контроле) нарушения; в третий — пошедшие на серьезные нарушения, подрывающие значимость статистических выводов из полученных данных; в четвертый — просто фабриковавшие интервью, тем самым сводя на нет все усилия опросной компании по измерению мнений и фактического поведения людей.
Таблица 4 Пересчитанные коды аудита по компаниям
Результат аудита Код ИПКор-мушин ИП Н «Каскад» ТНСС ФСИ
Опрос проведен корректно К 94% 69% 75% 53% 53%
Опрос проведен с незначительными нарушениями О1р 4% 16% 14% 25% 11%
Опрос проведен со значительными нарушениями О2р 3% 0% 5% 22% 4%
Фабрикация (опрос не проводился) Ф 0% 15% 6% 0% 32%
Итого 100% 100% 100% 100% 100%
Таблица 5 Пересчитанные коды аудита по интервьюерам
Группа* Интервьюер Компания К О1 О2 Ф
1. П-ва ИП Кормушин 100%
Б-на ИП Кормушин 100%
С-ва «Каскад» 100%
Н-ва «Каскад» 100%
О-к «Каскад» 93% 7%
2. Б-в ИП Кормушин 89% 6% 6%
Я-на ИП Кормушин 82% 12% 6%
М-ва ФСИ 77% 12% 6% 5%
3. К-ко ИП Н 73% 27%
М-ва ФСИ 71% 24% 5%
Ч-ко ФСИ 68% 8% 8% 15%
М-ко ФСИ 63% 9% 28%
Д-ая ФСИ 63% 15% 22%
Н-на ФСИ 61% 20% 19%
Б-на ФСИ 61% 14% 25%
4. Ж-ва ФСИ 40% 60%
Гл-ва ФСИ 36% 64%
Г-ва ФСИ 100%
Ч-ва ФСИ 100%
К-ва ФСИ 100%
* Группы интервьюеров по качеству работы: 1 — хорошая, 2 — удовлетворительная, 3 — неудовлетворительная, 4 — фабрикации
Подавляющее большинство фабрикаций, допущенных интервьюерами из ФСМ, приходятся на Самару. Поскольку мы нарушили первоначально спроектированную выборку аудита, произошло смещение в сторону городского населения, так что применительно ко всему массиву данные по фабрикациям могут оказаться несколько завышенными. Интервьюеры компании, как правило, подделывали интервью в городе, а не в сельских населенных пунктах. В частности, можно предположить, что у интервьюеров М-ко, Н-ой и Б-ой за пределами Самары фабри-каций было меньше. Выявленные у них фабрикации были совершены в последние дни. Возможно, руководство компании потребовало завершить работу, и они были вынуждены прибегнуть к подтасовкам, или же до них дошли сведения об успехе коллег, фабриковавших интервью. Вместе с тем в Тольятти и Сызрани, где опрос проводила другая бригада интервьюеров, ошибок и фабрикаций было не больше, чем у бригад, работавших в Воронежской области.
Как бы то ни было, даже редкие случаи фабрикаций указывают на отсутствие у интервьюера ответственности и профессиональной этики, что ставит под сомнение результаты его работы в целом. Мы не можем проконтролировать все действия интервьюера, поэтому лучше исключить из полевой команды тех, кто склонен к подобного рода практикам.
Выводы Суммируя вышесказанное, можно сформулировать следующие
выводы.
1. Автоматизация полевых работ (интервью на планшетах) открывает возможности для осмысленной комплексной проверки реализованной выборки, что существенно снижает брак, выявляя недоброкачественные интервью. Традиционные для бумажных опросов способы контроля (по телефону) давно обходятся интервьюерами и не позволяют обнаружить факты некорректного проведения интервью, фальсификаций и фабрикаций.
2. Региональные компании фактически полностью отказались от реализации маршрутных выборок. Оставляя в качестве значимой доминанты опрос по квартирам и домам, интервьюеры активно используют для исполнения квотного задания техники конформной выборки: помощь респондентов в поиске новых участников опроса, опрос знакомых, рекрутинг на улице и придомовых территориях, выбор наиболее комфортных для себя типов жилой застройки и т.д.
3. Одна из важнейших причин отказа от маршрутной выборки — наличие квотного задания. Интервьюер не может, как машина, разбить отбор на два этапа: сначала идентифицировать домохозяйства, а потом, уже при разговоре, осуществлять отбор среди его членов. Квоты создают основу для целенаправленного поиска нужных респондентов, подталкивают к отказу от механического прохождения маршрута. В противном случае производительность труда интервьюера снижается настолько, что ставит под сомнение осмысленность подобного вида заработка.
4. Авторитет компании и годы беспроблемных полевых работ не гарантируют качественной реализации выборки. Наибольшее число фабрикаций обнаружено в компании (ФСИ, Самара), которая при стандартных процедурах контроля (звонки по зарегистрированным интервьюерами телефонным номерам, выборочное прослушивание аудиозаписей) демонстрировала практически безупречные результаты. Выполнение задания в срок, максимальное приближение (в отчетности) реализованной выборки к проектируемой, отсутствие серьезных замечаний и срывов в работе на фоне проблем, с которыми сталкиваются коллеги из других компаний, сигнализируют о теневых стратегиях проведения опроса, противоречащих выборочному дизайну.
5. Региональные компании не проявляют инициативы в развитии стандартов качества опросов. Только давление со стороны генерального подрядчика, его внимание к прохождению полевых работ и постоянный контроль способны поддерживать это качество на должном уровне. Компании не обладают действенными инструментами контроля над результатами труда интервьюеров. Отсутствуют процедуры, система отчетности, квалифицированный персонал. Супервайзеры выполняют лишь функцию операторов исполнения сроков и квотных заданий и не несут ответственности за качество сдаваемых материалов. Должностные обязанности супервайзеров и руководителей полевых отделов региональных компаний, как и сама структура полевых работ, нуждаются в переосмыслении; остро стоит вопрос о внедрении эффективных механизмов контроля. Весьма полезной в этом отношении была бы системная ревизия деятельности региональных партнеров и введение аттестации.
6. В российской индустрии массовых опросов отчетливо ощущается дефицит обратной связи и контроля над качеством выполняемых работ по сбору и обработке данных. Необходимо рассмотреть возможность создания института полевого аудита, призванного на регулярной основе проводить контроль качества, разрабатывать методические рекомендации и обучать региональных партнеров крупнейших опросных компаний. Только так можно преодолеть бесконечные беспочвенные обвинения в ангажированности и бесплодные спекуляции по поводу надежности массовых опросов. Недоверие к результатам опросов — отнюдь не следствие необразованности непосвященной в опросную технологию публики, а лишь оборотная сторона методической неряшливости представителей опросной индустрии.
Библиография Алексеев А.Н. 2014. Следует ли так уж доверять результатам
опросов общественного мнения? (http://www.socilogists.spb.ru/files/ alekseev_trust.doc).
Вьюговская Е.В., Галиева Н.И., Рогозин Д.М. 2014. Этнография «бумажных» квартирных опросов // Мониторинг общественного мнения: экономические и социальные перемены. № 5.
Иллич И. 2006. Освобождение от школ: Пропорциональность и современный мир. — М.
лршшкш соипологпа
Йейтс Ф. 1965. Выборочный метод в переписях и обследованиях. — М.
Кокрен У. 1976. Методы выборочного исследования. — М.
Могильчак Е.Л. 2015. Выборочный метод в эмпирическом социологическом исследовании. — Екатеринбург.
Рогов К. 2014. Правда ли, что 83% россиян поддерживают Путина? // Forbs. 11.09 (http://www.forbes.ru/mneniya-column/vertikal/267487-kak-ukrainskii-konflikt-povliyal-na-putinskoe-bolshinstvo).
Рогозин Д.М., Галиева Н.И. 2014. Методическая (не)устойчивость массового опроса // Полития. № 3.
Стандартные определения: систематическое описание диспози-ционных кодов и коэффициентов результативности для массовых опросов. 2005 // Социологический журнал. № 2.
Шлосберг Л. 2015. Температура восторженной лжи // Псковская губерния. № 41 (http://gubernia.pskovregion.org/number_763/01.php).
Яковлева А.А. 2011. Исследование в труднодоступных группах: опыт использования выборки, управляемой респондентом, и выборки «место-время» // Социология: методология, методы, математическое моделирование. № 33.
Яушева А.А. 2008. Формирование выборки: поиск новых возможностей // Социс. № 8.
Baker R. et al. 2013. Report of the AAPOR Task Force on Non-probability Sampling. — Oakbrook Terrace (IL).
Berinsky A.J. 2006. American Public Opinion in the 1930s and 1940s: The Analysis of Quata-controlled Sample Survey Data // Public Opinion Quarterly. Vol. 70. № 4.
Bostoen K., Chalabi Z. 2006. Optimization of Household Survey Sampling without Sample Frame // International Journal of Epidemiology. Vol. 35. № 3.
Dillman D.A., Smyth J.D., Christian L.M. 2014. Internet, Phone, Mail, and Mixed-mode Surveys: The Tailored Design Method. — Hoboken (NJ).
Grais R.F., Rose A.M., Guthmann J.-P. 2007. Don't Spin the Pen: Two Alternative Methods for Second-stage Sampling in Urban Cluster Surveys // Emerging Themes in Epidemiology. Vol. 4. № 8.
Groves R. 1989. Survey Errors and Survey Costs. — Hoboken (NJ).
Johnson D.R., Elliott L.A. 1998. Sampling Design Effects: Do They Affect the Analyses of Data from the National Survey of Families and Households? // Journal of Marriage and the Family. Vol. 60.
Kalton G. 1983. Introduction to Survey Sampling. — L.
Levy P.S., Lemeshow S. 2008. Sampling of Populations: Methods and Applications. — Hoboken (NJ).
References Alekseev A.N. 2014. Sleduet li tak uzh doverjat' rezul'tatam oprosov
obshhestvennogo mnenija ? (http://www.socilogists.spb.ru/files/alekseev_ trust.doc).
Baker R. et al. 2013. Report of the AAPOR Task Force on Non-probability Sampling. — Oakbrook Terrace (IL).
Berinsky A.J. 2006. American Public Opinion in the 1930s and 1940s: The Analysis of Quata-controlled Sample Survey Data // Public Opinion Quarterly. Vol. 70. № 4.
Bostoen K., Chalabi Z. 2006. Optimization of Household Survey Sampling without Sample Frame // International Journal of Epidemiology. Vol. 35. № 3.
Cochrane W. 1976. Metody vyborochnogo issledovanija. — M.
Dillman D.A., Smyth J.D., Christian L.M. 2014. Internet, Phone, Mail, and Mixed-mode Surveys: The Tailored Design Method. — Hoboken (NJ).
Grais R.F., Rose A.M., Guthmann J.-P. 2007. Don't Spin the Pen: Two Alternative Methods for Second-stage Sampling in Urban Cluster Surveys // Emerging Themes in Epidemiology. Vol. 4. № 8.
Groves R. 1989. Survey Errors and Survey Costs. — Hoboken (NJ).
Illich I. 2006. Osvobozhdenie ot shkol: Proporcional'nost' i sovremen-nyjj mir. — M.
Jakovleva A.A. 2011. Issledovanie v trudnodostupnykh gruppakh: opyt ispol'zovanija vyborki, upravljaemojj respondentom, i vyborki «mesto-vre-mja» // Sociologija: metodologija, metody, matematicheskoe modelirovanie. № 33.
Jausheva A.A. 2008. Formirovanie vyborki: poisk novykh vozmozh-nostejj // Socis. № 8.
Johnson D.R., Elliott L.A. 1998. Sampling Design Effects: Do They Affect the Analyses of Data from the National Survey of Families and Households? // Journal of Marriage and the Family. Vol. 60.
Kalton G. 1983. Introduction to Survey Sampling. — L.
Levy P.S., Lemeshow S. 2008. Sampling of Populations: Methods and Applications. — Hoboken (NJ).
Mogil'chak E.L. 2015. Vyborochnyjj metod v ehmpiricheskom socio-logicheskom issledovanii. — Ekaterinburg.
Rogov K. 2014. Pravda li, chto 83% rossijan podderzhivajut Putina? // Forbs. 11.09 (http://www.forbes.ru/mneniya-column/vertikal/267487-kak-ukrainskii-konflikt-povliyal-na-putinskoe-bolshinstvo).
Rogozin D.M., Galieva N.I. 2014. Metodicheskaja (ne)ustojjchivost' massovogo oprosa // Politeia. № 3.
Shlosberg L. 2015. Temperatura vostorzhennojjj lzhi // Pskovskaja gubernija. № 41 (http://gubernia.pskovregion.org/number_763/01.php).
Standartnye opredelenija: sistematicheskoe opisanie dispozicionnykh kodov i koehfficientov rezul'tativnosti dlja massovykh oprosov. 2005 // Sociologicheskijj zhurnal. № 2.
V'jugovskaja E.V., Galieva N.I., Rogozin D.M. 2014. Ehtnografija «bu-mazhnykh» kvartirnykh oprosov // Monitoring obshhestvennogo mnenija: ehkonomicheskie i social'nye peremeny. № 5.
Yates F. 1965. Vyborochnyjj metod v perepisjakh i obsledovani-jakh. — M.
