CC BY
189
Ольга КАРАЕВА
«Поиски лучшей репрезентации»: сравнение телефонных и квартирных опросных методик в социально-политических исследованиях
Методический эксперимент
Традиционные методы сбора информации, к которым прибегает большинство опросных компаний при проведении массовых исследований, строятся на личных интервью по месту жительства респондентов (face-to-face). Подобные поквартирные опросы проводятся социологами по всему миру, и российские «фабрики» по изучению общественного мнения не являются исключением.
Вместе с тем рост телефонизации и проникновения интернета привели к возникновению новой эры электронных опросов — наряду с традиционными методами проведения интервью с помощью «бумаги и карандаша» (PAPI) начали активно развиваться компьютеризированные опросы, использующие технологии телефонной и онлайн коммуникаций (CATI, CAWI)1.
Преимущества данных технологий в изучении общественного мнения перед традиционными опросными методиками личными интервью (face-to-face), проводимых, как правило, по месту жительства респондента, состоят в более коротких сроках сбора данных при существенно более низких издержках в опросах. Цифровые технологии предоставляют новые возможности по контролю качества собираемых данных — каждая процедура отбора респонден-
та фиксируется автоматически, исключая влияние интервьюеров на это процесс. Это позволяет получить помимо самих заполненных анкет и дополнительную информацию о ходе интервью (параданные), а также дает возможность проконтролировать точность выполненных переходов в анкете, правильность зачитывания формулировок вопросов и ответов, а также проверить соблюдение выборки — сопоставить географические координаты взятых интервью с выданным адресным участком интервьюера
Согласно данным международной ассоциации маркетологов и исследователей общественного мнения ESOMAR, доля традиционных опросных методик неуклонно снижается, и к 2014 году составила только 12% мирового рынка исследований. Российский рынок опросов пока остается более консервативным. На долю всех маркетинговых исследований приходится вдвое больше проектов, выполненных методом личного интервью — 23% (табл. 1).
Однако в отличие от маркетинговых исследований, не претендующих на распространение выводов на аудитории, выходящие за границы группы целевых потребителей, и зачастую не ставящих своей задачей репрезентацию рассматриваемой совокупности, изучение обще-
Таблица 1
ДОЛЯ ИССЛЕДОВАНИЙ, ПРИХОДЯЩИХСЯ НА РАЗНЫЕ СПОСОБЫ СБОРА ДАННЫХ, ОТ ОБЩИХ ЗАТРАТ НА ПРОВЕДЕНИЕ КОЛИЧЕСТВЕННЫХ МАРКЕТИНГОВЫХ И СОЦИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ В 2014 ГОДУ (% по столбцу)
Россия Мир в целом
Онлайн-опросы 23 35
Ритейл аудит (автоматизированные электронные данные) 21 26
Телефонные опросы 30 16
Личные интервью 23 12
Почтовые опросы 0 4
Другие опросы 3 7
Всего 100 100
Расчеты по данным: ESOMAR 2014 «Global Market Research»
1 PAPI - Paper and Pencil Interviewing; CATI - Computer Assisted Telephone Interviewing; CAWI - Computer Assisted Web Interviewing.
ственного мнения стремится к максимальному представлению всей членов генеральной совокупности. Тестирование новой упаковки товара может опираться на изучение мнений добровольцев из числа типичных потребителей, тогда как при электоральных исследованиях и планировании предвыборных кампаний репрезентация предпочтений избирателей не может свестись к опросу не систематически отобранных людей — 1% может стоить политической карьере его кандидату.
В связи с этим применение новых методов сбора данных взамен традиционных опросных методик приобретает первостепенный интерес с точки зрения их репрезентации населения в целом.
Отставание российской эмпирической социологии от общемировых технологий проведения социологических исследований на протяжении длительного времени обуславливалось низким уровнем телефонизации и проникновения Интернета. Однако за прошедшие два десятилетия эти показатели существенно выросли — в 2015 году покрытие телефонной связью составило 98% взрослого населения (старше 18 лет): покрытие мобильной связью достигло 92%, охват услугами стационарной связи — 49%. Ни одним из видов связи не обладают 2% населения (табл. 2).
Доля пользователей сети Интернет в феврале 2015 года приблизилась к 66%. Наименее доступным для интернет-коммуникации является население старше 55 лет, среди которого лишь четверть выходит в Интернет (табл. 2).
Общепринято считать, что выборка способна репрезентировать исследуемую совокупность при 80-процентном охвате методами отбора ее элементов. Технологии телефонных опросов вполне отвечают данному требованию и, следовательно, могут быть использованы для
Таблица 2
УРОВЕНЬ ТЕЛЕФОНИЗАЦИИ И ПОЛЬЗОВАНИЯ ИНТЕРНЕТОМ
общей численности подгруппы)
социально-политических и социально-экономических исследований в более широких масштабах, чем применяются в настоящее время.
Построение выборки респондентов в телефонных опросах во многом отличаются от широко используемых поквартирных выборок. При адресных или маршрутных методах опроса, как правило, строится многоступенчатая стратифицированная выборка. На первой ступени происходит отбор населенных пунктов в зависимости от их численности, далее производится простой случайный отбор точек опроса — избирательных участков, на третьей ступени выбираются улицы в качестве начальных точек маршрутов интервьюеров и реализуются процедуры отбора домохозяйств с заданным шагом.
Строго выполненные стратифицированные выборки обладают меньшей или равной ошибкой в сравнении с простой случайной выборкой. Однако проведение опросов по запланированным выборкам на практике не всегда реализуемо — есть нежилые районы, удаленные точки без транспортной доступности. По завершению полевых работ реализованная выборка содержит определённое количество замен изначально отобранных элементов.
Телефонные опросы, напротив, строятся на основе простой случайной выборки. Для этого используют процедуру RDD (random digit dialing), основное назначение которой обеспечить случайную генерацию номеров телефонов. Особенностью подобных выборок является попадание в выборку заведомо несуществующих номеров. Для сокращения сроков сбора данных из-за «холостых» звонков колл-центры используют функцию автодозвона (DEX), которая позволяет соединить оператора с первым работающим/существующим номером из сгенерированной базы телефонов.
СРЕДИ РАЗЛИЧНЫХ ГРУПП НАСЕЛЕНИЯ (доля в % от
Возраст
Тип населенного пункта
по России в целом 18-24 года 25-39 года 40-54 года 55 лет и старше Москва города более 500 тыс. города от 100 до 500 тыс. города до 100 тыс. село
Пользуются Интернетом 66 97 90 72 25 83 73 64 66 56
Имеют стационарный телефон 49 44 43 51 56 87 52 46 47 38
Имеют мобильный телефон 92 98 96 94 85 99 93 93 92 89
По данным: общероссийский омнибус «Курьер» (N=1600 чел.), февраль 2015 г., Левада-Центр.
Вместе с тем на первый план выходит вопрос о состоятельности данных выборок репрезентировать население страны. Новая форма коммуникации с респондентом может иметь эффект смещения в зависимости от уровня пользования телефонными технологиями. С точки зрения статистики, в выборку вероятнее всего попадают те, кто активнее пользуется телефонами. В данном случае смещение выборки может произойти как по гендерным, так и возрастным характеристикам. Например, в семейной паре к домашнему телефону может подходить только супруга, поскольку все звонки происходят в ее адрес — в этом случае вероятность попадания в выборку исследования ее супруга будет близка к нулю. Люди более старших возрастов, несмотря на довольно широкое распространение среди них мобильных телефонов, во многом отличны от молодежи по уровню пользовательских навыков в работе с ними. Они могут быть менее склонны брать трубку своего сотового с незнакомых номеров или реже носить его с собой и пр.
Наличие подобных эффектов и оценка их влияния на достигаемые результаты требуют проведения методических исследований, которые вызывают особый интерес в рамках реализации социально-политических и электоральных проектов.
Последняя предвыборная кампания по избранию мэра Москвы показала, что традиционные опросные методики (ГасеЧо-Гасе) оказались неспособными уловить меняющие тренды в электоральных настроениях москвичей. В результате прогнозы социологов, основанные на данных опросов лицом-к-лицу, оказались далеки от официальных данных: высокая доля неопределившихся с ответом и завышенная оценка явки привели к переоценке полученных голосов за лидирующего кандидата и недооценке голосов основного оппонента. Наиболее близкие данные смогли получить лишь поллстеры, проводившие ежедневные роллинговые телефонные опросы — рост поддержки оппонента наблюдался в течение последней недели непосредственно перед выборами. Организация поквартирных исследований требует больше времени, в результате проводить регулярные замеры с помощью данной технологии проблематично.
Также одним из недостатков традиционных опросов по месту жительства респондента является труднодостижимость наиболее активных групп населения. Более двух третей отобранных респондентов по тем или иным причинам не попадают в выборку социологических ис-
следований. К числу недостигаемых аудиторий относятся наиболее активная часть населения — те, кто в момент прихода интервьюера не был дома — работающие, ведущие активный образ жизни, находящиеся в командировках, длительных отъездах. Верхушка и основание социальной структуры общества — самые богатые и самые бедные группы населения также остаются слабо достигаемыми категориями для квартирных опросов — доступ к первым преграждают высокие заборы и охрана, ко вторым — небезопасность пребывания интервьюера в подобных районах.
В отношении социально-политических и электоральных опросов такое смещение может приводить к большей представленности так называемого «пассивного электората». Недостижимость подобных групп населения также сказывается на прогнозировании исходов выборов или сторонников лидирующих/оппозиционных кандидатов.
Для исследования методических возможностей телефонных выборок по репрезентации населения Левада-Центром был инициирован эксперимент, ставящий своей целью сопоставить данные двух выборок — поквартирного и телефонного опросов и оценить перспективы использования телефонных выборок при изучении электоральных и социально-политических мнений.
Описание методического эксперимента
Методический эксперимент по сравнению данных двух выборок — поквартирного и телефонного опроса — проведен в декабре 2014 года. Оба исследования проходили практически одномоментно по унифицированной анкете, содержащей 30 общих вопросов по социально-политическим темам (табл. 3).
В связи с ограничением длительности телефонного опроса, для методического эксперимента был составлен общий блок вопросов, который составил основу для телефонника и включен в более обширную анкету квартирного опроса. Для минимизации влияния последовательности вопросов данный блок был включен в начало вопросника ГасеЧо-Гасе опроса. Блоки анкеты были посвящены оценкам текущей ситуации в стране, интересу к политическим вопросам, мнению россиян о демократических институтах, а также социально-демографическому портрету респондента — знанию иностранных языков, потребительскому статусу, уровню интернет-активности, пользованию социальными сетями, роду занятий и пр.
Объектом исследования выступало взрослое население города Москвы (старше 18 лет). Выбор москвичей в качестве объекта для изучения обуславливался наличием исследовательских гипотез о недостижимости активных групп населения традиционными опросными методами, находящей отражение в более «консервативных» оценках текущей ситуации в стране.
Для квартирного опроса строилась двухступенчатая вероятностная выборка с маршрутным методом отбора домохозяйств (не включая «Новую Москву»).
Для телефонного опроса использовалась выборка случайно генерированных номеров (RDD) с префиксами, относящимися к московскому региону. Соотношение стационарных и мобильных телефонов было задано в равной пропорции (50% на 50%).
Обе выборки контролировались наличием квот по полу, возрасту и уровню образования в соответствии с данными переписи 2010 года. Объем выборки для каждого способа опроса составил 500 чел.
Сбор данных методом face-to-face осуществлялся московским полевым отделом Левада-Центра, для реализации телефонного опроса был привлечен сторонний колл-центр в г. Орел, обладающий функцией автоматического дозво-на фЕХ).
Цель методического эксперимента состояла в выявлении различий двух выборок по социально-демографическим и содержательным вопросам и сравнении методических показателей: недостижимости, сроков и стоимости работ.
В качестве основных исследовательских гипотез выступали следующие предположения:
Таблица 3
ХАРАКТЕРИСТИКИ ЭКСПЕРИМЕНТАЛЬНОГО ПЛАНА: ОПРОС
1. Выборки респондентов, достигаемые методом телефонного и квартирного опроса, не различны по неквотируемым социально-демографическим характеристикам.
2. Выборки респондентов, опрошенных телефонным способом, отличны от квартирных выборок по социально-политическим установкам и электоральным предпочтениям в сторону большей гражданской активности и плюрализма политических взглядов.
3. Методика телефонных опросов приводит к сокращению сроков и затрат на проведение полевых работ.
4. Уровень достижимости респондентов в телефонных опросах выше, чем при поквартир-ном опросе. Возможность варьирования времени звонка и установления повторной коммуникации в удобное время должны повысить процент достижимости.
Далее последовательно рассмотрим результаты проверки каждой гипотезы нашего эксперимента.
Результаты эксперимента
Для начала остановимся на методических характеристиках обеих реализованных выборок в рамках эксперимента (табл. 4-6).
Методические характеристики
Для достижения требуемого количества анкет (N=500) для маршрутной выборки потребовалось посетить 3615 квартир. Аналогичное количество успешных интервью в условиях телефонного опроса было выполнено за счет 48 402 номеров. Такой многократный разрыв можно объяснить тем, что в основе телефонной
ЛИЦОМ-К-ЛИЦУ И ТЕЛЕФОННИК
Поквартирный опрос Телефонный опрос
Объем выборки N=500 чел. N=500 чел.
Случайная генерация номеров (RDD выборка): Тип выборки Маршрутная двухступенчатая выборка, 50% - стационарные
3х-кратное посещение 50% - мобильные
Целевая группа
Квоты
Анкета Даты опроса
Репрезентативный опрос москвичей старше 18 лет
Пол, возраст, образование по данным переписи 2010 года
120 вопросов (30 общих)
5-18 декабря
Репрезентативный опрос москвичей старше 18 лет
Пол, возраст, образование по данным переписи 2010 года
35 вопросов (30 общих)
19-26 декабря1
1 Сроки телефонного опроса по организационным причинам были смещены на две недели. Принимая во внимание отсутствие ситуационных вопросов в анкете, данный временный лаг не должен приводить к смещению в ответах.
выборки могут лежать заведомо несуществующие номера абонентов. Принцип автоматического набора номера и соединения оператора ^ЕХ) не всегда корректно отделяет фактически незарегистрированные номера от не дозво-нов, где абонент просто не взял трубку. Иными словами, категория «нет ответа» в телефонном опросе не в полной мере соотносится с позицией «никого нет дома», поскольку в нее могли попасть несуществующие или не предназначенные для личного использования телефонные номера (корпоративные, рабочие и пр.).
Результаты посещений квартир в маршрутной выборке свидетельствуют о том, что основной причиной недостижимости является отнюдь не высокий уровень отказов, а отсутствие кого-либо дома в момент прихода интервьюера. Время опроса для поквартирного метода ограничено в будние дни с 17 до 21 часов, в выходные — с 10 до 21 часа. Две трети посещенных адресов (даже при условии трехкратных визитов) так и остаются недостигнутыми по причине, классифицируемой как «никого нет дома». В телефонном опросе, принимая во внимание завышенность категории «никто не взял трубку/занято» из-за несуществующих абонентов, доля таких абонентов приравнивается почти половине случаев (48%).
Доля же отказов открыть дверь и принять участие в интервью составляет пятую часть от общего числа посещенных адресов в поквар-тирном опросе и треть случаев от всех набранных номеров в телефонной выборке.
Выполнение квот при телефонном опросе вызывает бо льшие трудности, нежели в по-Таблица 4
РЕЗУЛЬТАТЫ ЗВОНКОВ/ПОСЕЩЕНИЙ В ЗАВИСИМОСТИ ОТ
соотношении)
При телефонном интервью устанавливается индивидуальный контакт, добор респондента происходит новым циклом коммуникации. В результате из-за «несоответствия квотам» в поквартирном опросе не подошли 5% адресов, в телефонном — 15% номеров.
Одной из особенностей построения телефонных RDD-выборок может служить ошибочное отнесение респондента к жителям изучаемого города из-за неполного соответствия префиксов географическому пребыванию абонентов — респондент может приобрести сим-карту, зарегистрированную, например, в Москве, и использовать ее при поездках в столицу, однако при этом он не может быть причислен к жителям Москвы. Во избежание подобных неточностей в анкету телефонного опроса был дополнительно введен скрининговый вопрос о фактическом проживании респондента в г. Москва. В целом, несоответствие отобранного московского номера фактическому проживанию респондента встретилось в 1% звонков на стационарные телефоны и в 13% случаях при отборе по мобильным номерам (табл. 6)1.
В соответствии со стандартами, разработанными Американской ассоциацией исследователей общественного мнения (ААРОК)2, были рассчитаны пять коэффициентов, отражающих результативность выборки (табл. 5).
Уровень достижимости (КШ) — нижняя граница достижимости, отражающая отношение успешных интервью ко всем номерам/квартирам, по которым были сделаны звонки/визиты. Так, только 1% всех попавших в выборку номеров завершились результативным интервью.
ТИПА ВЫБОРКИ (в абсолютных значениях и процентном
Абсолютные значения Процент от всех адресов/номеров
F2F TEL F2F TEL
Нежилые квартиры/не существующие номера 420 3643 12% 8%
Никого нет дома/нет ответа 2350 23093 65% 48%
Количество отказов 653 11651 18% 24%
Не подошли по скринингу 172 7382 5% 15%
Прерванные интервью 20 411 1% 1%
Технические ошибки - 2222 - 5%
Всего адресов/номеров 3615 48402 100% 100%
квартирном опросе, где в случае переполнения определенной квоты, отбор нужного респондента может быть произведен из других членов домохозяйства, удовлетворяющих условиям.
1 Проценты даны от числа работающих номеров, по которым удалось установить контакт.
2 Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys/The American Association for Public Opinion Research. 2011, 7th edition, 62 p.
При поквартирном опросе каждый восьмой адрес привел к успешному личному интервью и наиболее «грубый» показатель достижимости (RR1) составил 12%.
Коэффициент ответов (RR3) или отношение полностью взятых интервью ко всем номерам/адресам, потенциально удовлетворяющих критериям отбора, также весьма различны между двумя выборками — 2% и 16% соответственно. Однако стоит помнить о завышенном показателе "non-contact" в выборке телефонного опроса, который ввиду неверной классификации неработающих номеров существенно уменьшает уровень достижимости для этого метода сбора данных.
Коэффициент кооперации (COOP1), то есть доля опрошенных ко всем единицам наблюдения, удовлетворяющим условиям отбора, и с которыми удалось установить контакт, составляет 43% в опросе лицом-к-лицу и 4% в телефоннике.
Коэффициент контактов (CON2) или доля номеров/адресов, с которыми удалось установить контакт, ко всем жилым домам/работающим номерам, включенным в выборку, находится примерно в равном соотношении — 39% и 44%.
Коэффициент отказов (REF2) — отношение отказавшихся от участия в опросе людей от всех потенциально удовлетворяющих условиям выборки единицам наблюдения — в телефонном опросе в 2 раза выше (41%), чем
Таблица 5
ПОКАЗАТЕЛИ ДОСТИЖИМОСТИ В ОБЕИХ ВЫБОРКАХ
в маршрутной выборке (21%). Иными словами, личный контакт интервьюера существенно позволяет увеличить вероятность получения успешного интервью.
Несмотря на разные показатели достижимости в поквартирных и телефонных реализованных выборках, значимых отличий между контактами по стационарной и мобильной связи не наблюдается — доли отказов от числа установленных контактов в обоих типах связи примерно схожи — около 60% (табл. 6).
Установление квот на случайные вероятностные выборки является острым дискуссионным вопросом. В отношении данного спора на основе методического отчета можно заметить, что наличие квотной выборки, с одной стороны, позволяет предотвратить смещения, вызванные высоким уровнем отказа, с другой — также на треть увеличивает коэффициент недостижимости.
Изначальные предположения о том, что возможности телефонного опроса по варьированию времени звонка абоненту и перезвону в удобное для потенциального участника опроса время позволят увеличить достижимость респондентов, не оправдались. Данной опцией воспользовались менее 1% респондентов — как правило, в случае звонка в «неподходящий момент» абонент просил больше не перезванивать вовсе.
Низкие показатели достижимости телефонного опроса ставят вопрос о необходимо-
F2F TEL
RR1 (минимальный уровень достижимости) 12% 1%
RR3* (коэффициент ответов) 16% 2%
COOP1* (коэффициент кооперации) 43% 4%
№N2* (коэффициент контактов) 39% 44%
REF2* (коэффициент отказов) 21% 41%
* Коэффициент е (доля недостижимых адресов/номеров, удовлетворяющих условиям отбора) для телефонного опроса составил 0,620, для поквартирного 0,796.
Таблица 6
РЕЗУЛЬТАТЫ ДОЗВОНА В ВЫБОРКАХ ПО МОБИЛЬНЫМ И СТАЦИОНАРНЫМ ТЕЛЕФОНАМ (в процентном соотношении)
Показатели Не подходят по квоте Не подходит по возрасту (< 18 лет) Не проживает в Москве Отказ в ходе интервью Отказ от интервью Всего контактов
Мобильные телефоны 28% 0,1% 13% 1% 58% 5926
Стационарные телефоны 38% 0,3% 1% 3% 59% 12736
сти детального изучения смещений получаемой выборки с учетом характеристик тех категорий респондентов, которые соглашаются или отказываются от проведения интервью.
Для повышения доли эффективных контактов необходимо пересмотреть инструкции проведения отбора респондентов и увеличить число попыток дозвониться до абонентов из категории «не взяли трубки/занято» до 5-10 раз. Это позволит снизить совокупность набираемых номеров и уменьшить категорию «нет ответа», что приведет к увеличению общих показателей достижимости.
Цены и сроки
Согласно нашим гипотезам, сроки и стоимость телефонных опросов должны отличаться в меньшую сторону по сравнению с традиционными face-to-face опросами. Оценка проведенных работ показала, что данную гипотезу можно принять лишь отчасти.
Сроки проведения полевых работ действительно оказались вдвое ниже — 7 дней по сравнению с 14 днями для реализации поквартир-ного опроса. Сроки обоих проектов превзошли запланированные дедлайны в силу высокой недостижимости и сложности добора квот по отдельным группам респондентов.
Рыночная стоимость работ по проведению телефонного опроса с квотным заданием остается примерно на одном уровне с методом личного интервью при длине анкеты в 35 вопросов. При этом стоимость телефонного опроса существенно растет при увеличении длины анкеты, тогда как в поквартирном опросе стоимость полевых работ скорее определяется географией и размером выборки, нежели количеством вопросов анкеты. В результате при маршрутной выборке можно получить на 50-75% больше эмпирического материала для анализа без существенного увеличения стоимости полевых работ.
Вместе с тем, стоит заметить, что существенное удорожание стоимости работ телефонного опроса вызвало установление двухуровневых квот (пол-возраст и пол-образование), которое увеличило как сроки, так и время работы интервьюеров. В оценке стоимости работ также не учтены затраты на проведение контроля за сбором данных — в телефонном опросе эти расходы отсутствуют, тогда как при поквартирном опросе эти издержки включают организацию выборочного почтового и телефонного контроля.
Иными словами, при проведении исследований с анкетой небольшой длины телефонные
опросы действительно позволяют получить результаты в более короткий срок при аналогичной стоимости полевых работ традиционных поквартирных выборок. Но опросы лицом-к-лицу имеют преимущество перед телефонными выборками при необходимости проведения сложных анкет, требующих демонстрации визуальных материалов и большей продолжительности интервью.
Рассмотрев методические характеристики двух опросов, перейдем к сравнению полученных содержательных результатов при телефонной и поквартирной выборке.
Телефон vs «лицом-к-лииу»: сходства и различия двух выборок
Основная цель эксперимента состояла в сопоставлении двух независимых выборок и поиске различий по содержательным вопросам анкеты. Ожидается, что запланированный дизайн опроса с унифицированными формулировками и инструкциями анкеты с одинаковой основой выборки в схожий временной промежуток должен приводить к близким результатам.
Однако статистический анализ распределений выявил значимые различия в ответах на 19 из 27 содержательных вопросов анкеты1. При условии выравнивания выборочных совокупностей по демографии (пол, возраст, образование) подобные различия могут свидетельствовать о несовпадении основ выборки. Скажем, люди старших возрастных групп (55+), которых интервьюеры застали в момент опроса дома, имеют отличные оценки происходящего от респондентов с подобным демографическим профилем, согласившихся на участие в телефонном опросе (рис. 1).
Для описания выявленных расхождений в двух выборочных совокупностях остановимся на рассмотрении социально-демографических, экономических и политических характеристиках достигнутых интервьюерами респондентов.
Социально-демографический профиль респондентов
Социально-демографический профиль респондентов в силу заданных квот не имеет различий по половозрастным характеристикам
1 Для проверки гипотезы о совпадении непараметрических распределений двух независимых выборок был выполнен Mann-Whitney U-test, основанный на сравнении суммы рангов. Тест позволяет сравнивать распределения вопросов, измеренных на базе порядковых шкал. Уровень значимости для проверки гипотезы о равенстве распределений был взят за 5%.
Рисунок 1
СРАВНЕНИЕ ОТВЕТОВ НА ВОПРОС: «ЕСЛИ ГОВОРИТЬ В ЦЕЛОМ, ЧУВСТВУЕТЕ ЛИ ВЫ УВЕРЕННОСТЬ В ЗАВТРАШНЕМ ДНЕ?» СРЕДИ ОПРОШЕННЫХ В РАМКАХ ПОКВАРТИРНОГО (F2F) И ТЕЛЕФОННОГО (TEL) ОПРОСОВ ПО ВОЗРАСТНЫМ ГРУППАМ.
55 +
55 +
40-54
40-54
25-39
25-39
18-24
18-24
-: - 28: -
52
40
54
42 4
55
35
52
Ü46
ijj скорее да У скорее нет 3 затрудняюсь ответить
■ :66 ■
34
0%
20%
40%
60%
80%
100%
и полученному уровню образования. Для поиска признаков, которые могли бы выявить сходства и различия в образе жизни, потребительском и профессиональном статусе респондентов и их жизненной позиции, в анкете был задан ряд соответствующих вопросов.
Прежде всего, определим, в чем же полученные выборочные совокупности совпадают. Выборки телефонного и поквартирного опро-
са схожи по доле работающих и неработающих москвичей, по доле пользующихся интернетом и наличию стационарных и мобильных телефонов (табл. 7).
Одинакова доля тех, кто имеет заграничный паспорт — в обеих выборках эта доля составляет 65%. Владение иностранными языками в выборке телефонного опроса оказалось выше — более-менее свободно говорят хотя бы на одном
Таблица 7
НАЛИЧИЕ РАБОТЫ, МОБИЛЬНЫХ И СТАЦИОНАРНЫХ ТЕЛЕФОНОВ В ОБЕИХ ВЫБОРКАХ (доля в %)
Телефонный опрос
Поквартирный опрос
Не работаю 18 16
Не пользуюсь интернетом 30 28
Имею стационарный телефон 91 87
Имею мобильный телефон, 100 98
в том числе:
Пользуюсь 1 сим-картой 68 70
Пользуюсь 2 сим-картами 23 24
Пользуюсь 3 и более сим-картами 9 4
Таблица 8 НАЛИЧИЕ ЗАГРАНПАСПОРТА, ЗНАНИЕ ИНОСТРАННЫХ ЯЗЫКОВ И СООТНЕСЕНИЕ С ЕВРОПЕЙЦАМИ В ОБЕИХ ВЫБОРКАХ (доля в %)
Телефонный опрос Поквартирный опрос
Считаете ли Вы себя европейцем?
Скорее да 52 53
Скорее нет 41 37
Затрудняюсь ответить 7 10
Говорит более-менее свободно хотя бы на одном иностранном языке 44 26
Есть заграничный паспорт 66 65
иностранном языке в телефонном опросе 44%, тогда как среди опрошенных «лицом-к-лицу» таких только четверть. Тем не менее, самоопределение с европейским образом жизни среди респондентов обеих выборок совпадает — 52% москвичей идентифицируют себя «европейцами» в обоих опросах (табл. 8).
Выборка телефонного опроса отличается более высоким потребительским статусом и меньшим уровнем межличностного доверия. Так, 83% опрошенных по телефону разделяют позицию, что в отношениях с людьми нужно сохранять осторожность, и лишь 17% считают, что в обычной жизни людям можно доверять. Среди респондентов поквартирной выборки недоверчивы к другим — 67%, а доверяют окружающим — 31%.
В оценках материального положения выборка телефонного опроса смещена в высоко ресурсные группы. Сравнение с данными телефонных опросов москвичей других социологических компаний, также свидетельствует о различии в доле более богатых респондентов в сравнении с поквартирными и уличными опросами (рис. 2).
Опросы по месту жительства респондента ^асеЧо^асе), как правило, не захватывают самых бедных и самых богатых в силу труднодо-ступности их квартир — доля этих категорий в поквартирной выборке составляет по 6% каждая. Телефонный опрос в силу опосредованной коммуникации не имеет подобных ограниче-Рисунок 2
ПОТРЕБИТЕЛЬСКИЙ СТАТУС МОСКВИЧЕЙ В 4 РЕПРЕЗЕНТ
ний, однако доля домохозяйств, не имеющих ни мобильного, ни стационарного телефона среди малообеспеченных групп достигает почти 20%, что также уменьшает вероятность попадания их выборку.
Тем не менее, среди опрошенных по телефону доли этих крайних групп оказываются более чем вдвое выше — группа бедных составляет 13%, самых обеспеченных — 26%.
Сравнение разных типов выборок по данному признаку среди аналогичных опросов москвичей также позволяет фиксировать эту тенденцию — выборка поквартирного опроса охватывает наименьшую долю тех, кто может купить автомобиль (6%). Эта доля почти вдвое выше в выборках уличных опросов — 13%, но самая высокая именно в телефонных опросах.
Однако однозначно утверждать о смещениях выборок на основе данных опросов не представляется возможным. Отклонение выборок равновероятно может свидетельствовать о смещении достигаемых совокупностей как телефонной выборки, так и уличной или по-квартирной. Проверить состоятельность гипотезы о недоборе обеспеченных групп населения в опросах по месту жительства можно лишь при наличии объективных данных об истинном распределении генеральной совокупности. Российская статистическая служба таких оценок не производит, а прямые оценки доходов населения заведомо являются наиболее трудно-
$НЫХ ОПРОСАХ
Покватирный опрос (Левада-Центр, декабрь 2014, N=500)
Уличный опрос (Левада-Центр, август 2013, N=1000)
Телефонный опрос (Синовейт-Комкон, август-сентябрь 2013, N=11977)*
Телефонный опрос (Левада-Центр, декабрь 2014)
6: ::::::::::::::35:
25
денег не хватает даже на питание
на крупную бытовую технику хватает, но автомобиль купить не можем
&
на питание денег хватает, но одежду, обувь купить не можем
хватает на все, кроме дачи, квартиры
хватает на питание и одежду, но не на крупную бытовую технику
□ можем купить дачу, квартиру и пр.
* Данные рассчитаны в % от ответивших (без учета затруднившихся с ответом). Массивы по уличному и телефонному опросам августа-сентября 2013 представлены компаниями в рамках проекта «Открытое мнение: выборы мэра Москвы». URL: http://www.openopinion.ru/materials/otkrytoe_mnenie_ vybory_mera_moskvy/op_vybory_mer.html
9
измеримыми как для социологических обследований, так и для статистических служб.
Исследования зарубежных методологов также свидетельствуют о подобных смещениях выборок. Согласно методическому эксперименту по сравнению выборок телефонного, онлайн и поквартирного опроса, выборка опрошенных по телефону охватывала совокупность более обеспеченных и образованных респондентов в сравнении с опросом по выборке «лицом-к-лицу»1.
Исследования ведущей американской полл-стерской организации Pew Research Center, показывают, что выборки телефонных и по-квартирных опросов при общей схожести социально-демографических признаков — наличие детей, семейное положение, гражданство, наличие вредных привычек — крайне отличны по уровню гражданской активности. Доля участвующих в выборах, занимающихся волонтер-ством и благотворительностью респондентов в телефонной выборке оказывается заметно выше2.
Аналогичный эффект наблюдается и в рамках нашего эксперимента. Доля тех, кто в течение 12 месяцев работал волонтером, пере-
водил деньги на благотворительные цели или передавал вещи нуждающимся, почти в два раза превосходит эту долю в поквартирном опросе (табл. 9).
Таким образом, выборка телефонного опроса характеризуется более активным участием в гражданских инициативах, включает более обеспеченных москвичей. Как проявляются эти различия выборок в социально-политических вопросах и электоральных предпочтениях?
Социально-политический профиль
Социально-политический профиль респондентов телефонной выборки отражает большую вовлеченность в политические вопросы. Так, регулярно обсуждают с друзьями и коллегами политические темы 49%, а в выборке «лицом-к-лицу» лишь 26%. Более половины опрошенных по телефону (59%) с интересом следят текущими событиями в стране и мире, в поквартирном опросе — только 14%.
Респонденты телефонной выборки чаще пользуются Интернетом для того, чтобы следить за последними новостями и разбираться с тем, что происходит в стране и за рубежом (табл. 10).
Таблица 9
РАСПРЕДЕЛЕНИЕ ОТВЕТОВ НА ВОПРОС: «ПРИХОДИЛОСЬ ЛИ ВАМ ИЛИ НЕТ НА ПРОТЯЖЕНИИ ПОСЛЕДНИХ 12 МЕСЯЦЕВ..?» (% от опрошенных по столбцу)
Телефонный опрос Поквартирный опрос
работать волонтером, добровольцем, помогать людям 23 11
жертвовать, перечислять деньги на благотворительные цели 53 28
собирать, передавать вещи для пострадавших, нуждающихся 40 28
Таблица 10 ПОЛЬЗОВАНИЕ ИНТЕРНЕТОМ ПО РАЗЛИЧНЫМ ЦЕЛЯМ (% по столбцу, возможно несколько вариантов ответов)
Телефонный опрос Поквартирный опрос
чтобы найти нужную информацию 78 71
для покупки товаров и услуг 62 42
чтобы следить за последними новостями 59 47
чтобы слушать музыку 52 36
для просмотра фильмов 50 44
чтобы разобраться, что происходит в стране и за рубежом 48 33
для чтения книг 43 26
для общения 28 50
для развлечения 25 37
не пользуюсь Интернетом 18 16
1 SzolnokiG., HoffmannD. Online, Face-to-Face and Telephone Surveys -Comparing Different Sampling Methods in Wine Consumer Research//Wine Economics and Policy, V. 2, I. 2, December 2013, P. 57-66.
2 Accessing the Representativeness of Public Opinion Surveys / The Pew Research Center for the People & the Press, 2012. URL: http://www. people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/
Однако их вовлеченность в политическую тематику фактически никак не отражается на социально-политических вопросах и электоральных предпочтениях опрошенных. Так, одобрение деятельности Президента РФ совпадает с точностью до десятых между респон-
дентами обеих выборок и составляет 83,6% (табл. 11).
Представления о таких демократических процедурах, как избираемость политиков на уровне субъектов и местного самоуправления, схожи в обоих опросах — среди опрошенных обоими методами преобладающим мнением является возвращение народных выборов кандидатов на пост губернаторов вместо их прямого назначения.
Единую позицию относительно важности развития демократии в равной степени разделяют респонденты и телефонного, и поквартир-ного опроса — более 68% считают, что России нужна демократия, около 20% придерживаются противоположного мнения.
Явка, прошлые и будущие выборы
Для изучения электорального поведения важную роль играет оценка явки на выборы. По данным обоих опросов заявленная респондентами явка на последние президентские выборы оказалась завышенной. Согласно официальным данным ЦИК, явка по Москве на выборах 2012 года составила 58,1%. В телефонном опросе о своем участии в голосовании заявили 71%, в поквартирном опросе — 66% (при исключении 7% отказавшихся отвечать на данный вопрос эта доля также составит 71%).
Причинами переоценки явки в поствыборных опросах могут быть несколько явлений — как склонность людей давать социально одобряемые ответы и чаще сообщать об участии
Таблица 11
РАСПРЕДЕЛЕНИЕ ОТВЕТОВ НА ВОПРОСЫ СОЦИАЛЬНО-ПОЛИТИЧЕСКОГО БЛОКА (% по столбцу)
в выборах, даже если в них не голосовал, так и смещение выборки в сторону политически более активного населения.
Как показывают ежемесячные поквартир-ные омнибусы Левада-Центра1, доля тех, кто положительно отвечал на вопрос об участии в выборах, всегда оказывается устойчиво выше официальной на 4-5%. Для минимизации этого эффекта используются методы «ремонта» выборки для выравнивания распределений на основе статистических макроданных.
Данные двух опросов без взвешивания в разрезе голосования за определенных кандидатов также отражают несоответствие результатам ЦИК — доля сообщивших, что их выбором на пост президента был Владимир Путин, оказывается на 20% выше при телефонном опросе и на 10% — при опросе «лицом-к-лицу» (табл. 12).
Если же сравнивать электоральные предпочтения респондентов по парламентским выборам, то измерение результатов условного голосования в ближайшее воскресенье по обоим опросам позволяет получить идентичные распределения ответов — единственной партией, по которой наблюдаются расхождения является ЛДПР, однако эти различия не выходят за пределы ошибки выборки.
Иными словами, несмотря на завышенные оценки результатов прошедших президентских выборов по данным обеих методик опроса, в текущих электоральных предпочтениях и телефонный, и поквартирный опрос сходятся.
Телефонный опрос Поквартирный опрос
Не могли бы вы сказать, вы в целом одобряете или не одобряете деятельность Владимира Путина на посту
Президента России?
Одобряю 83,6
Не одобряю 16,4
Нет ответа 0,0
Как вы считаете, губернаторы регионов должны...
83,6 16,2 ,2
избираться населением 62
избираться депутатами местных парламентов 7
назначаться из Москвы 18
затрудняюсь ответить 13
Как вы думаете, России демократия... ?
скорее нужна 70
скорее не нужна 20
затрудняюсь ответить 10
71 7 12 10
68 17 15
1 Подробнее о методологии омнибуса см. http://www.levada.ru/ omnibusnyi-opros
Остановимся на анализе данных после «ремонта» выборок. Взвешивание по президентскому голосованию позволяет скорректировать выборки по явке и выбору того или иного кандидата в соответствии с данными ЦИК. Введение подобных весов занижает долю сторонников Путина и увеличивает представительность электората парламентской оппозиции. Распределение ответов респондентов до и после взвешивания на вопросы социально-политического или социально-экономического блока не приводит к значимым различиям. Введение весовых коэффициентов увеличивает долю индивидов, мало интересующихся ситуацией в стране, текущими новостными поводами и общественно-политическими вопросами, которые чаще склонны выражать отказ от участия в исследованиях общественного мнения.
В рамках анкеты данного проекта единственному изменению подвергся рейтинг президента — перепредставленность голосующих за Путина в выборке телефонного опроса после «ремонта» приводит к снижению одобрению деятельности первого лица до 73% и до 80% в поквартирном опросе (табл. 12). Однако данное снижение обусловлено не столько ростом доли антипутинских настроений, сколько увеличением доли равнодушных ко всему граждан.
Использование весовых коэффициентов является дискуссионным вопросом, поскольку при наличии систематических ошибок измерения, взвешивание может лишь усугубить перекос выборки. Учитывая отсутствие статистически значимого влияния весовых коэффициентов на абсолютное большинство вопросов анкеты, взвешивание по президентскому
Таблица 12
РАСПРЕДЕЛЕНИЕ ОТВЕТОВ РЕСПОНДЕНТОВ ПО ЭЛЕКТОРАЛЬНЫМ ПРЕДПОЧТЕНИЯМ (% по столбцу)
Невзвешенные данные
Взвешенные данные
TEL F2F т F2F
Голосовали ли Вы на выборах Президента России в марте 2012 года?
Да 71 66 58 54
Нет 29 27 42 39
Не помню/Не хочу отвечать 0 7 - 7
За кого Вы проголосовали на выборах 4 марта в 2012 году - или Вы унесли, испортили бюллетень?
Геннадий Зюганов 4 10 18 18
Владимир Жириновский 3 6 6 6
Сергей Миронов 2 5 5 5
Михаил Прохоров 8 6 19 19
Владимир Путин 69 59 43 43
Унес(ла), испортил(ла) бюллетень 3 1 2 2
Не помню/Не хочу отвечать 11 14 8 9
Если бы в ближайшее воскресенье проходили выборы в Государственную Думу, приняли бы Вы участие в этих вы-
борах, и если да, за какую партию Вы бы проголосовали?
Единая Россия 27 27 22 21
Коммунистическая партия (КПРФ) 7 8 10 10
Либерально-Демократическая партия России (ЛДПР) 7 4 6 4
Справедливая Россия 2 3 2 3
Яблоко 2 1 2 1
Республиканская партия России - ПАРНАС 1 1 2 1
Партия прогресса 1 1 1 1
Другое 4 3 2 3
против всех 4 5 6 6
Не стал(а) бы принимать участие в этих выборах 30 24 33 27
Затрудняюсь ответить 15 25 14 23
Одобряете ли Вы или не одобряете деятельность Президента России?
Одобряю 84 84 73 80
голосованию можно считать избыточным при изучении вопросов, не связанных с оценками электоральных предпочтений и прогнозирования результатов выборов.
Иными словами, гипотеза о наличии различий в социально-политическом профиле отчасти находит свое подтверждение. Эксперимент показывает, что те, кто согласился на участие в телефонном опросе, оказываются более вовлеченными в общественно-политическую жизнь — чаще интересуются информацией о текущих событиях в России и мире, занимаются ее целенаправленным поиском и/или обсуждают с друзьями и коллегами. Однако большая активность в данном направлении не находит отражения в политических предпочтениях опрошенных. В результате их оценки являются схожими с ответами менее заинтересованных в политике респондентов, достигнутых маршрутным методом.
Выводы
Реализация данного методического эксперимента по сравнению двух выборок телефонного и поквартирного опроса позволяет сделать лишь предварительные выводы о выявленных особенностях данных методик. Относительно поставленных исследовательских гипотез можно заключить следующее:
♦ Достижимость выборки телефонного опроса является крайне низкой даже на фоне снижающегося уровня ответов в поквартир-ном опросе. Однако составление выборок для телефонных опросов сопряжено с рядом технических ошибок, что приводит к занижению реальной достижимости респондентов. Вместе с тем, доля отказов в телефонном опросе оказывается в 2 раза выше. Возможность перезвонить в более удобное для респондента время оказалась почти не востребованной и никак не отражается на достижимости респондентов — респондент или соглашается на интервью сразу (даже, если ему не совсем удобно сейчас говорить), или просит больше ему не перезванивать в принципе. Иными словами, при проведении личного интервью у интервьюера оказывается преимущество по получению согласия на участие в опросе и удержанию внимания респондента в ходе беседы.
♦ Достигнутые выборки оказались качественно разными по социально-экономическому профилю. При схожести общих социально-демографических характеристик (наличие работы, выход в интернет, наличие стационарного и мобильных телефонов, заграничного
паспорта) видны различия в сфере интересов, гражданской активности, знанию иностранных языков, потребительскому статусу.
♦ Телефонные выборки захватывают более активные группы населения. В этой связи можно предположить, что чаще соглашаются на проведение телефонного интервью те, кого интересуют опросы общественного мнения, кто больше вовлечен в обсуждение подобных вопросов. Напротив, индивиды с меньшим социальным капиталом реже идут на контакт и не принимают участие в опросе. Это приводит к завышению доли респондентов, проявляющих интерес к общественно-политическим темам.
♦ Более активная жизненная позиция респондентов телефонного опроса не приводит к различиям в образе мышления. Вовлеченность в обсуждение политических тем, поиск соответствующей информации в Интернете, зафиксированная в выборке телефонного опроса, практически никак не сказывается на политических установках респондентов. Распределения электоральных предпочтений оказываются схожими с данными поквартирного опроса, респонденты которого проявляют меньший интерес к подобным вопросам.
♦ Выборки стационарных и мобильных телефонов являются однородными. Наше предположение о том, что опрошенные по стационарным номерам будут больше схожи с выборкой поквартирного опроса, поскольку интервью и в том, и другом случае осуществляется только в случае присутствия респондента дома в отличие от опроса по мобильным телефонам, не подтвердилась. Выборки по мобильным и стационарным телефонам в равной степени значимо различаются с выборкой по-квартирного опроса по вопросам социально-экономического блока.
♦ Сроки проведения телефонного опроса оказываются меньше чем, для поквартирных выборок. Стоимость работ при обращении к сторонним САТ1-студиям не приводит к существенному снижению затрат при короткой анкете опроса. Однако, принимая во внимание проведение работ по всей России, а не по одной Москве, сокращение издержек может быть более значимым.
♦ Покрытие мобильной связью превышает 90% населения России даже в сельских населенных пунктах, что при отсутствии различий между выборками по стационарным и мобильным телефонам делает возможным проведение телефонных опросов, полностью основанных на выборке мобильных номеров.
Иными словами, предварительный анализ возможностей выборки телефонных опросов свидетельствует о том, что они позволяют репрезентировать электоральные предпочтения и социально-политические установки изучаемых совокупностей. Вместе с тем, данные типы выборок могут быть использованы для изучения специфических целевых групп — более политизированного населения или, например, высокодоходных групп респондентов. Тем не менее, данный метод опроса не может конкурировать с поквартирными опросами в соотношении «продолжительность-стоимость» интервью и при необходимости более сложного инструментария.
Для получения более надежных выводов относительно выявленных различий необходимо провести серию методических экспериментов, меняя способы построения обеих выборок. Для верификации данных методических наблюдений следующим шагом в проведении сравнений данных опросных методик будет построение телефонных выборок без установления квот, а также включение в сопоставление индикаторов, по которым есть данные статистиче-
ских служб. Это позволит оценить отклонение получаемых выборочных совокупностей от искомых значений величин.
Выявленные смещения телефонной выборки в сторону более активных групп населения делают актуальным проведение дополнительных исследований по изучению сформировавшихся пользовательских норм, связанных с телефонной коммуникацией. Несмотря на наличие мобильных телефонов у подавляющего большинства населения, достижимость индивидов может варьироваться ввиду различий в уровне пользования данными средствами связи. Насколько вероятно, что человек возьмет трубку, если ему звонят с незнакомого номера? Насколько достигаемы люди старших возрастов групп, если они не всегда берут мобильный телефон с собой? Данная особенность может иметь проявления и в том, что согласится на разговор с незнакомым человеком больше тот, кто в принципе более коммуникабелен. То, как подобные различия в пользовательских нормах телефонного общения взаимосвязаны с мнениями и оценками людей по изучаемым вопросам, нуждается в более детальном исследовании.
