CC BY
392
МЕТОДОЛОГИЯ И МЕТОДЫ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ
О ЗНАЧИМОСТИ ОШИБОК, ВОЗНИКАЮЩИХ ПРИ ИСПОЛЬЗОВАНИИ МЕТОДА ФОКУС-ГРУПП (по результатам поискового исследования)
И.В. Чеховский
Кафедра социологии Российский университет дружбы народов ул. Миклухо-Маклая, 10/2, Москва, Россия, 117198
Описывается поисковое эмпирическое исследование ошибок и трудностей, встречающихся при использовании метода фокус-групп в конкретных социологических и маркетинговых исследованиях. Также приводится иерархическая классификация возможных ошибок и даются краткие рекомендации, которые помогут избежать их возникновения в процессе применения метода на практике.
Ключевые слова: поисковое эмпирическое исследование, метод фокус-групп, ошибки.
Качественные методы в социологических и маркетинговых исследованиях, несмотря на длительную историю применения, в известной мере дискредитированы не только в глазах заказчика, но и в профессиональной среде. Такая ситуация сложилась в силу нескольких причин, среди которых можно выделить высокую долю субъетивизма в качественной методологии; изобилие исследований, проведенных некомпетентными специалистами; многообразие как в характере целей исследований, так и в непосредственных исследовательских практиках, которые препятствуют эффективной коммуникации даже социологов-качественников, если они работают в разных «жанрах»; использование качественных методов для решения несоответствующих задач, в результате чего достижение запланированных целей становится невозможным; несоответствующий поставленным целям метод исследования, ведущий к неверной реализации полевого этапа исследования.
Все это в полной мере касается и фокус-групповых исследований, что и делает столь актуальным исследование ошибок, возникающих в процессе применения метода фокус-групп. Несмотря на свою актуальность, проблема ошибок применения социологических методов на практике практически не затрагивается в социологической литературе.
Метод фокус-групп активно применяется при проведении маркетинговых и социологических исследований наряду с другими методами эмпирических ис-
следований. Особенности использования метода фокус-групп широко описаны в литературе [1—11; 13—17]. Вместе с тем существует ряд проблем, которым исследователи данной тематики практически не уделяют внимания. К ним, например, относятся проблемы, связанные с ошибками, возникающими в процессе реализации метода, и значимостью их влияния на результаты исследования. Отсутствие теоретического описания и классификации ошибок в специальной литературе вынуждает провести поисковое исследование, направленное на выявление возможных ошибок и степени их влияния на результат исследования. Ошибки — это те или иные отклонения от общепринятой процедуры исследования, которые влекут за собой значительное искажение результатов исследования или даже его срыв [1; 2; 4; 6; 9—11; 15; 17].
Исследование проводилось в два этапа. На первом этапе (март—апрель 2004 г.) была поставлена задача выявления возможных ошибок. Для ее решения использовался экспертный опрос и контент-анализ научной литературы по соответствующей проблематике. Так как исследование носило поисковый характер, мы ограничились опросом пяти экспертов, в качестве которых выступили модераторы, имеющие опыт работы не менее двух лет.
На втором этапе исследования (март—апрель 2006 г.) была поставлена задача определения степени влияния той или иной ошибки (группы ошибок) на конечные результаты исследования. Для этого использовался метод парных сравнений Л. Терстоуна с привлечением шести других экспертов — практикующих модераторов (опыт практической деятельности от двух до семнадцати лет). Выбор этого метода обусловлен возможностью определения дистанции между объектами ранжирования [12], в качестве которых выступили ошибки, что позволило решить задачу типологизации ошибок по значимости их влияния на результат исследования.
Следует особо подчеркнуть, что все эксперты, принявшие участие в исследовании, имеют высшее социологическое или психологическое образование и опыт работы в крупных исследовательских организациях.
В результате первого этапа был получен список возможных ошибок, который включал ошибки, возникающие на протяжении полного исследовательского цикла (от постановки целей и задач исследования до сдачи отчета). Ниже этот список представлен в систематизированном виде. Основанием классификации ошибок выступают этапы проведения исследования.
Ошибки, возникающие при использовании метода фокус-групп
Ошибки подготовительного этапа
Неверный выбор стратегии сбора данных (количественная vs качественная) Неправильный выбор метода исследования для решения поставленных задач Неправильная постановка целей и задач исследования Неверная постановка вопросов для рассмотрения на фокус-группе Некорректное определение выборки для фокус-группы Неправильное определение состава групп
Неадекватное исследованию количество фокус-групп (слишком много/мало) Неправильное определение географических мест проведения фокус-групп Неточности в скрининговой анкете
Перегрузка гайда и/или исследования целями и задачами Неверная структура гайда
Ошибки при наборе респондентов (рекрутменте)
Неадекватный выбор времени для проведения фокус-группы Неадекватный выбор места для проведения фокус-группы Неадекватная исследованию продолжительность работы фокус-группы
Организационно-технические
Ненадежная работа звуко- и видеозаписывающей аппаратуры Плохая организация встречи респондентов Непродуманное угощение участников фокус-группы
Отсутствие демонстрационных стимулов (если они предусмотрены исследованием) и их готовность к демонстрации Недостаточная материальная мотивация респондентов Отсутствие достаточного количества мест для участников фокус-группы Отсутствие достаточного количества канцелярских принадлежностей
Ошибки модератора
Неточное понимание целей и задач исследования Неверный выбор тактики работы с группой Влияние на мнения респондентов Недостаточное внимание при работе с группой
Неправильная формулировка вопросов (непонимание языка респондентов) Нелогичная последовательность вопросов
Неудачное/неравномерное распределение времени для высказываний среди респондентов
Проблема «сложных» (или трудных) респондентов «Сложные» по проведению фокус-группы
Ошибки респондентов
Преднамеренные Стремление респондента фальсифицировать свои ответы Отказ респондента отвечать на вопросы
Непреднамеренные Ошибочный ответ респондента Недостаток внимания при ответах на вопросы Недостаточная вовлеченность респондентов в работу группы
Логические ошибки
Ошибки противоречия
Ошибки в повествованиях и описаниях
Ошибки индукции и дедукции
Ошибки анализа
Анализ данных, которые вызывают у исследователя опасения относительно их надежности
Субъективизм интерпретации, вытекающий из односторонности анализа объекта
Поспешное обобщение данных, основывающееся на малом количестве случаев или неглубоком анализе каждого случая
Пренебрежение проверкой надежности информации всеми доступными способами
Пренебрежение проблемой памяти людей в изложении прошлых событий Поспешность выводов, основанных на первом впечатлении после фокус-группы
Для проведения процедуры ранжирования (второй этап исследования) было предварительно осуществлено агрегирование сорока пяти ошибок, вошедших в полный список. В результате сформировалось 16 объектов ранжирования. Необходимость агрегирования возникает из-за невозможности оценки значимости большого числа объектов ранжирования экспертами. С ростом числа объектов (Щ резко возрастает число парных сравнений (Щ(Щ - 1)/2). В итоге объектами ранжирования выступили следующие ошибки:
1) неверно поставленные цели и задачи исследования;
2) в группе присутствуют не те респонденты (по причине некорректного определения выборки и/или ошибок в скринере и/или ошибок в процессе рекрутмента и т.д.);
3) слишком продолжительная по времени фокус-группа (по причине перегрузки исследования задачами и/или различных ошибок модератора и т.д.);
4) проблемы, связанные с организационными моментами (например, встреча респондентов, их угощение, вознаграждение, место проведения, канцелярские принадлежности, аудио-, видеозапись, стимульный материал и т.д.);
5) модератор плохо понимает цели и задачи исследования, в результате чего он может неправильно формулировать свои вопросы и/или будет задавать уточняющие вопросы не там, где это необходимо, и/или последовательность вопросов будет нелогична и т.д.;
6) модератор выбирает неверную тактику работы с группой (либо слишком авторитарно, либо слишком либерально);
7) модератор влияет на мнения респондентов;
8) модератор недостаточно внимателен при работе с группой;
9) проблемы, связанные со «сложными» респондентами (доминирующий респондент; робкий респондент; респондент-эксперт; многословный респондент; неадекватный респондент; стеснительный респондент; слишком позитивный респондент; негативно настроенный респондент; враждебный респондент; прерывающий респондент; спрашивающий респондент и т.д.);
9) проблемы, связанные со «сложными» по проведению фокус-группами (группы с мужчинами 40—50 лет; группы с высокостатусными респондентами;
группы с непотребителями; группы, перегруженные задачами; группы, тематика которых имеет узкоспециальный характер и т.д.);
10) ошибочные ответы респондентов на вопросы модератора (могут быть как преднамеренными, так и непреднамеренными);
11) недостаточная вовлеченность респондентов в работу группы (по причине отсутствия мотивации, усталости и т.д.);
12) анализ данных, которые вызывают опасения относительно их надежности;
13) субъективизм интерпретации данных, вытекающий из односторонности анализа объекта;
14) поспешное обобщение данных, основывающееся на малом количестве случаев или неглубоком анализе каждого случая;
15) пренебрежение проблемой памяти людей при анализе данных (даты, детали событий, хронология и т.д.).
Процедура ранжирования осуществлялась следующим образом. Экспертам объяснялись цели и задачи проводимого исследования, затем предъявлялись две карточки с нанесенными на них объектами ранжирования и предлагалось ответить на следующий вопрос: «Скажите, пожалуйста, какая из этих двух ошибок, по вашему мнению, может оказать более негативное влияние на результаты исследования, проводимого методом фокус-групп?» Каждый эксперт произвел 120 парных сравнений.
Результаты по всем экспертам объединялись и вычислялись значения показателя ^-средняя по всем экспертам «значимость влияния» ошибки, затем определялся ранг ошибки (табл.).
Таблица
Значимость ошибок
Показатель Ранг ошибки
1 2 3 4 5 6 7 8 9 10 11 12 13 13 14 15
Значимость ошибки (К) 17,3 16,1 15,9 11,9 11,1 10 9,9 9,6 9,2 8 5,8 5,7 5,1 5,1 1,7 1,6
Номер ошибки п 1 п5 п2 п6 п14 п8 п15 п7 п13 п4 п10 п9 п3 п12 п16 п 11
Графически дистанции между ошибками по значимости их влияния на результаты представлены на рис., из которого видно, что все ошибки образуют четыре группы по степени влияния на конечный результат:
л11 л16 п 12 пЗ п9л10 п4 л13 п7\ п8 п14 лб п2 л5 л1
І І І І І І І І І І І І І І І І І І І I
О 5 10 15
Таким образом, в результате по парного сравнения ранжирования и анализа рисунка можно заключить, что ошибки, возникающие при проведении исследований методом фокусированных групповых интервью, объединяются в четыре группы по степени их значимости.
В первую и наиболее значимую группу вошли три ошибки:
— неверно поставленные цели и задачи исследования (п 1);
— модератор плохо понимает цели и задачи исследования (п5);
— на группе присутствуют не те респонденты (п2).
Следует отметить, что п1 значительно (на 1,2 ед.) опережает п5 и п2, что вполне закономерно и логично, поскольку правильно поставленные цели и задачи имеют ключевое значение при проведении исследований с использованием любых методов [1. С. 110], а неверная их постановка приводит к тому, что в результате исследователь не получает ответов на интересующие его вопросы [9. С. 63— 68]. Избежать проблем на данном этапе может помочь тщательный анализ объекта и предмета исследования, специальной литературы, схожих по тематике исследований, а также подробное обсуждение всего проекта с коллегами, экспертами и/или заказчиком исследования, если таковой имеется.
Если же модератор плохо понимает правильно поставленные цели и задачи исследования (п5) [13] или на группе присутствуют не те респонденты (п2) [10. С. 121], то эффективность и результативность проводимой фокус-группы может снизиться практически до нуля [1. С. 134; 9. С. 79]. Уменьшить риск возникновения подобных ситуации можно, уделив особое внимание подбору и инструктажу модератора, а также набору респондентов на всех этапах этого процесса.
Вторую группу составили семь ошибок:
— модератор выбирает неверную тактику работы с группой (п6);
— субъективизм интерпретации данных, вытекающий из односторонности анализа объекта (п14);
— модератор недостаточно внимателен при работе с группой (п8);
— поспешное обобщение данных, основывающееся на малом количестве случаев или неглубоком анализе каждого случая (п15);
— модератор влияет на мнения респондентов (п7);
— анализ данных, которые вызывают опасения относительно их надежности (п13);
— проблемы, связанные с организационными моментами (п4).
Данная группа, самая крупная из четырех имеющихся, состоит из ошибок модератора (п6, п8, п7), ошибок этапа анализа и интерпретации данных (п14, п15, п13) и проблем, связанных с организационными моментами исследования (п4).
Чтобы минимизировать риск возникновения этих ошибок, модератор должен верно выбрать тактику работы с конкретной группой (п6) [1. С. 158; 8; 10. С. 110;
13], правильно распределять внимание в процессе работы и оптимально рассчитывать свои силы (п8) [1. С. 158—163; 13], а также стремиться минимизировать свое влияние на мнения респондентов (п7) [1; 10. С. 115].
Для исследователя важно помнить о необходимости остерегаться субъективизма интерпретации полученных данных (п14) [10. С. 290], например, путем триангуляции. Недопустимо поспешное обобщение данных исследователем, основывающееся на малом количестве случаев или неглубоком анализе каждого случая (п15) [3. С. 136], и анализ данных, которые вызывают опасения у исследо-
вателя относительно их надежности (и 13) [10. С. 97]. Это означает, что исследователь обязан тщательно и кропотливо проверять полученную от респондентов информацию всеми доступными ему средствами и всеми возможными способами.
Замыкает вторую группу, образуя отдельную часть (с отрывом в 1,2 ед.) п4 — организационные моменты исследования. Проблемы, связанные с организационными моментами, имеют важное значение в процессе исследования [1. С. 100— 109]. Однако, как показало исследование, эксперты не придают ему первостепенного значения, поскольку, даже если трудности и возникли, всегда можно найти выход.
Достаточно большой опасностью, на наш взгляд, могла являться частичная или полная потеря аудио- и/или видеозаписей фокус-группы. Тем не менее, и данная проблема разрешима, поскольку чаще всего модератору помогает ассистент, который делает заметки или полностью конспектирует фокус-группу, а сам модератор может восстановить некоторые части фокус-группы по памяти. Таким образом, потеря записей одной из серии фокус-групп не представляет большой опасности для исследования в целом.
Организационным моментам исследования следует уделять особое внимание, так как они являются важной составной частью успеха всего полевого этапа исследования. Например, если исследователь не будет проверять качество записи после каждой группы, то существует риск потери всего материала, что не может не повлиять на итоговый результат исследования и выразится в значительном искажении результатов.
Третью группу образовали следующие ошибки:
— связанные со «сложными» по проведению фокус-группами (п10);
— связанные со «сложными» респондентами (п9);
— слишком продолжительная по времени фокус-группа;
— недостаточная вовлеченность респондентов в работу группы (п12).
Эта группа образована четырьмя ошибками, две из которых связаны со «сложными» фокус-группами (п10) и со «сложными» респондентами (п9) [9. С. 55— 58]. Эти ошибки имеют вес 5,8 и 5,7 ед. и различаются в весе всего на 0,1 ед., из чего можно сделать вывод, что эксперты не видят в этих моментах большой разницы и большой опасности для исследования в целом. Однако успешная работа со «сложными» респондентами и группами возможна только в случае участия в исследовании опытных и компетентных модераторов.
Две следующие ошибки в данной группе, имеющие одинаковый вес (5,1 ед.): слишком продолжительная по времени фокус-группа (п3) [3. С. 134] и недостаточная вовлеченность респондентов в работу группы (п12) [1. С. 214; 9. С. 85; 10. С. 63]. Ошибка п3 может возникать в двух случаях: во-первых, когда при планировании полевого этапа исследования не учитывается баланс между задачами исследования и его масштабом, что обязательно приведет к перегрузке фокус-групп задачами, а следовательно, к затягиванию их во времени. Здесь необходимо помнить, что результативная работа респондентов возможна в течение 1,5—2 часов. Более длительные группы не дадут достаточно качественного для анализа мате-
риала. В случае крайней необходимости возможно увеличение продолжительности группы при более тщательном отборе респондентов, подготовке и внесению значительных изменений в процедуру метода (перерывы, расслабляющие блоки в гайде, различные двигательные упражнения и т.д.). В ином случае ситуация затягивания фокус-группы во времени может быть связана с неквалифицированной работой модератора, о чем уже упоминалось.
Четвертая группа состоит из двух наименее важных, по мнению экспертов, ошибок: пренебрежение проблемой памяти людей при анализе данных (я 16); ошибочные ответы респондентов на вопросы модератора (п 11). По мнению экспертов, проблемы, связанные с правдивостью ответов респондентов, менее значимы по той причине, что проконтролировать искренность практически невозможно [9. С. 59]. Проблема искренности ответов респондентов существует в любом социологическом исследовании, однако она практически неразрешима (парадокс Ла-Пьера). Данные ошибки необходимо постараться минимизировать на подготовительном этапе исследования или исправить их в процессе интерпретации и анализа полученных данных, например, путем использования аналитической триангуляции.
Результаты проведенного исследования наглядно показывают, что при использовании метода фокус-групп первостепенное значение имеют правильно поставленные цели и задачи исследования (что в принципе соотносится с любыми исследовательскими методами). Следует уделить особое внимание взаимодействию с модератором (т.е. правильно выбрать модератора и/или точно проинструктировать его) и набору респондентов на фокус-группу. И это действительно ключевые моменты в исследовании методом фокус-групп, поскольку все последующее можно скорректировать в процессе работы.
ЛИТЕРАТУРА
[1] Белановский С.А. Метод фокус-групп: Учебное пособие. — М., 2001.
[2] Богомолова Н.Н., Фоломеева Т.В. Фокус-группы как метод социально-психологического исследования. — М., 1997.
[3] Дмитриева Е.В. Метод фокус-групп: проблемы подготовки, проведения, анализа // Социологические исследования. — 1999. — № 8.
[4] Дмитриева Е.В. Фокус-группы в маркетинге и социологии. — М.: Центр, 1998.
[5] Колбин Г.А., Фросина И.В. Фокус-группы на предприятии // Социологические исследования. — 1999. — № 2.
[6] Крюгер Р., Кейси М.Э. Фокус-группы. Практическое руководство. — М., 2003.
[7] Левинсон А.Г., Стучевская О.И. Фокус-группы: эволюция метода (обзор дискуссии на конференции ESOMAR) // Мониторинг общественного мнения. — 2003. — № 1.
[8] Маслова С. Роли модератора фокус-групп. Возможности и границы // Прикладной маркетинг. — 2001. — № 2.
[9] Мельникова О.Т. Фокус-группы в маркетинговом исследовании: Методология и техники качественных исследований в социальной психологии: Учеб. пособие. — М., 2003.
[10] Мельникова О.Т. Фокус-группы: Методы, методология, модерирование: Учеб. пособие. — М., 2007.
[11] Мертон Р., Фиске М., Кендалл П. Фокусированное интервью / Пер. с англ. / Под ред. С.А. Белановского. — М., 1991.
[12] Татарова Г.Г. Методология анализа данных в социологии. — М.: NOTA BENE, 1999.
[13] Фоломеева Т.В. Вклад модератора в эффективность фокус-группы // Маркетинг и маркетинговые исследования. — 2001. — № 2.
[14] Фоломеева Т.В. Использование проективных методик для повышения эффективности фокус-групп // Социология: 4М. — 2003. — № 17.
[15] Handbook of qualitative research / Denzin N., Lincoln Y. (eds.). — Thousand Oaks, 1994.
[16] Krueger Richard A., Casey Mary Anne. Focus groups: a practical guide for applied research / Sage Publications, Inc. — Thousand Oaks-London-New Delhi, 2000.
[17] Silverman D. Doing qualitative research. А practical handbook. — London, 2000.
THE SIGNIFICANCE OF ERRORS INDUCED BY THE FOCUS GROUP METHOD IMPLEMENTATION (the results of the survey research)
I.V. Chekhovskii
Sociology Chair Peoples’ Friendship University of Russia
Miklukho-Maklai str., 10/1, Moscow, Russia, 117198
The paper examines the empirical survey research devoted to the analysis of errors and difficulties emerging in the process of the focus group method implementation in case sociological and marketing research. The possible errors hierarchical classification is provided as well as schematic guidelines are outlined which can be instrumental in preventing their rise in the process of the practical implementation of the method.
Key words: empirical survey research, focus group method, errors.
