CC BY
58Ц ТЕОРИЯ И МЕТОДОЛОГИЯ
С. С. ДЕМБИЦКИЙ
КОНСТРУИРОВАНИЕ И ВАЛИДИЗАЦИЯ СОЦИОЛОГИЧЕСКОГО ТЕСТА SCL-9-NR
Аннотация. В статье представлены результаты конструирования и валидизации социологического теста SCL-9-NR, предназначенного для измерения психологического дистресса в массовых опросах и являющегося сокращенной и модифицированной версией SCL-90-R. Теоретическая валидность SCL-9-NR основывается на концептуальном подходе, заложенном в SCL-90-R: описании симптомов различных психиатрических расстройств, полученном в результате профессиональной практики специалистов психиатрического профиля. При отборе индикаторов SCL-90-R для SCL-9-NR во внимание была принята сила их связи с глобальным индексом дистресса (GSI) и с индексом своей подшкалы. В качестве основы анализа выступил объединенный массив трех общенациональных опросов на Украине в 1997, 1999 и 2014 гг. Было принято решение изменить формулировки методики (задание респондентам и шкала ответов) с целью приведения их в соответствие с социологической спецификой.
Эмпирическая валидизация включила анализ характера распределения индекса (графики квантилей, тест Шапиро — Уилка), критериальную валидизацию (сбор и анализ информации в группах, подверженных психологическому дистрессу), конструктную валидизацию (регрессионный анализ на основании данных репрезентативных исследований). Дополнительно была оценена внутренняя согласованность (Альфа Кронбаха) и ретестовая надежность методики (тест-ретест). Для решения задач эмпирической валидизации и оценки надежности был проведен ряд методических исследований, также тест SCL-9-NR был включен в общенациональный опрос в 2016 году. Соответствующие результаты показали высокий уровень эмпирической валидности и надежности методики. Сравнительная валидность методики была продемонстрирована на основании сравнения показателей SCL-9-NR и К10 Р. Кесслера. Для этого использовались результаты бинарной классификации (ROC-шrve).
Дембицкий Сергей Сергеевич — кандидат социологических наук, старший научный сотрудник, отдел методологии и методов социологии, Институт социологии НАН Украины. Адрес: 01021, Киев, ул. Шелковичная, д. 12, каб. 313. Телефон: +38 (044) 253-05-80. Электронная почта: [email protected]
Заключительной частью методической работы стало выделение критериальных уровней SCL-9-NR. На основании соответствующего анализа сделан вывод, что границей повышенного психологического дистресса является показатель в 13 баллов, высокого — в 17 баллов.
Ключевые слова: психологический дистресс; социологический тест; валидность; надежность.
Для цитирования: Дембицкий С.С. Конструирование и валидизация социологического теста SCL-9-NR // Социологический журнал. 2018. Том 24. № 3. С. 8-31. DOI: 10.19181/socjour.2018.24.3.5991
Введение
В своей недавней статье мы обратились к вопросу использования в социологии комплексных измерительных инструментов [2]. Для того чтобы сделать положения указанной работы более отчетливыми, в представленной далее публикации проиллюстрированы конструирование и валидизация социологического теста, предназначенного для измерения психологического дистресса1.
При этом представленные результаты являются лишь одним из возможных вариантов разработки комплексных измерительных инструментов, а значит, не являются эталонными (хотя автору статьи сложно представить некий эталонный пример по причине разнообразия различных феноменов, подлежащих социологическому измерению).
Методики изучения психологического дистресса. С целью измерения выраженности психологического дистресса было разработано множество методик, но если говорить о тех из них, которые пригодны для широкого использования, можно выделить следующие:
— Beck Depression Inventory (21 индикатор) [9];
— Distress Disclosure Index (12 индикаторов) [16];
— General Health Questionnaire (четыре версии — 60, 30, 28, 12 индикаторов) [14];
— Center for Epidemiologic Studies Depression Scale (три версии — 20, 12, 8 индикаторов) [19];
1 Современное понимание психологического дистресса было детализировано в работе Ш. Риднер [20]. Она определяет психологический дистресс как уникальное эмоционально дискомфортное состояние, которое ощущается индивидом в ответ на специфический стрессор или сильную потребность в чем-либо и ведет к временным или постоянным негативным последствиям. При этом психологический дистресс характеризуется: ощущением неспособности эффективно справиться с проблемой; изменением в эмоциональном состоянии; дискомфортом; наличием негативных последствий, вызванных дискомфортом.
— Kessler Psychological Distress Scale (две версии — 10, 6 индикаторов) [17];
— Mental Health Inventor (38 индикаторов) [22];
— Perceived stress scale (две версии — 14, 10 индикаторов) [10];
— Symptom Checklist Revised (шесть версий — 90, 53, 27, 18, 14, 9 индикаторов) [11].
Русскоязычные версии этих методик доступны для Beck Depression Inventory [8, с. 169—172], General Health Questionnaire [15], CES-D2, Kessler Psychological Distress Scale3, Perceived stress scale4 и Symptom Checklist Revised [8, с. 155-168].
Вместе с тем ни одна из этих шкал не прошла полноценных ва-лидизационных проверок среди русско- и украиноязычных респондентов. Имея доступ к результатам использования полной версии Symptom Checklist Revised (далее — SCL-90-R) в трех украинских общенациональных опросах (1997, 1999, 2014 гг.), включающих как русско-, так и украиноязычных респондентов, мы разработали социологический тест психологического дистресса (SCL-9-NR), удовлетворяющий требованиям использования в массовых опросах.
Целью данной статьи является изложение основных результатов конструирования и валидизации SCL-9-NR. Поскольку рассматриваемый социологический тест реализован в виде индекса, далее в тексте статьи понятия «тест», «индекс» и «методика» рассматриваются в качестве синонимов.
Теоретическая валидность SCL-9-NR
По нашему мнению, основой теоретической валидности SCL-9-NR является содержание исходного теста, на основании которого он был разработан, — SCL-90-R. Теоретическая валидность последнего базируется на описании симптомов различных психиатрических расстройств, полученном в результате профессиональной практики специалистов психиатрического профиля. К сожалению, в рамках данной статьи мы не можем обратиться к разработке SCL-90-R более подробно5.
Особенности конструирования SCL-9-NR
Отбор индикаторов. Индикаторы SCL-9-NR отобраны на основании SCL-90-R. Для этого был использован подход Р. Клагхофера
2 См.: Shkala-oprosnik CES-D ^пИпе]. Accessed 09.11.2017. URL: <http://
therapy.irkutsk.ru/doc/cesd.pdf>.
3 См.: Kessler 10 // Transcultural Mental Health Centre [online]. Accessed
09.11.2017. URL: <http://www.dhi.health.nsw.gov.au/tmhc/K10/K10/default.
aspx>.
4 Dr. Cohen's Scales [online]. Accessed 09.11.2017. URL: <http://www.psy.cmu.
edu/~scohen/scales.html>.
5 Для этого см.: [11].
и Э. Брелера, которые отталкивались от силы взаимосвязи отдельных пунктов шкалы с глобальным индексом дистресса (081)6, по одному индикатору для каждой подшкалы [18].
При определении показателей для 8СЬ-9-КЯ во внимание была принята сила связи с 081 (г081) и с индексом своей подшкалы (г.). В качестве основы анализа выступил объединенный массив (К = 5689) на базе данных социологического мониторинга Института социологии НАНУ «Украинское общество» в 1997 и 1999 гг. (тест 8СЬ-90-Я включен в мониторинг по инициативе Н. Паниной), а также всеукраинского опроса совместного мониторинга Украинского института социальных исследований им. А. Яременко, Центра «Социальный мониторинг» и отдела мониторинговых исследований социально-экономических трансформаций Института экономики и прогнозирования НАН Украины в 2014 г. (по инициативе научного руководителя мониторинга О. Балакиревой). Для оценки силы связи использовался коэффициент корреляции Спирмена (см. табл. 1).
Таблица 1
Сила связи индикаторов SCL-9-NR c GSI и индексами своих подшкал
ф < 0,001)
Симптоматическое Индикатор
измерение та
Враждебность Легко возникающие досада или раздражение 0,61 0,75
Обсессивно- То, что Вам трудно сосредоточиться 0,64 0,71
компульсивное
расстройство
Депрессия Подавленное настроение, «хандра» 0,61 0,72
Межличностная То, что Ваши чувства легко задеть 0,63 0,72
сензитивность
Параноидальные идеи Чувство, что большинству людей нельзя доверять 0,53 0,75
Тревожность Ощущение напряженности или взвинченности 0,65 0,70
Соматизация Ощущение слабости в различных частях тела 0,69 0,76
Фобическая Нервозность, когда Вы оставались одни 0,56 0,68
тревожность
Психотизм Мысли о том, что с Вашим телом что-то не в порядке 0,57 0,67
Интегральный индекс на основе приведенных индикаторов (сумма) 0,91
Изменение формулировок методики. Было принято решение изменить формулировки методики с целью приведения их в соответствие
6 081 представляет собой сумму значений-ответов респондента по всем индикаторам 8СЬ-90-Я.
с социологической спецификой7. При этом мы исходили из необходимости «смягчения» методики таким образом, чтобы она не вызывала опасений респондентов и в дальнейшем не смещала результаты опроса в сторону меньших градаций шкалы. Такое итоговое решение может выглядеть неправильным с точки зрения рекомендаций по составлению инструментария в психодиагностике (см., напр.: [6, с. 96—101]). Вместе с тем автор статьи ориентировался на советы, приведенные в известной книге С. Садмена и Н. Брэдберна, посвященной теме конструирования социологического опросного инструментария [7]. Выбор в пользу социологии в данном случае обусловлен тем, что мотивация людей, пришедших к психологу за помощью и заполняющих методику по проблемам своего психологического здоровья, может быть совсем иная, чем у тех, к кому пришел интервьюер и предложил поделиться своими проблемами. Первые заинтересованы в определении своих проблем и их решении, вторые часто — в их сокрытии.
Для формулировки нового задания методики использованы следующие ориентиры (см.: [7, с. 65—96]):
— вопросы, которые затрагивают темы, вызывающие опасения, должны быть достаточно длинными;
— для формулировок необходимо использовать простой язык;
— при обсуждении таких тем лучше не задавать вопросов о положении дел в настоящий момент;
— необходимо обосновывать задаваемые вопросы хотя бы в общих чертах.
Для соответствия последнему требованию была выбрана техника «так поступает каждый» [7, с. 86]. В итоге задание в было
сформулировано следующим образом: «В связи с определенными жизненными ситуациями многие люди сталкиваются с различными переживаниями, ощущениями и мыслями. Ниже приведен перечень наиболее частых состояний такого рода. Оцените, как часто каждое из них было характерно для Вас в последнее время: никогда, изредка, периодически, почти постоянно».
Как видно, сначала упоминается уважительная причина возникновения состояний, связанных с психологическим дистрессом. Далее говорится, что такие состояния являются наиболее частыми. В конце акцент делается не на актуальном состоянии, а на состоянии в последнее время, что требует дополнительной аргументации. Мы исходим из того, что психологический дистресс относится к тому классу явлений, последствия которых не могут быть устранены в кратчайшие сроки (если, конечно, не применяются специальные медикаментозные препараты). Отсюда «последнее время» — это, по сути, тот промежуток
7 Более подробно об аргументации такого решения см.: [4, с. 52—54].
времени, который напрямую связан с актуальным психологическим состоянием индивида.
Таким образом, финальный вариант SCL-9-NR, использованный для валидизации, включал измененную формулировку задания, девять пунктов из девяноста первоначальных и 4-балльную шкалу вместо 5-балльной (см. Приложение).
Эмпирическая валидизация и проверка надежности методики
Дизайн. Для решения задач валидизации и проверки надежности методики был проведен ряд опросов.
С целью проверки специфики распределения индекса SCL-9-NR было осуществлено два онлайн-опроса (сбор данных произвела фирма Factum Group, г. Киев). Первый проведен 19 ноября 2015 г. среди жителей Киева, второй — 25—27 ноября 2015 г. среди жителей Львова. В каждом исследовании опрошено по 200 респондентов. Обе выборки построены на основании практически равных по размеру квот, сформированных по критериям пола (две категории) и возраста (три категории). Средний возраст респондентов в обоих случаях — 39 лет. Аналогичный опрос во Львове был проведен 17—19 мая 2016 г. с целью анализа прогностического потенциала методики и ее сравнения в этом аспекте с К10 Р. Кесслера. Средний возраст респондентов для этого массива равен 40 годам.
В рамках критериальной валидизации был осуществлен опрос среди пациентов Черниговской областной психоневрологической больницы (далее — ЧОПНБ; N = 181). Метод опроса — самозаполнение. Данный опрос также позволил проверить взаимосвязь значений методики с рядом важных параметров, среди которых социальная желательность. Сбор данных длился с 05.02.2016 по 04.04.2016. Количество мужчин и женщин в выборке равно, средний возраст — 44 года. В дальнейшем (с 25.05.2016 по 31.10.2016) в ЧОПНБ было дополнительно проведено 101 интервью с целью уточнения прогностического потенциала теста и его сравнения с К10 Р. Кесслера. Мужчин в выборке 52%, женщин — 48%, средний возраст — 42 года.
После получения первых результатов из ЧОПНБ, среди прочего показавших связь индекса SCL-9-NR со шкалой лжи MMPI, было принято решение о проведении дополнительного онлайн-опроса среди пользователей социальных сетей facebook.com и vk.com с целью проверки аналогичной взаимосвязи в группе обычных респондентов. Соответствующее исследование проводилось совместно с кафедрой методологии и методов социологических исследований Киевского национального университета им. Тараса Шевченко в период с 24.03.2016 по 27.03.2016 (N = 380). Мужчин в выборке — 28%, женщин — 72%, средний возраст — 25 лет.
Методика была включена в общенациональный мониторинговый опрос Института социологии НАНУ «Украинское общество» в июне
2016 г. (К = 1800). Метод опроса — самозаполнение. Соответствующие данные позволили осуществить конструктную валидизацию 8^-9-КЯ, а также расширить критериальную. Мужчин в выборке — 45%, женщин — 55%, средний возраст — 45 лет.
Специальный опрос в два этапа (с 1 по 5 сентября и с 26 по 30 сентября 2016 г.) был проведен с целью проверки ретестовой надежности методики (К = 61). Метод опроса — самозаполнение. Мужчин в выборке — 48%, женщин — 52%, средний возраст — 40 лет.
Характер распределения значений индекса. Распределение значений в обоих исследованиях визуально напоминает нормальное. Графики квантилей показывают отклонение от нормальности для высоких значений индекса (см. рис. 1). При этом результаты теста Шапиро — Уилка указывают на то, что распределение статистически значимо отлично от нормального как для исследования в Киеве (W= 0,98; p < 0,01), так и для исследования во Львове (W= 0,97;p < 0,01). Вместе с тем этот критерий очень чувствителен к размеру выборки — с ее увеличением вероятность отклонения нулевой гипотезы возрастает [13, р. 182—185].
Рис. 1. Гистограмма и графики квантилей для киевского (слева) и львовского (справа) онлайн-опросов
Чтобы проверить влияние размера выборки на результаты теста в нашем случае, были сформированы случайные выборки размером 100, 50 и 25 наблюдений по 1000 раз для каждого из двух исследова-
ний на основании их собственных массивов. Для каждой выборки был использован критерий Шапиро — Уилка, что позволило определить количество случаев, в которых принимается нулевая гипотеза (п > 0,05). На основании этих результатов можно оценить соответствие распределений нормальному (см. табл. 2).
Таблица 2
Результаты использования критерия Шапиро — Уилка для выборок различного размера, п > 0,05 (онлайн-опросы)
Размер выборки Киев Львов
100 467 из 1000 349 из 1000
50 764 из 1000 659 из 1000
25 875 из 1000 782 из 1000
Как видно на выборке в 25 наблюдений, нулевая гипотеза подтвердилась в 87,5% случаев для киевского исследования и в 78,2% — для львовского. Аналогичная проверка была осуществлена в отношении результатов использования SCL-9-NR в общенациональном мониторинговом опросе Института социологии НАН Украины в 2016 г. Для сравнения также были взяты результаты использования девяти соответствующих индикаторов из оригинальной методики Л. Дерогатиса (SCL-90-R), которая использовалась в волне 1999 г. того же мониторингового исследования (см. табл. 3).
Таблица 3
Результаты использования критерия Шапиро — Уилка для выборок различного размера, п > 0,05 (общенациональные опросы)
Размер выборки 1999 2016
100 0 из 1000 457 из 1000
50 39 из 1000 809 из 1000
25 369 из 1000 901 из 1000
Очевиден факт того, что изменение формулировок методики существенно повлияло на характер распределения, ставшего значительно ближе к нормальному.
Критериальная валидизация БСЬ-9-МЯ: вводные положения. В основании критериальной валидизации теста лежит идея, согласно которой отдельные группы пациентов психоневрологической больницы должны показывать более высокий уровень психологического дистресса в сравнении с другими группами пациентов, а также простыми респондентами8. При этом основной способ группировки пациентов — на основании лечебных центров. Рассмотрим их детальнее.
8 Более подробно об идее этого критериального сравнения см.: [5, с. 102—106].
В центре острых психических и поведенческих расстройств на лечении находятся пациенты с острой психотической симптоматикой, выраженными агрессивными тенденциями по отношению к себе и окружающим, а также склонностью к импульсивным поступкам. Такие пациенты требуют усиленного наблюдения и активной фармакотерапии. По понятным причинам опрос данной категории пациентов проводился на завершающей стадии их лечения. С учетом использования фармакотерапии ожидалось, что такие пациенты не продемонстрируют высоких значений при использовании
Центр стационарной лечебно-реабилитационной помощи предназначен для лечения хронически больных пациентов с выраженными дефицитарными изменениями личности, сформированным дефектом личности по основному диагнозу, которые требуют терапии обострения психического расстройства и проведения активной социально-трудовой реабилитации. С точки зрения психологических переживаний данная группа демонстрирует эмоциональное оскудение, апатию и эмоциональную тупость, что также указывало на возможность получения умеренных значений
В центре лечения психосоматических расстройств, неврозов, пограничных и кризисных состояний находятся пациенты без выраженных нарушений нормального функционирования психики, то есть без выраженной декомпенсации. При этом пациенты поступают в центр по собственному желанию, и далее используется режим «открытых дверей», то есть пациенты сами определяют график своего пребывания в центре. В целом эта группа характеризуется повышенным вниманием к своим психологическим переживаниям, что позволяло предполагать получение высоких значений
Далее сравниваются результаты онлайн-опросов в Киеве и во Львове (совмещенный массив), опроса в ЧОПНБ и онлайн-опроса среди пользователей социальных сетей.
Критериальная валидизация SCL-9-NR: общий уровень выраженности психологического дистресса в различных группах9. Прежде всего рассмотрим уровень психологического дистресса среди различных групп пациентов ЧОПНБ. Как и предполагалось, наивысший дис-
9 Прежде чем сравнивать различные группы респондентов, мы проверили влияние на значения 8СЬ-9-КЯ таких факторов, как возраст, время пребывания в стационаре и социальная желательность (измерялась с помощью шкалы лжи ММР1), поскольку они могли исказить результаты критериального сравнения. В результате выяснено, что единственным фактором, влияющим на значения является социальная желательность,
что и не удивительно, учитывая традиционную сензитивность темы здоровья в массовых опросах. По этой причине результаты шкалы лжи были включены в дальнейший анализ в качестве ковариаты. Более подробно см.: [5, с. 108-110].
тресс демонстрируют пациенты центра лечения психосоматических расстройств, неврозов, пограничных и кризисных состояний, в то время как в двух других группах этот показатель значительно ниже. При этом, если рассматривать центры по отдельности, показатели женщин несколько выше, чем у мужчин (см. табл. 4). Результаты соответствующего двухфакторного ковариационного анализа (в качестве ковариаты использованы показатели шкалы лжи; все переменные рассматриваются как независимые) подтверждают влияние социальной желательности ^ = 16,9; df = 1;p < 0,001), лечебного центра ^ = 11,4; df = 2; p < 0,001) и пола (Г = 6,4; df = 1; p < 0,05). Уточненный R2 для этой модели составляет 19,4%.
Таблица 4
Средние значения SCL-9-NR в различных группах пациентов ЧОПНБ
Пол респондентов
Центр мужской женский
X X
- острых психических и поведенческих расстройств 10,1 4,7 12,8 5,1
- стационарной лечебно-реабилитационной помощи 9,6 4,9 12,8 4,6
- лечения психосоматических расстройств, неврозов, пограничных и кризисных состояний 14,8 7,0 15,2 4,2
Выраженные различия в уровне психологического дистресса наблюдаются у пациентов с различными категориями психических расстройств. Поскольку в данном случае выборка не сбалансирована, результаты приведены без разделения по полу (см. табл. 5). В этом случае результаты двухфакторного ковариационного анализа (в качестве ковариаты использованы показатели шкалы лжи; все переменные рассматриваются в качестве независимых) опять указывают на статистически значимое влияние всех объясняющих переменных — социальной желательности ^ = 18,6; df = 1;p < 0,001), категории психического расстройства ^ = 10,9; df = 4; p < 0,001) и пола ^ = 8,2; df = 1; p < 0,01). Уточненный R2 для этой модели равен 26,9%.
При анализе значений 8СЬ-9-КЯ среди обычных респондентов было принято решение не объединять наблюдения всех трех онлайн-опросов в один массив. Это связано с тем, что уровень психологического дистресса среди мужчин — участников киевского и львовского онлайн-опросов статистически значимо ниже по сравнению с соответствующим показателем среди мужчин — участников онлайн-опроса пользователей социальных сетей (^ = 11,3; Xм3 = 10,1; t = 2,5; df = 242,1; p < 0,05). Исходя из этого, киевский и львовский массивы использованы для сравнения индекса 8СЬ-9-КЯ с соответствующим показателем массива, полученным при опросе пациентов ЧОПНБ, а данные онлайн-опроса пользователей социальных сетей — для по-
строения ковариационной модели, объясняющей значения 8СЬ-9-НЯ на основании пола и шкалы лжи.
Таблица 5
Средние значения SCL-9-NR для различных категорий психических расстройств и расстройств поведения
Категория SCL-9-NR п
Органические, включая симптоматические, психические 13,2 6,2 33
расстройства
Шизофрения, шизотипические и бредовые расстройства 10,6 4,9 83
Расстройства настроения (аффективные расстройства) 13,5 4,5 20
Невротические, связанные со стрессом 14,5 4,9 33
и соматоформные расстройства
Расстройства личности и поведения в зрелом возрасте 20,5 2,3 8
Конечно же, интереснее было бы сравнить обычных респондентов с пациентами, которые имеют различные категории психических расстройств, но в связи со слабой наполненностью соответствующих категорий респондентов в качестве группирующего фактора использованы лечебные центры. Как для мужчин (Хм1 = 11,3; яйм1 = 4,2), так и для женщин (Хж1 = 12,0; яйж1 = 3,9) в обычной выборке зафиксированы статистически значимые различия соответственно с мужчинами (X = 14,8; яй = 7,0; t = 2,6; й/ = 28,7; р < 0,05) и женщинами
м2 м2 м м м
(X , = 15,2; яй . = 4,2; t = 4,2; й/ = 43,6; р < 0,001), опрошенными
ж2 ж2 ж ж ж
в центре лечения психосоматических расстройств, неврозов, пограничных и кризисных состояний.
Однофакторный ковариационный анализ на основании данных онлайн-опроса пользователей социальных сетей продемонстрировал статистически значимое влияние шкалы лжи (Г = 21,3; й/= 1; р < 0,001) и пола (Г = 5,8; й/= 1;р < 0,05). Уточненный Я2равен 11,1%.
Представленные результаты сравнения различных групп респондентов соответствуют теоретическим ожиданиям и подтверждают критериальную валидность 8СЬ-9-КЯ. Кроме этого ее дополнительное подтверждение получено на основании сравнения выраженности психологического дистресса у обычных респондентов и тех, кто проживал в зоне боевых действий на Донбассе (информация была получена в рамках общенационального мониторингового исследования ИС НАНУ «Украинское общество»). И мужчины (Хм4 = 13,3; яйм4 = 5,7) и женщины (Хж4 = 14,8; яйж4 = 6,1), проживавшие на территории боевых действий, демонстрируют более высокий психологический дистресс в сравнении с мужчинами (X = 9,0; яй = 5,3; t = 5,0; й/ = 52,3;
г ^ 4 м5 ' ' м5 ' ' м ' ' ^ м
р < 0,001) и женщинами (X 5 = 10,2; яй 4 = 5,4; t = 4,8; й/ = 46,3;
м ж5 ж4 ж ж
р < 0,001) в обычной подвыборке.
В последнем случае основой различий является, в первую очередь, не психологическая, а социальная специфика, характерная для критериальной группы. Более подробно об этом будет сказано далее.
Конструктная валидизация SCL-9-NR. В рамках данной проверки для анализа были доступны такие переменные, как самооценка здоровья респондента, социальное самочувствие (было измерено с помощью методики «Интегральный индекс социального самочувствия» [1]) и оценка экологической ситуации по месту проживания. Для того чтобы сделать результаты конструктной валидизации более отчетливыми, мы разделили выборку на обычных респондентов и тех, кто проживал в зоне боевых действий (см. табл. 6). Для оценки объясненной дисперсии использована линейная пошаговая регрессия.
Таблица 6
Процент объясненной дисперсии SCL-9-NR для различных групп респондентов
Независимая переменная
Обычные респонденты
РПЗБД*
% Р % Р
Самооценка здоровья 19,1 < 0,001 8,3 < 0,001
Социальное самочувствие 6,3 < 0,001 26,0 < 0,001
Оценка экологической ситуации по месту 0,3 < 0,01 5,3 < 0,01
проживания
Вместе 25,7 - 39,7 -
^Респонденты, проживавшие в зоне боевых действий.
Как видно, специфика взаимосвязей SCL-9-NR с независимыми переменными существенно отличается в приведенных группах. Для группы обычных респондентов основным фактором является самооценка здоровья, в то время как на социальные факторы совокупно приходится значительно меньше объяснительного потенциала. Для группы респондентов, проживавших в зоне боевых действий, характерно преобладание как раз социальных факторов. Данный факт отчетливо показывает, что основой высокого психологического дистресса могут быть не только психические проблемы, но и сложное социальное положение индивида.
Теперь сравним процент объясненной дисперсии для SCL-9-NR с результатами для аналогичных индикаторов из оригинальной методики Л. Дерогатиса (см. табл. 7), которая была использована в волнах мониторингового исследования Института социологии НАН Украины 1997 и 1999 гг. Для сравнения доступны только две из трех независимых переменных.
Таблица 7
Процент объясненной дисперсии для индекса на основании девяти индикаторов SCL-90-R
Независимая переменная 1997 г. 1999 г.
% р % р
Самооценка здоровья 6,3 < 0,001 11,5 < 0,001
Социальное самочувствие 2,4 < 0,001 4,5 < 0,001
Вместе 8,7 16,0
Несмотря на то, что самооценка здоровья и социальное самочувствие статистически значимо связаны с результатами использования отобранных индикаторов 8СЬ-90-Я, величина объясненной дисперсии на порядок ниже. Это, на наш взгляд, свидетельствует о лучшей конструктной валидности 8СЬ-9-КЯ по сравнению с оригинальной методикой.
Оценка внутренней согласованности и ретестовой надежности. Для оценки внутренней надежности использовалась Альфа Кронбаха. Почти во всех опросах Альфа Кронбаха для 8СЬ-9-НЯ превышает необходимую границу в 0,70 (см. табл. 8). Исключение составил онлайн-опрос пользователей социальных сетей, проведенный совместно с кафедрой методологии и методов социологических исследований Киевского национального университета им. Тараса Шевченко.
Таблица 8
Показатели внутренней согласованности SCL-9-NR (Альфа Кронбаха) для различных исследований
Исследование (год) N Альфа Кронбаха
Киевский онлайн-опрос (2015) 200 0,75
Львовский онлайн-опрос (2015) 200 0,79
Опрос в ЧОПНБ (2016) 176 0,83
Онлайн-опрос пользователей социальных сетей (2016) 380 0,68
Львовский онлайн-опрос (2016) 205 0,79
Общенациональный опрос: обычные респонденты (2016) 1689 0,89
Общенациональный опрос: РПЗБД* (2016) 92 0,91
Опрос для проверки ретестовой надежности: 1 волна (2016) 61 0,74
Опрос для проверки ретестовой надежности: 2 волна (2016) 61 0,82
*Респонденты, проживавшие в зоне боевых действий.
В ходе исследования по проверке ретестовой надежности между результатами первой и второй волн был получен коэффициент корреляции Пирсона, равный 0,76 (р < 0,001; п = 61). Вместе с тем отдельные индикаторы с точки зрения ретестовой надежности отличаются друг
от друга (см. табл. 9). При этом единственным симптоматическим измерением, индикатор которого не демонстрирует статистически значимой взаимосвязи между результатами первой и второй волн, является фобическая тревожность.
Таблица 9
Показатели ретестовой надежности (коэффициент Гамма) для отдельных индикаторов SCL-9-NR
Индикатор Гамма Р
Легко возникающие досада или раздражение 0; ,72 < 0,001
То, что Вам трудно сосредоточиться 0; ,74 < 0,001
Подавленное настроение, «хандра» 0; ,69 < 0,001
То, что Ваши чувства легко задеть 0; ,52 < 0,01
Чувство, что большинству людей нельзя доверять 0; ,79 < 0,001
Ощущение напряженности или взвинченности 0 ,55 < 0,01
Ощущение слабости в различных частях тела 0 77 < 0,001
Нервозность, когда Вы оставались одни 0 ,36 0,13
Мысли о том, что с Вашим телом что-то не в порядке 0 ,73 < 0,001
Если же рассмотреть взаимосвязь для индикатора фобической тревожности с помощью таблицы сопряженности, то можно сделать вывод, что в целом результаты двух опросов достаточно согласованны (см. табл. 10).
Таблица 10
Согласованность распределений ответов по индикатору «Нервозность, когда Вы остались одни»
Результаты первой волны Результаты второй волны
никогда изредка периодически почти постоянно
никогда 25 13 2 0
изредка 8 9 0 0
периодически 1 2 0 0
почти постоянно 0 0 0 1
Сравнительная валидность: SCL-9-NR и К10. Двумя наиболее известными методиками изучения психологического дистресса в массовых опросах являются шкалы Л. Редлофф (сокращенный вариант СБ8-Б, 8 индикаторов), а также Р. Кесслера (К10 и К6). СБ8-Б использовалась на Украине в рамках европейского социального исследования10,
10 Сокращенная версия СБв-Б, состоящая из восьми индикаторов, применялась для изучения личностного благополучия [12].
а К10 — Международного исследования психического здоровья ВОЗ11. В рамках нашего сравнения мы остановились на К10 Р. Кесслера как более новой и содержательно богатой методике12 (включить в исследование как К10, так и СЕВ-Б не позволяли его организационные ограничения).
Методика Р. Кесслера базируется на двух основных симптоматических измерениях — депрессия (5 индикаторов) и тревожность (4 индикатора). Еще один индикатор представляет симптоматическое измерение соматизации. Таким образом, в содержательном смысле К10 значительно отличается от 8СЬ-9-НЯ. И поскольку К10 является общепризнанным измерительным инструментом, возникает вопрос о целесообразности еще одной шкалы, решающей аналогичные задачи и при этом использующей отличный концептуальный подход.
По этой причине обе методики были включены в онлайн-опрос обычных респондентов, а также в опрос среди пациентов ЧОПНБ. За неимением возможности провести такую же многостороннюю валидизацию для К10, как и для 8СЬ-9-НЯ, был использован подход, известный под названием ЯОС-сигуе13. Такое решение было обусловлено тем, что сам Р. Кесслер в рамках обоснования валидности своих шкал использовал именно его [17], получив при этом значение АиС (площадь под кривой) равное 0,87—0,88. В нашем исследовании мы получили для К10 показатели на порядок ниже — всего 0,73. В то время Ф как АиС для 8СЬ-9-т равен 0,80 (см. рис. 2). ф
Рис. 2. ROC-кривые для К10 (слева) и SCL-9-NR (справа)
11 Более подробно с результатами исследования можно ознакомиться в: [21].
12 К10 основывается на индикаторах тревожности и депрессии, в то время как СЕВ-Б — исключительно депрессии.
13 Он заключается в построении кривой, демонстрирующей результаты бинарной классификации. В данном случае классифицировались респонденты с психиатрическим диагнозом и без него.
При использовании бинарной логистической регрессии для прогнозирования наличия у респондента психиатрического диагноза как 8СЬ-9-т (1оЕоёЛзга11о = 0,27; х = 7,4; р < 0,001), так и К10 (1о£оёё8га1ю = —0,11; х = —5,7; р < 0,001) показывают статистически значимые результаты. Вместе с тем значение А1С14 говорит в пользу более высокого качества модели, построенной на базе 8СЬ-9-НЯ (А1С8СЬ-9-ж = 280,9; А1СК10 = 318,0). Аналогичный вывод можно сделать на основании анализа чувствительности, специфичности и общей эффективности моделей15 (см. табл. 11).
Таблица 11
Чувствительность, специфичность и эффективность модели для SCL-9-NR и К10, %
Вер0ятн0сть Чувствительность Специфичность Эффективность
наличия диагноза на основании модели 8СЬ-9-ЫЯ К10 вСЬ-9-ЫЯ К10 8СЬ-9-ЫЯ К10
0,9 7 0 100 100 73 71
0,8 14 5 99 99 74 71
0,7 27 5 97 98 76 71
0,6 37 14 96 97 79 72
0,5 50 23 92 93 79 72
0,4 54 50 89 87 79 76
0,3 71 64 78 73 76 70
0,2 80 80 61 42 67 54
0,1 93 99 24 7 45 34
Следовательно, несмотря на то, что 8СЬ-9-НЯ показывает себя лучше, чем К10, с прогностической точки зрения, соответствующие результаты можно назвать хорошими, а не отличными. При этом основной задачей методики является измерение психологического дистресса, а не определение наличия психического расстройства у респондента. Аргументом в пользу того, что это две разные задачи, являются результаты конструктной валидизации среди респондентов, проживавших на территории боевых действий, у которых психологический дистресс во многом обусловлен социальными, а не психологическими трудностями.
14 Информационный критерий Акики.
15 В данном случае чувствительность модели демонстрирует эффективность предсказания наблюдений с психиатрическим диагнозом, специфичность — обычных наблюдений, а под общей эффективностью имеется в виду общее количество правильно предсказанных случаев.
Критериальные уровни SCL-9-NR16
Дизайн. Уточнение критериальных уровней осуществлялось на основании результатов пяти исследований: онлайн-опросов в Киеве и во Львове (2015), онлайн-опроса во Львове (2016), опроса среди пациентов с психиатрическим диагнозом в Чернигове и Харькове (2016—2017)17, социологического мониторинга «Украинское общество». Все они рассмотрены ранее.
На основании представленных опросов было выделено шесть групп респондентов, релевантных с точки зрения уточнения критериальных уровней. В первую вошли участники онлайн-опросов, проведенных в 2015 г., во вторую — онлайн-опроса 2016 г., в третью — лица с психиатрическим диагнозом, в четвертую — группа респондентов, оценивающих состояние своего здоровья как плохое или очень плохое (социологический мониторинг), в пятую — группа проживавших в зоне боевых действий на Донбассе (социологический мониторинг), в шестую — участники социологического мониторинга «Украинское общество» за исключением тех, кто проживал в зоне боевых действий. Последние были исключены из основного массива по той причине, что данная группа появилась в нашем обществе недавно и за очень краткий срок, а значит, не характерна для его равновесного состояния.
Решение о разделении респондентов онлайн-опросов на две группы было принято потому, что уровень выраженности психологического дистресса в опросах 2015 г. несколько выше, чем в опросах 2016 г. О возможных причинах такого различия будет сказано ниже. Что касается внимания к двум дополнительным группам респондентов социологического мониторинга «Украинское общество», то оно обусловлено нетипично высоким уровнем психологического дистресса в них.
В указанных шести группах респонденты дополнительно делились на две подгруппы по полу, так как во всех исследованиях мужчины демонстрируют более низкие показатели 8СЬ-9-НЯ. Деление в соответствии с возрастными группами не проводилось, так как при контроле самооценки состояния здоровья взаимосвязь между возрастом и индексом психологического дистресса отсутствует.
16 Далее представлена только главная часть полученных результатов, с более полной версией можно ознакомиться в: [3].
17 К моменту анализа критериальных уровней было дополнительно собрано 156 интервью (93 в Чернигове и 63 в Харькове) среди пациентов с психиатрическим диагнозом. Речь идет только о тех из них, диагнозы которых относятся к трем категориям: 1) расстройства настроения (аффективные расстройства); 2) невротические, связанные со стрессом и соматоформные расстройства; 3) расстройства личности и поведения в зрелом возрасте.
В дальнейшем по причине той или иной степени асимметрии распределений в качестве пороговых значений критериальных уровней использованы не средние значения, а медианы.
Уровни выраженности психологического дистресса в различных группах респондентов. Прежде чем перейти к анализу уровня психологического дистресса в различных группах, необходимо обозначить те наблюдения, которые были исключены из анализа. К таким относятся респонденты, показавшие минимально или максимально возможные значения 8СЬ-9-НЯ: 0 или 27 баллов. В обоих случаях мы исходили из допущения о неискренности соответствующих респондентов, которое базируется на двух аргументах. Во-первых, контекст современного общества характеризуется постоянным воздействием стрессоров, что делает невозможным отсутствие соответствующих эффектов в жизни индивидов. Во-вторых, максимальная выраженность по всем симптоматическим измерениям не наблюдается среди респондентов с психиатрическим диагнозом. Исходя из этого предполагается, что наблюдения с максимально возможным значением по 8СЬ-9-НЯ — настолько маловероятные события, что ими можно пренебречь.
В целом показатели психологического дистресса для различных групп респондентов (см. табл. 12) соответствуют теоретическим ожиданиям. Очередность групп упорядочена в соответствии с уровнем выраженности психологического дистресса в них.
Таблица 12
Показатели SCL-9-NR для мужчин и женщин
в различных исследованиях
Показатель СМ: без ЗБД 002016 002015 СМ: З СМ: ЗБД ЧОПНБ, ХОКПБ
М Ж М Ж М Ж М Ж М Ж М Ж
1-й квартиль 5 7 7 8 9 9 9 9 9 10 9 13
медиана 9 10 9 10 11 12 13 13 14 15 14 16
3-й квартиль 12 14 11 13 14 14 17 16 18 21 18 19
Единственная группа, которая не попала в рамки первоначальных теоретических ожиданий, — респонденты онлайн-опроса в 2016 г. Их результаты значительно ближе к результатам социологического мониторинга «Украинское общество», чем к результатам онлайн-опроса в 2015 г. Первоначально предполагалось, что при опросе онлайн респонденты будут более искренни, и это приведет к получению более высоких значений 8СЬ-9-НЯ. Если рассматривать частотные распределения (см. рис. 3—4), то это предположение отчасти подтверждается. Но судя по медианным значениям, способ самозаполнения (печатной или онлайн-анкеты) не объясняет различие между результатами он-лайн-опросов в 2015 г. и в мониторинговом исследовании.
|||М_|
Рис. 3. Распределение суммарного значения SCL-9-NR в результатах социологического мониторинга «Украинское общество» для мужчин (слева) и для женщин (справа)
#
1М«1
Рис. 4. Распределение суммарного значения SCL-9-NR в результатах онлайн-опроса 2016 г. для мужчин (слева) и для женщин (справа)
Наиболее логичным объяснением здесь представляется влияние календарного времени опроса. В 2015 г. респонденты опрашивались в конце ноября и начале декабря, а в 2016 — в мае (онлайн-опрос) и июне (социологический мониторинг). Возможно, именно общее эмоциональное состояние в конце года и в конце весны — начале лета объясняет эти различия.
В условиях отсутствия других релевантных данных результаты этих трех опросов можно использовать в качестве ориентиров для определения среднего уровня психологического дистресса среди населения,
измеренного с помощью SCL-9-NR. Так, он колеблется в диапазоне от 9 до 11 баллов для мужчин и от 10 до 12 баллов для женщин. Эта информация сама по себе ничего не говорит о границах повышенного и высокого уровней психологического дистресса.
Для их определения следует обратиться к оставшимся трем группам, характеризующимся наличием факторов, отягощающих психологическое состояние индивида. Соответствующие результаты можно использовать посредством анализа значений медиан и третьих квартилей распределений.
Медианное значение для респондентов (как мужчин, так и женщин), оценивающих состояние своего здоровья как плохое или очень плохое, равно 13 баллам. Для респондентов, живших на территории боевых действий или имеющих психиатрический диагноз, медианное значение равно соответственно 14 баллам в обоих случаях для мужчин, 15 и 16 баллам для женщин. Исходя из этого можно предположить, что уровень повышенного психологического дистресса начинается с отметки в 13 баллов для респондентов обоих полов. Что касается границы высокого уровня, то для мужчин она начинается с 17 баллов (третий квартиль «по здоровью»). А вот в случае женщин наблюдается достаточно большой разброс значений (16, 21 и 19 баллов). При этом медиана в группе с психиатрическим диагнозом пересекается с третьим квартилем в группе негативно оценивающих состояние своего здоровья (в обоих случаях — по 16 баллов). На этом основании мы предлагаем использовать 17 баллов в качестве границы высокого уровня психологического дистресса, измеренного с помощью SCL-9-NR и среди женщин.
Выводы
Методика SCL-9-NR подходит для тех социальных исследований, в которых необходимо оценить общий уровень психологического дистресса респондентов без обращения к более специфичной индивидуальной информации. При этом рекомендуется использовать границу в 13 баллов в качестве показателя повышенного дистресса и 17 баллов — в качестве высокого.
Если говорить о влиянии метода сбора данных на результаты использования методики, то нет оснований полагать, что самозаполнение отличается от онлайн-опроса. Информации о влиянии на результаты методики использования формата личного интервью (face-to-face) на момент написания данной статьи нет.
SCL-9-NR характеризуется высокими показателями конструктной и критериальной валидности, а также внутренней согласованности и ретестовой надежности. На основании данных, полученных среди респондентов на Украине, можно сделать вывод, что SCL-9-NR — более чувствительный инструмент измерения психологического дистресса, чем K10 Р. Кесслера.
ПРИЛОЖЕНИЕ
Методика изучения психологического дистресса SCL-9-NR
В связи с определенными жизненными ситуациями многие люди сталкиваются с различными переживаниями, ощущениями и мыслями. Ниже приведен перечень наиболее частых состояний такого рода. Оцените, как часто каждое из них было характерно для Вас в последнее время: никогда, изредка, периодически, почти постоянно. По каждому пункту выберите только один вариант ответа.
Ф
1. Легко возникающие досада или раздражение 0. Никогда 1. Изредка 2. Периодически 3. Почти постоянно
2. То, что Вам трудно сосредоточиться 0. Никогда 1. Изредка 2. Периодически 3. Почти постоянно
3. Подавленное настроение, «хандра» 0. Никогда 1. Изредка 2. Периодически 3. Почти постоянно
4. То, что Ваши чувства легко задеть 0. Никогда 1. Изредка 2. Периодически 3. Почти постоянно
5. Чувство, что большинству людей нельзя доверять 0. Никогда 1. Изредка 2. Периодически 3. Почти постоянно
6. Ощущение напряженности или взвинченности 0. Никогда 1. Изредка 2. Периодически 3. Почти постоянно
7. Ощущение слабости в различных частях тела 0. Никогда 1. Изредка 2. Периодически 3. Почти постоянно
8. Нервозность, когда Вы оставались одни 0. Никогда 1. Изредка 2. Периодически 3. Почти постоянно
9. Мысли о том, что с Вашим телом, что-то не в порядке 0. Никогда 1. Изредка 2. Периодически 3. Почти постоянно
#
ЛИТЕРАТУРА
1. Головаха Е, Панина Н. Интегральный индекс социального самочувствия (ИИСС): конструирование и применение социологического теста в массовых опросах. Киев: Ин-т социологии НАН Украины, 1997. — 64 с.
2. Дембицкий С. Комплексные измерительные инструменты в социологии // Социологический журнал. 2017. № 3. С. 102-124.
3. Дембщький С. Принцип и визначення критерiальних рiвнiв соцюлопчного тесту // Украшський сощум. 2017. № 4. С. 22-34. DOI: 10.19181/socjour.2017.23.3.5366
4. Дембицкий С. Экспресс-тест SCL-9-NR: методика оценки выраженности психологического дистресса для массовых опросов // Социология: теория, методы, маркетинг. 2016. № 1. С. 52-64.
5. Дембицкий С., Ященко В., Сидоров Н, Александрова С. Критериальная валидизация экспресс-теста SCL-9-NR // Социология: теория, методы, маркетинг. 2016. № 2. С. 102-116.
6. Клайн П. Справочное руководство по конструированию тестов: Введение в психометрическое проектирование / Пер. с англ.; Под ред. Л.Ф. Бурлачука. Киев: ПАН ЛТД, 1994. — 283 с.
7. Садмен С., Брэдберн Н. Как правильно задавать вопросы: введение в проектирование опросного инструмента / Пер. с англ. А.А. Виницкой;
Науч. ред. перевода Д.М. Рогозин. М.: Ин-т Фонда «Общественное мнение», 2002. — 382 с.
8. Тарабрина Н.В., Агарков В.А., Быховец Ю.В. Калмыкова Е.С., Макарчук А.В., Падун М.А., Удачина Е.Г., Химчян З.Г., Шаталова Н.Е., Щепина А.И. Практическое руководство по психологии посттравматического стресса. Часть 1. Теория и методы. М.: Изд-во «Когнито-Центр», 2007. — 208 с.
9. Beck A., Steer R., Carbin M. Psychometric properties of the Beck Depression Inventory: Twenty-five years of evaluation // Clinical Psychology Review. 1988. No. 1. P. 77-100. DOI: 10.1016/0272-7358(88)90050-5
10. Cohen S. Perceived stress in a probability sample of the United States // The social psychology of health. Thousand Oaks, CA: Sage, 1988. P. 31-67.
11. Derogatis L., Fitzpatrick M. The SCL-90-R, the Brief Symptom Inventory (BSI), and the BSI-18 // The use of Psychological Testing for Treatment Planning and Outcomes Assessment. Mahwan, New Jersey, London: Lawrence Erlbaum Associates, Publishers, 2004. Vol. 3: Instruments for Adults. P. 1-42.
12. European Social Survey. Measuring and Reporting on Europeans' Wellbeing: Findings from the European Social Survey. 2013-2015. London: ESS ERIC, 2015. — 15 p.
13. Field A., Miles J., Field Z. Discovering Statistics Using R. Los Angeles, London, New Delhi, Singapore, Washington DC: Sage, 2012. — 992 p.
14. Goldberg D., Hillier V. A scaled version of the General Health Questionnaire // Psychological Medicine. 1979. No. 1. P. 139-145. DOI: 10.1017/ S0033291700021644
15. Ignatyev Y., Assimov M., Aichberger M.C., Ivens S., Mir J., Dochshanov D., Ströhle A., Heinz A., Mundt A.P. Psychometric properties of a Russian version of the General Health Questionnaire-28 // Psychopathology. 2012. No. 4. P. 252-258. DOI: 10.1159/000334918
16. Kahn J.H., Hucke B.E., Bradley A.M., Glinski A.J., Malak B.L. The Distress Disclosure Index: A research review and multitrait-multimethod examination // Journal of Counseling Psychology. 2012. No. 1. P. 134-149. DOI: 10.1037/a0025716
17. Kessler R.C., Andrews G., Colpe L.J., Hiripi E., Mroczek D.K., Normand S.L., Walters E.E., Zaslavsky A.M. Short screening scales to monitor population prevalences and trends in non-specific psychological distress // Psychological Medicine. 2002. No. 6. P. 959-976. DOI: 10.1017/S0033291702006074
18. Klaghofer R., Brähler E. Konstruktion und Teststatistische Prüfungeiner Kurzformder SCL-90-R // Zeitschrift für Klinische Psychologie, Psychiatrie und Psychotherapie. 2001. No. 2. P. 115-124.
19. Radloff L. The CES-D Scale: A Self-report Depression Scale for Research in the General Population // Applied Psychological Measurement. 1977. No. 1. P. 385-401. DOI: 10.1177/014662167700100306
20. Ridner S. Psychological distress: concept analysis // Nursing theory and concept development or analysis. 2004. No. 5. P. 536-545.
21. The WHO World Mental Health Surveys: Global Perspectives on the Epidemiology of Mental Disorders / Ed. by R. Kessler, B. Ustun. New York: Cambridge University Press, 2008. — 698 p.
22. Veit C, Ware J. The structure of psychological distress and well-being ingeneral populations // Journal of Consulting and Clinical Psychology. 1983. No. 5. P. 730-742. DOI: 10.1037/0022-006X.51.5.730
Дата поступления: 22.02.2018.
Sotsiologicheskiy Zhurnal = Sociological Journal
2018. Vol. 24. No. 3. P. 8-31. DOI: 10.19181/socjour.2018.24.3.5991 S.S. Dembitskyi
Institute of Sociology of the Academy of Sciences of Ukraine, Kiev, Ukraine.
Serhii S. Dembitskyi — Candidate of Sociological Sciences, Senior Scientific Fellow; Institute of Sociology of the Academy of Sciences of Ukraine. Address: 12, Shelkovichnaya Str., 01021, Kiev, Ukraine. Phone: +38 (044) 253-05-80. Email: [email protected]
Constructing and Validating the SCL-9-NR Sociological Test Abstract. This article describes the results of constructing and validating the sociological test SCL-9-NR, which measures psychological distress in survey research. It was conceived as an abbreviated and modified version of SCL-90-R. The theoretical validity of SCL-9-NR is based on the conceptual approach of SCL-90-R. It describes symptoms of various psychiatric disorders discovered in professional practice by specialists in psychiatry.
In order to select the SCL-90-R indicators which form SCL-9-NR, the strength of its correlations with GSI and the index of its own subscale were taken into account. A combined array of three national surveys conducted in Ukraine (1997, 1999 and 2014) is used as the basis for statistical analysis. A decision was made to change the methodic formula (array of answers and tasks for the respondents), in order to bring them in line with sociological specifics. Empirical validation of SCL-9-NR consists of analysis of index distribution (quantile graphs, Shapiro-Wilk test), criteria validation (data collection and analysis in groups with high levels of psychological distress), construct validation (regression analysis based on national representative data). In addition, internal consistency (Alfa Cronbach) and retest reliability of the scale (test-retest) were evaluated. To solve such tasks as empirical validation and assessment of reliability, a number of methodological studies were conducted. Also SCL-9-NR was included in the national survey (2016). The proper results showed high values of the scale's empirical validity and reliability. The comparative validity ofSCL-9-NR was demonstrated by the results ofits comparison with K10 (R. Kessler). For this purpose binary classification (ROC-curve) was used. The final part ofthe methodical work was highlighting the criterial levels ofSCL-9-NR. Based on appropriate statistical analysis, it was concluded that the lower margin of increased psychological distress corresponds to a score of 13 points, with the lower margin of high psychological distress being at 17 points.
Keywords: psychological distress; sociological test; validity; reliability.
For citation: Dembitskyi S.S. Constructing and validating the SCL-9-NR sociological test. Sotsiologicheskiy Zhurnal = Sociological Journal. 2018. Vol. 24. No. 3. P. 8—31. DOI: 10.19181/socjour.2018.24.3.5991
REFERENCES
1. Golovakha E., Panina N. Integral'nyi indeks sotsial'nogo samochuvstviya (IISS): konstruirovanie i primenenie sotsiologicheskogo testa v massovykh oprosakh. [Integral index of social well-being (IISWB): Design and application of sociological test in surveys.] Kiev: In-t sotsiologii NAN Ukrainy publ., 1997. 64 p. (In Russ.)
2. Dembitskyi S. Complex measurement instruments in sociology. Sotsiologicheskiy Zhurnal = Sociological Journal. 2017. No. 3. P. 102-124. (In Russ.) DOI: 10.19181/socjour.2017.23.3.5366
3. Dembits'kyi S. Determination principles of the criterial levels of the sociological test. Ukra'ins'kiisotsium. 2017. No. 4. P. 22-34. (In Ukraine)
4. Dembitskyi S. SCL-9-NR: A brief test for measurement of psychological distress in survey research. Sotsiologiya: teoriya, metody, marketing. 2016. No. 1. P. 52-64. (In Russ.)
5. Dembitskyi S., Yashchenko V., Sidorov N., Aleksandrova S. Criterion validation of brief test SCL-9-NR. Sotsiologiya: teoriya, metody, marketing. 2016. No. 2. P. 102-116. (In Russ.)
6. Klain P. A Handbook of Test Construction: Introduction to Psychometric Design. [Russ. ed.: Spravochnoe rukovodstvopo konstruirovaniyu testov: Vvedenie vpsikhometricheskoe proektirovanie. Transl. from Eng.; Ed. by L.F. Burlachuk. Kiev: PAN LTD publ., 1994. 283 p.]
7. Sadmen S., Bredbern N. Asking questions: The definitive guide to questionnaire design. [Russ. ed.: Kakpravil'nozadavat' voprosy: vvedenie vproektirovanie oprosnogo instrumenta. Transl. from Eng. by A.A. Vinitskaya; Ed. by D.M. Rogozin. Moscow: In-t Fonda "Obshchestvennoe mnenie" publ., 2002. 382 p.]
8. Tarabrina N.V., Agarkov V.A., Bykhovets Yu.V. Kalmykova E.S., Makarchuk A.V., Padun M.A., Udachina E.G., Khimchyan Z.G., Shatalova N.E., Shchepina A.I. Prakticheskoe rukovodstvo po psikhologii posttravmaticheskogo stressa. Chast' 1. Teoriya i metody. [Practical guidance on the psychology of post-traumatic stress. Part 1. Theory and methods.] Moscow: Izd-vo "Kognito-Tsentr" publ., 2007. 208 p. (In Russ.)
9. Beck A., Steer R., Carbin M. Psychometric properties of the Beck Depression Inventory: Twenty-five years ofevaluation. Clinical Psychology Review. 1988. No. 1. P. 77-100. DOI: 10.1016/0272-7358(88)90050-5
10. Cohen S. Perceived stress in a probability sample of the United States. The social psychology of health. Thousand Oaks, CA: Sage, 1988. P. 31-67.
11. Derogatis L., Fitzpatrick M. The SCL-90-R, the Brief Symptom Inventory (BSI), and the BSI-18. The use of Psychological Testing for Treatment Planning and Outcomes Assessment. Mahwan, New Jersey, L.: Lawrence Erlbaum Associates, Publishers, 2004. Vol. 3: Instruments for Adults. P. 1-42.
12. European Social Survey. Measuring and Reporting on Europeans' Wellbeing: Findings from the European Social Survey. 2013-2015. L.: ESS ERIC, 2015. 15 p.
13. Field A., Miles J., Field Z. Discovering Statistics Using R. Los Angeles, L., New Delhi, Singapore, Washington DC: Sage, 2012. 992 p.
14. Goldberg D., Hillier V. A scaled version of the General Health Questionnaire. Psychological Medicine. 1979. No. 1. P. 139-145. DOI: 10.1017/S0033291700021644
15. Ignatyev Y., Assimov M., Aichberger M.C., Ivens S., Mir J., Dochshanov D., Ströh A., Heinz A., Mundt A.P. Psychometric properties of a Russian version of the General Health Questionnaire-28. Psychopathology. 2012. No. 4. P. 252-258. DOI: 10.1159/000334918
16. Kahn J.H., Hucke B.E., Bradley A.M., Glinski A.J., Malak B.L. The Distress Disclosure Index: A research review and multitrait-multimethod examination. Journal ofCounseling Psychology. 2012. No. 1. P. 134-149. DOI: 10.1037/a0025716
17. Kessler R.C., Andrews G., Colpe L.J., Hiripi E., Mroczek D.K., Normand S.L., Walters E.E., Zaslavsky A.M. Short screening scales to monitor population prevalences and trends in non-specific psychological distress. Psychological Medicine. 2002. No. 6. P. 959-976. DOI: 10.1017/S0033291702006074
18. Klaghofer R., Brähler E. Konstruktion und Teststatistische Prüfungeiner Kurzformder SCL-90-R. Zeischrftfür Klinische Psychologie, Psychiatrie und Psychotherapie. 2001. No. 2. P. 115-124.
19. Radloff L. The CES-D Scale: A Self-report Depression Scale for Research in the General Population. Applied Psychological Measurement. 1977. No. 1. P. 385-401. DOI: 10.1177/014662167700100306
20. Ridner S. Psychological distress: Concept analysis. Nursing theory and concept development or analysis. 2004. No. 5. P. 536-545. The WHO World Mental Health Sur
21. veys: Global Perspectives on the Epidemiology of Mental Disorders. Ed. by R. Kessler, B. Ustun. NY: Cambridge University Press, 2008. 698 p.
22. Veit C., Ware J. The structure of psychological distress and well-being ingeneral populations. Journal of Consulting and Clinical Psychology. 1983. No. 5. P. 730-742. DOI: 10.1037/0022-006X.51.5.730
Received: 22.02.2018.
