CC BY
117
Математические структуры и моделирование 2015. №2(34). С. 75-84
УДК 519.237.7
методы вращения факторных структур
В.А. Шовин
научный сотрудник, e-mail: [email protected] В.В. Гольтяпин
доцент, к.ф.-м.н., e-mail: [email protected] Институт математики им. С.Л. Соболева СО РАН
Аннотация. Представлена реализация различных методов факторного вращения на базе численных методов нелинейной оптимизации с условиями. Приведено сравнение ортогональных и косоугольных методов вращений. Доказано превосходство косоугольных методов вращения над ортогональными.
Ключевые слова: факторный анализ, квартимакс, варимакс, облимакс, квартимин, облимин, бинормамин.
Введение
Одной из проблем факторного анализа является проблема вращения и интерпретации. Такие методы получения первичного факторного решения как центройдный метод, метод главных факторов, метод минимальных остатков не позволяют производить интерпретацию факторной структуры. Например, центройдный метод и метод главных факторов имеют высоконагруженный исходными показателями первый фактор, включающий в себя максимум разброса значений переменных, вычисляемых в проекции на первый фактор. Метод минимальных остатков имеет непредсказуемый характер, зависимый от начального приближения, что объясняется его критерием минимизации невязок восстанавливаемой и исходной корреляционной матрицей. Проблема факторного вращения связана с неоднозначностью факторных решений. В рамках критерия минимальных остатков удовлетворительное решение может иметь различный вид.
Для выделения однозначного решения могут использоваться различные критерии вращения. Получаемое в результате вращения факторное решение должно обладать хорошей интерпретируемостью, суть которого заключается в однозначном отнесение каждой исходной переменной лишь к одному из факторов. Результирующие факторы могут быть как ортогональны друг другу, так и косоугольны. Косоугольное вращение приводит, как правило, к лучшему разнесению переменных на факторы в связи с большей возможностью выбора направления факторных осей и получения простой факторной структуры [1], когда исходные переменные максимально прижаты к факторным осям.
76 В.А. Шовин, В.В. Гольтяпин. Методы вращения факторных структур
Факторное вращение осуществляется посредством умножения первичного факторного отображения на матрицу преобразования. Матрица, полученная как произведение транспонированной матрицы преобразования на саму матрицу преобразования, соответствует матрице корреляций между факторами. Поэтому на матрицу преобразования накладывается как минимум одно ограничение, заключающееся в том, что диагональные элементы матрицы произведения, соответствующие корреляциям между одними и теме же факторами, должны равняться 1, тогда как внедиагональные элементы должны быть по модулю не больше 1. Если получают ортогональное решение, то корреляции между различными факторами должны равняться 0. Матрица преобразования определяется в соответствии с определённым критерием от элементов конечной факторной структуры. Минимизация или максимизация этого критерия позволяет найти оптимальную матрицу преобразования, доставляющую минимум или максимум целевой функции критерия.
В данной работе оптимизация критерия вращения осуществляется различными методами нелинейной оптимизации: метод конфигураций, метод деформируемого многогранника, метод Розенброка и метод случайного поиска. Ограничения, накладываемые на матрицу преобразования, учитываются с помощью метода штрафных функций. В работе приводится сравнение различных методов вращения: квартимакс, варимакс, облимакс, квартимин, оБлимин, бинормамин. Исследуется оригинальный критерий интерпретируемости, естественным образом учитывающий интерпретационные свойства целевой факторной структуры. Все критерии вычисляются в двух вариантах: с ограничениями на ортогональность матрицы преобразования и без такого ограничения. Тем самым такие известные ортогональные методы как квартимакс и варимакс вычисляются впервые как косоугольные методы без дополнительных ограничений на ортогональность. Доказывается превосходство косоугольных методов вращения над ортогональными.
1. Математическая постановка задачи
Матрица A о — матрица первичного факторного отображения размер-
mxg
ности m х g весовых коэффициентов. Где m — число изучаемых параметров, g — число общих факторов.
Вращение заключается в следующей матричной операции:
V = АЛ,
V о Vj — косоугольная факторная структура;
mxg
Л о — матрица вращения.
gx g
Матрица корреляций C о Cj размерности g х g между конечными фактора-
gx g
ми, когда исходные данные стандартизированы (дисперсии переменных равны 1, а средние 0) вычисляется по формуле:
Математические структуры и моделирование. 2015. №2(34)
77
C = лт Л.
Для матрицы вращения Л должны выполняться соотношения:
с« = ELi А% = 1 ( ,g).
А также ограничения типа неравенств:
\cij 1
^ ^ AkiAkj
k= 1
1.
Если результирующее факторное решение должно быть ортогональным, то ограничения типа неравенств, заменяют ограничениями c, = ЕаЕ AkiAkj- = 0.
Задача факторного вращения соответствует максимизации или минимизации определённого критерия К, как функции от элементов матрицы результирующей факторной структуры:
K = f ({vij}) = f ({aij} , {А,}). Поскольку элементы {а,} заданы, то задача сводится к нахождению экстремума функции K = f ({А,}) от независимых переменных {А,} с ограничениями:
ELi А, = 1 и
\^Е=1 АkiАk, \ < 1 или ^Ek= 1 АkiАkj 0-
Также предлагается использовать следующие ограничения на вид результирующей факторной структуры. Общности переменных конечной факторной структуры должны быть не больше общностей переменных исходной факторной структуры, а также не меньше определенного порога значимости:
К = VEk=1 vik < \JEfe=1 alk = К и hv > p-
2. Критерии вращения
Квартимакс
m g
K = vip.
i=1 p=1
Максимизация данного критерия приводит теоретически к минимальной сложности каждого исходного параметра равной 1, когда исходный параметр выражается только через один фактор [2].
Варимакс
K
"ЕЕ
p=1 i=1
vip
hi
2
2
Максимизация варимакс критерия соответствует максимизации дисперсий квадратов нагрузок факторов. Тем самым теоретическая сложность фактора уменьшается, нагрузки фактора Близки к 0 или 1, и фактор можно наилучшим образом проинтерпретировать. Нормализация факторных нагрузок в данном
78 В.А. Шовин, В.В. Гольтяпин. Методы вращения факторных структур
критерии устраняет различие между вкладами отдельных параметров пропорциональное их общностям,
Облимакс
v4
E^i=1 A^p=\ 17 ip
K = ---------------2 .
(E”=, EP_i Y)
Максимизация данного критерия соответствует максимизации эксцесса случайной величины £, представленной выборкой vtj и — vtj, В результате максимизируется доля Больших и маленьких (Близких к нулю) элементов факторной структуры,
Квартимин
g m
K = Y Y .
p<q=1i=1
Минимизация данного критерия соответствует идее простой факторной структуры, когда для фиксированной пары факторов переменные максимально приближаются к одному из факторов,
Облимин
g
k = Y
p<q=1
Y
Y
i=1
V2
p
h2
m2
Viq
i= 1
h2
5
При Y = 0 — это нормализованный квартимин критерий, при y =1 критерий называется коваримин, при y = 0,5 критерий называется биквартимин,
Минимизация коваримин-критерия соответствует минимизации ковариации между квадратами элементов различных пар факторов конечной факторной структуры, Коваримин-критерий теоретически даёт ортогональное решение, Бинормамин
к = Y
p<q=i -
v2
ui q
h2
Минимизация данного критерия близка к результатам биквартимин решения,
Критерий интерпретируемости
Получение интерпретируемого факторного решения связано с получением минимальной сложности исходных параметров, когда только одна факторная нагрузка переменной близка к 1, тогда как остальные Близки к 0, Поэтому предлагается следующий критерий, непосредственно учитывающий это свойство,
mg
к = YY ivi”“i — Ki,
i=1 p=1
Математические структуры и моделирование. 2015. №2(34)
79
где vmax — максимальная по модулю факторная нагрузка /-ой переменной факторной структуры.
Максимизация данного критерия приводит к тому, что максимальная факторная нагрузка переменной приближается к 1, тогда как остальные к 0.
3. Методы оптимизации
Оптимизацию критерия вращения, как функций от независимых переменных матрицы вращения с ограничениями, предлагается осуществлять методом штрафных функций [3]. В качестве методов безусловной оптимизации метода штрафных функций выбирались следующие альтернативные методы:
• метод конфигураций,
• метод деформируемого многогранника,
• метод Розенброка [4],
• метод случайного поиска [5].
4. Численный эксперимент
Метод штрафных функций с выбором метода безусловной оптимизации, а также адаптация задачи факторного вращения и выбор различных критериев вращения были реализованы в виде отдельной программы RFA (рис. 1, 2). Поскольку использовались неградиентные методы оптимизации, все критерии максимизации были приведены к критериям минимизации с помощью обращения критерия 1/K. Тем самым нелинейность преобразования критерия существенно не изменяла работу алгоритмов поиска экстремума, и значения критериев всегда оставались положительными.
Рис. 1. Интерфейс программы RFA.
80 В.А. Шовин, В.В. Гольтяпин. Методы вращения факторных структур
Рис. 2. Интерфейс программы RFA.
Достоверность результатов, получаемых программой RFA, подтверждена на классических примерах, таких как 8 морфологических параметров, 24 психологических параметра, 5 социально-экономических параметров [2], 12 переменных кровяного давления [1].
Сравнение результатов факторных структур для 15 переменных артериальной гипертензии начальной стадии представлены в следующих таблицах (таблице 1-4). В качестве исходных параметров были взяты 15 биофизических показателей для 131 лица с артериальной гипертензией начальной стадии:
1) вес,
2) индекс массы тела (ИМТ),
3) частота дыхания (ЧД),
4) сегментоядерные нейтрофилы (С),
5) лимфоциты (Л),
6) конечно-систолический размер левого желудочка (КСР),
7) конечно-систолический объем левого желудочка (КСО),
8) конечно-диастолический размер левого желудочка (КДР),
9) конечно-диастолический объем левого желудочка (КДО),
10) ударный объем (УО),
11) минутный объем сердца (МОС),
12) общее периферическое сосудистое сопротивление (ОПСС),
13) индекс Хильдебрандта (ИХ),
14) фракция выброса левого желудочка (ФВ),
15) фракция укорочения левого желудочка (ФУ).
Критерий варимакс без ограничений на ортогональность равен 147.1935. Для ортогонального случая его значение 139.8764. Критерий облимакс для косоугольного случая равен 0.0627.
Критерий интерпретируемости для косоугольного случая равен 40.0769.
Критерий облимакс для исходного факторного решения равен 0.0436. Для
Математические структуры и моделирование. 2015. №2(34)
81
Таблица 1. Исходное факторное решение (метод главных факторов)
F1 F2 F3 F4 F5
Вес 0,346 -0,464 0,236 0,153 0,602
имт 0,327 -0,531 0,207 0,182 0,561
чд 0,213 -0,418 0,125 -0,711 -0,055
с -0,132 0,217 -0,809 -0,191 0,319
л 0,075 -0,218 0,785 0,235 -0,364
кср 0,937 -0,187 -0,212 0,075 -0,146
ксо 0,92 -0,171 -0,228 0,074 -0,143
кдр 0,971 0,167 0,011 0,021 -0,018
кдо 0,979 0,128 -0,032 0,009 -0,012
уо 0,854 0,372 0,178 -0,065 0,107
мос 0,83 0,398 0,119 -0,07 0,061
опсс -0,66 -0,372 -0,143 0,165 -0,026
их -0,107 0,412 -0,117 0,736 0,068
фв -0,351 0,557 0,408 -0,244 0,261
фу -0,304 0,467 0,419 -0,149 0,239
Таблица 2. Факторная структура варимакс (ортогональный случай)
F1 F2 F3 F4 F5
Вес 0,1349 -0,0739 0,0789 -0,0699 0,8613
имт 0,0842 -0,1472 0,0952 -0,0701 0,8584
чд 0,086 -0,0774 0,0433 -0,8493 0,0873
с -0,07 -0,052 -0,9135 0,0598 -0,1075
л 0,0117 0,0282 0,9229 -0,0162 0,0647
кср 0,7393 -0,6377 0,0145 -0,0933 0,151
ксо 0,7295 -0,6287 -0,0047 -0,0835 0,1379
кдр 0,943 -0,2564 0,0485 -0,0129 0,1191
кдо 0,9316 -0,2985 0,0165 -0,035 0,1329
уо 0,9465 0,0697 0,0524 -0,0015 0,1075
мос 0,9306 0,0459 0,017 0,0105 0,0393
опсс -0,7759 -0,1167 -0,0223 0,0736 0,0267
их 0,0057 0,0381 -0,028 0,8585 -0,0441
фв -0,0245 0,8448 0,0047 0,024 -0,1124
фу -0,0275 0,7436 0,0715 0,063 -0,0517
82 В.А. Шовин, В.В. Гольтяпин. Методы вращения факторных структур
Таблица 3. Факторная структура облимакс (косоугольный случай)
F1 F2 F3 F4 F5
Вес 0,0558 0,1716 -0,0287 -0,0133 0,8187
имт -0,0133 0,0944 -0,0474 -0,0116 0,8078
чд -0,0391 0,0199 -0,0214 -0,8344 0,0221
с -0,0082 0,0312 0,9022 0,0241 -0,0219
л -0,0476 -0,0758 -0,9164 0,0165 -0,0184
кср 0,5147 -0,4831 0,0028 -0,0341 0,014
ксо 0,5108 -0,4774 0,0211 -0,0265 0,0051
кдр 0,8197 -0,122 -0,0235 0,0352 0,0217
кдо 0,7965 -0,1533 0,0087 0,0143 0,0322
уо 0,9124 0,182 -0,0231 0,0321 0,0532
мос 0,8977 0,1432 0,0077 0,0399 -0,0122
опсс -0,7628 -0,1828 0,0022 0,0552 0,0635
их 0,114 -0,039 0,0099 0,8508 0,0087
фв 0,2118 0,7631 0,0016 -0,0191 0,003
фу 0,1787 0,6716 -0,0643 0,0295 0,0455
Таблица 4. Факторная структура по критерию интерпретируемости (косоугольный случай)
F1 F2 F3 F4 F5
Вес 0,1949 0,0000 -0,021 -0,0062 0,7783
имт 0,16 -0,0815 0,0000 0,0000 0,7679
чд 0,2165 -0,0211 0,01 -0,8305 0,0261
с -0,0598 -0,0382 -0,888 0,0225 0,1504
л 0,0000 0,0000 0,9059 0,0205 -0,19
кср 0,8631 -0,4849 0,008 -0,0288 0,0149
ксо 0,8502 -0,4783 -0,0095 -0,0214 0,0097
кдр 0,9721 -0,0817 0,0251 0,0187 -0,0001
кдо 0,9734 -0,1221 -0,0066 0,0000 0,0178
уо 0,9085 0,2377 0,0152 0,0023 0,0202
мос 0,8934 0,2084 -0,0105 0,0107 -0,0357
опсс -0,7374 -0,2506 0,0000 0,0829 0,0839
их -0,1191 0,0000 0,0003 0,8462 0,0000
фв -0,2005 0,8173 -0,0213 -0,0535 -0,0217
фу -0,1863 0,7167 0,0441 0,0000 0,0094
Математические структуры и моделирование. 2015. №2(34)
83
решения облимакс, полученного с помощью специального алгоритма на базе аналитического исследования поведения функции критерия, критерий равнялся
0.0448 [6]. Решение, полученное на базе метода штрафных функций, оказалось более эффективным.
Область допустимых решений косоугольного случая включает в себя область решений ортогонального, поэтому критерий вращения для косоугольного случая будет не хуже, чем для ортогонального. Это доказывает, что косоугольные факторы могут дать меньшую погрешность и большую Близость факторов к исходным параметрам. Наличие корреляций между факторами означает, что между ними есть зависимость: изменение одного фактора означает изменение и другого. Поэтому невозможно выявить влияние каждого фактора на изучаемый процесс. Именно для выявления такого влияния и вводится требование ортогональности факторов.
5. Заключение
Предложен общий метод оптимизации критериев вращения на базе метода штрафных функций и методов безусловной оптимизации. Предложен критерий интерпретируемости естественным образом учитывающий свойства интерпретируемого факторного решения. Все алгоритмы реализованы в виде отдельной программы с графическим интерфейсом для пользователя. Показано преимущество облимакс решения на базе метода штрафных функций над решением, получаемого с помощью специального алгоритма на базе аналитического исследования функции критерия. Доказано преимущество косоугольных методов вращения над ортогональными.
Литература
1. Иберла К. Факторный анализ. Пер. с нем. В.М. Ивановой. Предисл. А.М. Дуброва. М. : Статистика, 1980.
2. Харман Г. Современный факторный анализ. Пер. с англ. В.Я. Лумельского. Научное редактирование и вступительная статья Э.М. Бравермана. М. : Статистика, 1972.
3. Банди Б. Методы Оптимизации. Вводный курс. М. : Радио и связь, 1988.
4. Кокуев А.Г. Оптимальное управление. Поиск экстремумов многомерных функций. Астрахань : АГТУ, 2011. 34 с.
5. Шовин В.А. Конфирматорная факторная модель артериальной гипертензии // Компьютерные исследования и моделирование. 2012. Т. 4, № 4. С. 885-894.
6. Гольтяпин В.В., Шовин В.А. Косоугольная факторная модель артериальной гипертензии первой стадии // Вестник Омского университета. 2010. № 4. С. 120-128.
84 В.А. Шовин, В.В. Гольтяпин. Методы вращения факторных структур
factor structures rotation methods
V.A. Shovin
Researcher, e-mail: [email protected] V.V. Goltyapin
Associate Professor, Ph.D. (Phys.-Math.}, e-mail: [email protected] Sobolev Institute of Mathematics Siberian Branch of the Russian Academy Sciences
Abstract. Different factors rotational methods were built on the base of numerical methods of nonlinear optimization with conditions. A comparison of orthogonal and oblique rotational methods presented. Advantages of the oblique rotational methods is proven.
Keywords: factor analysis, quartimax, varimax, oblimax, quartimin, oblimin, binor-mamin.
