CC BY
52
Математические структуры и моделирование 2018. №3(47). С. 61-67
УДК 519.237.7:004.032.26 DOI: 10.25513/2222-8772.2018.3.61-67
АВТОКОРРЕЛЯЦИОННАЯ НЕЙРОННАЯ СЕТЬ ФАКТОРНОГО АНАЛИЗА
В.А. Шовин
научный сотрудник, e-mail: [email protected]
Федеральное государственное бюджетное учреждение науки Институт математики им. С.Л. Соболева Сибирского отделения РАН (Омский филиал), Россия
Аннотация. Разработан алгоритм проведения факторного анализа на базе автокорреляционной нейронной сети. Нейронная сеть данного типа обладает способностью автокорреляции входного и выходного сигнала. В этой нейронной сети для осуществления обратного распространения ошибки от максимума корреляции входного и выходного сигнала добавляется дополнительный слой нейронов с весовыми коэффициентами равными значениям входного сигнала. Максимизация корреляции входного и выходного сигнала приводит к реализации факторного анализа и вычисления главных компонент в случае меньшего числа нейронов на выходном слое, чем на входном слое нейронной сети. Тестовые вычисления главных компонент по данному алгоритму на данных артериальной гипертензии показали идентичность значимых факторных нагрузок и факторных структур с другими методами поиска главных компонент.
Ключевые слова: факторный анализ, нейронная сеть, метод обратного распространения ошибки.
Введение
Математические нейронные сети являются моделью реальных нейронных сетей. Такие сети известны своей автоматической способностью к обучению. Наиболее известной структурой математической нейронной сети является пер-цептрон Розенблатта. В данной структуре нейронной сети имеется несколько слоев нейронов, соединённых между собой связями с весовыми коэффициентами. Отдельные нейроны являются сумматорами входных сигналов, умноженных на весовые коэффициенты связей, пропущенными через передаточные функции нейронов. Такие передаточные функции приводят все суммы сигналов к диапазону значений [—1,1] и могут вносить нелинейные монотонные искажения.
Главным принципом автокорреляционных нейронных сетей является максимизация значения автокорреляционной функции выходных сигналов данной нейронной сети и каких-либо других сигналов, например выходных сигналов другой сети. В данной работе предлагается максимизировать значение автокорреляционной функции выходных и входных сигналов нейронной сети при
меньшем числе нейронов выходного слоя, чем входного. Тем самым такая нейронная сеть осуществляет факторный анализ и поиск главных компонент.
Максимум корреляций значений главных компонент со значениями исходных переменных приводит к максимизации значений факторных нагрузок факторной структуры. Значения главных компонент в данной нейро-сетевой модели являются суммами исходных переменных, пропущенными через передаточные функции нейронов выходного слоя. Данная математическая модель является схожей с моделью факторного анализа, когда исходные переменные являются линейными комбинациями значений главных компонент. В случае линейной передаточной функции получаем идентичность математических структур моделей. Минимизация невязок модели факторного анализа в свою очередь приводит к максимизации автокорреляционной функции между значениями исходных переменных и главных компонент в виду фиксированных значений корреляций между исходными переменными, значений самих исходных переменных и оптимальных значений факторных нагрузок. Эти два критерия поиска главных компонент являются балансирующими между собой.
1. Модель факторного анализа
В теории структурных уравнений используются следующие типы матриц.
На значения параметров и значений латентных переменных могут накладываться дополнительные условия в виде равенств и неравенств.
Оптимальными значениями параметров и латентных переменных считаются те значения, которые минимизируют абсолютные значения невязок.
Линейная факторная модель описывается следующими уравнениями [1,2]:
/
¿и = апрц + а12'Р21 + ... + агд рдг + £и,
Z2t = «21 Ри + а>22Р21 + ... + а-2д рдг + £21, < . (1)
= &т1Ри + ат2Р21 + ... + &тдРдЬ + ^тг,
\
где матрица Z о — матрица значений измеряемых переменных у иссле-
тхп
дуемых объектов или состояний объекта размерности т х п, где т — число измеряемых параметров, п — число объектов или состояний объекта (объём выборки).
Матрица Р о р^ — матрица значений латентных переменных объектов раз-
дхга
мерности д х п, где д — число латентных параметров.
Матрица А о а^ называется матрицей факторной структуры размерности
тхд
т х д весовых коэффициентов. Где т — число изучаемых параметров, д — число общих факторов; еи,е21,... — невязки модели для t-го объекта или состояния объекта.
Критерий оптимизации задаётся в следующем виде:
к = VV Ы
t=i k=i
(2)
Минимизация критерия К приводит к оптимальному решению для варьируемых значений элементов факторной структуры а^ и факторов р^.
Критерий автокорреляционной функции. Рассмотрим 1-ое уравнение факторной модели:
Zit
У^ aijPjt + £ц.
Умножим левую и правую часть уравнения на возьмём модуль и просуммируем по 5:
| IZstl ^
ttij ZgtPjt
3=1
+ leal Izst|
J2lzit 1 lZstl ^
S=1
m g
s=1 j=1
+ ы ы
S=1
Поскольку слагаемое \zn\ \zst\ = const, \zst\ = const и aij = const, т. к. являются оптимальными. Тогда минимизация \eit\ приводит к максимизации
Em
s= 1 2-/j=1 ZstPjt .
Критерий максими зации автокорреляционной функции
F
Em
s=1 2-17 = 1 ZstPjt
^ max является балансирующим с критерием минимизации невязок Y^t=i ™1 l£nl ^ min.
Таким образом, можно сформулировать следующую теорему.
Теорема 1. Для линейной факторной модели (1) критерий максимизации авто корреляционной функции между исходными переменными и факторами
F = 1 Yl9j=1 ZstPjt ^ max для каждого t является балансирующим с критерием минимизации невязок модели 1= 1 S™ 1 l£u| ^ min, т. е. позволяет определить неизвестные параметры модели.
2. Метод построения факторной модели
Обратной моделью факторного анализа является выражение факторов через линейные комбинации исходных переменных:
/
Pit = + ^12 Z2t + ... + bimZmt + £li,
P2t = + &22 Z2t + ... + &2mZmt + £2t,
<
Pgt = bg1Z1t + bg2Z2t + ... + bgmZmt + £gt.
Данную структурную модель можно построить на нейронной сети следующей конфигурации (рис. 1).
Рис. 1. Схема нейронной сети факторного анализа (число нейронов входного слоя равно числу переменных, число нейронов выходного слоя меньше числа нейронов входного слоя и равно
числу факторов)
Такая конфигурация позволяет вычислить значения факторов как выходных сигналов нейронов выходного слоя при известных значениях исходных переменных — выходных сигналов нейронов входного слоя и весовых коэффициентов связей, поставленных в соответствие матрице В о Ъц.
дхт
Чтобы обеспечить максимум автокорреляционной функции между исходными переменными и факторами и использовать метод обратного распространения ошибки для осуществления оптимизации критерия, сеть расширяется до следующей конфигурации (рис. 2).
Рис. 2. Схема нейронной сети факторного анализа (два дополнительных слоя нейронов обеспечивают оптимизацию критерия автокорреляционной функции)
В данной конфигурации значение выходного сигнала с нейрона выходного слоя равно значению автокорреляционной функции, когда веса связей на выходном слое равны 1 и веса связей на предыдущем слое равны значениям исходных переменных.
Такая нейронная сеть обучается методом обратного распространения ошибки. Для каждого вектора исходных переменных целевым значением выходного сигнала сети является 1. Для вычисления разности между целевым значением выходного сигнала, равного 1, и самим выходным сигналом его значение берётся по модулю. Осуществляется расчёт ошибки выходного слоя в методе обратного распространения ошибки [3]. Происходит оптимизация критерия
максимума автокорреляционной функции и поиск оптимальных значений элементов матрицы В.
После вычисления оптимальной матрицы В матрица факторной структуры А вычисляется как матрица обратная В с использованием дополнительных ограничений на значения общностей исходных переменных, равных 1:
\
£
к=1
П2
агк
Для расчёта матрицы А в работе использовался метод штрафов и метод конфигураций [4,5]. Целевой функцией являлась сумма квадратов разностей элементов матрицы произведения матриц A и B и единичной матрицы E.
Численный эксперимент. В качестве исходных данных были взяты 15 биофизических показателей для 131 лица с артериальной гипертензией начальной стадии [6]:
1) вес,
2) индекс массы тела (ИМТ),
3) частота дыхания (ЧД),
4) сегментоядерные нейтрофилы (С),
5) лимфоциты (Л),
6) конечно-систолический размер левого желудочка (КСР),
7) конечно-систолический объём левого желудочка (КСО),
8) конечно-диастолический размер левого желудочка (КДР),
9) конечно-диастолический объём левого желудочка (КДО),
10) ударный объём (УО),
11) минутный объём сердца (МОС),
12) общее периферическое сосудистое сопротивление (ОПСС),
13) индекс Хильдебрандта (ИХ),
14) фракция выброса левого желудочка (ФВ),
15) фракция укорочения левого желудочка (ФУ).
Расчёт матрицы факторной структуры по методу максимизации автокорреляционной функции между исходными переменными и факторами приведён в таблице 1.
Полученная матрица факторной структуры находится в хорошем соответствии с результатами, получаемыми другими методами [7,8].
1
Заключение
Предложен критерий максимизации автокорреляционной функции между исходными переменными и факторами, который является балансирующим с критерием минимальных невязок уравнений модели факторного анализа. Оптимизацию такого критерия предлагается осуществлять на нейронной сети специальной конфигурации методом обратного распространения ошибки. Тестовый
Таблица 1. Матрица факторной структуры.
п ^2 ^3 ^4 ^5
Вес -0,292 0,822 -0,309 0,205 -0,315
ИМТ 0,839 0,162 -0,057 -0,118 -0,501
ЧД 0,354 -0,589 -0,224 0,655 -0,218
С -0,386 0,414 -0,645 0,496 0,124
Л -0,333 0,378 0,599 0,100 -0,613
КСР 0,659 0,230 0,234 -0,526 0,423
КСО 0,523 -0,508 0,334 -0,352 0,480
КДР 0,130 -0,533 0,505 -0,335 0,574
КДО -0,668 0,423 -0,315 0,523 -0,029
УО 0,909 -0,384 0,007 -0,109 -0,113
МОС 0,669 -0,276 0,596 -0,063 -0,339
ОПСС -0,853 0,299 0,013 0,411 0,112
ИХ 0,173 -0,136 0,436 -0,576 0,654
ФВ -0,501 0,839 -0,207 0,027 0,027
ФУ -0,055 -0,523 0,525 -0,183 0,642
расчёт матрицы факторной структуры на данных артериальной гипертензии начальной стадии показал хорошее соответствие с результатами других методов.
Литература
1. Иберла К. Факторный анализ. М. : Статистика, 1980.
2. Харман Г. Современный факторный анализ. М. : Статистика, 1972.
3. Шовин В.А., Гольтяпин В.В. Факторное моделирование с помощью нейронной сети // Математическое моделирование и численные методы. 2016. № 2. С. 85-103.
4. Банди Б. Методы оптимизации. Вводный курс. М. : Радио и связь, 1988. 128 с.
5. Кокуев А.Г. Оптимальное управление. Поиск экстремумов многомерных функций. Астрахань : АГТУ, 2011. 34 с.
6. Гольтяпин В.В., Шовин В.А. Косоугольная факторная модель артериальной гипертензии первой стадии // Вестник Омского университета. 2010. № 4. С. 120-128.
7. Шовин В.А. Конфирматорная факторная модель артериальной гипертензии // Компьютерные исследования и моделирование. 2012. Т. 4, № 4. С. 885-894.
8. Шовин В.А., Гольтяпин В.В. Методы вращения факторных структур // Математические структуры и моделирование. 2015. № 2(34). С. 75-84.
AUTOCORRELATION NEURAL NETWORK OF FACTOR ANALYSIS
V.A. Shovin
Scientist Researcher, e-mail: [email protected]
The Federal State budget institution Science Institute of Mathematics S.L. Soboleva of Siberian Branch of RAS (Omsk Branch), Russia
Abstract. An algorithm for performing factor analysis based on an autocorrelation neural network is developed. The neural network of this type has the ability to autocorrelation the input and output signals. In this neural network, an additional layer of neurons with weight coefficients equal to the values of the input signal is added to carry out the back propagation of the error from the maximum of the correlation of the input and output signals. Maximizing the correlation of the input and output signals leads to the realization of factor analysis and calculation of the principal components in the case of a smaller number of neurons on the output layer than on the input layer of the neural network. Test calculations of the principal components of this algorithm on the data of arterial hypertension showed the identity of significant factor loads and factor structures with other methods of searching for the principal components.
Keywords: factor analysis, neural network, back propagation method.
Дата поступления в редакцию: 06.09.2018
