Сравнительный анализ эффективности методов устранения мультиколлинеарности Текст научной статьи по специальности «Математика»

УДК 330.43

Моисеев Н. А.

СРАВНИТЕЛЬНЫЙ АНАЛИЗ ЭФФЕКТИВНОСТИ МЕТОДОВ УСТРАНЕНИЯ МУЛЬТИКОЛЛИНЕАРНОСТИ

Аннотация

Проводится сравнительный анализ эффективности методов, ридж-регрессия, регрессия ЛАССО, метод главных компонент и метод частных наименьших квадратов для борьбы с мультиколлинеарностью объясняющих переменных в линейных регрессионных моделях. Показывается, что классический метод наименьших квадратов не теряет в точности из-за присутствия мультиколлинеарности предикторов, но имеется возможность повысить эту точность с помощью применения рассматриваемых методов. В случае полного отсутствия мультиколлинеарности классический МНК демонстрирует самую высокую эффективность, однако даже в случае умеренной мультикол-

линеарности уступает другим методам. В результате детального анализа проведенных машинных экспериментов был сделан вывод о том, что метод частных наименьших квадратов является наиболее предпочтительным среди рассматриваемых способов устранения мультиколлинеарности.

Ключевые слова

Мультиколлинеарность, метод наименьших квадратов, ридж-регрессия, метод главных компонент, метод частных наименьших квадратов.

JEL: C52, C53

Moiseev N. A.

COMPARATIVE ANALYSIS OF EFFICIENCY METHODS OF ELIMINATION OF MULTICOLLINEARITY

Annotation

Article presents a comparative analysis of effectiveness of methods dealing with multi-collinearity of explanatory variables in linear regression models. We compare such methods as ridge regression, LASSO regression, principal component analysis and partial least squares method. It is shown that the classical method of least squares does not lose in accuracy due to presence of multicollinearity of predictors, but it is possible to improve the accuracy by applying considered methods. In the case of complete absence of multicollinearity, OLS shows the highest efficiency, but even in case of moderate multicollinearity it is inferior to other methods. As a result of detailed analysis of conducted computer experiments we conclude that method of partial least squares is the most preferred among the considered ways of dealing with multicollinearity.

Keywords

Multicollinearity, ordinary least squares, ridge regression, principal component analysis, partial least squares

Одна из предпосылок метода наименьших квадратов состоит в том, что отсутствует полная линейная зависимость между объясняющими переменными. Если данное условие не выполняется, то представляется невозможным оценить коэффициенты модели с помощью Метода наименьших квадратов (МНК).

Полная мультиколлинеарность возникает не так часто и, как правило, легко устраняется путем исключения одной из линейно зависимых переменных из уравнения регрессии. Поэтому зачастую под мультиколлинеарностью подразумевают не функциональную линейную зависимость между объясняю-

щими переменными, а ситуацию, при которой предикторы хоть и не функционально зависимы, но все равно меняются похожим образом. В данной ситуации МНК оценки коэффициентов регрессии вычисляются и, более того, по-прежнему являются эффективными несмещенными оценками из класса линейных оценок (BLUE). Однако если присутствует высокая степень мульти-коллинеарности, то det(XTX) ^ 0, соответственно элементы матрицы (XTX)_1 будут стремиться к бесконечности, что прямым образом сказывается на элементах дисперсионно-ковариационной матрицы оценок коэффициентов регрессии cov(B) = a2(XTX)_1. Большие зна-

чения дисперсии оценок коэффициентов означают, что точность этих оценок будет низкой, и как следствие они будут незначимы. Это происходит потому что, если предикторы тесно связаны между собой -достаточно трудно отдельно оценить влияние каждого из них на целевую переменную. Таким образом, наличие сильной мультиколлинеарности напрямую оказывает влияние на экспликативные возможности получаемой модели и должно сопровождаться применением специально разработанных методов.

К основным способам диагностики мультиколлинеарности относят:

- незначимые коэффициенты при регрессорах, но при этом большой коэффициент детерминации и F-статистика;

- чувствительность оценок коэффициентов и их дисперсий к добавлению и исключению наблюдений из выборки;

- высокие показатели парной корреляции между отдельными предикторами;

- высокие факторы инфляции дисперсии (Variance Inflation Factor, VIF);

- высокий индекс обусловленности.

Рассмотрим детально последние

два численных измерителя мультикол-линеарности.

VIF. Как уже было подчеркнуто ранее, проблема увеличения дисперсии оценок коэффициентов регрессии возникает из-за того, что объясняющие переменные сильно взаимосвязаны. Тогда наиболее информативным показателем считается коэффициент детерминации в регрессии, которая представляет собой зависимость одной из объясняющих переменных от всех остальных. Обозначим как Rj коэффициент детерминации регрессии Xj на все оставшиеся предикторы. Тогда дисперсию оценки коэффициента регрессии при j-м предикторе можно представить в виде:

var

( )

а

1

(1)

Пъ - x У 1 - R

Формула (1) показывает, что дисперсия коэффициента в множественной регрессии разлагается на две компоненты. Во-первых, это дисперсия оценки коэффициента, которая имела бы место быть в случае, если регрессия была бы однофакторной, то есть в качестве предиктора использовалась бы только переменная Xj. Вторая компонента - это 1

-которая изменяется от единицы

1 - R

до бесконечности. Именно из-за этого дисперсия оценки коэффициента будет как бы расширяться, т. к. в регрессии есть еще другие объясняющие переменные, взаимосвязанные с переменной Xj. Поэтому вторая компонента получила название фактор инфляции дисперсии (VIF).

1

(2)

VIF, = ,■

7 1 - R2

Если остальные объясняющие переменные линейно не взаимосвязаны с Xj, то Rf = 0 и соответственно VIFj = 1. В противном случае, если Xj практически полностью можно линейно выразить через остальные предикторы, то Rj ^ 0, а VIFj ^ œ, что соответствует бесконечной дисперсии оценок коэффициентов. Таким образом VIF является явным численным показателем степени мультиколлинеарности среди независимых переменных.

Индекс обусловленности (англ. Conditional Index, CI). Выше было показано, что при высокой степени взаимозависимости объясняющих переменных det(XTX) ^ 0. Поскольку определитель матрицы равен произведению собственных чисел, то важную информацию о них может дать показатель обусловленности, который вычисляется следующим образом:

CI

i

max

& )

(3)

mm(\) '

- собственные числа матрицы XTX.

Если все предикторы ортогональны по отношению друг к другу, то CI = 1, т. к. все собственные числа равны между собой, а если определитель матрицы XTX близок к нулю, то индекс обусловленности стремится к бесконечности. Таким образом, если VIFy измеряет мультикол-линеарность ассоциированную непосредственно с j-м предиктором, то индекс обусловленности является обобщенным численным измерителем мультиколлине-арности, который в некотором роде агрегирует информацию по всем VIFy в один интегральный показатель.

Перейдем к краткому описанию наиболее популярных способов борьбы с мультиколлинеарностью. Здесь не будем акцентировать внимание на таких триви-

альных способах, как исключение переменных из уравнения или преобразования мультиколлинеарных предикторов.

Ридж-регрессия (англ. Ridge regression). Поскольку при применении обычного МНК получаемые оценки коэффициентов не имеют каких-либо ограничений, то в случае высокой мульти-коллинеарности они могут расходиться в плюс или минус бесконечность, что, естественно, негативным образом сказывается на адекватности и точности модели. Для устранения данного «взрывного» характера поведения оценок коэффициентов ридж-регрессия накладывает определенные ограничения на величины этих оценок. Таким образом задача нахождения коэффициентов модели сводится к минимизации суммы квадратов ошибок уравнения при наличии ограничений на параметры, а именно

m

(Y - XB)т (Y - XB)^ min, £b* < t

2=1

(4)

При условии центрирования У и стандартизации X оптимизационную задачу (4) можно также представить в виде минимизации суммы квадратов

отклонений модели без константы с наложением штрафа на величины коэффициентов:

V г

Y-XB

Y-XB

V У V

где параметр Я отвечает за степень сжатия оценок коэффициентов модели. Если Я = 0, то параметры ридж-регрессии будут равны простым МНК-оценкам. В случае когда Я ^ - ридж-регрессия дает нулевые коэффициенты при предикторах, оставляя в изначальной модели только свободный член.

Включение параметра Я делает матрицу невырожденной, даже если ХТХ не является обратимой. Именно это свойство было первоначальной мотивацией для разработки методики ридж-регрессии, см. [1]. Отметим, что для выбора оптимального значения параметра Я зачастую используют кросс-валидацию. При проведении данной

t=i

процедуры анализируемые данные разбиваются на две выборки: обучающую и проверочную. По первой проводится расчет коэффициентов модели при заданном значении Я, которые впоследствии используются на проверочной выборке для расчета критерия эффективности модели. Такая последовательность действий повторяется рекурсивно до достижения оптимального значения Я, при котором критерий эффективности модели является наилучшим.

Регрессия LASSO (англ. Least Absolute Shrinkage and Selection Operator). Данный метод был предложен в работе [4] и является в некотором роде аналогом ридж-регрессии. Главное от-

(5)

личие заключается в том, что в случае LASSO в качестве ограничений в (4)

берутся не квадраты коэффициентов, а их значения по модулю, а именно

m

(Y - XB)T (Y - XBmin, £\b\ < t

или в альтернативном представлении:

r

V с

Y-XB

л

Y-XB

V y V

Еще одним отличием является то, что решение регрессии LASSO не имеет аналитического представления и решается с помощью различных подходов квадратичного программирования.

Метод главных компонент (англ. Principal Component Analysis, PCA). Изначально был предложен Карлом Пирсоном в 1901 г. [3] как один из способов уменьшить размерность данных, потеряв при этом наименьшее количество информации. Идея метода состоит в следующем. Положим, что имеется матрица центрированных объясняющих переменных Xnxm с некоторой дисперсионно-ковариационной матрицей 2mxm. Рассмотрим линейные комбинации имеющихся предикторов:

Ун = Ь11Х 1i +Ь12X 2i +- + b1mXm

y2i = b21X 1i +Ь22X 2i + b2mX mi

y = b ,X, +b 9X9 +... + b

mi m1 1i m2 2i m

X

mm mi

каждая из которых может быть интерпретирована как линейная регрессия у по X. Поскольку каждая величина у; является функцией случайных величин, она также является случайной величиной, а следовательно, имеет следующее выражение для дисперсии и ковариаций:

^аг ( х-) = Ь[ Щ, сс^ ( х-, У^ = Ьт Щ,

где Ь = (Ь11,Ь12, ...,Ь1т)т. Тогда первой главной компонентой матрицы X называется линейная комбинация уь которая имеет максимальную дисперсию при наличии ограничения на евклидову норму коэффициентов данной комбинации, а

У

i=i

m

+ J ^min.

i=i

(6)

(7)

именно: var(ymax, b\bx = 1- Второй главной компонентой является линейная комбинация у2, которая также имеет максимальную дисперсию, но уже при наличии дополнительного ограничения на нулевую ковариацию с первой компонентой var (y2 ) ^ max, Ь^Ь2 = 1, &Tb2 = 0.

Таким образом, i-й компонентой является такая линейная комбинация, которая обладает максимальной дисперсией при наличии ограничений на евклидову норму коэффициентов и имеет нулевые ковариации с предыдущими главными компонентами. Для получения главных компонент вычисляются собственные значения и соответствующие им собственные вектора дисперсионно-ковариационной матрицы предикторов. Если отсортировать собственные значения по убыванию, то можно показать, что при bjbi = 1 дисперсия i-й главной компоненты равна i-му собственному значению, а именно:

Var ( У ) = Var (b,1X1+b,2X 2 +--. + bmXm ) = \ -

Более того, элементы соответствующего нормированного собственного вектора будут являться коэффициентами линейного преобразования. Проще говоря, преобразовывая исходные данные в главные компоненты, система координат как бы перемещается таким образом, что преобразованные данные становятся некоррелированными друг с другом.

На рисунке 1 приведен схематичный пример такого преобразования в случае с двумя компонентами.

y

if / +

л

s о

4

° о °

° '' \

°\

о \

' О 4

x

Рисунок 1 - Преобразование системы координат для двух компонент

Метод частных наименьших квадратов (англ. Partial Least Squares, PLS). Данный метод был предложен шведским статистиком Германом Вольдом [5] и является модификацией метода главных компонент. Суть метода также заключается в поиске матрицы параметров для линейных преобразований матрицы исходных предикторов, в результате проведения которых получались бы ортогональные переменные. Однако существенным отличием от метода главных компонент является то, что параметры подбираются по принципу максимизации ковариации полученной линейной комбинации с зависимой переменной, а именно:

cov ( у, у) ^ max, bfbt = 1.

Таким образом, метод частных наименьших квадратов стремится построить такие линейные преобразования, которые бы максимально объясняли вариацию зависимой переменной, удовлетворяли бы ограничениям на евклидову норму величин параметров и при этом были бы взаимно независимы. Для того чтобы понять, как работают различные методы борьбы с мультиколлинеарно-

1) у, = 2 + 0,5xrt

где et~N(0,1) - «белый» шум, 2 - произвольно выбранная константа модели.

В результате проведенного имитационного эксперимента были протести-

стью и какой эффект они дают, проведем серию имитационных экспериментов. Предположим, имеется целевая переменная у г и набор потенциальных объясняющих переменных хп, хг2, ..., х1т. В данных экспериментах будем полагать, что объясняющие переменные подчиняются нормальному распределению с нулевой средней и единичной дисперсией, а именно: хп,ха, ■■■ ,Х{т~М[Е(ха) = 0, = 1]. Обозначим 1 как корреля-

ционную матрицу рассматриваемых предикторов, имеющую вид:

=

1 Р Р 1

р р ••• 1

где - парный коэффициент корреляции.

Определим, что целевая переменная зависит либо только от одного предиктора, либо от всех из имеющегося сгенерированного набора. Таким образом, будет соответственно вычисляться как:

m

2) yt = 2 + Х 0,5хи +6t

(8)

2=1

рованы три представленных выше способа устранения мультиколлинеарно-сти, а именно: ридж-регрессия, метод главных компонент (использовались все

компоненты) и метод частных наименьших квадратов (использовалась только первая компонента). Тестирование проводилось при различном числе наблюдений (п = 20,п = 40, п = 80), различном количестве потенциальных предикторов (т = 2,т = 5,т = 10), различной степени мультиколлинеарно-сти (р = 0,р = 0,3, р = 0,5, р = 0,8, р = 0,99). Полученные по разным методам

результаты, а именно - вневыборочная среднеквадратическая ошибка прогноза, сравнивались с результатами работы обычного МНК.

В таблице 1 представлены результаты проведенного эксперимента в случае, если значимым является только первый предиктор и отсутствует муль-тиколлинеарность среди объясняющих переменных.

Таблица 1 - Сравнение методов устранения мультиколлинеарности, р = 0, значимый только первый предиктор

т п МНК Ридж-регрессия (Я = 10) Метод главных компонент МЧНК

20 1,190587 1,617969 1,190587 1,173859

2 40 1,078508 1,2367 1,078508 1,079851

80 1,032534 1,078918 1,032534 1,033905

20 1,449003 1,792529 1,449003 1,26805

5 40 1,189067 1,32829 1,189067 1,158302

80 1,078753 1,120117 1,078753 1,077712

20 2,363852 2,130958 2,363852 1,366522

10 40 1,383703 1,458867 1,383703 1,2192

80 1,160273 1,188571 1,160273 1,132356

Как видно из таблицы 1 , в случае отсутствия мультиколлинеарности ридж-регрессия показывает более низкую эффективность, нежели простой МНК. Также сразу отметим, что метод главных компонент является полным аналогом МНК по показателю точности получае-

мых прогнозов, что можно видеть по результатам из таблиц 1-10. Что касается МЧНК, то в случае, когда значимым является всего один предиктор, этот метод работает лучше простого МНК, выполняя своего рода процедуру спецификации регрессионного уравнения.

Таблица 2 - Сравнение методов устранения мультиколлинеарности, р = 0,

все предикторы значимые

т п МНК Ридж-регрессия (Я = 10) Метод главных компонент МЧНК

20 1,176336 1,648365 1,176336 1,173351

2 40 1,079606 1,249898 1,079606 1,087008

80 1,041188 1,092182 1,041188 1,045752

20 1,455133 1,976992 1,455133 1,452421

5 40 1,179853 1,375488 1,179853 1,249625

80 1,08086 1,140245 1,08086 1,132207

20 2,338183 2,617537 2,338183 2,124461

10 40 1,390198 1,643335 1,390198 1,687784

80 1,16011 1,230757 1,16011 1,370957

Из таблицы 2 можно заключить, что в случае значимости всех предикторов и отсутствия мультиколлинеарности

простой МНК работает более эффективно, чем другие рассматриваемые методы. Однако уже при небольшой муль-

тиколлинеарности (табл. 3-4) МЧНК тивность в сравнении с МНК, методом

демонстрирует более высокую эффек- главных компонент и ридж-регрессией.

Таблица 3 - Сравнение методов устранения мультиколлинеарности, р = 0 ,3 ,

значимый только первый предиктор

т п МНК Ридж-регрессия (Я = 1 0 ) Метод главных компонент МЧНК

20 1,174231 1,608902 1,174231 1,154868

2 40 1,083917 1,241667 1,083917 1,086946

80 1,035842 1,081708 1,035842 1,04419

20 1,455612 1,768391 1,455612 1,253993

5 40 1,180933 1,315414 1,180933 1,143311

80 1,083571 1,121994 1,083571 1,093972

20 2,376513 2,044657 2,376513 1,318401

10 40 1,389381 1,435529 1,389381 1,186497

80 1,155126 1,174713 1,155126 1,127956

Таблица 4 - Сравнение методов устранения мультиколлинеарности, р = 0 , 3 ,

все предикторы значимые

т п МНК Ридж-регрессия (Я = 1 0 ) Метод главных компонент МЧНК

20 1,177821 1,638778 1,177821 1,133358

2 40 1,074459 1,241587 1,074459 1,058286

80 1,042148 1,08889 1,042148 1,034198

20 1,447948 1,8849 1,447948 1,205139

5 40 1,182291 1,338889 1,182291 1,095137

80 1,0856 1,131159 1,0856 1,050146

20 2,343569 2,283455 2,343569 1,368448

10 40 1,381569 1,486458 1,381569 1,149717

80 1,160149 1,19196 1,160149 1,070294

Далее с ростом степени мульти-коллинеарности эффективность МЧНК только возрастает, что можно проследить по результатам экспериментов, представленных в таблицах 5-10, в то время как ошибки, полученные по МНК, не претерпевают особых изменений при

различной степени мультиколлинеарно-сти. Таким образом, можно сделать вывод о том, что наличие мультиколлине-арности предикторов не снижает эффективность МНК, но повышает эффективность альтернативных методов.

Таблица 5 - Сравнение методов устранения мультиколлинеарности, р = 0, 5 ,

значимый только первый предиктор

т п МНК Ридж-регрессия (Я = 1 0 ) Метод главных компонент МЧНК

20 1,187816 1,600026 1,187816 1,161285

2 40 1,084512 1,241948 1,084512 1,084883

80 1,041225 1,086966 1,041225 1,055269

20 1,458153 1,74502 1,458153 1,221637

5 40 1,183335 1,301531 1,183335 1,132479

80 1,064235 1,099437 1,064235 1,075598

20 2,344319 1,930883 2,344319 1,256738

10 40 1,388371 1,396668 1,388371 1,151466

80 1,16761 1,173479 1,16761 1,120711

Таблица 6 - Сравнение методов устранения мультиколлинеарности, р = 0, 5,

все предикторы значимые

m п МНК Ридж-регрессия (Я = 10) Метод главных компонент МЧНК

20 1,188034 1,638406 1,188034 1,124773

2 40 1,077132 1,23475 1,077132 1,054002

80 1,040402 1,084853 1,040402 1,028857

20 1,444023 1,814229 1,444023 1,143548

5 40 1,176564 1,310112 1,176564 1,062809

80 1,084129 1,121244 1,084129 1,035428

20 2,374117 2,110736 2,374117 1,209904

10 40 1,395254 1,435688 1,395254 1,094806

80 1,157837 1,16993 1,157837 1,040594

Таблица 7 - Сравнение методов устранения мультиколлинеарности, р = 0,8,

значимый только первый предиктор

m п МНК Ридж-регрессия (Я = 10) Метод главных компонент МЧНК

20 1,17276 1,5729 1,17276 1,126231

2 40 1,086234 1,229169 1,086234 1,078164

80 1,03752 1,083178 1,03752 1,044674

20 1,446764 1,634423 1,446764 1,145528

5 40 1,177707 1,260625 1,177707 1,086395

80 1,08158 1,102734 1,08158 1,061216

20 2,36872 1,741778 2,36872 1,170546

10 40 1,386079 1,307621 1,386079 1,088867

80 1,163819 1,137605 1,163819 1,070386

При достаточно сильной мультиколлинеарности (табл. 7-10) ридж-регрессия с параметром X = 1Q также показывает более высокую эффективность, нежели простой МНК, но тем не менее уступает МЧНК. Несомненно, качество ридж-регрессии напрямую зависит от выбора параметра X, однако до сих пор в научной среде не существует консенсуса относительно выбора опти-

мального значения этого параметра. Поскольку в статье эффективность ридж-регрессии оценивается только при одном значении Я, то не представляется возможным сделать однозначный вывод о том, что МЧНК является более предпочтительным несмотря на то, что в рамках данного исследования ридж-регрессия ни разу не показала меньшую ошибку прогноза, нежели МЧНК.

Таблица 8 - Сравнение методов устранения мультиколлинеарности, р = 0,8,

все предикторы значимые

m п МНК Ридж-регрессия (Я = 10) Метод главных компонент МЧНК

20 1,191949 1,621901 1,191949 1,117355

2 40 1,083141 1,233586 1,083141 1,053254

80 1,036009 1,079203 1,036009 1,02294

20 1,447844 1,721248 1,447844 1,114745

5 40 1,181812 1,268645 1,181812 1,057601

80 1,076499 1,098638 1,076499 1,022079

20 2,383575 1,829119 2,383575 1,130114

10 40 1,388373 1,31698 1,388373 1,058612

80 1,165328 1,135022 1,165328 1,027365

Таблица 9 - Сравнение методов устранения мультиколлинеарности, р = 0,9 9 ,

значимый только первый предиктор

m п МНК Ридж-регрессия а = 1 о ) Метод главных компонент МЧНК

20 1,186759 1,561968 1,186759 1,11416

2 40 1,088689 1,22009 1,088689 1,059852

80 1,037553 1,071924 1,037553 1,025238

20 1,456978 1,565853 1,456978 1,1134

5 40 1,189985 1,223808 1,189985 1,062343

80 1,08123 1,077189 1,08123 1,030597

20 2,372542 1,587888 2,372542 1,115827

10 40 1,380219 1,213738 1,380219 1,048841

80 1,166849 1,085896 1,166849 1,035569

Таблица 10 - Сравнение методов устранения мультиколлинеарности, р = 0,9 9 ,

все предикторы значимые

m п МНК Ридж-регрессия (Я = 1 0 ) Метод главных компонент МЧНК

20 1,185735 1,598966 1,185735 1,115409

2 40 1,084763 1,228005 1,084763 1,056891

80 1,044883 1,084808 1,044883 1,03287

20 1,452824 1,631208 1,452824 1,107386

5 40 1,174113 1,221593 1,174113 1,049556

80 1,081465 1,080363 1,081465 1,027186

20 2,36142 1,667659 2,36142 1,112898

10 40 1,388035 1,2294 1,388035 1,046946

80 1,167075 1,091406 1,167075 1,035908

На рисунках 2а и 2б представлена динамика вневыборочной среднеквад-ратической ошибки, полученной по

2,6 2,4 2,2 2 1,8 1,6 1,4 1,2 1

20

40

Число наблюдений —о— Ридж-регрессия —

Рисунок 2а - Эффективность методов устранения мультиколлинеарности (все предикторы значимы, р = 0 , m = 1 0 )

анализируемым методам, при отсутствии зависимости между предикторами и при высокой мультиколлинеарности.

80

МНК - о- - МЧНК

Рисунок 2б - Эффективность методов устранения мультиколлинеарности (все предикторы значимы, )

Инфографика из представленных рисунков наглядно подтверждает высказанное выше утверждение о повышении эффективности способов борьбы с муль-тиколлинеарностью при высокой степени взаимозависимости предикторов. Основная идея ридж-регрессии, регрессии LASSO и МЧНК заключается в том, чтобы допустить некоторое смещение в оценках коэффициентов регрессии, но за счет этого сократить дисперсию смещенных оценок. Как показывают эксперименты, в случае ортогональности предикторов такой обмен не является оптимальным, однако при сильной мульти-коллинеарности дисперсия МНК-оценок радикально возрастает, что дает видимое преимущество смещенным оценкам, поскольку потеря в точности за счет смещения с лихвой компенсируется пониженной дисперсией параметров.

Благодарность. Данная научная статья подготовлена в рамках использования гранта Президента Российской Федерации для государственной поддержки молодых ученых - кандидатов наук № 14.Z56.17.1169-MK.

Библиографический список

1. Hoerl, A. E., Kennard, R Ridge regression: Biased estimation of nonorthogonal problems // Technometrics. -1970. - № 12. - P. 55-67.

2. Moiseev, N. A. Linear model averaging by minimizing mean-squared forecast error unbiased estimator. Model Assisted Statistics and Applications. - 2016. -№ 4. - Т. 11. - P. 325-338.

3. Pearson, K. On lines and planes of closest fit to systems of points in space. Philosophical Magazine. - 1901. - № 2. -P.559-572.

4. Tibshirani, R. Regression Shrinkage and Selection via the lasso // Journal of Royal Statistical Society. Series B (methodological). - 1996. - № 58 (1). - P. 267-288.

5. Wold, H. Partial least squares // Kotz, S., Johnson, N. L. Encyclopedia of

statistical sciences. - New York : Wiley, 1985. - № 6. - P. 581-591.

6. Zubakin, V. A., Kosorukov, O. A., Moiseev, N. A. Improvement of regression forecasting models. Modern Applied Science. - 2015. - № 6. - Т. 9. - Р. 344-353.

7. Глазьев, С. Проблемы прогнозирования макроэкономической динамики // Российский экономический журнал. -2001. - № 3. - С. 76-85.

8. Крыштановский, А. О. Методы анализа временных рядов // Мониторинг общественного мнения: экономические и социальные перемены. - 2000. - № 2 (46). - С. 44-51.

9. Моисеев, Н. А. Современные инструментальные методы прогнозирования процессов нестабильной экономики // Интеграция отечественной науки в мировую: проблемы, тенденции и перспективы. -М. : Научное обозрение, 2014. - С. 42-54.

10. Моисеев, Н. А., Ахмадеев, Б. А. Инновационная модель регрессионного прогноза // Инновации и инвестиции. -2014. - № 9. - С. 123-127.

Bibliographic list

1. Hoerl, A. E., Kennard, R. Ridge regression: Biased estimation of nonorthogonal problems // Technometrics. -1970. - № 12. - P. 55-67.

2. Moiseev, N. A. Linear model averaging by minimizing mean-squared forecast error unbiased estimator. Model Assisted Statistics and Applications. - 2016. -№ 4. - Т. 11. - P. 325-338.

3. Pearson, K. On lines and planes of closest fit to systems of points in space. Philosophical Magazine. - 1901. - № 2. -P.559-572.

4. Tibshirani, R. Regression Shrinkage and Selection via the lasso // Journal of Royal Statistical Society. Series B (methodological). - 1996. - № 58 (1). - P. 267-288.

5. Wold, H. Partial least squares // Kotz, S., Johnson, N. L. Encyclopedia of statistical sciences. - New York : Wiley, 1985. - № 6. - P. 581-591.

6. Zubakin, V. A., Kosorukov, O. A., Moiseev, N. A. Improvement of regression forecasting models. Modern Applied Science. - 2015.-№ 6. - T. 9.-P. 344-353.

7. Glazyev, S. Problems of forecasting macroeconomic dynamics // Russian Economic Journal. - 2001. - № 3. - P. 76-85.

8. Kryshtanovskiy, A. O. Methods of analysis of time series // Monitoring of public opinion: economic and social changes. - 2000. - № 2 (46). - P. 44-51.

9. Moiseev, N. A. Modern instrumental methods for predicting the processes of an unstable economy // Integration of Russian science into the world: problems, trends and perspectives. - M. : Scientific Review, 2014. - P. 42-54.

10. Moiseev, N. A., Akhmadeev, B. A. Innovative model of regression forecast // Innovations and investments. - 2014. -№9. - P. 123-127.