Регуляризация в регрессионных методах эконометрики Текст научной статьи по специальности «Математика»

Регуляризация в регрессионных методах эконометрики

Жданов А.И., Парчайкина Т.Г. Самарский государственный аэрокосмический университет

В современных экономических исследованиях широко используются различные количественные данные для наблюдения за ходом развития экономики, ее анализа и прогнозов. Набор статистических методов, используемых для этих целей, называется в совокупности эконометрикой. Среди этих методов, наиболее важную роль играет регрессионный анализ, который по существу представляет ядро эконометрики.

Модель линейной множественной регрессии в общем виде имеет вид:

Ав = Ь + е, (1)

где А - т х п - матрица независимых (объясняющих) переменных, Ь - т - мерный вектор зависимых (объясняемых) переменных, в - п - мерный вектор неизвестных параметров регрессионной модели, е - т - мерный вектор неконтролируемых случайных возмущений.

С алгебраической точки зрения задача определения оценок неизвестных параметров в множественной линейной регрессии (1) сводится к вычислению псевдорешений х переопределенной системы линейных алгебраических уравнений (СЛАУ)

Ах « Ь , (2)

где А е Ятхп, т > п, гапкА = п, х е Яп, Ь е Ят.

Известно [I], что если между векторами матрицы А существует приблизительная линейная зависимость (мультиколлинеарностъ), то псевдорешение х СЛАУ (2) формально существует, но обладает "плохими" свойствами (численная неустойчивость псевдорешений и большая среднеквадратическая погрешность оценок параметров). Что делать, если по всем признакам имеется мультиколлинеарность? Однозначного ответа на этот вопрос нет, и среди эконометристов есть разные мнения на этот счет [2].

Наиболее эффективным способом "борьбы" с мультиколлинеарностью в настоящее время несомненно является использование в регрессионном анализе идеи регуляризации псевдорешений. В регрессионном анализе эти методы чаще известны как ридж - регрессия или гребневая регрессия [I].

Регуляризованное псевдорешение СЛАУ (2) определяется как решение задачи

ха = ^ё™[п{ах - Ь||2 + а11 х||2} (3)

хеЯ"

где Ц-Ц2 - евклидова норма вектора, а - параметр регуляризации.

Решение регуляризованной задачи (3) эквивалентно решению нормальной системы уравнений

(АТ А + а2 Еп )ха=АтЬ, (4)

где Т - символ транспонирования, Еп - единичная матрица.

Вычисление регуляризованных псевдорешений ха из нормальной системы уравнений (4)

несомненно является наиболее простым способом с вычислительной точки зрения. Однако во многих эконометрических исследованиях СЛАУ (4) оказывается плохо обусловленной, с спектральным числом обусловленности

2 2

сопё 2 (Ат А + а2 Еп ) = (5)

22 о + о

max шт

где оШзх и оЩ. - максимальное и минимальное сингулярные числа матрицы А соответственно.

В данной работе система (4) преобразуется к эквивалентной расширенной СЛАУ

(аЕт А Л(а~1т^ (Ь^

т

V Ат -аЕп;

у X у V0У

0

о Мага = /,а> 0. (6)

Можно показать, что собственные числа матрицы Ма равны

±-у1о2 +а2,/ = 1,2,...п,

а

где о1 - сингулярные числа матрицы А .

Следовательно, спектральное число обусловленности матрицы Ма равно

СОМ2 (Ма) =

2 2 /0шх +а

а

В большинстве реальных задач параметр регуляризации а > оmin. Это означает, что спектральное число обусловленности расширенной СЛАУ (6) существенно меньше числа обусловленности нормальной системы (4), т.к.

сопё2 (Ат А + а2Еп) > соМ1 (Ма ).

Важно также отметить тот факт, что для решения расширенной СЛАУ (6) можно эффективно использовать итерационное уточнение.

Таким образом, решение плохо обусловленных задач регрессионного анализа с применением предлагаемой расширенной СЛАУ (6) всегда позволяет повысить точность регуляризованных решений по сравнению с традиционным подходом основанном на решении нормальных систем (4). Выбор оптимальных значений параметра регуляризации в задачах регрессионного анализа рассмотрен в [З].

Литература:

1. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Финансы и статистика, 1981.

2. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. М.: Изд-во "Дело", 2000.

3. Жданов А.И. Оптимальная регуляризация решений приближенных стохастических систем

линейных алгебраических уравнений//Журн. вычисл. матем. и матем. физ. - 1990. - Т. 29, N 10. - С. 1588 - 1593.