Об устойчивом оценивании параметров авторегрессионных моделей на основе обобщенного метода наименьших модулей Текст научной статьи по специальности «Математика»

ТЕОРЕТИЧЕСКИЕ ПОИСКИ И ПРЕДЛОЖЕНИЯ

УДК 311.33

ОБ УСТОЙЧИВОМ ОЦЕНИВАНИИ ПАРАМЕТРОВ АВТОРЕГРЕССИОННЫХ МОДЕЛЕЙ НА ОСНОВЕ

обобщенного метода наименьших модулей

А.В. Панюков

Южно-Уральский государственный университет (национальный исследовательский университет) E-mail: [email protected]

Наиболее распространенным методом определения коэффициентов уравнения регрессии является метод наименьших квадратов (МНК), являющийся параметрическим методом, требующим выполнения ряда жестких ограничений: независимость и нормальность распределения ошибок измерения, отсутствие корреляции объясняющих переменных. Даже незначительные нарушения указанных предпосылок резко снижают эффективность оценок. Процедуры МНК-оценивания неустойчивы при наличии в измерениях больших ошибок, при этом оценки становятся несостоятельными. Нахождение оценок коэффициентов уравнения авторегрессии существенно усложняется плохой обусловленностью системы уравнений, представляющей необходимые условия минимума суммы квадратов отклонений. Альтернативой МНК с целью обеспечения устойчивости оценок при нарушении предпосылок является метод наименьших модулей (МНМ). В работе рассмотрены два варианта реализации МНМ: взвешенный МНМ (ВМНМ) и обобщенный МНМ (ОМНМ). Отмеченная в работе взаимосвязь методов позволила свести задачу определения ОМНМ-оценок к итерационной процедуре с ВМНМ-оценками. Последние вычисляются путем решения соответствующей задачи линейного программирования.

Ключевые слова: алгоритм, модель авторегрессии, линейное программирование, параметрическая идентификация.

STABLE PARAMETER ESTIMATION OF AUTOREGRESSIVE MODELS BASED on generalized METHOD OF LEAST MODULES

A.V. Panyukov

National Research South Ural State University E-mail: [email protected]

The prevailing method to determine the factors of the regression equation is the least squares method (LSM), i.e. the parametric method that requires a number of severe restrictions: independence and normality of the distribution of measurement errors, no correlation of exogenous variable. It is known that even minor violations of these assumptions is dramatically reducing the effectiveness of evaluations. It should be noted the fragility of

© Панюков А.В., 2015

the LSM estimation procedure under large errors that comes to insolvent evaluation. Finding the autoregression equation factors significantly complicated by the bad conditionality of equations system representing the necessary conditions minimum sum of squares of deviations. The least t modules method (LMM) is alternative to LSM to ensure sustainabil-ity of under violation of LSM restrictions. Two options for implementing LMM: weighted LMM (WLMM) and generalized LMM (GLMM) are discussed in the report. Interdependence of WLMM and GLMM established in the work allows GLMM estimation brings to the iterative procedure with WLMM evaluations. The latter are calculated by solving the corresponding linear programming tasks.

Keywords: algorithm, autoregressive model, linear programming, parameter identification.

Рассмотрим проблему оценки коэффициентов линейного уравнения авторегрессии:

здесь уру2,уп - значения переменной состояния, вр е2,..., еп - случайные ошибки, а1, а2, а3, ..., ат - неизвестные коэффициенты.

Наиболее распространенным методом определения коэффициентов уравнения регрессии является метод наименьших квадратов (МНК), являющийся параметрическим методом, требующим выполнения ряда жестких ограничений — независимости и нормальности распределения ошибок измерения, детерминированности объясняющих переменных [1, 2, 4]. Известно, что даже незначительные нарушения указанных предпосылок резко снижают эффективность оценок. Отметим неустойчивость процедуры МНК-оценивания при наличии в измерениях больших ошибок, при этом оценки становятся несостоятельными. Нахождение оценок коэффициентов уравнения авторегрессии существенно усложняется плохой обусловленностью системы уравнений, представляющей необходимые условия минимума суммы квадратов отклонений.

Альтернативой МНК с целью обеспечения устойчивости оценок при нарушении предпосылок является метод наименьших модулей (МНМ) [10]. В докладе рассмотрены два варианта реализации МНМ - взвешенный МНМ (ВМНМ) и обобщенный МНМ (ОМНМ). Установленная в работе взаимосвязь методов позволила свести задачу определения ОМНМ-оценок к итерационной процедуре с ВМНМ-оценками. Последние вычисляются путем решения соответствующей задачи линейного программирования. Найденное достаточное условие, накладываемое на функцию потерь, обеспечивает устойчивость ОМНМ-оценок коэффициентов авторегрессионных моделей в условиях выбросов.

Оценки коэффициентов по взвешенному методу наименьших модулей можно получить решая задачу

Введение

m

x = Xa3x- j ' t = 1,2, •••' n

(i)

1. Взвешенный метод наименьших модулей

n

m

Xpt xt ~Tajxt-j ' t=i j=i

где pt > 0, t = 1, 2, ..., п - некоторые предварительно определенные коэффициенты. Данная задача представляет задачу выпуклой кусочно-линейной оптимизации и введением дополнительных переменных сводится к задаче линейного программирования

{п т |

У Ptut: - ut < xt - УаЛ- ■ < и, и* > 0 * =12 • • - п\ • (3) 1=1 ■=1

Данная задача имеет каноническую форму, п + ш + 1 переменных и 3п ограничений неравенств, включая условия неотрицательности переменных и, ] = 1, 2, ...,п

Взвешенный метод наименьших модулей (ВМНМ) можно применять в следующих случаях. Во-первых, когда есть основания считать, что дисперсия ошибок функционально зависит от одного или нескольких факторов пропорциональности [2]. Проблема здесь та же что и для взвешенного МНК. Процедура поиска весовых коэффициентов неоднозначна и обычно приводит к множеству решений. В результате не ясно, какое взвешивание использовать.

Во-вторых, как показано в [2], МНМ-оценки коэффициентов авторегрессии не устойчивы (несостоятельны) в случае больших ошибок. В [2] предложено в качестве весовых коэффициентов рг использовать некоторые функции от предыдущих значений угЛ, , ..., у{_ш. Оценки при этом становятся состоятельными.

Основной проблемой при применении ВМНМ является отсутствие общих формальных правил выбора весовых коэффициентов. Следовательно, данный подход требует дополнительных исследований.

2. Обобщенный метод наименьших модулей

В работе [10] для устойчивого оценивания коэффициентов уравнения авторегрессии предложен обобщенный метод наименьших модулей

(ОМНМ), состоящий в решении задачи

п ( т

(а*, а*, а*,..., а'т) = а^ шт Ур

V 1 2 3 т' (а1,а2,а3,., ат

п>т 4 *=1

-У

ал.

г* - ■ ■=1

(4)

где р(*) - выпуклая вверх монотонно возрастающая дважды непрерывно дифференцируемая функция, такая что р(0) = 0. Из изложенных в [10] результатов следует

Теорема 1. Все локальные минимумы задачи ОМНМ-оценки коэффициентов уравнения авторегрессии принадлежат множеству

{т

(<),а2к),а3к),..., а(т)): х, = £а?)х,-,,

^ 1 (5) * е к = {к,, к2,..., к :1 < к < к2 < ... < к < п} I.

1 ' 2 ' ' т 1 2 т

Множество и состоит из решений систем ш алгебраических уравнений с ш неизвестными. Очевидно, что количество систем равно Сш. Таким образом,

решение задачи можно свести к выбору наилучшего из С™ решений систем линейных алгебраических уравнений. Данный подход можно использовать для т < 3. Для нахождения ОМНМ-оценок для задач более высокой размерности связь между ВМНМ- и ОМНМ-оценками дает приведенная в работе [10] теорема.

Теорема 2. Пусть и - множество локальных экстремумов задачи (4), тогда:

(1) для любого набора весов {р{ > 0}"=1

аг§

Ш1П

Ъ р

-ъ

азх, - з

з =1

еи;

(6)

(а ,0з ,..., ат )еК' ,=1

(2) для любого (а*, а*, а3*,..., а'т) е и найдется набор весов {р{ > 0}"=1 такой,

что

(а*, а*, а3,..., а** )е аг§

Ш1П

(о^а ,аз,..., ат )еК

ъ р,

^ -Ъазх>-

3=1

(7)

Теоремы 1 и 2 позволяют, с одной стороны, свести задачу к решению последовательности задач линейного программирования, с другой - дают способ определения весовых коэффициентов для задачи .

2. Алгоритм нахождения ОМНМ-оценок

Непосредственное решение задачи (4), основанное на использовании теоремы 1, заключается в нахождении всех узловых точек и выбора из них в качестве решения той, которая обеспечит минимум целевой функции. Переборный алгоритм требует решения Ст систем линейных уравнений порядка т, что при больших значениях п и т приводит к значительным вычислительным затратам. Альтернативным является подход, основанный на сведении решения задачи к решению последовательности задач линейного программирования. Рассмотрим возможные алгоритмы, основанные на данном подходе.

Алгоритм ОМНМ-оценка.

Вход: число измерений п;

значения {у }"=0 зависимой переменной; функция р(*).

{\т

аз} ч уравнения авторегрессии.

Шаг 1. Для всех ? = 1, 2, ..., п положить р{ := 1;

k := 0;

(( ) Л*) Л*)

= а^

Ш1П

а2 ,аз,...,ат

(«1 ,«2 ,Ыз,...,1

(а1к),а2к),а3к),..., а^))\ («(к), и 2к), «3к),..., иПк) )у :=

п т

ъри,: - и, - х, - Ъазх>-з - и>, и > 0, {= ^ 2 у

I ,=1 3=1

Шаг 2. Для всех г = 1, 2, ..., п положить р := р'(иг(ку); k := k + 1;

'(а<к), «2к), «3к), .••, ¿к)

(и к), и 2к), «3к), •••, «1к ))

= аге тАп т\Е Р,и,: - и, < х-Еазх,-з < и,> ° , = 1 21 г •

(«1,02,03,—,ат )еМ I 1

(и ,и2 ,из,...,ип )еМ1

з=1

Шаг 3. Если (а(к«2к),а(к),., «к))ф(а1(к-1),а(к-1),а(к-1^..., а^к-1)), перейти на шаг 2.

Шаг 4. Останов. Искомые значения равны (а1(к), а2к), а(к),., а<т)). Обоснование результативности алгоритма дает следующая теорема. Теорема 3. Если функция потерь р(*) является выпуклой вверх монотонно возрастающей и непрерывно-дифференцируемой на положительной полуоси, такой что р'(0) = М < да, то последовательность

(а1(к), а2к), а(к),..., а<т)), построенная алгоритмом ОМНМ-оценка, сходится

к глобальному экстремуму задачи (4).

Доказательство. Из требований, наложенных на функцию р(*), следует, что в любой точке определена аппроксимация для

р(и): v(u )(и) = р(и(к))-р'(и(к))• и(к) +р'(и(к))• и, являющаяся мажорантой, т.е. Р(ик) = ^(ик) и (Уи ф ик )(р(и) < ^(к) (и)). Поэтому в соответствии с алгоритмом

Ер

х -ЕЕз) х - з

з =1

=Е

Г Г т Л т т Л

р х» -Еа(к) х.-з - Р, • х, -Еа(к) х,- з + Рг ■ х, -Еа(к) х,-з >

V V з=1 з=1 з=1 V

1 г Г т Л т Л

>Е р х, -Еа(к) х- з - Рг • х -Еа(к) х- з

,=1 V V з=1 V з=1 V

+ тт Е

(а ,«з ,..., ат )еКт ,=1

г т Л

Рг • х, -Еазх,-з

V з =1 V

=Е

т Л т Л

р х, -Еаз к) х, - з - Рг • х, -Еаз к) х, - з

V V з =1 V з =1 V

-Е

-Еа

з=1

х< -Еа Г+1) X - з

=Е>

/

>Ер

,=1

ч

т

х -Еа(к) х, - з

з=1

X -Еа?+1)X»-з

з =1

>

Следовательно,

Ер

(

х. - > а(к+1) х, .

3 1-3

х -Еа (к) х - з

3=1

Л „

^Е р

Л

3=1

х. - > а(к+1)х, .

3 1-3

3=1

причем равенство достигается только при р(и,(к)) = р(и1 (к+1)) для всех I = 1, 2, ..., п и для всех k = 1, 2, ..., т. Таким образом, последовательность

Ер

х, ->а(к)х,-3

3=1

'к=0,1,.

является монотонно убывающей и ограниченной снизу значением ноль, следовательно, она имеет единственную предельную точку. Существование

предельной точки последовательности {(а^к), а(2к), а(2к),..., а(т) )} следует

из непрерывности и монотонности функции р(*).

Предельная точка (а*,а*,а*,..., а'т), построенная алгоритмом, является точкой глобального минимума, так как для любого набора (а1, а2, а3, ..., ат) и любого £ = 1, 2, ..., п имеет место следующая последовательность утверждений

х -Еа*х - 3

3 =1

^(и )

/

\

х, -Еа*х - 3

3 =1

<

< V

3=1

х, - Еа3х,-3

< р'

х, -Еа3х-3

3=1

Л ( «Р

V V

А

х - Еа. х,

х, ~Еа3х^-3

3=1

/

, 3,-3

3=1

/

Л (

х -Еа*х-3

3=1

/

V

х, -Еа3х,-3

3=1

<

Г т Л г т Л г т Л

< х -Еа3х,-3 ^Р х -Еа*х-3 <Р X -Еа3х, -3

V 3=1 V V 3=1 V V 3=1 V

Теорема 3 доказана.

Преимуществом предложенного алгоритма перед переборным является достаточно высокая скорость сходимости при эффективном использовании методов линейного программирования. Действительно, задача линейного программирования на шаге 2 для итерации k отличается от соответствующей задачи на шаге k - 1 только коэффициентами целевой функции, что позволяет в качестве начального базисного решения на текущей итерации использовать оптимальное базисное решение предыдущей итерации.

3. Особенности применения алгоритма ОМНМ-оценивания

Для реализации алгоритма ОМНМ-оценка необходимо задать функцию р(*), удовлетворяющую условиям теорем 2 и 3. Примерами таких функций являются:

Другой особенностью нахождения уравнения авторегрессии высокого порядка является высокая чувствительность работы алгоритма к ошибкам округления. Устранить данную проблему можно, используя безошибочное выполнение основных арифметических операций над полем рациональных чисел [3, 5, 6, 8] и применение распараллеливания.

Установленная взаимосвязь обобщенного и взвешенного метода наименьших модулей позволила свести задачу определения ОМНМ-оценок к итерационной процедуре с ВМНМ-оценками. Последние вычисляются путем решения соответствующей задачи линейного программирования. Найденное достаточное условие, накладываемое на функцию потерь, обеспечивает устойчивость ОМНМ-оценок коэффициентов авторегрессионных моделей в условиях выбросов.

1. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. М.: Дело, 2004.

2. Мудров В.И., Кушко В.Л. Методы обработки измерений. Квазиправдоподобные оценки. М.: Радио и связь, 1983. 304 с.

3. Панюков А.В., Германенко М.И. Безошибочное решение систем линейных алгебраических уравнений // Вестник Южно-Уральского государственного университета. Серия: Математика. Механика. Физика. 2009. № 10. С. 33-40.

4. Хьюбер П. Робастность в статистике. М.: Мир, 1984. 304 с.

5. PanyukovA.V, Tyrsin A.N. Stable Parametric Identification of Vibratory Diagnostics Objects // Journal of Vibroengineering. 2008. Т. 10. № 2. С. 142-146.

6. Panyukov A.V, Gorbik VV Exact and Guaranteed Accuracy Solutions of Linear Programming Problems by Distributed Computer Systems with MPI // Tambov University REPORTS: A Theoretical and Applied Scientific Journal. Series: Natural and Technical Sciences. 2010. Vol. 15. Issue 4. P 1392-1404.

7. Panyukov A.V, Golodov VA. Parallel Algorithms of Integer Arithmetic in Radix Notations for Heterogeneous Computation Systems With Massive Parallelism // Вестник Южно-Уральского государственного университета. Серия: Математическое моделирование и программирование. 2015. Т. 8. № 2. С. 117-126.

8. Panyukov A.V, Gorbik VV. Using Massively Parallel Computations For Absolutely Precise Solution of the Linear Programming Problems // Automation and Remote Control. 2012. Т. 73. № 2. С. 276-290. DOI: 10.1134/S0005117912020063.

9. Панюков А.В., Тырсин А.Н. Взаимосвязь взвешенного и обобщенного методов наименьших модулей // Известия Челябинского научного центра УрО РАН. 2007 № 1. С. 6-11. URL: http://elibrary.ru/item.asp?id=9572542&.

Заключение

Литература

576 с.

10. ТырсинА.Н. Робастное построение регрессионных зависимостей на основе обобщенного метода наименьших модулей // Записки научных семинаров ПОМИ, 2005. Т. 328. С. 236-250. URL: ftp //ftp.pdmi.ras.ru/pub/publicat/znsl/v328/p236.ps.gz.

Bibliography

1. Magnus Ja.R., KatyshevP.K., Pereseckij A.A. Jekonometrika. M.: Delo, 2004. 576 p.

2. Mudrov V.I., Kushko V.L. Metody obrabotki izmerenij. Kvazipravdopodobnye ocenki. M.: Radio i svjaz', 1983. 304 p.

3. Panjukov A.V, Germanenko M.I. Bezoshibochnoe reshenie sistem linejnyh algeb-raicheskih uravnenij // Vestnik Juzhno-Ural'skogo gosudarstvennogo universiteta. Serija: Matematika. Mehanika. Fizika. 2009. № 10. P 33-40.

4. H'juber P. Robastnost' v statistike. M.: Mir, 1984. 304 p.

5. PanyukovA.V, Tyrsin A.N. Stable Parametric Identification of Vibratory Diagnostics Objects // Journal of Vibroengineering. 2008. T. 10. № 2. IP 142-146.

6. Panyukov A.V, Gorbik VV. Exact and Guaranteed Accuracy Solutions of Linear Programming Problems by Distributed Computer Systems with MPI // Tambov University REPORTS: A Theoretical and Applied Scientific Journal. Series: Natural and Technical Sciences. 2010. Vol. 15. Issue 4. P 1392-1404.

7 Panyukov A.V, Golodov VA. Parallel Algorithms of Integer Arithmetic in Radix Notations for Heterogeneous Computation Systems With Massive Parallelism // Vestnik Juzhno-Ural>skogo gosudarstvennogo universiteta. Serija: Matematicheskoe modelirovanie i programmirovanie. 2015. T. 8. № 2. P 117-126.

8. Panyukov A.V, Gorbik VV. Using Massively Parallel Computations For Absolutely Precise Solution of the Linear Programming Problems // Automation and Remote Control. 2012. T. 73. № 2. P 276-290. DOI: 10.1134/S0005117912020063.

9. Panjukov A.V, Tyrsin A.N. Vzaimosvjaz> vzveshennogo i obobshhennogo metodov nai-men>shih modulej // Izvestija Cheljabinskogo nauchnogo centra UrO RAN. 2007. № 1. P 6-11. URL: http://elibrary.ru/item.asp?id=9572542&.

10. Tyrsin A.N. Robastnoe postroenie regressionnyh zavisimostej na osnove obobshhennogo metoda naimen'shih modulej // Zapiski nauchnyh seminarov POMI, 2005. T. 328. P 236-250. URL: ftp //ftp.pdmi.ras.ru/pub/publicat/znsl/v328/p236.ps.gz.