Сходимость в среднеквадратическом непараметрического алгоритма идентификации arx-процесса Текст научной статьи по специальности «Математика»

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА

2012 Управление, вычислительная техника и информатика № 4(21)

УДК 519.25

Г.М. Кошкин, И.Ю. Глухова

СХОДИМОСТЬ В СРЕДНЕКВАДРАТИЧЕСКОМ НЕПАРАМЕТРИЧЕСКОГО АЛГОРИТМА ИДЕНТИФИКАЦИИ ЛЯХ-ПРОЦЕССА

Для ядерных оценок функции, определяющей АИХ-процесс, находятся главные части их среднеквадратических ошибок (СКО). Проводится сравнение параметрических и непараметрических алгоритмов идентификации с помощью статистического моделирования.

Ключевые слова: условное среднее, среднеквадратическая ошибка, ЛЕХ-процесс, непараметрическая идентификация.

Рассматривается скалярная последовательность (У ), = _101 , генерируемая АКХ(т,р,ё)-процессом

У = Т(У1_Ц,..., ¥1_1т, Х_Л,..., Х\Чг,..., Х^,..., Х_]к) +^ =^(Т,т, Х^) + %,, (1)

где У, ,т = ^-ц,...’ У,_1тЬ Х,,, = (х1_ л>...> х1_ ]г ..... Хр_ ;1..... Хр_ к) - экз°генные переменные, 5 = г+...+к, ё = тах(г,..., к), 1 < 11 <... < 1т << п, 0 < ¡1 <... < ¡г << п,...,

0 < }х <... < ]к << п - известные подпоследовательности натурального ряда чисел, (^) - последовательность независимых одинаково распределенных (с положительной на Е1 плотностью распределения) случайных величин с нулевым математическим ожиданием, конечной дисперсией, нулевым третьим и конечным четвёртым моментами, х¥(У(т, Х(5) - неизвестная непериодическая ограниченная

функция. Модели типа (1) находят широкое применение при анализе экономических систем и финансовых временных рядов.

В работе предполагается, что выполняются условия, при которых последовательность (У,),= _101 удовлетворяет условию сильного перемешивания с коэффициентом с.п. [1,2]

а(т) и е-5т,5 > 0, т ^ ж .

Факт, что (У,) удовлетворяет условию с.п. с коэффициентом с.п. а(т), будем обозначать (У) е £ (а).

Пусть у,У2,...Уп - наблюдения, порожденные процессом (1). В качестве модели структуры Т в (1) возьмем условное математическое ожидание Ь(у, х) = Е(У, | У(,т = У,Х^ = х) = Е(У, | у, х), (у, х) е Ет+5.

Согласно [3], а8 (у, х) = | д8 / (д, у, х)ёд, 8 = 0,1, - базовые функционалы, где _Дд,у,х) - неизвестная плотность распределения случайного вектора (У,, У1т, Х15) в стационарном режиме. Так как а0(у, х) = | /(д, у, х)ёд = р(у, х), где р(у,х) - плот-

ность распределения вектора (У, т, Х,5), то условное математическое ожидание можно представить в виде

Ь(у,х) = ^ = рМ = /У,/(У,|у,х№.

а0(у, х) р( у, х) -1

В качестве непараметрических оценок функционалов а8 (у, х) в точке (у,х) возьмём

^(ух)=, |,У8^К- (^ К (Чг) •

П И, П »1,'П И„

1=Q+1

,=1 ,=1 ,=1

где Q = тах(1т,тах(,г,...,,)), Лу = (Л),...,^), Лх = (/х,...,Лр), = (/?„,...,Л1г),

..., Ихр = (Лp1,..., Лрк) - соответствующие параметры размытости, положительные числа, а Кт и К5 - т-мерное и 5-мерное ядра.

Таким образом, ядерная оценка подстановки условного функционала Ь(у,х) в точке (у,х), а следовательно, и функции Т в (1) задаются отношением вида

" 1 (у _ У1т ^ 1 (х _

У У1-------------Кт \ -—^ I--------- —к5 \----------1

1 т т IV г к 5 1 х

'=Q+■ п И, 1 И *„...ПИ» 1 И

Ьп(у,х) = Т п <у,х) = У 1 К ( у _ Ут 1 ,=1 К ( х - X, , - ®

т т \ 1 у I г к 5 \ /х

'^П/ 1 И ■№,№ 1 И

,=1 ,=1 ,=1

Задача идентификации модели (1) является частным случаем оценивания функции вида (ср. [4])

Н(Л) = Н(а0, а1) = —, а0 > 0,

а0

где Л = (а0, а1), а8 = а8 (и) = |д8/(д,и)ёд, 8 = 0,1, /(д,и) = /(г), г е Ет+5+1 -плотность распределения случайного вектора (У, ,и,) = (У,, У, т, Х(5) = 2, в стационарном режиме.

В данной работе исследуется сходимость в среднеквадратическом оценки (2) к функции Т, определяющей АКХ-процесс.

1. Сходимость четвертых моментов оценок базовых функционалов

Введем обозначения: /1(1+1)(1+,+1)(1+,+к+1)(г, и, и, м>)-4(т+5+1)-мерная плотность распределения выборочных величин

2l,2(l'+l),2(1+,+1),2(1+,+к+1), а1(1+1)(1'+,+1)(1+,+к+1Хр(г,y,г ,у )

= |Е4 |уоу 1 и 1 Р/1(1+1)(1+,+1)(1+,+к+1)(V, Г U, y, V ', г', и', у ё и',

Q +1 < 1,,, к < п, 1 + , + к < п _ 1;

«1(1+1 )(1+1+k), p (z, У,z') = JR lvuv 1 Pfi(i+j )(1+j+k) (vzи y >v '>z ')dvd udv '>

«1+(г+1),p (z, z ') = JR2 IHPf1(1 +1 )(v, z, U z ')dvdU a + (z) = J HP f z)dv,

M4 (agn) = £[agn (z) - ag (z)]4, ^gn = agn (z) - Eagn (z), g = 0,1, L = да + 5.

Определение 1. Функция K(u) принадлежит классу одномерных нормированных ядер K(•) e Av, если ||K(u)|du <ад, J K (u )du = 1, J |u v K (u )| du

Tj =JujK(u)du = 0, j = 1,...,v-1, Tv *0, K(u) = K(-u).

При исследовании сходимости, для простоты, для каждой переменной будем использовать один и тот же параметр размытости, а в качестве многомерных ядер соответствующей размерности - произведение одномерных ядер.

Лемма 1 (порядок сходимости четвертых центральных моментов оценок

agn (z) для с.п. наблюдений). Пусть

* ад 2 5

1) (Zj) e S(а) и I т [а(т)] 2+s dт < ад для некоторого 0 <5< 2;

•* J 0

2) sup|K(u)\ <ад, J|K(u)|du < ад;

ueR1

3) lim (hn + 1/(nhnL)) = 0;

n^ад

4) sup |a+p (u)| <ад, p = 0,4;

ueRL

5) suP a1+(,+1)(i+j+1)(i+j+k+1),g (u, u,u u) < “, SuP a1+(1+j)(1+j+k),g(2+5) (uu, u) < “,

ueRL ueRL

SuP a1+(i+1),g(2+5) (u, u) <ад ueRL

Тогда при n ^ ад

( Л \

E (Sgn )4 = O

1

, n2h2L ,

\ “ nn У

Лемма 2 (порядок сходимости четвертых моментов отклонений М4 (ап) для

с. п. наблюдений). Если К(•) е Д,, выполняются условия леммы 3 из [4] при г = 0, а также приведенной выше леммы 1, то при п ^ад

( 1 ^

М4(а,п) = О

1 - + h4v

n2 h2L

\ " "n

2. Главная часть СКО оценки подстановки функции Т

При нахождении СКО оценки Тn (y, х) используются лемма 1 и лемма 2. Обо-

T l dV ag (u)

значим ю(u) = —> -, Hg =dH(A)/d(a ). Отметим, что ниже, в теоре-

g v! j= duv g g

ме, используется H0 = -a1 / a^, H0 = 1/ a0.

Определение 2. Функция H(•): RL ^ R1 принадлежит классу N (Z) (H(•) е Nv (z)), если она и все ее частные производные (до v-го порядка включительно) непрерывны в точке z. Функция H(•) е Nv (R), если указанные свойства H(•) выполняются для всех z е Rl .

Теорема (СКО оценки H (An)). Пусть при g, p = 0,1

л ад 2 8

1) (Z) е S(а) и I т [а(т)]' 2+8 dт < ад для некоторого 0 <5< 2;

* 0

2) ag+p ()eNo(R), а+(2+8)(^)е^(u); sup a++p (u)<ад, sup a+ (u)<ад, P=0,4;

ueRL ueRL

3) K(-)eAv , sup \K(u)\ <ад;

ueR1

dvag (u)

4) a0 (u) > 0, a (•) е Nv(R), sup | a (u) |< ад; sup

du, ...duq

1 q

<ад, ,,..., q = 1, L;

5) для монотонно невозрастающей последовательности (hn) имеет место

(dn) =

hn +■

nhL

6) sup а1(г+1)(,■+j+i)(,+j+*+i),g(uu,u, u) < ад, sup акг+iX,-+j+i),g(2+8)(u, u,u) < ад

uеRL uеRL

sup a1+(,+1),g(2+8) (u, u) < ад, sup a1+(i+1),g+p (u, u ) <ад для любых i, j, k > 1;

uеRL

u,u еR

7) для всевозможных значений Уп, X1,...,Х1п,...,Х(Хр последова-

тельность {| Н(Ап)|} мажорируется числовой последовательностью (С0ё-у), С0 - некоторая постоянная, 0 < у < 1/4.

Тогда

E[H(An) - H(A)]2 = £ HgHp

g, p=0

nh,

(

\rat + p (x) (IK2 (u)du)L + ®gv (z)юpv (z)hn

+O

h2v + — n nhL

Доказательства лемм и теоремы, которые ввиду громоздкости не приводятся, базируются на результатах статей [2-5] и книги [6].

3. Сравнительный анализ параметрических

и непараметрических алгоритмов

При статистическом эксперименте в качестве модельных процессов (1) возьмем

М(1): ¥п = 0,2Уп_п + 0,11X1 + 0,15Х + 0,3ХИ2 + 0,2Х„3_ 2 + ^,

М(2): Уп = 0,01^- • Уп_г + 0,2XП + 0,03ХПЧ • Х3^ + 0,7(ХИ3) + 1^,

М(3): У = еолУп-1 +0,2ХП +0,1ХП_1+0,01Х2-1+0,03ХП +^ .

Здесь переменные X', X2, и X3 принимают значения из соответствующих интервалов [2; 2,5], [5; 6], [8; 10] равномерных законов распределения, а случайные величины распределены по нормальному закону с нулевым математическим ожиданием и дисперсией, рассчитываемой для каждой модели по формуле

Y — Y

ф2 _ -* max -* min ^

~ 6 ’ ,

где степень зашумленности a моделей принимает значения 0,01; 0,05; 0,1; 0,15;

0,2; 0,5. Моделирование проводится по объемам наблюдений 50, 100, 200 и 500.

Для наглядности сгенерированные 200 наблюдений для моделей М(1) - М(3) при отсутствии помехи представлены соответственно на рис. 1.

Рис. 1. Реализации 200 наблюдений для моделей М(1), М(2) и М(3)

Алгоритмы идентификации функции Т в (1) получены методом наименьших квадратов (МНК), итерационным взвешенным методом наименьших квадратов (ВМНК) и с помощью непараметрического подхода. Веса на текущей итерации для ВМНК определяются при помощи биквадратической функции от вектора остатков, рассчитанных на предыдущей итерации. Использование такого алгоритма позволяет задать меньшие значения весов для наблюдений, имеющих большее отклонение от регрессионной модели по отношению к остальным.

Оценки МНК и ВМНК вычисляются с помощью встроенных функций МЛТЬЛБ. Моделирование непараметрических алгоритмов (2) проводится также на базе МЛТЬЛБ. В качестве ядра К (и) используется плотность стандартного га-

уссовского закона. Параметры размытости определяются двумя способами. Следуя Сильверману [7], параметры размытости вычисляются по следующим формулам:

= 1,06 аг«-1/4+Ь, г = й,

где Ь - размерность функции Т, ст2 - выборочная дисперсия наблюдений г-й переменной. Второй метод нахождения параметров размытости при нахождении оценки Уп основан на использовании эмпирического критерия:

И^ргпс = С^п“1^Ь , г = ,

Со = а^ шіп

0<С «Х>

и

где И = (Иу, Их).

В таблице приведены для моделей М(1) - М(3) значения ошибок идентификации

У - У г

У

100%, ] = 1,2,3,

для объёма наблюдений ■ = 50. Для других объемов наблюдений соответствующие результаты представлены на рис. 1-3. Заметим, что все результаты моделирования для определенного объёма выборки усреднялись по 20 различным выборкам такого же объема.

Усредненные ошибки идентификации для 50 наблюдений

Модель Степень а МНК, ВМНК, Непараметрический Непараметрический

зашумленности % % и % і,3ііуегтап ’ и % і,Етрігіс ’

0,01 0,007 0,007 1,164 0,989

0,05 0,036 0,034 1,176 0,992

М(1) 0,1 0,073 0,068 1,166 0,995

0,15 0,110 0,102 1,173 0,999

0,2 0,147 0,137 1,195 1,006

0,5 0,372 0,354 1,283 1,110

0,01 1,428 1,309 2,189 1,941

0,05 1,427 1,309 2,180 1,935

М(2) 0,1 1,426 1,312 2,197 1,929

0,15 1,428 1,317 2,203 1,930

0,2 1,430 1,327 2,218 1,939

0,5 1,476 1,416 2,306 2,039

0,01 3,615 3,178 4,298 4,145

0,05 3,849 3,349 4,283 4,101

М(3) 0,1 4,174 3,569 4,268 4,093

0,15 4,821 3,797 4,294 4,115

0,2 5,382 4,033 4,349 4,084

0,5 7,351 5,610 4,948 4,717

Из таблицы видно, что качество идентификации для всех моделей и всех методов падает с ростом степени зашумленности.

Объем выборки

Объем выборки

Объем выборки

Рис. 2. Зависимость качества идентификации от объема наблюдений для степени зашумленности 0,15: а - модель М(1); б - модель М(2); в - модель М(3)

Анализ рисунков позволяет сделать следующие выводы:

- для нелинейной модели М(3) непараметрические алгоритмы, ввиду их адаптивности, имеют преимущества перед параметрическими;

- прослеживается тенденция уменьшения ошибок идентификации для всех моделей с ростом объема наблюдений.

Заключение

Работоспособность предложенных алгоритмов проверена для различных функций Т, определяющих ARX-процесс (1), с помощью статистического моделирования. Показано, что непараметрические алгоритмы идентификации могут иметь преимущество перед параметрическими для нелинейных моделей. При этом непараметрические алгоритмы, в отличие от параметрических, требуют лишь информацию общего характера о структуре исследуемого объекта.

ЛИТЕРАТУРА

1. Masry E., Tjostheim D. Nonparametric estimation and identification of nonlinear ARCH time series // Econometric Theory. 1995. V. 11. No. 2. С. 258-289.

2. Китаева А.В., Кошкин Г.М. Полурекуррентная непараметрическая идентификация в широком смысле нелинейной гетероскедастической авторегрессии // Автоматика и телемеханика. 2010. № 2. С. 92-111.

3. Кошкин Г.М., Глухова И.Ю. Непараметрическая идентификация нелинейных ARX-процессов // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2012. № 3 (20). С. 55-61.

4. Китаева А.В., Кошкин Г.М. Рекуррентное непараметрическое оценивание функций от функционалов многомерной плотности и их производных // Автоматика и телемеханика. 2009. № 3. С. 48-67.

5. Кошкин Г.М. Моменты отклонений оценки подстановки и ее кусочно-гладких аппроксимаций // Сибирский математический журнал. 1999. Т. 40. № 3. С. 605-618.

6. Кошкин Г.М., Пивен И.Г. Непараметрическая идентификация стохастических систем. Хабаровск: РАН. Дальневосточное отделение, 2009. 336 с.

7. Silverman B.W. Density Estimation for Statistics and Data Analysis. London, New York: Chapman and Hall/CRC, 1986. 174 p.

Кошкин Геннадий Михайлович

Глухова Ирина Юрьевна

Томский государственный университет

E-mail: [email protected]; [email protected] Поступила в редакцию 4 июля 2012 г.

Koshkin Gennady M., Glukhova Irina Yu. (Tomsk State University). Mean square convergence of nonparametric identification algorithm of ARX-process.

Keywords: kernel estimation, conditional mean, mean square error, ARX-process, nonparametric identification.

The principal parts of mean square errors for kernel estimates of the functions defining ARX-process are found. Parametric and nonparametric identification algorithms are compared.