Гарантированное оценивание параметров процесса Arch(p) Текст научной статьи по специальности «Математика»

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА

2010 Управление, вычислительная техника и информатика № 4(13)

УДК 519.2

Ю.Б. Буркатовская, С.Э. Воробейчиков ГАРАНТИРОВАННОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ ПРОЦЕССА ARCH(p)1

Предложена последовательная процедура оценивания параметров процесса ARCH(p), основанная на методе наименьших квадратов. Выбор весовых коэффициентов и правила остановки гарантирует точность оценивания. Исследованы асимптотические свойства оценки. Работоспособность процедуры подтверждена численным моделированием.

Ключевые слова: процесс ARCH(p), метод наименьших квадратов, гарантированное оценивание.

Процессы с условной неоднородностью (ARCH- и GARCH-модели) находят широкое применение при обработке эконометрических данных, например при описании волатильности финансовых индексов. Задача оценивания параметров таких моделей является сложной задачей, поскольку эти процессы являются существенно нелинейными. Особый интерес представляет построение оценок, обладающих гарантированным среднеквадратическим уклонением. Возможность построения таких оценок появляется при переходе к последовательным планам оценивания. В данной работе предлагается метод получения оценок неизвестных параметров процесса ARCH(p) и исследуются их асимптотические свойства.

1. Постановка задачи

Рассматривается случайный процесс ARCH(p)

xi = CTi ;

2 2 2 (1)

СТ = %0 + X1xi-1 + — + X pxi-p ■

Здесь {ei }i а - последовательность независимых одинаково распределенных случайных величин с нулевым средним и единичной дисперсией. Параметры Л = [X0, —, X ] неизвестны. Ставится задача по наблюдениям за процессом {xi}

оценить вектор неизвестных параметров Л с гарантированной точностью.

2. Последовательная оценка параметров

Для процесса (1) при p = 1 в [1] была предложена гарантированная последовательная процедура гарантированного оценивания параметров, основанная на идее, предложенной в [2] для классификации процессов авторегрессии с неизвестной дисперсией. Модифицируем процедуру для процесса произвольного порядка. Представим процесс (1) в виде

xf =ст2 +ст2(е2 -1).

1 Работа выполнена при поддержке РФФИ, грант .№ 09-08-00595-а.

Введем обозначения Б2 = М(ег2 - 1)2 , Пг = С8;2 - 1)/В и, учитывая (1), получим

хг2 = Х0 + Х1 хм + • • • + х Рх1-р + (о + Х1 (-1 +••• + х рх1- р) ) •

(2)

Здесь {пг }г > - последовательность независимых одинаково распределенных случайных величин с Мпг = 0, Мп2 = 1. Процесс (2) является процессом авторегрессии первого порядка, дисперсия шумов которого (0 + Х1х2-1 +... + Хрхг2_р) Б2

неизвестна и, более того, не ограничена сверху. Преобразуем далее процесс (2). Введем обозначения

2 (1 2 2 ) х1

Ум = тах I1, хм,---, хг-р}, } = 2 , аг-1

Ум

•ч-1

1

2 ’ 2 Ум Ум

Л1 - р Ума

(3)

(4)

Перейдем теперь к случайному процессу } вида

г1 =ла- +Лаг-!БПг •

Так как Лаг-1 < X0 + ... + Х р , данный процесс обладает ограниченной дисперсией шумов.

Поставим задачу оценки вектора параметров Л процесса (4). Используем для построения оценки модифицированный метод наименьших квадратов. Оценка параметров строится в два этапа.

На первом этапе на интервале [р +1, п] вычисляется статистика Гп, затем она используется для компенсации неизвестной дисперсии помех. Для определения вида Гп преобразуем процесс (2). Введем обозначения

У г

-1 = {1, хм, •, хг2- р } } =

2

УI-1

а г-1 ■

хг-1

1

~2 ’ ~2 '■ УI-1 УI-1

Л1 - р

2

УI-1

В этом определении требуется, чтобы наблюдения х1 -1,...,х1 - на промежутке [1, п] были отличны от нуля, иначе можно выбрать первый промежуток, для которого верно это условие. Случайный процесс {хг2} имеет вид

хг2 =Ла1 -182 • (5)

Очевидно, что Лаг-1 >Х0 +... + Х . Тогда Гп можно выбрать в одной из двух форм:

/ \2 ( Л-2

\ п \ п

, Сп = Б2 М X 82 ;

(6)

а) Г п = Сп

X хг

Vг=р+1 )

Ь) Гп = Сп X х4, Сп = Б2М

г=р+1

V г=р+1 )

Л-1

4

X е4

I=р+1

Плотность распределения шумов {вг} должна быть такова, чтобы существовала константа Сп в (6). Типы таких плотностей рассмотрены в [2].

Пример. Если случайные величины {в, },> имеют стандартное нормальное

п

распределение и множитель Гп выбирается в форме а), то сумма X е2 имеет

I=р+1

распределение хи-квадрат с п - р степенями свободы и Б2 = 2 . Тогда константа Сп имеет вид

г. +Ю

С» ^ 1 х'"-р),!-3*-',2чх =

0

2'п- р)/2Г(п - р )/2)

2 -Г((п - р )/2-2) =-

4Г(п - р)/2) ( - р - 2)(п - р - 4)

и определена для п - р > 5 .

Из соотношений (6) следует, что

М— <-------------1--------. (7)

Гп б2 (0 + ... + хр )

На втором этапе строится собственно оценка параметров, которая имеет вид

( т Л к

Л*(Н) = X у1г1+1 аГ А~1(тх А(к) = X у1а1аТ, (8)

VI=п+1 ) I=п+1

где т - случайный момент остановки, определяемый следующим образом:

т = т1п{к >п + 1: Vmm(k) >Н}, (9)

Vт1п(к) - минимальное собственное значение матрицы А (к). Определим веса у,. Пусть т - минимальное значение к, при котором матрица А(п + к) не вырождена. На интервале [п +1, п + т -1] веса имеют вид

1

у, =

,------если а, линейно независим с {а„+,,,а,,};

ТТЛ " (10)

0, иначе.

На интервале [п + т, т -1] веса у, определяются из условия

= X у,2а?а,. (11)

п I=п+т

Вес в момент т определяется из условий

> X У2а]а1, Vт1п(т) = Н• (12)

п I=п+т

Теорема 1. Если существует константа Сп в (6), то момент остановки т(Н)

конечен почти наверное, среднеквадратическое отклонение оценки Л* (Н) от ис-

тинного значения параметров оценивается сверху величиной

1* II2 Н + р

Л* (Н)-Л <----------(13)

Н2

Доказательство. Согласно [2], момент остановки т(Н) (9) конечен почти наверное, если

у} а а, = да п.н.

(14)

X у1 о а1

I=1

Для сходимости почти наверное ряда в (14) необходимо и достаточно, чтобы выполнялось условие [3]

Уе > 0 : Р \ X V2аг1а1 > е

I=к

->0.

Так как а1 а1 > 1, это условие может выполняться только при у ^ 0 по вероятности. Перепишем уравнение для определения весовых коэффициентов (11) в виде [4]

ушш(к )

= — ш1п хТ (А (к -1)+ укакат, ) Г х|Х1=1 у к к ’

Гп Г „ х:||х||=1 V — — * / Г„

Отсюда получаем, что для собственного вектора Ьк : ||Ьк|| = 1 матрицы А (к), соответствующего собственному значению vшln (к), верно

У-Г„аТ ак - Ук АТЬк )2 - (Ь1А (к - 1) Ьк - VШ1П (к - 1)) = 0 .

Решая квадратное уравнение, получаем, что оно имеет два корня, один из которых не положителен, а второй - не отрицателен. Коэффициент ук равен большему корню и имеет вид

=

АТьк)2 + ^АТьк )4+4ГпаТак (ькТА (к -1)ьк - vшln(к -1)) >>> )2

2ГпаТак

Тпа1ак

(15)

Из соотношения (15) видно, что ук ^ 0, если косинус угла между векторами Ьк и ак стремится к нулю, т.е. когда вектор наблюдений ак ортогонален собственному вектору матрицы А (к). Учитывая, что при ук ^ 0 матрица А (к) меняется незначительно и малые изменения матрицы приводят к малым изменениям собственных векторов [4], то ак в этом случае стремится к определенному вектору, что противоречит (1) - (3).

Рассмотрим среднеквадратическое отклонение оценки Л* (Н) от истинного значения вектора параметров. Используя (4), неравенство Коши - Буняковского, соотношение || А(к) ||^шт(к) и (12), получаем

М Л* (Н )-Л = м

т

X (Лу1а1аТ1ВП1+1 )(т)

I=п+1

< м

т 2 2 1

X +1 ) ) (т)|| м

I=п+1 Н

X Лу1а1аТвЧ

I+1

I=п+1

(16)

Рассмотрим второй множитель, учтем, что Лаг < X0 +... + X _.

2

М

X Луіаіа!вп

і+1

і=п+1

і-1

< (х0 + . + хр) в21 м X у аТ оП2+1 + 2М X X уку1аТ а1 Пк+1П/+1 I. (17)

\ I=п+1 I=п+ 2 к=п+1 /

Оценим первое слагаемое. Для этого введем усеченный момент остановки т(N) = ш1п{т, N} . Очевидно, что т(N) ^ т при N ^да. Рассмотрим случайную величину

т( N )

2 Т 2

X V о оП/+1>

I=п+1

отличающуюся от суммы в первом слагаемом в (17) только верхним пределом. Пусть Щ = ст(е1;...,ег) - ст -алгебра, порожденная случайными величинами {е1;...,ег}, тогда т, определенный в (9) - марковский момент относительно {Щ}. Используя свойства условных математических ожиданий, получаем

т( N) N N

м X V2аТ а1 П2+1 = м X у1аТ а1 XI<тП2+1 = м X М {{ а1 XI<тП2+1 Щ ) =

і=п+1 і=п+1

N

і=п+1

т( N )

= м X ^аТ а1 XI<тм {| } = м X уаТ а1 •

I=п+1 I=п+1

Так как т(Щ ^ т при N ^да , отсюда с учетом (10) - (12) получаем

т( N )

М X °Т1 аіп2+1

і=п+1

-> м х V2 оЧ =

і=п+1

п+^-1 2 Т ' Т ( р Н ) ( Н + р

=м X у1а1а1 +м X у1а1а1 <м [г+ггм

I=п+1 I=п+ т \ п п /

Аналогично можно показать, что второе слагаемое в (16) равно нулю. Подставляя полученные результаты в (17), а затем в (16) и используя (7), получаем

1* II2 + р

Л* (Н) -Л <-----------------------^ М

II Н2

Н + р

н2

(18)

Теорема доказана.

3. Асимптотические свойства оценки

Рассмотрим свойства предложенной оценки при больших значениях параметра Н.

Теорема 2. Если шумы е1 в (1) имеют конечный четвертый момент ме)4 < да , то для квадрата отклонения оценки (8) от истинного значения имеет место неравенство

ґ

Р{Л* -Л > х}< р 1 -2Ф

хН

рЬ2

в2 ( + ...+х р)

где Ф(-) - функция стандартного нормального распределения, Ь > 1.

2

Доказательство. Рассмотрим оценку (8). Используя (4), имеем

л*-Л =

X V (о-1 +Ла1-1 вп )

\ !=п+1 )

2

А-1 (т) -Л =

X V Ла'а! ВПг А 1(т)

\!=п+1

Воспользовавшись неравенством Коши - Буняковского, соотношениями ||А(к)|| ^шт(к) и (12), а также соотношением Ла1 <Х0 +... + Хр , получаем

и * м2 В2 (X0 +... + Хр)

л*-Л <—------------------рр-

Н2

X

I=п+1

у1.аТ Пг+1

Отсюда

{-ЛЦ2 > х} < Р|

= Р<

X у1.аТп+1

'=п+1

^ 2

> хН !> =

Н

X X у1.акп+1

к=1 \ I=п+1

> хН |< хН |

<£р Iв2 (+Х р > (X * ;г >

1 Н 11=п+1 1 р

к=1

к

где аг - к-я компонента вектора а1.

Введем обозначение

Хт = Хт(Н) = -/= X у1акП+1.

ЧП '=п+1

Найдем характеристическую функцию величины хт. Здесь используется доказательство центральной предельной теоремы для мартингалов, приведенное в [5]. Введем обозначения

1 Ы

Сг = Сг(Н) = у1а1 п'+1х['<т]> XN = X .

(20)

I=п+1

Очевидно, XN ^ Хт при N ^да почти наверное. Следовательно, для нахождения характеристической функции Xт требуется найти предел характеристической функции XN . Для этого введем обозначение

N

ЕN (X) = П м (егХС'|щ).

I=п+1

Лемма [5]. Если (для данного Х) |EN (Х)| > с(Х) > 0 , N > 1, то для сходимости м (e’XXN j ^ м (егХХ) достаточно сходимости по вероятности ЕN (Х) ^ м (егХХ' Проверим условия леммы.

N N

ЕN(Х)| = П м1 = П I1+м\еЩ -1 -¿ХСгЩ!

I=п+1

N

П.

к =п+1

2

Используя неравенство |егХ: -1 - /Хх| < (Хх)2 /2, получаем

N N ( 1 Г I

Е(Х)|> П (1 -м(' -1 -/ХС'ЦЩ'])> П I1 -)м[(ХС,)2|Щ

N

п

к=п+1

I=п+1 ( . \2

(Ху1а!) Х[г<т]

2 Н

м п2+1

= ехр <

I=п+1 N

'X ш

I=п+1

( / к \2 Л

, (Хугаг ) к <т]

1 1 ---------------------

22

Поскольку 0 < ак < 1, то (Ху1ак)2Х[,<т]/Н ^ 0 при Н ^да. Используя неравенство 1п(1 - х) > -2х , где х е (0,1/2], для всех Н > Н0 (Х) получаем

Е

,т) (Хуагк )

I=п+1

Н

2т

>ехР|-н X (акк \.

I=п+1

Учитывая (12), окончательно имеем

|EN (Х)| > ехр | -

Х2 Н

Н Гп

= е

-Х2/Г„

Исследуем теперь асимптотическое поведение Е (Х). Представим эту величину в виде

Еы(Х) = ехр\ X м\егК' -1 -/ХС'|Щ

I к=п+1

I N } N

сехр\- X м[е^' -1 -гХ£'|Щ]\ П (1 + м[егК‘ -1 -гХ£г|Щ]). (21)

!=п+1 ) I=п+1

Рассмотрим произведение последних двух множителей и покажем, что оно стремится к единице. Введем обозначение а, = м \е1'^1 -1 -г'Х<^г|Щ ]. Воспользовавшись неравенством | ех -11< е|х| | х |, имеем

П (1 + аг )е а' -1

N

П

I=п+1

< ехр

N

ехр\ 1п П (1 + аг)е а' \-1

I=п+1

!=п+1

N

!=п+1

Используя неравенство 11п(1 + х) - х |< 2 | х |2 для | х |< 1/2 и |егЬ: -1 -/Хх| < < (Хх)2 /2, для Н > Н0 (Х), получаем

I=п+1 N

N

X

I=п+1

N

< X |1п (1 + аг )-аг| < 2 X

а, | =

I=п+1

2 X)-«[е!Щ -1 -¡К,|Щ,]))м X (”'"к)4.

Н I=п+1

I=п+1

Так как 1, учитывая (12), получаем,

что

N

In П (+ ai)

k=n+1

->0.

Значит, произведение двух последних множителей в представлении Е“ (Х) (21) стремится к единице по вероятности при N ^да, Н ^да.

Рассмотрим первый множитель:

exp | X M [ ^ -1 - iKi\Fi J} =

Ii=n+1 J

= exp I-- X M [(X^ )2| F ]1 exp { X M e'Kl -1 - iXCi +^^^22-

' I=n+1

11=n+1

F

(22)

Воспользовавшись неравенством \e,XX -1 - iXx + (Xx)2 / — <| Xx |3 /6 , получаем

X M

I=n+1

eiXZi -1 - iXZ l + (Zi)

F

1

6 h4H i=„+1

|3 N

X M \Xvkaini+11 X[i<t]

F =

X|3 М1П+1 Г X I* |3x

6H4H X \ л |X[i<t]-

i=n+1

Последнее выражение стремится к нулю, что следует из неравенства (vA)- <1 и

соотношений (12), а значит, второй множитель в (21) стремится к единице при H ^го. Рассмотрим первый множитель:

I 1 N ] I X 2 min{T,N} 2 ] | 1

expj-'2 X М[(XZ)2|Fi]} = exP{-2H X (af)} = exPI- ^Х--

' i=n+1

i=n+1

Отметим сначала, что, согласно (12), (Х^ является ограниченным субмартингалом, следовательно, по теореме Дуба [5] с вероятностью 1 существует предел

(Хда} = 11ШN^да(ХЛ , причем (Хда}< 1 Гп . С другой CT0P0HЫ, (Х^ ^ (Хт) при

N ^да. Следовательно, (Хт) можно представить как а2/ Гп, где ае(0,1] -случайная величина. Окончательно имеем

2* 2 а Х

lim lim E (X) = exp {-

H ^w N ^w | —Г

Отсюда получаем, что случайная величина В(Х1 +... + Хр)|Хт| при Н ^да имеет асимптотически нормальное распределение с дисперсией ё2 =а2В2 (Х1 + ••• + Хр )2/ Гп, причем, согласно (7), мё2 < 1. Оценим теперь

Р {в ( +... + Х р )|Хт||Хт|> х}:

w

lim PВ(X! +... + Xp)|XT|> x} = —М , i

H-w 1 v 1 рП * Ш-X

-t-/2d-

dt.

Так как для любых а^ < а 2 < г

-г2/2а2 < 1 -г2/2а2

^2ла12 •у/2Па

то для любых значений 1 < й2 < X

-ад -ад

2М [ ^2а2 аг < 2 1 [ ^2й2 аг+р{а2 > й2 }<

Ы2%а2 х л/2лй2 х

52 (X! + ... + Хр)2

< 1 -2ФІ — І + Р<!Г„ <-

2

Ь) Iя Ь

Отсюда получаем (19). Теорема доказана.

Пример. Если случайные величины {ег}> имеют стандартное нормальное распределение и множитель ГП выбирается в форме (6а), то сумма

П

х2 (П - Р ) = Х^2 имеет распределение хи-квадрат с п - р степенями свободы.

1= р+1

Тогда Б2 = 2, а константа СП = 2/(п - р - 2)(п - р - 4) и определена для п - р > 5, а искомая вероятность имеет вид

Р- -Л2> *}<р¡1 -2*.^) + Р[х2 (П-р)</П-р-2)П-р-4)[ .

Для п - р > 5 и Ь2 > 1,1 последнее слагаемое в скобке не превосходит 0,1. В частности, для п - р = 6 и Ь2 = 1,5 эта величина минимальна на области

5 < п - р < 10; 1,1 < Ь2 < 2 и равна 0,033.

4. Результаты моделирования

Предложенный алгоритм был реализован на ЭВМ. Для каждого параметра Н проводилось 100 реализаций процедуры оценивания параметров процесса (1). В следующей таблице приведен пример оценивания параметров процесса порядка р = 2 при Х0 = 0,9, Х1 = 0,5 и Х2 = 0,3 . Нормирующий множитель ГП полагался равным единице.

н Х0 Х1 Х2 Д т т тах

20 0,9468 0,5921 0,1972 1,0670 72 137

40 0,9969 0,5314 0,2362 0,3835 131 210

60 0,9514 0,4613 0,2824 0,2148 193 313

80 0,9954 0,4081 0,2967 0,2098 253 410

100 0,9217 0,5192 0,3282 0,1478 309 424

Здесь Xі - средние оценки параметров, Д - среднеквадратическое отклонение вектора оценок от истинных значений параметров, т и ттах - среднее и максимальное время оценивания. Моделирование показало работоспособность проце-

дуры. Среднеквадратическое отклонение оценки от истинного значения параметра обратно пропорционально Н, что соответствует теоретическим результатам. Кроме того, среднее и максимальное число наблюдений, необходимое для оценивания, растет линейно относительно Н, что говорит о хорошем качестве процедуры оценивания. Максимальное число наблюдений отличается от среднего не более чем в два раза и эта величина уменьшается с ростом Н.

В следующей таблице приведен пример оценивания параметров процесса порядка р = 3 при Х0 = 0,9 , Х1 = 0,5 Х2 = 0,3 и Х3 = 0,1. Нормирующий множитель ГП полагался равным единице.

H *0 *1 *2 *3 А Т Т max

20 1,1525 0,4793 0,1836 0,0967 1,3623 87 166

40 0,8636 0,4724 0,3368 0,0888 0,5805 144 227

60 0,9578 0,5071 0,3230 0,0902 0,4399 212 356

80 0,9712 0,5223 0,2635 0,0647 0,2859 282 432

100 0,9515 0,4967 0,2605 0,1133 0,2025 339 422

Из таблицы видно, что среднеквадратическое отклонение вектора оценок от истинных значений параметров, как и в предыдущем случае, обратно пропорционально параметру процедуры Н. Среднее и максимальное число наблюдений лишь незначительно (не более чем на 22 %) превышает аналогичные показатели в случае процесса второго порядка, что показывает применимость процедуры оценивания и для процессов более высоких порядков.

ЛИТЕРАТУРА

1. Буркатовская Ю.Б., Воробейников С.Э. Взвешенный метод наименьших квадратов гарантированного оценивания параметров процесса ARCH(1) // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2009. №3(8). C. 27-32.

2. Дмитриенко А.А., Конев В.В. О последовательной классификации процессов авторегрессии с неизвестной дисперсией помех // Проблемы передачи информации, 1995. Т. 31. Вып. 4. C. 51-62.

3. Vorobeychikov S.E., Meder N.A. On guaranteed estimation of parameter of random processes by the weighted least square method // Preprints of the 15th Triennial World Congress of the International Federation of Automatic Control. Barcelona. Spain, 21-26 July 2002, N 1200.

4. Беллман Р. Введение в теорию матриц. М.: Наука, Главная редакция физикоматематической литературы, 1969.

5. ШиряевА.Н. Вероятность. М.: Наука, Главная редакция физико-математической литературы, 1980.

Буркатовская Юлия Борисовна Томский политехнический университет Воробейников Сергей Эрикович Томский государственный университет

Е-mail: [email protected] [email protected] Поступила в редакцию 20 сентября 2010 г.