Смешанные процессы авторегрессии и скользящего среднего для обработки временных рядов Текст научной статьи по специальности «Математика»

УДК 528.06

С. Г. ВАЛЕЕВ, Ю. Е. КУВАЙСКОВА

СМЕШАННЫЕ ПРОЦЕССЫ АВТОРЕГРЕССИИ И СКОЛЬЗЯЩЕГО СРЕДНЕГО ДЛЯ ОБРАБОТКИ ВРЕМЕННЫХ РЯДОВ

Описывается разработанный модуль «Авторегрессия-сколъзящее среднее» программного комплекса «Автоматизированная система динамического регрессионного моделирования» (АС ДРМ); эффективность его использования иллюстрируется на примере обработки временного ряда чисел Вольфа.

Ключевые слова: авторегрессия и скользящее среднее, динамическое регрессионное моделирование, временные ряды.

Поддержано грантом РФФИ № 04-02-16633

Введение

При практическом изучении временных рядов (ВР) исследователь на основании наблюдаемого отрезка временного ряда должен сделать выводы о свойствах этого ряда и о вероятностном механизме, порождающем этот ряд. Ставится задача о подборе статистической модели, описывающей временной ряд. Модели авторегрессии и скользящего среднего (АРСС) оказываются особенно полезными для описания и прогнозирования процессов, проявляющихся в виде однородных колебаний вокруг среднего значения.

Алгоритмы АРСС

Целью анализа ВР является моделирование случайных остатков s(t), т. е. представление s(t) в виде модели, которая позволяла бы предсказать их значения гю значениям в предыдущие моменты времени. Параметры этой модели могут быть получены МНК [1].

Авторегресс поп ые модели (АР(р)). Модель авторегрессии 1 -го порядка - АР( 1) (марковский процесс) может быть определена выражением:

8(1) т ß*£*(t-l) h ö(t\ (1)

где ß - некоторый числовой коэффициент, не превосходящий по абсолютной величине единицу (| ß| < 1), а 6{t) - последовательность случайных величин, образующих белый шум. Следовательно,

Ee(l) = CK (2)

r(e(t)9e(tdk)=ßk, (3)

D s (/) ==

(T

0

1 - ß

2

(4)

COV (Е (t), Б (t ±k)) = Д * Ds (t). (5)

Автокорреляционная функция марковского процесса определяется соотношением:

г(т) = г0е (I), 8 (1 ± 1)) = /7 г. (6)

Отсюда же, в частности, следует простая вероятностная интерпретация параметра J3:

f3 = r(l)=r(8(l),8(t±l)), (7)

т. е. значение (5 определяет величину коэффициента парной корреляции между двумя соседними членами ряда s(t).

Модель АР(1) идентифицируется по следующей схеме [3]: подсчитывается выборочная дисперсия у (0) остатков по формуле

N

*

N

(8)

N

где <? = (£<?(/))/Л?, а «невязки» s(l) вычислены

i=\

по формуле (7).

Оценку р параметра ft получаем с помощью

формулы (4), подставляя в неё вместо коэффициента корреляции r(s(t),s(t±l)) его выборочные значения г (e(l), е(t + ])), т. е.

. N-1

1 * у (eft) - Ю(ё0 + 1)-Ю

ß =

/V -1

/ = ]

(9)

г(0)

Наконец, оценка основана на соотношении (5), в котором величины Ое(1) и (3заменяются их оценками, соответственно, у (0) и (3:

<т()2 = (1 - ß1)* /(0).

(10)

Модель авторегрессии /7-го порядка- АР(и). В общем виде авторегрессионный процесс может быть записан так:

£}-/?/£}./+ М-2+ + РгА-Лб,. (11)

Э С. Г. Валеев. Ю. В. Кувайскова, 2006

Параметры pj (/=1.,...,л) модели (11) обычно оцениваются методом наименьших квадратов при предположениях, что с.в. 8t распределена нормально и независимо от / и коэффициенты модели по абсолютной величине меньше единицы.

Модели скользящего среднего (CC(q)). Процесс имеет вид [3]

s{t) = S(t) - 6,5[t - 1) - в2б{г - 2) -... - 6q5{t -q)- (12)

Процесс (12) называется моделью скользящего среднего порядка q.

Выражение для ковариации у(т) = E(s(t)s(t - г)):

у(т) =

<(]+${+в;при г = 0; О при т> q

(13)

(при этом, естественно, полагается, что 0 = О при/>¿7).

Автокорреляционная функция процесса СС(д) получается непосредственно из (13):

г(г) =

О при т> q.

при т = 1,2,..

(14)

Идентификация модели СС(<?) производится на базе соотношений (14), а именно: 1) по значениям £(0 = *(0-/(0 С ПОМОЩЬЮ формулы

^ X (£(/))(*(' +Г)

г (г) = -- д,-, Г = 1,2,..., ц,

(15)

подсчитываются значения р(1),г(2),...,Я(^);

2) в соотношения (14) последовательно подставляются значения г = 1,2,...,<ус заменой в

левой их части величин г(т) полученными ранее

оценками г(т); 3) полученная таким образом

система из д уравнений разрешается относительно неизвестных значений ;

решения этой системы §19в29...90 и дадут нам

оценки неизвестных параметров модели; 4) оценка параметра а] может быть получена с

помощью первого из соотношений (13) подстановкой в него вместо /(О),0Р02,...,0, их

оценок, соответственно, ^ .

Заметим, однако, что уравнения для определения оценок параметров СС(<у)-модели, полученные на базе соотношений (14), нелинейны. Поэтому, за исключением простого случая ¿/=1, который будет рассмотрен ниже, эти уравнения приходится решать с помощью итерационных процедур.

Авторегрессиопные модели со скользящими средними в остатках (АРСС(р,д)). На практике для получения экономичной параметризации анализируемого процесса иногда бывает необходимо включить в модель как члены, описывающие авторегрессию, так и члены, моделирующие остаток в виде скользящего среднего. Такой линейный процесс имеет вид

*(/) = Д е{1 -1)+...+рре{1 - р) + ¿>(0 - (16)

и называется процессом авторегрессии - скользящего среднего порядка (р, д). Примем для него сокращённое обозначение АРСС (р, д).

Отметим, что, последовательно выражая бесконечное число раз в правой части (16) величины £{1 -1), *(/ - 2),..., £{1 - р) , по формуле (16),

мы убеждаемся в том, что #(/) не зависит от будущих значений 5, т. е. от ¿>(/ +1), 8(/ + 2)

Выражение для автокорреляционной функции имеет вид

г(г) = Д г(г -1) ■+... + Р7 Г(Т -2)4-... + - р) (17)

Л/Ж Г >(/4-1.

Общий метод получения начальных оценок параметров смешанного процесса авторегрессии-скользящего среднего [2]. В общем случае вычисление начальных оценок процесса АРСС(р,д) основано на первых р+д+\ автоковариациях

сз

(/=0,1, (р+д)) от е} и проводится в 3 этапа.

1) Параметры авторегресии оцени-

с с с с ваются по автоковариациям .

2) На базе оценок Д найденных в 1), вычисляются первые д+1 автоковариации с. (/-0,1,...,д) полученного ряда

£ , = 8, - ~~ ••• ~~ р

I ! I

3) Наконец, автоковариации с0,с,,...,с используются при итеративном расчёте начальных оценок параметров скользящего среднего 0„02,...,0О и остаточной дисперсии а2-

Получить начальные оценки параметров авторегрессии можно, решивр линейных уравнений

= Ас + Ас9-1 + - + А»с«-/>+1.

cf/+2 = AVi + Ас, +... + Рр с(,-р+2.

(18)

— Р\С(!+р-1 + АС</+/;-2 • • ■ + РрС1/ ■

Автоковариации найденного процесса скользящего среднего. Обозначим теперь е\ = р(В)8, и

будем анализировать этот процесс как процесс скользящего среднего £■' = 0(13)6,

Прежде всего необходимо выразить автоко-вариации с процесса через автоковариации

с. процесса £(. Можно показать, что

1-0

±

1=1

,(19)

где, ..., ^ с!; = с^ + сн, /30 = 1.

I

Используя оценки автоковариаций с] , можно получить начальные оценки параметров скользящего среднего в найденном процессе е\ = в{В)8( при помощи итеративного метода.

К вадрати чески- сходящийся процесс-алгоритм Ньютона-Рафсона. Обозначим г' = (г0,гр...,г/),где

I I

т0 = ст2, в. =-т ./г0, у'=1,2, ..., д.

Тогда, если г' - оценка т , полученная в результате ьй итерации, новые значения в результате (/ +1)-й итерации будут получены из формулы:

• тм=т'-(ТГ1Л

(20)

/' = (Л,/„-., Л)' Л = Е ~ с)

1-0

и

Г =

Г0 Г1 Тд-[ Тч

Т2 -VI 0

г 0 ... 0 0 0

4*

г0 г, г2 ... тд

0 г0 Г| ... г ,

0 0 0 ... 0

Имея значения т для каждой итерации, можно получить значения параметров.

Вычисление оценок наименьших квадратов. Значения параметров, минимизирующих сумму квадратов остаточных ошибок, получены методом оптимизации с ограничениями, предложенными Марквардтом.

Алгоритм Марквардта для нелинейного метода наименьших квадратов^].

1. Задаваемые параметры

Обозначим через /? = (Д,/?2все параметры модели, необходимо задать начальные значения /?о, а также параметры к и F25 ограничивающие поиск, и параметр сходимости Во время поиска необходимо оценивать значения 8{ и производные . _ _ на каждом шаге

Щ

итерации.

2. Вычисление производных Производные находятся по остаточным

ошибкам, вычисленным согласно формуле

ХН = А.0Э-» А,о) - ^/(А.о— > Д .О + ^ V, А.о)

Итерация

Этап 1. По известным ¿> г , найденным для

текущих значений параметров, находятся следующие величины:

1) матрица размером ¿хЛ:

л=К}

3

л

где

2) вектор g с элементами giig29...,gk,

л

где

/=0

3) нормирующие величины

А = л/Л;

Этап 2. Модифицированные (введением нормирующих множителей и наложением ограничений) линеаризованные уравнения

(21)

конструируются согласно формулам

4=1 + л-,

Уравнения решаются относительно /г* , этот вектор денормируется для получения поправок параметров

к} = к] / £>у.

/? = У?0 + А

и оценивается сумма квадратов остаточных

ошибок

Этап 3.

1) Если < £(/?<,), исследуются поправки параметров /г. Если они все меньше достигнута сходимость, и матрица А~] размером кхк используется для вычисления ковариационной матрицы оценок. В противном случае /зо принимает значение /?, к уменьшается в Т72 раз и продолжаются вычисления на этапе 1. 2) Если >5(/?0), ограничивающий параметр к увеличивается в Р2 раз и вычисления продолжаются в соответствии с этапом 2. Почти во всех случаях удается найти наименьшую сумму квадратов. Однако к имеет верхнее граничное значение, если оно превышено, поиск прекращается .

Программное обеспечение

Программный модуль АРСС построения смешанной модели авторегрессии - скользящего среднего и вычисления параметров модели был

реализован и подключён к пакету «Автоматизированная система динамического регрессионного моделирования» (АС ДРМ)[1].

Модуль АРСС предназначен для построения моделей временных рядов. Модель интерпретируется как линейная модель множественной регрессии, в которой в качестве объясняющих переменных выступают прошлые значения самой зависимой переменной, а в качестве регрессионного остатка - скользящее среднее из элементов белого шума.

Модуль «Авторегрессия - скользящее среднее» выполняет следующие функции:

- получение начальных оценок параметров смешанного процесса авторегрессии - скользящего среднего методом Ньютона-Рафсона;

- оценивание модели, вычисление оценок наименьших квадратов методом оптимизации с ограничениями, предложенными Марквардтом.

Результаты обработки ряда

%

В качестве исходных данных были взяты данные ряда чисел Вольфа, полученные с сайта World Data Center for the Sunspot Index, http://sidc.oma.be/, 3653 наблюдений за 1995-2004 гг. с дискретностью 1 день.

• .. _Г .... . • м - •

• ■■•«• »Л - Ч ■■ т — I. •••• • •• — • • • »•• • ••«*•-» • •• • • • | • ■ >f •!• •• t ) »• — —— •• tN «I »• • —■ — • ••• - ' ► •

-4..» Vi-.^.--*......J... ...........»-. —- -i .. ...

и Ij.. — - »1 ••• •• •• M ••• • — ^ f

f • ЛфЩ III ■* N • ••• ■ *

•• r — — — • « • • I* •

• i • ч •

if i • < • f «

•• | •• - - • ... ••

Л . U. ! . _ . .

¿1 •• / - 4 ^—- ) .. .. >

h » V I.J»« fi •• * — • J» —« .'. .. ... .. ^ i- — с

11 H »Л • ! ~ - r - - • - -

i; H\ l r I -1 •

••I • ^ •• — <•

>9t «09

юо i;

! Ж 1<fl t IOV l «X

Рис. 2. График автокорреляционной функции остатков Автокорреляционная функция остатков показывает отсутствие зависимости в остатках между уровнями.

•no J ООО 1 ГО

1X4 Itoc f I

а б

Рис. 3. а) график наблюдаемого ряда чисел Вольфа; б) график модели АРСС(1,6) ряда чисел Вольфа,

построенной в АС ДРМ Комплексная модель динамики имеет вид:

Х(0 = 0,10753 + 0,95973 • Х(1 -1) + 0,23697 -е_Х (!-]) + +0,10653-е_Х(1-2) + 0,024893 -е_Х((~3) + +0,029482 • е _ - 4) + 0,037183 • е _ Х(1 -5)4-+0,076521-е_Х({-6)+е_Х(1).

СКО итоговой модели с = 10,858; «внешнее» СКО Од = 6,49150.

Заключение

а б

Рис. 1. а) спектральный анализ ряда чисел Вольфа; б) автокорреляционная функция ряда чисел Вольфа

Автокорреляционная функция (рис.1, а), спектральный анализ (рис. 1, б) указывают на наличие автокорреляции, что предполагает выделение гармонической или авторегрессионной составляющих.

Построена модель АРСС(1,6) с параметрами const = 0,10753, pi = 0,95973, ql = -0,23697, q2 = = -0,10653, q3 = -0,024893, q4 = 0,029482, q5 = 0,037183, q6 = 0,076521 с СКО модели 10,858; «внешнее» СКО ад = 6,49150.

Результаты диагностики остатков: - предположение о равенстве нулю математического ожидания выполняется, - модель недоопределе-на; - остатки распределены по нормальному закону, - авторегрессия отсутствует (DW= 2,026).

Добавление в АС ДРМ модуля построения моделей авторегрессии и скользящего среднего в совокупности с методами анализа и обработки временных рядов, реализованными в пакете, значительно расширило его возможности для обработки временных рядов практически любого происхождения, позволяя строить модели высокой точности.

Исследования проводились при финансовой поддержке Российского фонда Фундаментальных исследований (грант РФФИ № 04 - 02 -16633).

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1.Валеев, С. Г. Регрессионное моделирование при обработке наблюдений / С. Г. Валеев. - М. : Наука, 1991. 272 с. (второе издание, дополненное и переработанное: Валеев С. Г. Регрессионное моделирование при обработке данных. - Казань : ФЭН, 2001.-296 е.).

2. Бокс, Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. - М.: Мир, 1974. -242 с.

3. Айвазян, С. А. Прикладная статистика и основы эконометрики / С. А. Айвазян, В. С. Мхита-рян.-М. : ЮНИТИ, 1998.

4. Тюрин, Ю. Н. Статистический анализ данных на компьютере / Ю. Н. Тюрин, А. А. Макаров. -М.: ИЫФРА-М, 1998.-528 с.

5. Валеев, С. Г. Модели сглаживания временных рядов / С. Г. Валеев, С. В. Куркина, Ю. Е. Ку-вайскова // Труды междунар. конф. «Континуальные алгебраические логики, исчисления и нейроинформатика в науке и технике»: Информатика, системы искусственного интеллекта и

моделирование технических систем. - Ульяновск : УлГТУ, 2006. - С. 83-85.

Валеев Султан Галимзянович, доктор физико-математических. наук, профессор. заведующий кафедрой прикладной .математики и информатики УлГТУ. Имеет монографии и статьи в области астрометрии и небесной механики, математической статистики и разработки информационных технологий. Кувайскова Юлия Евгеньевна, студентка группы ПМд-51 экономико-математического факультета Ульяновского государственного технического университета.

г