Смещение ядерных оценок функционалов от условных распределений: знакопеременные ядра и полиномиальная аппроксимация Текст научной статьи по специальности «Математика»

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА

2012

Управление, вычислительная техника и информатика

№ 4(21)

УДК 519.2

А.В. Китаева, В.И. Субботина

СМЕЩЕНИЕ ЯДЕРНЫХ ОЦЕНОК ФУНКЦИОНАЛОВ ОТ УСЛОВНЫХ РАСПРЕДЕЛЕНИЙ: ЗНАКОПЕРЕМЕННЫЕ ЯДРА И ПОЛИНОМИАЛЬНАЯ АППРОКСИМАЦИЯ

Проводится сравнительный анализ асимптотического смещения оценок функционалов от условных распределений, аналогичных оценкам регрессии Надарая - Ватсона, построенных на знакопеременных ядрах, и оценок, полученных методом полиномиальной аппроксимации. Показано, что скорость сходимости смещения оценок полиномиальной аппроксимации ведет себя по отношению к степени аппроксимирующего полинома так же, как главная часть смещения оценки типа Надарая - Ватсона по отношению к порядку ядра, причем множитель в главной части смещения, зависящий от ядра, допускает интерпретацию через знакопеременные ядра.

Ключевые слова: функционалы от условных распределений, ядерное оценивание, асимптотическое смещение.

Рассматриваются оценки кривой в точке, представимые в виде

где (х) - некоторые веса, которые, вообще говоря, могут зависеть от всего на-

Естественным подходом к выбору весов в (1) является описание последовательности весов с помощью некоторой функции плотности вероятностей К (•), в которой параметр масштаба играет роль сглаживающего параметра. Такие оценки называют оценками ядерного типа, а функцию К(•) - ядром. Если мы возьмем веса в виде

- ядерная оценка плотности вероятностей Розенблатта - Парзена [1, 2], то полу-

П

(1)

бора регрессоров {, /' = 1, п} . Веса, которые, как правило, зависят от некоторого

параметра сглаживания, регулируют степень влияния наблюдений {, { = 1, п} .

П

При выполнении условия нормировки (х)/ п = 1, оценка У(х) является ре-

і=і

шением оптимизационной задачи взвешенного МНК

где

чим классическую оценку функции регрессии - оценку Надарая - Ватсона [3, 4]

X - Х

NWn (x) = 1=

(1 V h

I = 1 V )

Оценку NWn (х) можно рассматривать как локальную аппроксимацию константой, поскольку она получается из критерия

П2 ( X - X. Л

- 1')К^ Т (

Класс ядерных оценок был введен Розенблаттом М. [1] и изучался Парзеном Э. [2] и Надарая Э.А. [3,5 - 7], хотя основные принципы ядерного оценивания были независимо предложены Фиксом И. и Ходжесом Дж. [8] еще в 1951 г. и Акаки Х. [9] в 1954 г.

Оценки полиномиальной аппроксимации функции регрессии а0 (х) являются естественным обобщением оценки NWn (х), следующим из представления (2):

i =1

( p k Y (x - x

Yi-<ao-Xak(x-x) к\-h^ (3)

V k=i ) V "n

Метод локальной полиномиальной аппроксимации функции регрессии систематически изучался сначала в работах Stone C.J. [10] и Cleveland W.S. [11], затем Fan J. [12,13], Fan J. и Gijbels I. [14], Ruppert D. и Wand M.P. [15].

Заметим, что аП)k! служит оценкой производной k-го порядка (k < p) функции регрессии.

1. Оценки типа Надарая - Ватсона функционалов от условных распределений

Аналогичный подход можно применить к оцениванию функционалов от условных распределений (условных функционалов) и их производных, рассматриваемых в работах Кошкина Г.М. [16, 17].

Все примеры практических приложений, приведенные в [16, 17], либо прямо являются условными функционалами и их производными, либо представляют собой функции от них. Поэтому с содержательной точки зрения вместо оценок «базовых» функционалов at (x) = J gi (y) f (y, x) dy, i = 1,5 +1, gs+1 = 1, и их производ-

R

ных, вводимых в [16], можно сразу же рассматривать оценки условных функционалов Ьг (x) = a (x)/p(x) = a (x)/a^+1 (x) = | gt (y)f(y | x)dy, i = 1, s . Здесь g1,..., gs

R

- известные функции, p(-) - плотность распределения входной переменной X, f (• | x) = f (x, •) / p(x) - условная плотность распределения зависимой переменной Y.

Рассмотрим среднеквадратическую ошибку (СКО) оценок типа Надарая - Ватсона условных функционалов в случае н.о.р. (независимых одинаково распределенных) наблюдений (X; ,Yi):

¿aY )K | * - Xl b1n (х) = —----^, ()

1n v / nf„Y^

¿kI ^

1=1 l hn

пользуясь методикой, предложенной Кошкиным Г.М.

Согласно этому, вначале находим СКО и ковариации оценок базовых функ-

1 n I х - X, I

ционалов ain (х) =-> gi (Yl)KI--------I, а затем, применяя теоремы сходимости

nhnl=1 l hn )

(следствия 1.9.1 и 1.9.3 в [18]), находим асимптотическое смещение и дисперсию

L

оценки b1n (х). В нашем случае функция H(t) = —, t1 = a1n (х), t2 = a2n (х), 5 = 2.

t2

Будем считать, что K(•) - ограниченное симметричное ядро-плотность, g1(-) и р() - ограниченные функции, lim ( +1/ (nhn I) = 0, плотность р() и функция

n——да ' ' ''

a^) дважды непрерывно дифференцируемы, а функция J g12(>’)f (•, y)dy непре-

R

рывна в точке х, р(х) Ф 0 . Тогда при n — да

J х2 K (х^х

E(b1n(х))= Ь1(х) + hn2 R 1 1

2 b{'( х) р( х) + Ь1 (х) р (х)

+ о

(h2

р( х)

J g12(y)f (y I х)Ф - b12(х) I .

Var (b1n (х)) = R---------- ——-------J K2(u)du + о I I.

nhnP( х) R l nhn)

При исследовании асимптотического смещения оценок базовых функционалов (см., например, [17, с. 41]) нетрудно видеть, что, отказавшись от условия неотрицательности ядра, можно повысить скорость сходимости смещения оценок. Пусть ядро K (•) дополнительно удовлетворяет условиям

J|хvK(х)|dх < да, Tj = Jх1 K(х^х = 0 , j = 1,...,v-1, Tv Ф 0 ,

R R

где v - произвольное четное число, которое обычно называется порядком ядра. Тогда при условии непрерывной дифференцируемости до v -го порядка включительно функций р() и a1 (•)

J х'' K (х^х

E (An (х) ) = ^( х) + h

v R

2 a1(v)(х) - b^ х) р(v)(х)

р( х)v!

Асимптотическое поведение дисперсии при этом не меняется.

+ о

(;)•

Очевидно, что при V > 2 ядро принимает отрицательные значения. Знакопеременные ядра можно строить различными методами [17, с. 95] или, например, используя рекуррентную формулу, позволяющую получать ядра порядка v + 2, зная ядра v-го порядка при условии их дифференцируемости:

К^(х) = 3К, (х) +1 хк; (X),

где К; - ядро порядка ; .

Использование знакопеременного ядра позволяет повысить скорость сходимости смещения оценок (4), однако, с другой стороны, приводит к трудностям интерпретации результатов (например, получается, что оценка плотности не обладает свойствами плотности) и может выглядеть искусственным приемом.

2. Оценки полиномиальной аппроксимации функционалов от условных распределений

Оценки полиномиальной аппроксимации условных функционалов строятся с использованием ядер-плотностей и также дают улучшенную скорость сходимости смещения. Для простоты обозначений далее будем опускать индекс у функций g (•) и Ь (•).

Введем обозначения

О =

8(у У

8 (Уп у

А =

1 X1 - х 1 Х2 - х

1 X„ - х

(X - х У (X2 - хУ

(Хп - хУ

Кк = )....к [х - Х

[ 1) [а ) а 0п

0 а1п Vарп у

е= V 0 у - вектор размерности (р +1) х 1, а п =

Если н.о.р. наблюдения = (Х1, ), I = 1, п , и ядро таковы, что существует обратная матрица В- = ( КА) , то из критерия

п ( р А2

X 8 № )-<І0 -Е“к (Хг - хУ

і=1 V к=1 У

к

х - X.

И

Ш1П

следует, что а0п = ет Б 1 Ат КО. (5)

Рассмотрим асимптотические характеристики а0п как оценки условного функционала Ь( х) = | я (у) / (у | х)ёу.

Пусть ядро К(•) определено на замкнутом ограниченном множестве, тогда матрица Б не вырождена с вероятностью, стремящейся к единице при пИп — да [19]. Пусть также ядро ограничено, тогда оно будет иметь все моменты. Кроме того, будем предполагать, что К (•) - ядро-плотность (из чего будет следовать, что

| х2К(х)Сх Ф 0). Все наложенные на ядро ограничения вполне естественны для

к

ядерного оценивания.

Введем определение. Пусть |п и пп - последовательности случайных величин, определенных на вероятностном пространстве (О, ^, Р).

Определение. Будем говорить, что последовательность |п бесконечно мала по сравнению с последовательностью пп по вероятности (обозначение

> є I —> 0 при п — (

^п = 0р (пп)), если для Ув> 0 Р

Обозначим ф(х) = |я2(у)/(у/х)Су-Ь2(х), Ф = ^(ф^),...,ф(хп)),

М =

1 | хК (х)Сх

к

| хК (х)Сх | х2 К (х)Сх

к к

| хрК (х)Сх | хр+1 К (х)Сх

к

1 | хК (х)с1х •••

к

и | х2 К (х)Сх •••

и =

— | хр К (х)Сх

к

••• | хр+1 К (х)Сх к

••• | х2 рК (х)Сх

к

| хрК (х)Сх

к

| хр+1К (х)Сх

ир | хр+1 К (х)Сх — | х2 рК (х)Сх

Найдем асимптотические условные (при условии Х1 = х1,...,Хп = хп) смещение и дисперсию оценки а0п. При усреднении по X возникают проблемы, связанные с возможностью обращения в нуль знаменателя в (5), которые можно решать различными способами, например, при помощи кусочно-гладкой аппроксимации оценок [17] или добавлением к знаменателю слагаемого п~2 [20].

Теорема. Пусть функция Ь(х) имеет непрерывные производные до р + 2-го порядка включительно; функция ф(-) непрерывна точке х, р() непрерывно дифференцируема в точке х, р(х) Ф 0; ядро К(•) дополнительно удовлетворяет усло-

вию

| x2k 1K(x)dx = 0, k = 0, p (это условие

выполняется, например, для четного

ядра); lim (hn +1/(nhn )) = 0 . Тогда при n ^-да условное смещение ' ' '' для четных p (p(x) Ф 0 )

E (a0nlX1 = x1,..., Xn = Xn )-b( x) =

fup + 2K(u)U(u)|du r

f ^ \ hp +2 + o, (+2);

M (p +1)!

для нечетных p

p( x)

E (a0«lX1 = X1,..., Xn = xn )-b(x) =

f up+1K (u) U (u )| du

—b(p+1)(x)hpn+l + op ++1);

(p +1)! M

условная дисперсия (p(x) Ф 0)

Var (1X! = xi,..., Xn = xn) = ^D- ATK^KAD-le{y, =

nhn M

f K(u) U(u)|2 du + o

lj.fl2 j p(x)

V nhn

Доказательство. Рассмотрим смещение оценки a0n (x)

bn = E (0 n\Xl = ^..^ Xn = xn )-b(x) =

eTD - ATK b( p+1)( x) ' (x1 - x)( p+1) ^ b( p+2)(x) ' (x1 - x)(p+ 2) ^ + ...

(p +1)! V(xn - x)(p+1) У (p + 2)! V(xn - x)(p+ 2) ,

Обозначим

M =

h = dmg ( hn,..., Щ), f xK (x)dx f x2 K (x)dx ••• f xp+lK (x)dx

RR R

f x2 K (x)dx f x3 K (x)dx ••• f xp+2 K (x)dx

R R R

f xp+! K (x)dx f xp+2 K (x)dx ••• f x2 p+1K (x)dx

V R

Тогда при n ^ да

D

-h[p(x)M + hnp’(x)M]h ,

p(x) p (x)

h-.

(6)

(7)

(8)

(9)

(10)

n

Рассмотрим поведение величин .Г1 =

Применяя закон больших чисел и делая преобразования (замену переменной в интеграле), как в лемме 2.3.1 [17, с. 30], получим для к = 0, р

5(]) =

^ |х} К(х)Схр(х) + ор (к}п ) при ] = 2к,

к

К+1 X х1+1К(х)йхр'(х) + Ор ( +1) при ] = 2к +1.

(11)

Учитывая (11), получаем

И~1ЛТК

X хп - х)

= Кр( х)

X хкК(х)Сх

к

+ Ькп +1 р'( х)

X хр+кК (х)Сх

\ к

+ о (+1) . (12)

| хк+1К (х)Сх

к

| хр+к+1к (х)с1х

\К )

Обозначим через (М- ).=|х'-1К(х)Сх,' = 1,р +1, элементы первой строки

к

матрицы М-.

Подставляя (10) и (12) в (9), получаем

Ьп = У (м-1) [ х'+1+рК(х)СхЬ(р )(х) Нр+1 + У (м-) [ X+2+рК(х)СхЬ^ )(+ + п ¿Л Ы (р + !)| п /и к ' (к2)!

'=1

Г \ X хр+1К (х)Сх

р+1 У(м-1 ) х'+2+ рК (х)Сх - еТМ~ХММ -'=1 к к р'( х)Ь( р+1)( х)

р(х) (р +1)!

X х2 р+1К (х)Сх \к У

йр+2. (13)

Упростим выражение (13), учитывая, что при к нечетном X хкК(х)Сх = 0; при

к

' + ] нечетном (м-) = 0, а при ' + ] четном ММ, = 0. Заметив, что матрица М

получена из матрицы м сдвигом влево на одну позицию, получим, что при четном р первый член в (13) обращается в нуль, и еТ М ~1М = 0 .

Таким образом, справедлива формула (7). При нечетном р первый член в (13) является главным и справедлива формула (6).

п

Докажем (8). Обозначим

Т =

1 X хК 2( х)Сх

к

X хК 2 (х)Сх X х2 К 2 (х)Сх

X хрК 2( х)Сх

к

X хр+1К 2( х)Сх

X хрК 2( х)Сх X хр+1 К 2( х)Сх ••• X х 2 рК 2( х)Сх

V к

Тогда

Л1 К ФКЛ р( х)ф( х) п К

ИТИ при п . Учитывая (10), имеем ф( х)

пИпВ(Х = х^...,Хп = хп)=^е М ТМЛ + Ор(1),

р(х)

что, нетрудно видеть, совпадает с (8).

Из формул (6) и (7) видно, что скорости сходимости смещения оценки а0п по отношению к степени полинома р и оценки Ьп (х) по отношению к параметру V ведут себя одинаково.

Заключение

Заметим, что главная часть смещения, зависящая от ядра, допускает интерпре-

~ К (и)\и (и)| и

тацию через ядра из класса К; : функция К (и) =--------р:—— удовлетворяет ус-

1М1

ловию

XК(и)и*Си = 0, 5 = 1, р, XК(и)ир+1 Си Ф 0,

к к

если р нечетное;

X К (и) и6'Си = 0, 5 = 1, р +1, X К (и) ир + 2 Си Ф 0,

к к

если р четное, т. е К (и) можно рассматривать как ядро из класса Кр+1 (Кр+2), если р нечетное (четное) (параметр ; принимает только четные значения, поскольку для оценок условных функционалов типа Надарая - Ватсона рассматривались четные ядра).

Например, пусть р = 2 или р = 3 . Тогда

X х4К(х)Сх - и2 X х2К(х)Сх

К (и) =-

-К (и)

(14)

X х4К(х)Сх -1 X х2К(х)Сх к V к У

принадлежит классу К4 . При помощи формулы (14) можно получать ядра из класса К4 из ядер из класса К2 (К(•) е К2 в формуле (14)).

Таким образом, оценки полиномиальной аппроксимации, используя ядра-плотности, дают естественный подход к ядерному оцениванию условных функционалов, обеспечивая улучшенную скорость сходимости смещения, причем константы сходимости в части, зависящей от ядра, при определенном выборе знакопеременного ядра совпадают для двух типов рассматриваемых оценок.

ЛИТЕРАТУРА

1. Rosenblatt M. Remarks on some nonparametric estimates of a density function // Ann. Math. Statist. 1956. V. 27. No. 3. P. 832-837.

2. Parzen E. On estimation of a probability density function and mode // Ann. Math. Statist. 1962. V. 33. No. 3. P. 1065-1076.

3. Надарая Э.А. Об оценке регрессии // Теория вероятностей и ее применения. 1964. Т. 19. Вып. 1. С. 147-149.

4. Watson G.S. Smooth regression analysis // Sankhya. Indian J. Statist. 1964. V. A26. P. 359— 372.

5. Надарая Э.А. Непараметрические оценки кривой регрессии // Тр. ВЦ АН ГССР. Тбилиси: Мецниереба. 1965. № 5:1. С. 56-68.

6. Надарая Э.А. Об интегральной среднеквадратической ошибке некоторых непараметрических оценок плотности вероятностей // Теория вероятностей и ее применения. 1974. Т. 19. Вып. 1. С. 131-139.

7. Надарая Э. А. Непараметрическое оценивание плотности вероятностей и кривой регрессии. Тбилиси: Изд-во Тбил. ун-та, 1983. 194 с.

8. Fix E., Hodges J.L. Discriminatory analysis - non-parametric discrimination: consistency properties // Report No. 4. Project no. 21-29-004. USAF School of Aviation Medicine, Randolph Field, Texas. 1951.

9. Akaike H. An approximation to the density function // Ann. Inst. Statist. Math. 1954. V. 6. P. 127-32.

10. Stone C.J. Consistent nonparametric regression // Ann. Statist. 1977. V. 5. P. 595-645.

11. Cleveland W.S. Robust locally weighted regression and smoothing scatterplots // J. Amer. Statist. Assoc. 1979. V. 74. P. 829-836.

12. Fan J. Design-adaptive nonparametric regression // J. Amer. Statist. Assoc. 1992. V. 87. №420. P. 998-1004.

13. Fan J. Local linear regression smoothers and their minimax effciency // Ann. Statist. 1993. V. 21. P. 196-216.

14. Fan J., Gijbels I. Variable bandwidth and local linear regression smoothers // Ann. Statist. 1992. V. 20 P. 2008-2036.

15. RuppertD., WandM.P. Multivariate locally weighted least squares regression // Ann. Statist. 1994. V. 22. №3. P. 1346-1370.

16. Кошкин Г.М. Об одном подходе к исследованию функционалов о условных распределений при статистической неопределенности // Автоматика и телемеханика. 1978. № 8. С. 53-65.

17. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигналов. М.: Наука, Физматлит, 1997. 336 с.

18. Васильев В.А. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание функционалов от распределений стационарных последовательностей. М.: Наука, 2004. 512 с.

19. WandM.P., JonesM.C. Kernel Smoothing. London: Chapman & Hall, 1995. 210 p.

20. Fan J. Local linear regression smoothers and their minimax effciency // Ann. Statist. 1993. V. 21. P. 196-216.

Китаева Анна Владимировна Томский политехнический университет,

Субботина Валентина Игоревна Томский государственный университет,

E-mail: [email protected]; [email protected] Поступила в редакцию 7 сентября 2012 г.

Kitaeva Anna V. (Tomsk Polytechnic University), Subbotina Valentina I. (Tomsk State University). Bias of conditional density functional’s estimators: sign-changing kernels and polynomial approximation.

Keywords: conditional density functionals, kernel estimation, asymptotic bias.

Comparative analysis of asymptotic biases of two types of conditional density functional’s kernel estimators: analogous to Nadaraya - Watson regression estimators with sign-changing kernels and polynomial approximation estimators are considered.

The range of convergence of the polynomial approximation estimators’ behavior depending of the polynomial degree is similar to the one of Nadaraya - Watson type estimators depending of the kernel’s order. The bias’ main part can be interpreted by sign-changing kernels. The results are the same as for simple regression estimators.