Об оценке плотности распределения с помощью ряда Фурье Текст научной статьи по специальности «Математика»

ОБ ОЦЕНКЕ ПЛОТНОСТИ РАСПРЕДЕЛЕНИЯ С ПОМОЩЬЮ РЯДА ФУРЬЕ1

Беломестный Д. В.2, Иосипой Л. С.3

(Национальный исследовательский университет «Высшая школа экономики», Москва)

Рассматривается классическая статистическая задача оценки плотности распределения по выборке из этого распределения. Данная задача возникает в различных прикладных областях при попытке изучить вероятностную структуру некоторого случайного процесса. Например, с помощью оценки плотности можно идентифицировать некоторую структуру в сложной системе, а затем сделать выводы о неизвестных параметрах этой системы. В данной работе предлагается новый способ оценивания плотности распределения, основанный на аппроксимации логарифма плотности рядом Фурье, коэффициенты которого вычисляются с помощью решения некоторой системы линейных уравнений. Анализ теоретических свойств такой оценки является основной задачей данной работы. Основными результатами данной работы являются оценка отклонения в супремум-норме и оценка расстояния Кульбака - Лейблера между аппроксимацией плотности и истинным значением. Полученные оценки являются параметрическими и имеют порядок сходимости «с большой верятностью» что является стандартными порядками в задачах параметрического оценивания. Константы в порядках получены с точностью до некоторого абсолютного множителя, т.е. исследована ее зависимость от всех параметров задачи. В качестве численного примера рассматривается оценка плотности распределения Коши.

Ключевые слова: оценка плотности, ряд Фурье, расстояние Кульбака -Лейблера.

1. Введение

В данной статье рассматривается задача оценки плотности распределения вероятности по выборке из этого распределения. Данная задача возникает в различных прикладных областях при попытке изучить вероятностную структуру некоторого случайного процесса. Эта задача является критически важной, по-

1 Результаты данной статьи получены при поддержке гранта РНФ №19-71-30020.

2 Денис Витальевич Беломестный, к.ф.-м.н., профессор ([email protected]).

3 Леонид Сергеевич Иосипой, м.н.с. ([email protected]).

скольку с помощью плотности распределения можно описывать систему, из которой были получены данные. Таким образом, оценка плотности может быть использована для того, чтобы идентифицировать некоторую структуру в сложной системе, а затем сделать выводы о неизвестных параметрах этой системы.

Оценка плотности распределения является классической статистической задачей. Для ее решения было разработано множество различных подходов, которые можно разделить на параметрические и непараметрические. В параметрическом подходе обычно предполагается, что плотность известна с точностью до конечного числа параметров, в то время как в непараметрическом подходе обычно предполагается, что плотность принадлежит некоторому бесконечному набору кривых (например, классу непрерывно дифференцируемых функций). Литература на данную тему достаточно обширна, см. [7, 4, 2, 1, 14, 6] и список литературы в данных работах. Хорошим введением в данную задачу являются [5, глава 22] и [14, главы 1, 2].

Обозначим через р: М ^ М неизвестную плотность распределения, которую необходимо оценить по выборке Xt,...,XN (элементы выборки получены независимо). В данной работе предлагается новая параметрическая оценка р(х), которая заключается в приближении функции log р(х) с помощью ряда Фурье. Коэффициенты Фурье данной аппроксимации вычисляются через коэффициенты Фурье плотности р(х), которые, в свою очередь, оцениваются с помощью выборки Xt,...,XN. Анализ теоретических свойств такой оценки является основной задачей данной работы. Обратим внимание, что плотность любого распределения является функцией неотрицательной, что усложняет применение известных методов из классической теории аппроксимации функций. Например, при использовании обычных или тригонометрических полиномов оценка плотности может начать принимать отрицательные значения. Этим обосновывается подход, в котором сначала оценивается logp(x), а затем от данной оценки берется экспонента.

Обозначения. В данной работе евклидова векторная норма обозначается как ||-||. Так же обозначается и подчиненная ей

матричная норма, которую мы будет называть операторной. Для подмножества действительных чисел ГсВ через Cs(7) мы будем обозначать множество всех непрерывно дифференцируемых действительнозначных функций на Г. Для действительнозначной функции ft: Т ^ М мы положим || ft ||от= supx6T|ft(x)| (супремум-норма) и II ft llLfc(T)= (JT |ft(x)|fcdx)1/fc (Lfc-норма), где k 6 N. Множество всех функций, для которых || ft H£fc(7-)< мы будем обозначать через Lfe(7). Для плотности р(х) некоторого абсолютно непрерывного распределения на М мы положим || ^ Hifc(Tp)= (/г |ft(x)|fcp(x)dx)1/fc. Расстояние Кульбака -Лейблера между плотностями распределения вероятностей р1 и р2 будет обозначаться через ^L(p1, р2). Вероятность и математическое ожидание будут обозначаться соответственно через Р и Е.

2. Основные результаты

Чтобы избежать некоторых технических деталей, мы будем предполагать, что плотность р(х) имеет конечный носитель, т.е. что существует такой отрезок Т = [—т, т], т > 0, для которого р(х) > 0 для х 6 Г и р(х) = 0 для х g Г, а также р(т) = р(—т). Но рассмотренный ниже метод оценки можно применять и в общем случае (необходимо рассмотреть функцию р0(х), которая для некоторого большого т > 0 удовлетворяет Рс(т) = ро(-т) и которая близка к р(х) на Т = [—т,т], и оценить ошибку аппроксимации р(х) с помощью ро(х)).

Рассмотрим идею, предложенную в [6], которая связывает коэффициенты Фурье функций р(х) и ^(х) = log р(х). Предположим, что обе функции могут быть представлены на Т с помощью своих рядов Фурье:

РФ = bfceIfc**, где = ¿/-^Tp(x)e-ife^dx,

-л — U

£(*) = !£=-» Cfc^, где Cfc=i/_TT£(x)e-ifc^dx. Тогда коэффициенты и удовлетворяют следующему отношению: для любого & 6 Ж,

л

2rfcftfe = к /т р(х)е ^dx =

= ¿^(р(х)е 1ктх\1Т - ¡т р'(х)е 1кжхйх) =

= - 1±(р(х)д'(х)е-1кЧхйх =

= !ф=-п }С] Iт Р(х)е

т

.. ж - 1к—х,

- 1(к-])жхах =

= 2т С]Ьк-].

То есть £р=-т ]Ьк-]С] = кЬк, что можно рассматривать как бесконечную систему линейных уравнений относительно с].

В [6] было предложено «обрезать» данную систему уравнений, что приводило к системе Ах = Ь, где

(1) А =

'Ьо Ьг

Ь

х =

Ь =

Ьо

Ь2п Ь2п-1 /-ПС-п

(П - 1)С-(п-1)

уПСп

пЬ-п -(п-1)Ь-(п-1)

Ь-2 п Ь-2п+1

Ь

п Ьп

Решив данную систему, мы сможем найти все с-п, ...,сп, кроме Со, так как центральный элемент вектора х равен 0, Со = 0. Данное обстоятельство не приводит к проблемам, так как благодаря теплицевой структуре системы и наличию некоторой симметрии (подробнее см. [9, с. 317]) решение х тоже будет содержать 0 на данном месте. Обозначим полученную аппроксимацию через

1кЖ-х

9п(хУ- = £к=-п ске т = с0 + £1<\к\<п ске' где оставшийся неизвестный коэффициент Со найдем из условия

/ е3п(х)йх = / р(х)йх = 1, что эквивалентно

/ 1кжх \

с0 = е(£1^пСкв т )йх).

1кжх т ,

1

Как уже упоминалось, в данной работе мы изучаем свойства подобной аппроксимации в случае, когда коэффициенты неизвестны и оцениваются с помощью

ifc^v. е т '

1 уЛ1

2т^А/ = 1

где, напомним, - это выборка. Данные оценки являют-

ся несмещенными и состоятельными. Определим новую «возмущенную» систему уравнений

-2п

-2п+1

(2) Л =

х =

b =

/Ьо й-1 ... ь

Й1 Ьо ... b

... й

/—пс_ -п \

' — (п — 1)С-(п- ■1)]'

\ПСп /

-п \

о

-(п- 1}Ь-(п-1)

)

(пйп и аппроксимацию

(3) ¿СпФ = Zfc=-n cfce"

где коэффициент Со определяется из аналогичного условия,

(fc—x т ,

Со = Со = -l°gMT е

^ ik—^

¿1<|fc|<ncfce т

dx

Основными результатами данной работы являются оценка максимального отклонения аппроксимации рп = от истинной плотности р = а также оценка расстояния Кульбака -Лейблера между ними. Данные результаты сформулированы ниже.

Теорема 1 (Супремум-норма). Пусть р е CS(T), s > 2 и |p(s)(x)| < от. Пусть также т = ess infxeTp(x), М = ess supxeTp(x) и 0 < m < М < от. Если N > (бп log(10-))/ (т2т2), тогда с вероятностью не менее 1 — 5

+ .I ™ „Б '

N

где ^ означает неравенство с точностью до некоторой абсолютной константы.

Подобный теоретический результат уже был получен в работе [9], но в детерминированной постановке, когда коэффициенты Фурье р(х) считались известными и их не нужно было оценивать. Обобщение, рассмотренное в данной статье, требует получения равномерной концентрации оценок коэффициентов Фурье р(х), а также исследования устойчивости решения системы линейных уравнений, с помощью которой вычисляются коэффициенты Фурье logр(x). Обратим также внимание на

ЮП п п

условие N > (6nlog(^-))/(т2m2), которое отсутствует в [9] и

которое необходимо, чтобы гарантировать близость решений систем уравнений (1) и (2).

С помощью теоремы 1 можно получить следующие следствия.

Следствие 1 (Расстояние в супремум-норме). В условиях теоремы 1

\\рп-р\\^М\—^

N \ т п

Следствие 2 (Расстояние Кульбака -Лейблера). В условиях теоремы 1

КЧр,Рп)^2тм(П1Ш+

\тт2\ N т П

Построенная оценка рп является параметрической оценкой плотности р, и порядки сходимости полученные

в следствиях 1 и 2, являются стандартными в задачах параметрического оценивания. В случае непараметрического оценивания порядки сходимости получаются хуже. Так, например, в работе [4, теорема 4] была получена следующая минимаксная оценка (т.е. для наилучшей оценки рп наихудшей плотности р

из некоторого класса): Е \\рп- р \\от~ п 25+1 . Здесь оценивает-

5

ся ожидаемое уклонение II рп — р ||œ, а не его значение «с большой вероятностью», как в результатах выше. В последнее время интерес представляют именно оценки «с большой вероятностью» как более информативные. Упомянутый результат из [4] был обобщен в работе [10] на оценку «с большой вероят-

S

ностью», которая также равна 0(п 2s+i).

Пример. В качестве примера, рассмотрим задачу оценива-

ния плотности Коши р(х) =

-. Зафиксируем параметры

п(1+х2)'

г = 3п и п = 5. Оценивать р(х) будем с помощью выборки размера N = 100 и N = 100000. Для этого, согласно предложенному алгоритму, сначала оценим выборочные коэффициенты Фурье bfr и решим систему (2). После этого найдем с0, вычислим дп по (3) и положим рп = е3п. Вне отрезка Т = [—3п, 3п], по определению, рп(х) = 0. Результаты приведены на рис. 1 и 2.

Остальная часть данной статьи посвящена доказательству данных результатов.

Рис. 1. Оценивание плотности Коши по N = 100 наблюдениям

1

Рис. 2. Оценивание плотности Коши по N = 100000 наблюдениям

3. Доказательства основных результатов

Доказательство теоремы 1, следствия 1 и следствия 2 разделено на следующие этапы. В разделе 3.1 мы получим оценки на близость всех коэффициентов Ь^ и Ь^, которые участвуют в системах уравнений (1) и (2). Затем в разделе 3.2 мы проведем общий анализ стабильности системы линейных уравнений при возмущении. В разделе 3.3 мы оценим евклидово расстояние между решениями х и х систем (1) и (2) соответственно. И, наконец, в разделе 3.4 мы докажем теорему 1, а в разделе 3.5 и разделе 3.6 - следствие 1 и следствие 2 соответственно.

3.1. КОНЦЕНТРАЦИЯ ЭМПИРИЧЕСКИХ КОЭФФИЦИЕНТОВ ФУРЬЕ

В этом разделе мы получим результат, который описывает, насколько хорошо эмпирические коэффициенты Фурье

(4)

посчитанные по выборке Хг, ...,Хп, близки к истинным коэффициентам Фурье Ь^ для к = -2п, ...,2п.

Лемма 1. Пусть Ьк являются коэффициентами Фурье функции р(х), а Ьк - их эмпирические оценки (4), посчитанные по выборке Х1,...,Х!Я. Тогда для всех Ьк из диапазона к = —2п, ...,2п выполнено

\Ьк — Ь

м

1 Л

—с вероятностью не менее 1 — о.

2т2N

Доказательство. Обозначим = (2т)-1е1к^Х] для } = 1, ...,Ы. Заметим, что Ьк = Уки Ьк = для всех ] =

1, ...,Ы. По неравенству Хеффдинга (см. [11]) для любого к = 2п, ...,2п,

(Ук.1 — Еад 2е-2 <

Суммируя вероятности для всех к = —2п, ...,2п, мы получим — Ьк1> £ для всех к = —2п,...,2п) <

< 2(4п+1)е-2тЧ2м < 10пе-2т2*2". Следовательно,

П1ьк — ьк1>

М

1оЕ(ЩР)

—для всех к = —2п,...,2п) < 5,

2т2 N

что может быть переписано как

Г. .10П-.

для всех к = —2п, ...,2п с вероятностью не менее 1 — 5. Лемма доказана.

3.2. АНАЛИЗ УСТОЙЧИВОСТИ СЛАУ

В данном разделе мы проведем анализ устойчивости решения системы линейных уравнений Ах = Ь при возмущении матрицы коэффициентов А и столбца свободных членов Ь. Данный анализ является общим и верен для любой векторной нормы || • II и подчиненной ей матричной норме.

Итак, пусть х является решением системы Ах = Ь, а х - решением возмущенной системы Ах = Ь. Определим АА= А — А и АЬ = Ь — Ь.

Мы покажем, что при малых значениях || АА II и II АЬ II значение II х — х II также будет мало. Рассмотрим сначала вспомогательные леммы.

Лемма 2. Пусть I будет единичной матрицей и А1 будет любой матрицей с НА/ Ц< 1. Тогда матрица I — А1 является невырожденной и «(1 — А1)-1

Более того,

с—")-1

Доказательство. Так как II х ||<|| х — А1х I + || А1х I, мы

имеем

I (I — А1)х II > I х I —I А1х II > I х I —I А1 II х Ц= = (1—I А1 I) ||x||>0 для всех х Ф 0. Следовательно, матрица I — А1 является невырожденной. Рассмотрим равенство ( — А )( — А )-1 = , с помощью которого мы получим (5) ( — А )-1 = + А ( — А )-1. Следовательно,

I (I — А1)-1 ||<|| I | +Ц А1 || (I — А1 )-1 | = 1+Ц А1 || (1 — А1)-1 Разрешая это неравенство относительно I (I — А1 )-1 ||, мы докажем первое утверждение леммы. Далее, равенство (5) также влечет

1 — (1 — А1 )-1 = —А1(1 — А1 )-1. Используя первое утверждение леммы, мы имеем

III —(I — А1 )-1 К! А1 || (I — А1)-1 ||< т^.

Лемма доказана.

Лемма 3. Пусть А является невырожденной матрицей, а АА - любой матрицей с I А-1АА ||< 1. Тогда А + АА является невырожденной и

Более того,

I аГх — (а — АА)-11|< I а-1аа I.

Доказательство. Рассмотрим равенство А + АА = = А(1 + А-1АА). Так как || А-1АА ||< 1, по лемме 2 матрица I + А-1АА является невырожденной и, следовательно, А + АА тоже невырождена. Рассмотрим далее равенство (6) (А + АА)-1 = (I + А-1АА)-1А-1. Используя опять лемму 2, мы получим

|| (А + АА)-1 || = || (I + А-1АА)-1А-1 ||<

<Ц (1 + А-1АА)-1 |||| А-1 || < иЧ

что доказывает первое утверждение леммы. Чтобы оценить норму разности матриц А-1 и (А + АА)-1, мы используем равенство (6) и лемму 2 еще раз.

|| А-1 — (А + АА)-1 Ц<Ц I — (I + А-1АА)-1 |||| А-1 ||< < « ^ «,

что доказывает второе утверждение леммы.

Предложение 1. Пусть х является решением системы Ах = Ь, а х является решением возмущенной системы Ах = Ь. Обозначим АА = А — А и АЬ = Ь — Ь. Если || А-1 |||| АА ||< 1/2, тогда

Цх — хЦ<2 || А-1 || (|| А-1 |||| Ь |||| АА || +Ц АЬ ||). Доказательство. Мы имеем Цх — х ||=|| (А + АА)-1(Ь + АЬ) — А-1Ь ||< <|| (А + АА)-1Ь — А-1Ь || +|| (А + АА)-1АЬ ||< <Ц(А + АА)-1 — А-1 ЩЬ || +Ц (А + АА)-1 |||| АЬ ||. По условию || А-1АА ||<|| А-1 |||| АА ||< 1/2. Следовательно, применив лемму 3, мы получим

Цх — х (| А-1АА ППЬ || +Ц АЬ ||) <

< 2 НА-1 || -М-1 |||| Ь |||| АА || +Ц АЬ ||).

Предложение доказано.

3.3. ВСПОМОГАТЕЛЬНЫЕ ОЦЕНКИ

Приведем без доказательства вспомогательные утверждения, которые будут использованы позже. Первое утверждение связывает спектр матрицы А, определенной в (1), с множеством значений плотности р(х).

Лемма 4 ([13, теорема 1.2]). Пусть p Е L1(T) и пусть т = ess infxETp(x), М = ess supxETp(x). Определим для любого целого n матрицу А = (bj—k)j,k=i,...,n, где bk - коэффициенты Фурье функции p(x). Тогда матрица А является эрмитовой и все ее собственные значения лежат в интервале (т, М).

В следующем утверждении показано, что функция gn, которая является аппроксимацией функции g, является решением некоторой оптимизационной задачи.

Лемма 5 ([9, теорема 2]). Пусть pECs(T), и

|p(s)(x)| < от. Пусть также т = ess infxETp(x), М = ess supxETp(x) и 0 < т < М < от. Тогда функция gn, определенная в (3), является единственным решением оптимизационной задачи

te11 (g)'- (h)' ^(t.p),

)j egn(x) = i,

где Fn - линейная оболочка множества функций {1,е~*, ... ,

+i n—x~, е~ г }.

В следующем предложении мы воспользуемся предыдущими двумя леммами, чтобы охарактеризовать евклидову норму разности векторов x и x, решениями систем уравнений (1) и (2) соответственно.

Предложение 2. Пусть p Е CS(T), s > 2 и |p(s)(x)| < от. Пусть также для т = ess infxETp(x), М = ess supxETp(x) и 0 <

т < М < от. Если N > (6nlog(10n))/(т2т2), тогда с вероятностью не менее 1-5,

1

N

где < означает неравенство с точностью до некоторой абсолютной константы.

Доказательство. Согласно предложению 1, если НА-1 || АА ||< 1/2, то

(7) ||x — x||<2 | А-1 | (| А-1 || Ь II АА || + Ц АЬ ||).

Оценим каждый множитель в этой формуле отдельно. Напомним, что у гладкой функции р е С3(Т) с |р(я)(х)| < от

коэффициенты Фурье убывают как Ьк < с1к1 где с - это некоторая константа (см., например, [3]).

• \\ А-1 ||: по лемме 4 \\ А-1 \\< 1/т.

• \\ Ь \\: \\ Ь \\2= к2Ь2 < 2сТ^=1 к-28-2 <

< 2с2£=1 к-2 < сп2/3.

• \\ АА \\: используя лемму 1, с вероятностью не менее 1-3

(2n+1)log(i0")

II АА || < ^2ri+T max |(AA)i,| < J--' g .

1< i, j<2n+rK У41 N 2T2N I Ab используя лемму 1, с вероятностью не менее 1-S

21 (^"Л

IA b II2= vn=-n k2(h - bk)2 < 2-°(^Yin=-n k2 <

<

2(2n3+3n2+n)log(

3М

где в последнем неравенстве мы использовали формулу Фауль-хабера.

Заметим, что условие N > (6nlog(10п))/(т2m2) влечет

\\ А-1 \\< 1/т. Подставив полученные оценки в (7) (пренебрегая константами для простоты), мы получим

\\х-х\\<±(± 1п1°В® + 1п31°В1 1п31°В®

м "< т(тЧ т2М \ т2М ) < т2т\1 N .

Предложение доказано.

3.4. ДОКАЗАТЕЛЬСТВО ТЕОРЕМЫ 1

Заметим, что по построению / рп(х)йх = / р(х)йх = 1. Так как обе функции рп(х) и р(х) непрерывны, то существует х0 е Т, что рп(х0) = р(х0). Следовательно, дп(х0) = д(х0). Используя этот факт и неравенство Коши - Буняковского, мы получим

<

Il9n-9 Ню= sup \f* (g'n(x) - g'(x))dx

XET 1 *0

< ST Wn(x) - g'(x)ldx < II g'n - g' IIL2(Ty По неравенству треугольника

II g'n - g' Nl2(t)<h g'n - g'n ^l2(t) g'n - g' нl2(t).

Оценим каждое слагаемое отдельно. Для первого слагаемого, с помощью неравенства Коши - Буняковского и предложения 2, мы получим

..... 2 \1/2

£к=-п т - ск)е'

н з'п-д'п \к2(т)=^[1Т

/ 1кжх2 у2

ит Ж=-п т - Ск)е т йх) <

т т3/2т2\

где векторы х и X определены в (1) и (2). Для второго слагаемого мы получим

2 1 2 н9п-з \\1?{т)<т\\ д п- 9 \\ьЧт,р)<

< - ^ \\ д' - к' \\2,2(Тг})< - inf \\ д' - к' \\2Ь2(т).

тКЕРп а 1 (Т'Р) тиеРп а 1 (Т)

Согласно неравенству Джексона - Стечкина (см., например, [8]),

^ \\д -к \\г2(т)<—,

перп а ь (1) п

где с - некоторая (зависящая только от 5) константа. Собрав все полученные оценки, мы получим

+ . I ™

N

с вероятностью не менее 1-5.

3.5. ДОКАЗАТЕЛЬСТВО СЛЕДСТВИЯ 1

Чтобы оценить расстояние между рп(х) и р(х) в супремум-норме, заметим, что

\\Рп-р\\т<\\р\\с

?п-1

< м1е\\®п-9\\<я - 1|

^М\\дп- д \\с, так как в разложении экспоненты в ряд Тейлора все последующие члены будут иметь больший порядок малости. Подстановка оценки из теоремы 1 завершает доказательство.

3.6. ДОКАЗАТЕЛЬСТВО СЛЕДСТВИЯ 2

Для расстояния Кульбака - Лейблера мы имеем

К1(р,рп) = $тр(х)\0%^с1х<

<М / 1д(х) - 9п(х)Ш < 2тМ \\ д(х) - §п(х) \\м.

3

п

Р

□о

Подстановка оценки из теоремы 1 завершает доказательство.

Литература

1. ГОЛУБЕВ Г.К. Непараметрическое оценивание гладких плотностей распределения в L2 // Проблемы передачи информации. - 1992. - №28. - С. 52-62.

2. ЕФРОИМОВИЧ С.Ю. Непараметрическое оценивание плотности неизвестной гладкости // Теория вероятностей и ее применения. - 1985. - №30. - С. 524-534.

3. ЗОРИЧ В.А.Математический анализ. - М.: МЦНМО, 2012.

4. ИБРАГИМОВ И.А., ХАСЬМИНСКИЙ Р.З. Об оценке плотности распределения // Записки научных семинаров ЛОМИ. - 1986. - №153. - С. 45-59.

5. ЛАГУТИН М.Б. Наглядная математическая статистика. -М.: Бином. Лаборатория знаний, 2009.

6. BORWEIN J.M., HUANG W.Z. A fast heuristic method for polynomial moment problems with Boltzmann-Shannon entropy // SIAM J.Opt - 1995. - Vol. 5. - P. 68-99.

7. BRETAGNOLLE J., HUBER C. Estimation des densites: risque minimax // Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete - 1979. - Vol. 47. - P. 119-137.

8. DEVORE R.A., LORENTZ G.G. Constructive Approximation. -Springer, Berlin, 1993.

9. FASINO D. Approximation of nonnegative functions by means of exponential trigonometric polynomials // J. of Computational and Applied Mathematics. - 2002. - Vol. 140. - P. 315-329.

10. JIANG H. Uniform Convergence Rates for Kernel Density Estimation // Proc. of the 34th Int. Conference on Machine Learning, PMLR. - 2017. - Vol. 70 - P. 1694-1703.

11. HOEFFDING W. Probability inequalities for sums of bounded random variables // J. of the American Statistical Association. -1963. - Vol. 58, No. 301. - P. 13-30.

12. SERRA S. On the extreme spectral properties of Toeplitz matrices generated by L1 functions with several minima (maxima) // BIT Numerical Mathematics. - 1996. - Vol. 36. - P. 135-142.

13. SERRA S. On the extreme eigenvalues of Hermitian (block) Toeplitz matrices // Linear Algebra and its Applications. - 1998. -Vol. 270. - P. 109-129.

14. TSYBAKOV A. Introduction to Nonparametric Estimation. Springer Series in Statistics // Springer Series in Statistics. - 2009.

15. TYRTYSHNIKOV E. A Unifying Approach to Some Old and New Theorems on Distribution and Clustering // Linear Algebra and its Applications - 1996. - Vol. 232, No. 1. - P. 2-43.

ON DENSITY ESTIMATION VIA FOURIER SERIES

Denis Belomestny, National Research University Higher School of Economics, Moscow, Cand.Sc., professor ([email protected]). Leonid Iosipoi, National Research University Higher School of Economics, Moscow, junior research fellow ([email protected]).

Abstract: In this paper, we consider the classical statistical problem of probability density estimation based on a sample from this distribution. This problem naturally arises in many applications when one aims at investigation of a probability structure in a random process. For instance, it is possible to identify some structure in a complex system using density estimation. In this paper, a new approach to estimate a density function is proposed. This approach is based on approximation of a log-density via Fourier series with coefficients obtained by solving a system of linear equations. Analysis of theoretical properties of such estimate is the main purpose of this work. As the main results, we prove bounds on the difference between target density and its approximation in the supremum norm and the Kullback-Leibler divergence. Obtained rates are parametric and have order 0(1/^N) with high probability, which is a standard rate in parametric estimation problems. The constants in the rates are obtained up to an absolute factor, which means that we investigated the dependence on all parameters. As a numerical example, we consider a problem of Cauchy density estimation.

Keywords: density estimation, Fourier series, Kullback-Leibler divergence.

УДК 519.23 ББК 22.172

DOI: 10.25728/ubs.2019.82.2

Статья представлена к публикации членом редакционной коллегии Э.Ю. Калимулиной.

Поступила в редакцию 03.09.2019.

Опубликована 30.11.2019.