CC BY
17
УДК 519.2
01.00.00 Физико-математические науки
ПРЕДЕЛЬНАЯ ТЕОРИЯ РЕШЕНИЙ ЭКСТРЕМАЛЬНЫХ СТАТИСТИЧЕСКИХ ЗАДАЧ
Орлов Александр Иванович
д.э.н., д.т.н., к.ф.-м.н., профессор
РИНЦ SPIN-код: 4342-4994
Московский государственный технический
университет им. Н.Э. Баумана, Россия, 105005,
Москва, 2-я Бауманская ул., 5, prof-orlov@mail.т
Многие процедуры прикладной математической статистики основаны на решении экстремальных задач. В качестве примеров достаточно назвать методы наименьших квадратов, максимального правдоподобия, минимального контраста, главных компонент. В соответствии с новой парадигмой прикладной математической статистики центральной частью этой научно-практической дисциплины является статистика нечисловых данных (ее называют также статистикой объектов нечисловой природы или нечисловой статистикой), в которой эмпирические и теоретические средние определяются путем решения экстремальных задач. Как показано в настоящей статье, справедливы законы больших чисел, согласно которым эмпирические средние приближаются к теоретическим при росте объема выборки. Большое значение имеют предельные теоремы, описывающие асимптотическое поведение решений экстремальных статистических задач. Например, в методе наименьших квадратов выборочные оценки параметров зависимости приближаются к теоретическим значениям, оценки максимального правдоподобия стремятся к оцениваемым параметрам, и т.д. Вполне естественно стремиться изучить асимптотику решений экстремальных статистических задач в общем случае. Соответствующие результаты могут быть использованы в различных частных случаях. В этом и состоит теоретическая и практическая польза предельных результатов, полученных при наиболее слабых предположениях. Настоящая статья посвящена серии предельных теорем, касающихся асимптотики решений экстремальных статистических задач в наиболее общих постановках. Наряду с результатами теории вероятностей используется аппарат общей топологии. Основные отличия результатов настоящей статьи от многочисленных исследований по близкой тематике таковы: рассматриваются пространства общей природы; поведение решений изучается для экстремальных статистических задач общего вида; удается ослабить обычные требования типа бикомпактности путем введения условий типа
UDC 519:2
Physics and mathematical sciences
THE LIMIT THEORY OF THE SOLUTIONS OF EXTREMAL STATISTICAL PROBLEMS
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
Many procedures of applied mathematical statistics are based on the solution of extreme problems. As examples it is enough to name methods of least squares, maximum likelihood, minimal contrast, main components. In accordance with the new paradigm of applied mathematical statistics, the central part of this scientific and practical discipline is the statistics of non-numerical data (it is also called the statistics of objects of non-numerical nature or non-numeric statistics) in which the empirical and theoretical averages are determined by solving extreme problems. As shown in this paper, the laws of large numbers are valid, according to which empirical averages approach the theoretical ones with increasing sample size. Of great importance are limit theorems describing the asymptotic behavior of solutions of extremal statistical problems. For example, in the method of least squares, selective estimates of the parameters of the dependence approach the theoretical values, the maximum likelihood estimates tend to the estimated parameters, etc. It is quite natural to seek to study the asymptotic behavior of solutions of extremal statistical problems in the general case. The corresponding results can be used in various special cases. This is the theoretical and practical use of the limiting results obtained under the weakest assumptions. The present article is devoted to a series of limit theorems concerning the asymptotics of solutions of extremal statistical problems in the most general formulations. Along with the results of probability theory, the apparatus of general topology is used. The main differences between the results of this article and numerous studies on related topics are: we consider spaces of a general nature; the behavior of solutions is studied for extremal statistical problems of general form; it is possible to weaken ordinary requirements of bicompactness type by introducing conditions of the type of asymptotic uniform divisibility
асимптотической равномерной разбиваемости
Ключевые слова: МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, ПРИКЛАДНАЯ СТАТИСТИКА, НЕЧИСЛОВАЯ СТАТИСТИКА, ЭКСТРЕМАЛЬНЫЕ СТАТИСТИЧЕСКИЕ ЗАДАЧИ, ТЕОРИЯ ОПТИМИЗАЦИИ, ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ, ОБЩАЯ ТОПОЛОГИЯ, БИКОМПАКТНОСТЬ, СХОДИМОСТЬ ПО ВЕРОЯТНОСТИ, СХОДИМОСТЬ С ВЕРОЯТНОСТЬЮ 1
йо!: 10.21515/1990-4665-133-045
Keywords: MATHEMATICAL STATISTICS, APPLIED STATISTICS,NON-NUMERICAL STATISTICS, EXTREMAL STATISTICICAL PROBLEMS, OPTIMIZATION THEORY, LIMIT THEOREMS, GENERAL TOPOLOGY, BICOMPACTNESS, CONVERGENCE IN PROBABILITY, CONVERGENCE WITH PROBABILITY 1
1. Введение
Многие статистические методы основаны на решении экстремальных задач. В качестве примеров достаточно назвать методы наименьших квадратов, максимального правдоподобия, минимального контраста, главных компонент. В соответствии с новой парадигмой прикладной математической статистики центральной частью этой научно-практической дисциплины является статистика нечисловых данных (ее называют также статистикой объектов нечисловой природы или нечисловой статистикой), в которой эмпирические и теоретические средние определяются путем решения экстремальных задач.
Справедливы законы больших чисел, согласно которым эмпирические средние приближаются к теоретическим при росте объема выборки. Большое значение имеют предельные теоремы, описывающие асимптотическое поведение решений экстремальных статистических задач. Например, в методе наименьших квадратов выборочные оценки параметров зависимости приближаются к теоретическим значениям, оценки максимального правдоподобия стремятся к оцениваемым параметрам, и т.д.
Вполне естественно стремиться изучить асимптотику решений экстремальных статистических задач в общем случае. Соответствующие результаты могут быть использованы в различных частных случаях. В
этом и состоит теоретическая и практическая польза предельных результатов, полученных при наиболее слабых предположениях.
Настоящая статья посвящена серии предельных теорем, касающихся асимптотики решений экстремальных статистических задач в наиболее общих постановках.
2. Случай конечного пространства
Исходим из аксиоматики А.Н. Колмогорова теории вероятностей [1, 2]. Пусть {W, F, P} - вероятностное пространство, где W - пространство элементарных событий, F - а-алгебра случайных событий, P -вероятностная мера на этой а-алгебре. Пусть Z - пространство параметров, fn:ZxW® R - последовательность случайных функций.
Пусть существует предельная функция f: Z ® R1 такая, что
fn (X,«) ® f (x) (1)
при n и всех x е Z . В соотношении (1) будем рассматривать два вида сходимости - по вероятности и с вероятностью 1.
Положим
E(fn) = Arg min fn (x,«), E(f ) = Arg min f (x) .
xeZ xeZ
Тогда случайное множество E(fn) и множество E(f) непусты из-за конечности множества Z.
Будем изучать сходимость E(fn) к E(f) при n и, в частности, получим законы больших чисел [3, 4]. Такие постановки возникают и в оптимизационном подходе к задачам прикладной статистики [5].
Теорема 1. Пусть справедливо соотношение (1) (сходимость по вероятности). Тогда
lim P(E(fn) с E (f )) = 1. (2)
Доказательство. Положим
a = min{f (x), xе Z}, b = min{f (x), xе Z \E(f)},
e = 3 (b - a), Bn = {с:| fn (x, с) - f (x) |< e, "x е Z}.
Из конечности Z следует, что e> 0. Если сое Bn, то E(fn) с E(f). Имеем
P(Bn) > 1 - 2 P{ I fn (x, C) - f (x) |> e}. (3)
xеZ
Из (1) и (3) следует, что P(Bn) ® 1 при n , а потому справедливо
(2). Теорема 1 доказана.
В качестве примеров рассмотрим законы больших чисел в пространствах общей (другими словами, произвольной) природы.
Пусть Z - пространство общей природы, X - случайный элемент со значениями в Z [2], функция р : Z2 ® [0,+¥) интерпретируется как показатель различия (мера близости, аналог расстояния, метрики) между элементами Z, т.е. р(x, x) = 0 и р(x,y) = р(у, x) для любых x, y из Z.
Математическим ожиданием (или теоретическим средним) случайного элемента X относительно показателя различия рназывается
E(X, р) = Arg minMp(X, x) . (4)
xеZ
Запись (4) предполагает, что р( X, x) - действительнозначная случайная величина (т.е. принимающая числовые значения) с математическим ожиданием Mp(X, x). В дальнейшем это условие будем считать выполненным. Ясно, что теоретическое среднее (4) не всегда существует - минимум может не достигаться или же Mp( X, x) = +¥ для всех x е Z . Теоретическое среднее (4), вообще говоря, - подмножество, а не элемент Z. Ясно также, что теоретическое среднее зависит не только от случайного элемента X, но и от показателя различия р.
Эмпирическим средним выборки Xj, X2,..., Xn элементов Z относительно показателя различия р называется
En (р) = Arg min ^ Г(X , x). (5)
xeZ 1<i<n
Все замечания, высказанные выше по поводу теоретического среднего, относятся и к эмпирическому среднему, поскольку (4) переходит в (5), если математическое ожидание берется по эмпирическому распределению. приписывающему каждому элементу выборки X меру я"1.
Если Z состоит из конечного числа элементов, то в (4) и (5) минимум берется из конечного числа слагаемых, а потому существование эмпирических и теоретических средних величин очевидно. В большинства прикладных задач Z конечно.
Перейдем к формулировкам законов больших чисел (сходимость по вероятности). Пусть сначала теоретическое среднее E(X,р) состоит ровно из одного элемента.
Теорема 2 (закон больших чисел). Пусть X,X1,X2,...,Xn одинаково распределены и попарно независимы. Тогда
lim P{En (р) ф E (X, р)} = 0.
Если теоретическое среднее E(X, р) состоит более чем из одного элемента, то теорема 2 остается справедливой при следующей модификации.
Теорема 3 (закон больших чисел). Пусть X,X1,X2,...,Xn распределены и попарно независимы. Тогда
lim P{En (р) с E (X, р)} = 1.
Доказательство теорем 2 и 3. Рассмотрение законов больших чисел в конечном пространстве сводится к постановкам начала настоящего раздела, если положить
f (x,w) = - 2 р(X, x), f (x) = Мр(Xi, x).
n 1<i<n
Дисперсия р(Хг, х) конечна в силу конечности I, а потому (1) справедливо по теореме Чебышёва [6, с.203]. Ссылка на теорему 1 завершает доказательство теоремы 3.
Если Е(/ содержит ровно один элемент, то включение Е(/п) с Е(/)
эквивалентно равенству Е(/п) = Е(/) в силу непустоты Е(/п). Это замечание объясняет формулировку теоремы 2, справедливость которой следует из сказанного выше.
Перейдем к рассмотрению сходимости с вероятностью 1.
Теорема 4. Пусть справедливо соотношение (1) (сходимость с вероятностью 1). Тогда с вероятностью 1 существует случайный номер N = Ы(а) такой, что Е(/п) с Е(/) при всех п > N.
Доказательство. Пусть е - то же, что в теореме 1. С вероятностью 1 найдутся номера (натуральные числа) N (а, х) такие, что
|/п (х, а) - / (х) |< е (6)
при п > N (а, х). Положим N = шах^ (а, х), х е I}. Если п > N, то неравенство (6) выполнено одновременно для всех х е I, следовательно, ае Вп, а потому Е (/п) с Е (/), что и требовалось доказать.
Рассмотрим применения к законам больших чисел (сходимость с вероятностью 1). Пусть сначала теоретическое среднее Е(X,р) состоит ровно из одного элемента.
Теорема 5 (усиленный закон больших чисел, частный случай). Пусть X, Х1, X2,..., Хп независимы и одинаково распределены. Тогда вероятностью 1 существует случайный номер N = N (а) такой, что Еп (р) = Е (X, р) при всех п > N.
Если теоретическое среднее Е (X, р) состоит, возможно, более чем из одного элемента, то теорема 5 остается справедливой при следующей модификации.
Теорема 6 (усиленный закон больших чисел, общий случай). Пусть X, X1, X2,..., Хп независимы и одинаково распределены. Тогда вероятностью 1 существует случайный номер N = N(«) такой, что Еп (р) с Е(X, р) при всех п > N.
Доказательство теорем 5 и 6. Усиленный закон больших чисел для случайных величин р^г, х), г = 1,2,..., вытекает из теоремы А.Н.
Колмогорова [6, с.221], поскольку они одинаково распределены и взаимно независимы. Значит, соотношение (1) справедливо. Для завершения доказательства достаточно сослаться на теорему 4. Если Е(/ содержит ровно один элемент, то включение Е(/п) с Е(/) эквивалентно равенству Е(/п) = Е(/) в силу непустоты Е/п). Это замечание поясняет формулировку теоремы 5.
Результаты настоящего параграфа опираются на подход, развитый в [7, п.4.4].
3. Пространства общей природы: предварительные определения
В п.1 выше существенно использовалась конечность пространства 7. Для переноса результатов на пространства общей природы понадобится ряд определений.
Пусть дана функция /: 1 ® Я1. Для произвольного е > 0 положим к £( I) = {X: / (х) < Щ / (у), у е 1} + е, х е 1} и назовем это множество е -пяткой функции / на множестве 1. Ясно, что ке(/) Ф0 тогда и только тогда, когда тЦ/(у),уе 1} >-¥ . Если / = /(х,ю) -случайная функция, то е -пятка ке(/) - случайное множество.
Разбиением Я(1) пространства 1 называется конечная совокупность подмножеств Т = Т(1) = {11 12, ..., 1к}, называемых областями, или элементами разбиения, такая, что
Z1 YZ2 Y... YZk = Z, Z I = 0, i Ф j, i, j = 1,2,...,к .
Пусть f: Z ® R1 - действительная функция на Z. Колебанием f на подмножестве Y с X называется
d(f, Y) = sup{| f (x) - f (X) |, x e Y, X e Y}. Колебанием f на разбиении T = T(Z) = {Z^ Z2, ..., Zk} называется
d(f,T) = max{d(f,Z,.),i = 1,2,....k} . Функция f называется равномерно разбиваемой, если для любого e > 0 найдется разбиение T = T(e) такое, что d(f, T) < e.
Случайная функция f(x,w), определенная на Z xW, где W -пространство элементарных событий, называется равномерно разбиваемой, если для любого e> 0 найдется разбиение T =T(e) множества Z такое, что P{d(f, T) > e} < e.
Последовательность случайных функций fn(x, w), n = 1,2,..., x e Z, we W,
называется асимптотически равномерно разбиваемой (АРР-последовательностью), если при любом e> 0 можно указать такое разбиение T = T (e) множества Z , что
limsup P{d( fn, T) > e} < e
(здесь через lim sup обозначен верхний предел).
Последовательность случайных функций gn(x,w), n = 1,2,..., xe Z,weW,
называется координатно асимптотически разбиваемой (КАРР-последовательностью), если для любого e> 0 можно указать такое разбиение T = T (e) множества Z , что
limsup d( gn, T (e)) <e
при всех we W .
Замечание 1. Равномерно разбиваемые функции не обязательно являются непрерывными.
Замечание 2. В дальнейшем без специальных оговорок считаем, что 8(/п, 1г) - случайные величины. Достаточные условия для этого могут быть сформулированы, например, с помощью понятия сепарабельности, как мы делали в [8], или соображений, связанных с измеримым выбором [9, добавление 1].
Замечание 3. Материал пп. 3-5 настоящей статьи опирается на подход, предложенный в [10].
4. Равномерная сходимость и сходимость е -пяток при условии асимптотической равномерной разбиваемости
Теорема 7. Пусть /п(х,©), п = 1,2,...,хе 1 ,аеО., - АРР-
последовательность. Пусть при всех х е 1
Нт / (х,©) = / (х) (7)
по вероятности. Тогда последовательность /п равномерно сходится к /, т.е.
Нт[8ир{| / (х, ©) - / (х) |, х е 1}] = 0 (8)
по вероятности. Обратно, пусть справедливо (8), функция / является равномерно разбиваемой. Тогда/п является АРР-последовательностью.
Доказательство. В силу определения АРР-последовательности при произвольном е> 0 найдется разбиение Т и натуральное число п0 такие, что
Р{д(/п, Т) <е} > 1 -е (9)
при п > п0. Докажем, что
8(/,Т)<е . (10)
Предположим, что это не так, т.е. проведем доказательство от противного. Тогда можно указать точки х' и х", лежащие в одной области разбиения Т, но такие, что
\/(X) - /(х") |> е. (11)
Из (7) и (11) следует, что
Нт Р{\ / (х",в) - / (х", в) \> е} = 1. (12)
Поскольку
*(/, Т) >\ / (х',в) - / (х",в)\, то (12) противоречит (9). Итак, (10) доказано. Из (10) следует, в частности, что
тД{/(х), х е 7} >-¥ . Выберем по точке в каждой из областей разбиения Т, т.е. рассмотрим хг. е 7г, г = 1,2,.. .., к. Поскольку
\ /п (х, в) - /(х) \<\ /п (х, в) - /п (х", в) \ + \ /п (х", в) - /(х") \ + \ /(х") - /(х) \ , (13) где х - то из х{, что лежит с х в одной области разбиения Т, то 8ир{\/п (х, в) - / (х) \, х е 7} <д(/п ,Т) +
+ тах{\/(х.,в)-/(х,)\, г = 1,2,...,к} + д(/,Т). ( )
В силу (9) и (10) с вероятностью не менее 1 -е при п > п0
вир{\/п(х,в)-/(х)\, хе 7}<2е + тах{\/(х,,в)-/(х,)\, г = 1,2,...,к}. (15) С помощью (7) заключаем, что при достаточно больших п
Р{®ир{\/п(х,в)-/(х)\, хе 7}<3е}> 1 -2е, (16)
откуда и следует (8).
Перейдем к доказательству обратного утверждения теоремы. Для любых х е 7, у е 7 имеем
/п (х, в) - /п (У, в) = {/п (х, в) - / (х)} + {/ (х) - / (у)} + {/ (у) - /п (у, в)}. (17) Поскольку / равномерно разбиваема, то по е> 0 можно указать разбиение Т = Т(е) такое, что ё(/,Т)<е. Это Т будет использовано для доказательства того, что /п - АРР-последовательность. В силу (8) можно указать п0 такое, что при п > п0 первая и третья скобки в (17) не
превосходят е (по абсолютной величине) с вероятностью 1 -е каждая. Тогда
Р{ё(/, Т) > 3е} < 2е, (18)
откуда и следует требуемое.
Следствие. Пусть / - равномерно разбиваемая функция. Тогда для того, чтобы из поточечной сходимости (7) последовательности функций /п к / вытекала равномерная сходимость (8), необходимо и достаточно, чтобы последовательность/п была асимптотически равномерно разбиваемой.
Теорема 8. Пусть /п(х,©), п = 1,2,...,хе 1 ,©е й, - АРР-
последовательность. Пусть выполнено (7), т.е. при всех хе 1
п®т / (х,©)=/ (х)
по вероятности. Тогда при любом ё> 0 и любом С > 1 вероятность непустоты Кё(/п) стремится к 1 и
Нш Р{©: К3( /) с Кс3(/)} = 1, (19)
т.е. ё-пятка/п асимптотически входит в Сё- пятку/.
Доказательство. Пусть йп - совокупность всех тех ©, при которых тЦ/п (х,©), х е 1} = -¥. С помощью соотношения (9) заключаем, что при любом фиксированном е> 0 и достаточно больших п справедлива оценка Р(йп) < е, т.е.
Нш Р(й п) = 0.
Фиксируем ё > 0. Рассмотрим е > 0 и разбиение Т (е), о котором идет речь в определении АРР-последовательности. Тогда при достаточно большом п верно неравенство (9). Рассмотрим по точке хг в каждой из областей XI разбиения Т(е). Пусть К - объединение всех областей разбиения Т = Т(е), полностью лежащих в Ксё(/). Тогда в силу (9) при достаточно большом п
Ы{/п (х, ©), х е 1 \ К} > шт{/ (хг, ©), X, с 1 \ К} - е (20)
с вероятностью не менее 1 -е. Из (7), (10) и определения К следует, что с вероятностью не менее 1 - е при достаточно большом п
тп{/п (хг ,в1 хг е 7 \ К} > тШ{/(х,X х, е 7 \ К} -е> (21)
> тД{/(х).х е 7} + Сд- 2е. . ( )
Следовательно, с вероятностью не менее 1 - 2е при достаточно большом п
тД{/п (х, в), х е 7 \ К} > Сд - 3е + тД{/(х), х е 7}. Рассмотрим теперь элемент х0 е 7 такой, что
/(х0) < ¡пД{/(у), у е 7} + е . Тогда при достаточно большом п с вероятностью не менее 1 -е
/п(х0,в) < т/(у),у е 7} + 2е. Следовательно, для всех хе К3(/п)
/п(х,в)< (у),уе 7} + 2е + £ . Если С8-3е> 2е+д, т.е. (С-1)^> 5е, то с вероятностью не менее 1 -3е
К3(/п) с К с Ксд(/) при достаточно больших п; теорема 8 доказана.
Пример 1. Пусть в детерминированном случае 7 = [0, 2] и
0; х = х,,
1; 0 < х < 1, х ф X 0,5; 1 < х < 2.
/п ( х):
Тогда при любом хе[0, 2]
Нш /п (х) = / (х),
где
Г 1; 0 < х < 1;
/ (х) = \
У 4 7 [0,5; 1 < х < 2;
однако
§ир{\ /п (х) - /(х)\, х е 7} = 1 при всех п. При 0 < е < 0,5
К£(/) = (1,2], К£(/п) = {К}. Пример 2. Пусть 1 = [-1, 0) У (0, 1],
/я(х,©) =1 £(£ -х)2, £ = £(©), г = 1,2,...,п,...,
п 1<г<п
где £ - независимые равномерно распределенные на [-1, 1] \ {0} случайные величины. Имеем
Иш /п (х,©) = М (£-х)2 = х2 + >3.
Справедлива теорема 8, хотя тГ{х2 +X, хе 1} не достигается, так как точка х =0 исключена из 1.
Эти примеры демонстрируют специфику рассматриваемых соотношений. Ясно вместе с тем, что соотношение (19) может иметь место и при отсутствии асимптотической равномерной разбиваемости.
Для получения аналогов теорем 1 и 4 в случае сходимости с вероятностью 1 необходимо следующее определение.
Определение 1. Последовательность функций
/п(х,©), п = 1,2,..., х е 1 ,©ей, называется асимптотически равномерно
разбиваемой с вероятностью 1 (ВАРР-последовательностью), если при любом е> 0 можно указать разбиение Т(е) пространства 1 такое, что
ЙШ ё(/п,Т(е))<е
с вероятностью 1.
Теорема 9. Пусть /п(х,©), п = 1,2,...,хе 1 ,©ей, - ВАРР-
последовательность. Пусть при всех хе 1
Нт /п (х,©) = / (х) (22)
с вероятностью 1. Тогда последовательность/п равномерно сходится к т.е.
Иш [8^{|/п(х,©)-/(х)|, хе 1}] = 0 (23)
с вероятностью 1.
Обратно, пусть справедливо соотношение (23), функция f является равномерно разбиваемой. Тогда fn - ВАРР-последовательность.
Следствие. Пусть f - равномерно разбиваемая функция. Тогда для того, чтобы из поточечной сходимости (22) последовательности функций fn к f вытекала равномерная сходимость (23), необходимое и достаточное условие таково: последовательность fn асимптотически равномерно разбиваема с вероятностью 1.
Теорема 10. Пусть fn(x,w), n = 1,2,...,xe Z,®eO, - ВАРР-
последовательность и справедливо (22). Тогда при любом d> 0 и любом C > 1 существует с вероятностью 1 случайный номер N = N(w) такой, что Ks(fn) * 0 и Kd(fn) с Кс3(f) при всех n > N.
Доказательства теорем 9 и 10 получаются из доказательств теорем 1 и 4 путем незначительных изменений, связанных с заменой сходимости по вероятности на сходимость с вероятностью 1 на всех этапах рассуждений, а потому здесь не приводятся.
5. Экстремумы аддитивных статистик
Пусть gi(x,w),g2(x, w),...,gn(x,w),..., xe Z,weW, - независимые случайные функции. Аддитивной статистикой называется
fn (x,w) =1 2 Si (x,w). (24)
n 1<i<n
Предположим, что все gi (x,w) имеют при данном x математические ожидания Мgi (x,w) и равномерно ограниченные дисперсии. Тогда в силу теоремы Чебышёва [6, с.203]
fn(x,w) -^ 2Мgi(x,w) ® 0 (25)
n 1<i<n
по вероятности при n ® ¥.
Предположим, что при всех x существует
lim 1 £ Mgt (х,©) = f (x). (26)
n®¥ n 1<г<„
В соответствии с результатами предыдущего раздела 4 настоящей работы представляет интерес выяснение условий, при которых введенные в (24) функции fn(х,а>), n = 1,2,...,хе Z,®еО, образуют АРР-
последовательность. Заметим, что
I fn(х,©)- fn(х»|< - (х,©)-g(х»|, (27)
n
1<i<n
а потому
S(fn, T) <1 , T). (28)
n 1<i<n
Теорема 11. Пусть выполнено соотношение (26), для любого е> 0 существует разбиение Т(е) такое, что математическое ожидание М8{gn, Т(е)) существует при всех п и
1®п Мд(gn,Т(е))<е, (29)
причем дисперсия Вё^п, Т(е)) существует при всех п и
1®п БЗ(еп,Т(е))<¥. (30)
Тогда введенные в (24) функции /п(х,©), п = 1,2,...,хе 1 ,©еО,
образуют АРР-последовательность.
Доказательство. Возьмем е > 0. Рассмотрим Т = Т(е). В силу неравенства Чебышёва, соотношений (29) и (30) имеем
НшР{1 ,Т) < 2е! = 1. (31)
п®¥ [ п 1йг<п \
Из (28) и (31) следует, что /п(х,©), п = 1,2,..., хе 1 ,©еО., является АРР-последовательностью.
Теорема 12. Пусть {gn} - ВАРР последовательность, существует С такое, что ^п\<С при всех п с вероятностью 1. Тогда {/п} - ВАРР-последовательность.
Доказательство. Из (28) и определения 1 раздела 4 следует, что в качестве разбиений Т(е) для /п можно использовать таковые для gn, существующие в силу определения 1.
От аддитивных статистик общего вида (24) перейдем к важному частному случаю. Пусть £(©), Х2(©), . ., Хп(©), ... - независимые случайные величины со значениями в некотором множестве У, функция И: 7 хУ ® Я1 и
^(х,в) = И(х,Хп(©)), п = 1,2,... (32)
Понадобится используемое в общей топологии понятие бикомпакта (бикомпактного хаусдорфова пространства) [11].
Теорема 13. Пусть 7 и У - бикомпакты, И - непрерывная функция (в топологии произведения). Тогда последовательность функций {gn, п =1,2,... } из (32) - КАРР-последовательность.
Доказательство. В [3, 4] установлено существование открытого подпокрытия W1, W2, ..., Жт множества 7 (в терминах [11]) такого, что если х и х' принадлежат одному и тому же элементу подпокрытия Wj при каком-либо у, то
8^{\И(х,у)-И(х ,у) \,у е У} < е (33)
(доказательство в [3, 4] ведется в случае 7 = У, но легко видеть: при замене 72 на 7хУ рассуждения проходят без изменений).
Систему множеств W1, W2, ..., Wm превратим в разбиение Т(е), отнеся стандартным образом общие точки к множеству с минимальным номером. Это разбиение и будет искомым. Действительно, в силу (33) при любом %п, а потому и при любом в, имеем д( gn, Т (е)) <е, а потому ^п} удовлетворяет определению КАРР-последовательности (см. раздел 3). Теорема 13 доказана.
Следствие. Пусть Z и Y - бикомпакты, h: Z хY ® R1 - непрерывная функция, Х(©), Х2(©), . ., Xn (©), .. - независимые одинаково распределенные
случайные величины со значениями в Y. Тогда при любых d > 0 и C > 1 имеем
limP{©: Kd(fn) с Kcd(f)} = 1, (34)
где
fn (х, ©) =1 £ h( х, Xi), f (х) = Mh( х, x). (35)
n
1<i<n
Следствие вытекает из теорем 8, 11 и 13. Заметим, что в силу непрерывности h и того, что минимум непрерывной функции на бикомпакте достигается,
K 0 (fn) = Arg min £ h( х,Х) .
xеZ 1<i<n
В [3, 4] показано, что и K0(f) ^0. Следовательно, справедлива
следующая теорема, анонсированная в [12] (резюме доклада на Семинаре по математической статистике, посвященном памяти член-корр. АН СССР Л.Н. Большева, 8-12 октября 1979 г., Математический институт им. В.А. Стеклова АН СССР).
Теорема 14. В условиях следствия K0(fn) ^0 и K0(f) ^0, при любом
e> 0
n®m P{Kf ) с K£(f )}}= 1. (36)
Заключение теоремы 14 можно интерпретировать как состоятельность оценок минимального контраста, обобщающих оценки максимального правдоподобия [5]. При Z = Y теорема 14 переходит в закон больших чисел (ср. результаты, приведенные в статьях [3, 4]).
Пример 3. Рассмотрим задачу аппроксимации (другими словами, параметрической регрессии). Пусть X = (£1,£2), а М(х,Х) = H(^(х,Хг1),Хг2). Таким образом, предполагается, что мы ищем наилучшее приближение XX
с помощью параметрического семейства функций q(х,£), где х - параметр; при этом Н - показатель различия (другими мера близости, расстояние, метрика или псевдометрика) в пространстве, в котором лежит ХХ. Из непрерывности q и Н вытекает непрерывность И. Соотношения (34) - (36) интерпретируются как состоятельность оценки параметра аппроксимации х. В случае параметрической регрессии эти соотношения показывают также, к какому пределу сходятся оценки при неадекватности модели.
Перейдем к сходимости с вероятностью 1.
Теорема 15. Пусть gn(х,в), п = 1,2,..., одинаково распределены, для любого е> 0 существует разбиение Т (е) такое, что Ы8{ gn, Т (е)) <е. Тогда {/п} - ВАРР-последовательность.
Доказательство вытекает из теоремы А.Н. Колмогорова [6, с.221] об усиленном законе больших чисел, согласно которой
1 £ g^(х,в) ® ЩАх,в)
п 1<г<п
с вероятностью 1.
Аналогом следствия к теореме 13 и теоремы 14 является следующее утверждение.
Теорема 16. Пусть 7 и У - бикомпакты, И: 7хУ ® Я1 - непрерывная функция, Х, ХХ,. ., Х„, .. - независимые одинаково распределенные
случайные элементы со значениями в У. Тогда К0(/) и К0(/п) ^0 с вероятностью 1. Для любого е> 0 существует с вероятностью 1 случайный номер N = Ы{е,а) такой, что К0(/п) с К£(/) при всех п>И.
Доказательство вытекает из теорем 10, 12 и 13.
С помощью приведенных выше результатов можно получать и другие варианты предельных теорем. Примером является следующее утверждение.
Теорема 17. Пусть gn(х,©), п = 1, 2, ... , - независимые одинаково распределенные случайные элементы, Mgn(х,©) существует, для любого е> 0 найдется разбиение Т (е) такое, что М8{ gn, Т (е)) <е. Тогда при любом ё> 0 и любом С > 1 существует с вероятностью 1 случайный номер N = Ы(а) такой, что К3(/п) Ф0 и К3(/п) с КСЗ(/) при всех п > N.
Доказательство. По теореме 15 {/п} - ВАРР-последовательность. По теореме А.Н. Колмогорова об усиленном законе больших чисел справедливо соотношение (22). Ссылка на теорему 10 завершает доказательство.
Обсудим законы больших чисел. Условия существования эмпирического среднего Еп (р) и математического ожидания Е(X, р) рассмотрены в [3, 4]. Ряд утверждений о законах больших чисел можно получить на основе результатов настоящего раздела при 1 = У.
Теорема 18. Пусть Х1, Х2, ..., Хп, ... - независимые одинаково распределенные случайные элементы со значениями в бикомпакте 1, а функция р: 12 ® Я1 непрерывна. Тогда при любом е> 0
Нт Р{Еп (р) с КЕ(/)}= 1,
где /(х) = Мр(Х1, х); существует с вероятностью 1 случайный номер N = N(©) такой, что Еп(р) с К£(/) при всех п > N.
Для доказательства достаточно сослаться на теоремы 14 и 17. Теорема 18 представляет собой одну из возможных точных формулировок законов больших чисел [3, 4].
Представляет интерес отказ от предположения бикомпактности 1. Можно потребовать, чтобы {р(Хпх), п = 1, 2, ...} была АРР-, ВАРР= или
КАРР-последовательностью и применить полученные в настоящей статье результаты. Однако из этого требования вытекает, что функция р ограничена на 12. Можно воспользоваться комплексом условий, при
которых в [3, 4] доказано существование теоретического и эмпирического средних. Соответствующие теоремы о законах средних чисел получены в [3, 4].
6. Заключительные замечания
Основные отличия результатов настоящей статьи от многочисленных исследований по близкой тематике таковы: рассматриваются пространства общей природы; поведение решений изучается для экстремальных статистических задач общего вида; удается ослабить обычные требования типа бикомпактности путем введения условий типа асимптотической равномерной разбиваемости.
Согласно новой парадигме прикладной статистики [13] задачи оптимизации занимают центральное место в математических методах статистики, в то время как в старой парадигме середины XX в. такое место занимали суммы случайных величин и функции от сумм. Необходимо отметить, что основанные на решении экстремальных задач критерии Колмогорова и Смирнова иногда используются неправильно [14]. Связано это с тем очевидным фактом, что объем накопленной к настоящему времени научной информации на много порядков превышает возможности ее освоения отдельным исследователем [15].
Экстремальные статистические задачи занимают важное место в различных прикладных областях, в которых используются вероятностно-статистические модели и методы. Можно указать задачи анализа, оценки и управления рисками [16], современные подходы к управлению инновациями и инвестициями [17], методы разработки информационных систем управления предприятиями [18]. Много экстремальных статистических задач рассмотрено в монографиях [19 - 22].
Литература
1. Колмогоров А.Н. Основные понятия теории вероятностей. 2-е изд. — М.: Наука, 1974. — 120 с.
2. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю.В. Прохоров. - М.: Большая Российская энциклопедия, 1999. - 911 с.
3. Орлов А.И. О средних величинах // Управление большими системами. Выпуск 46. М.: ИПУ РАН, 2013. С.88-117.
4. Орлов А.И. Средние величины и законы больших чисел в пространствах произвольной природы // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. № 89. С. 175-200.
5. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.
6. Гнеденко Б.В. Курс теории вероятностей. - М.: Наука, 1969. - 400 с.
7. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
8. Орлов А.И. Асимптотическое поведение статистик интегрального типа // Доклады АН СССР. - 1974. - Т.219. - №4. - С.808-811.
9. Аркин В.И., Евстигнеев И.В. Вероятностные модели управления и экономической динамики. - М.: Наука, 1979. 176 с.
10. Орлов А. И. Асимптотика решений экстремальных статистических задач // Анализ нечисловых данных в системных исследованиях / Сборник трудов ВНИИ системных исследований. - 1982. - Вып.10. - С. 4-12.
11. Келли Дж.Л. Общая топология. - М.: Наука 1968. - 384 с.
12. Орлов А.И. Статистика объектов нечисловой природы // Теория вероятностей и ее применения. 1980. Т.ХХУ. № 3. С.655-656.
13. Орлов А.И. Новая парадигма прикладной статистики // Заводская лаборатория. Диагностика материалов. 2012. №1, часть I. Том 78. С. 87-93.
14. Орлов А. И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. Диагностика материалов. 1985. Т.51. № 1. С. 60-62.
15. Орлов А.И. Наукометрия и управление научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.538 - 568.
16. Орлов А. И., Пугач О. В. Подходы к общей теории риска // Управление большими системами. Выпуск 40. М.: ИПУ РАН, 2012. С.49-82.
17. Орлов А.И., Орлова Л. А. Современные подходы к управлению инновациями и инвестициями // Экономика XXI века. 2002. № 12. С. 3 - 26.
18. Орлов А.И., Гуськова Е.А. Информационные системы управления предприятием в решении задач контроллинга // Контроллинг. 2003. № 1(5). С. 52-59.
19. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с.
20. Орлов А.И., Луценко Е.В., Лойко В.И. Перспективные математические и инструментальные методы контроллинга. Под научной ред. проф.С.Г.Фалько. Монография (научное издание). - Краснодар, КубГАУ. 2015. - 600 с.
21. Орлов А.И., Луценко Е.В., Лойко В.И. Организационно-экономическое, математическое и программное обеспечение контроллинга, инноваций и менеджмента: монография / под общ. ред. С. Г. Фалько. - Краснодар : КубГАУ, 2016. - 600 с.
22. Лойко В. И., Луценко Е. В., Орлов А. И.Современные подходы в наукометрии: монография / Под науч. ред. проф. С. Г. Фалько. - Краснодар: КубГАУ, 2017. - 532 с.
References
1. Kolmogorov A.N. Osnovnye ponjatija teorii verojatnostej. 2-e izd. — M.: Nauka, 1974. — 120 s.
2. Verojatnost' i matematicheskaja statistika: Jenciklopedija / Gl. red. Ju.V. Prohorov. -M.: Bol'shaja Rossijskaja jenciklopedija, 1999. - 911 s.
3. Orlov A.I. O srednih velichinah // Upravlenie bol'shimi sistemami. Vypusk 46. M.: IPU RAN, 2013. S.88-117.
4. Orlov A.I. Srednie velichiny i zakony bol'shih chisel v prostranstvah proizvol'noj prirody // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2013. № 89. S. 175-200.
5. Orlov A.I. Prikladnaja statistika. - M.: Jekzamen, 2006. - 671 s.
6. Gnedenko B.V. Kurs teorii verojatnostej. - M.: Nauka, 1969. - 400 s.
7. Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. - M.: Nauka, 1979. -
296 s.
8. Orlov A.I. Asimptoticheskoe povedenie statistik integral'nogo tipa // Doklady AN SSSR. - 1974. - T.219. - №4. - S.808-811.
9. Arkin V.I., Evstigneev I.V. Verojatnostnye modeli upravlenija i jekonomicheskoj dinamiki. - M.: Nauka, 1979. 176 s.
10. Orlov A.I. Asimptotika reshenij jekstremal'nyh statisticheskih zadach // Analiz nechislovyh dannyh v sistemnyh issledovanijah / Sbornik trudov VNII sistemnyh issledovanij. - 1982. - Vyp.10. - S. 4-12.
11. Kelli Dzh.L. Obshhaja topologija. - M.: Nauka 1968. - 384 s.
12. Orlov A.I. Statistika ob#ektov nechislovoj prirody // Teorija verojatnostej i ee primenenija. 1980. T.XXV. № 3. S.655-656.
13. Orlov A.I. Novaja paradigma prikladnoj statistiki // Zavodskaja laboratorija. Diagnostika materialov. 2012. №1, chast' I. Tom 78. S. 87-93.
14. Orlov A.I. Rasprostranennaja oshibka pri ispol'zovanii kriteriev Kolmogorova i omega-kvadrat // Zavodskaja laboratorija. Diagnostika materialov. 1985. T.51. № 1. S. 60-62.
15. Orlov A.I. Naukometrija i upravlenie nauchnoj dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. -S.538 - 568.
16. Orlov A. I., Pugach O. V. Podhody k obshhej teorii riska // Upravlenie bol'shimi sistemami. Vypusk 40. M.: IPU RAN, 2012. S.49-82.
17. Orlov A.I., Orlova L.A. Sovremennye podhody k upravleniju innovacijami i investicijami // Jekonomika XXI veka. 2002. № 12. S. 3 - 26.
18. Orlov A.I., Gus'kova E.A. Informacionnye sistemy upravlenija predprijatiem v reshenii zadach kontrollinga // Kontrolling. 2003. № 1(5). S. 52-59.
19. Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika. Monografija (nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - 600 s.
20. Orlov A.I., Lucenko E.V., Lojko V.I. Perspektivnye matematicheskie i instrumental'nye metody kontrollinga. Pod nauchnoj red. prof.S.G.Fal'ko. Monografija (nauchnoe izdanie). - Krasnodar, KubGAU. 2015. - 600 s.
21. Orlov A.I., Lucenko E.V., Lojko V.I. Organizacionno-jekonomicheskoe, matematicheskoe i programmnoe obespechenie kontrollinga, innovacij i menedzhmenta: monografija / pod obshh. red. S. G. Fal'ko. - Krasnodar : KubGAU, 2016. - 600 s.
22. Lojko V. I., Lucenko E. V., Orlov A. I.Sovremennye podhody v naukometrii: monografija / Pod nauch. red. prof. S. G. Fal'ko. - Krasnodar: KubGAU, 2017. - 532 s.
