Статистическая оценка весового коэффициента в комбинированной модели регрессии Текст научной статьи по специальности «Математика»

УДК 519.24

СТАТИСТИЧЕСКАЯ ОЦЕНКА ВЕСОВОГО КОЭФФИЦИЕНТА В КОМБИНИРОВАННОЙ МОДЕЛИ РЕГРЕССИИ

С.В. Скрипин

Томский государственный университет Томский научный центр СО РАН E-mail: [email protected]

Представлены варианты статистической оценки весового коэффициента в комбинированной модели регрессии, использующей оценки построенных моделей - параметрической и непараметрической (в задачах регрессии или дискриминации). Вариант модифицированной статистической оценки весового коэффициента позволяет получать оценки регрессии в заданной точке, близкие к оптимальным по критерию минимума среднеквадратического отклонения. Результаты статистического моделирования на выборках конечного объема показывают, что комбинированная оценка регрессии со статистической оценкой весового коэффициента предпочтительнее, чем каждая из оценок построенных моделей.

Ключевые слова:

Статистическая оценка, комбинированная оценка, непараметрическая регрессия, статистическое моделирование. Key words:

Statistical estimate, combined estimate, non-parametric regression, statistical simulation.

Введение

Задача оценки регрессии в условиях конечных выборок малого объема может быть решена с использованием различных моделей, как из класса параметрических, так и непараметрических. Для повышения качества оценок в указанных условиях выгоднее использовать комбинированные модели регрессии.

Одним из перспективных подходов для оценки регрессии является получение оценок комбинированных моделей, использующих оценки построенных моделей регрессии и априорную информацию

о некоторых функционалах плотности [1]. В условиях отсутствия априорной информации о выборке конечного объема N качество оценок комбинированных моделей (для задач регрессии или дискриминации) может быть лучше, чем у моделей из класса параметрических или непараметрических [2, 3]. Результаты работы [1] позволяют оперировать множеством построенных моделей из разных классов и рассматривать в виде результатов классы оценок. В [1] класс оценок регрессии в точке хеВп представлен следующим выражением

3 ы (х; А) = 3 (х)-А т А(х), (1)

где Лд.{х) - непараметрические оценки неизвестной функции регрессии; А - вектор коэффициентов, выбираемый согласно требованиям к качеству оценки; А (х) - матрица оценок, содержащая некоторую дополнительную информацию.

Практическое применение оценки (1) требует знания вектора А. Можно предложить различные методы его оценивания. В каждом методе можно использовать разные способы и критерии оценивания вектора. В результате получим разные по структуре выражения для А и разные его свойства по способам оценивания, а следовательно, и свойства оценки (1).

Цель работы

Целью работы является предложить новый подход к оцениванию А и сравнить при конечном N качество предложенных оценок с полученными ранее. С этой целью проведем имитационный эксперимент на упрощенной модели регрессии, построенной по оценкам двух моделей, например, параметрической и непараметрической [2, 4, 5]

JN (x; А) = AJ (x;0) + (1 -А) JN (x), (2)

где А - скалярный весовой коэффициент; /(x;0) -параметрическая оценка регрессии; 0 - оценка вектора 0=(0о,- ,0m) по методу наименьших квадратов; JN(x) - непараметрическая оценка регрессии.

В [2] показано, что комбинированная оценка (2) по критерию минимума среднеквадратической ошибки (СКО) предпочтительнее оценок построенных моделей (параметрической или непараметрической) как в случае конечного объема выборок N, так и в асимптотическом случае. Наибольший практический интерес представляет случай конечного объема выборок. При подстановке различных оценок А в (2) получим множество оценок JN(x;A). Возникает проблема выбора оценок JN(x;A) при конечном N, а следовательно - оценок А. Основная проблема заключается в получении при конечном N наилучших коэффициентов А по критерию минимума СКО оценок /Jv(x;А). Поскольку истинная функция регрессии J(x) неизвестна, то неизвестна и СКО.

В [2] предложено несколько способов оценки скалярного весового коэффициента А для частного случая выражения (2). Для сравнения представим комбинированную модель с оценкой коэффициента А, не зависящей от выбора точки x [2-4], показавшую в имитационном эксперименте наилучшие результаты.

Обозначим как (Х1,^1),_,(Х^,7ЛГ) независимые наблюдения случайного вектора (X, У) с неизвестной плотностью вероятности Ах,у) (относительно меры Лебега); хей", уей1. Для построения комбинированных оценок выберем две модели регрессии из разных классов: параметрическую /(х;б) и непа-

раметрическую J(x) = J yf (y | x)dy, гдеfyjx)

- не-

известная условная плотность вероятности случайной величины Y при фиксированном значении X=x.

В качестве критерия оптимизации указанной оценки коэффициента Я выбрано выражение суммы квадратов регрессионных остатков (выборочный критерий).

Й(Я) = Х[Yt - JN(X,.; Я)]2 ^ min,

- 1 Я

,=1

X,. = {X®,..., X<m)}. (3)

Из (3) с учетом (2) получена выборочная оценка оптимального коэффициента Я=Я0:

X (JN (X) - Y)(JN (Xi) - J (Xi ;0))

Я o = J=i-----------------------------N-;---------•

X ( Jn (Xi ) - J ( Xi ;Ö ))2

(4)

от ситуаций неопределенности (или сингулярности).

4. При решении задачи оценки регрессии частой ситуацией является отсутствие какой либо дополнительной информации, кроме выборочных данных (конечного объема N). Поэтому в качестве критериев оптимизации для адаптивной оценки Я(х) должны быть взяты выборочные критерии.

5. Комбинированная оценка регрессии с наилучшей оценкой Я(х) должна по возможности минимизировать СКО оцениваемой величины /(х), а не выборочные регрессионные остатки. Одним из подходов к решению задачи может

быть новое определение вида функционала для представления оценки Я(х), отличающееся от вида (4). Необходимо также определить состав аргументов для этого функционала, критерии и параметры его оптимизации. Представим коэффициент Я(х) в виде

Я(х) = Ф(а(х)) + 5,

(5)

Оценка (4) коэффициента Я0 не зависит от выбора точки хей", в которой оценивается регрессия, и требует малых затрат вычислительных ресурсов, что является преимуществом оценки Я0. При соблюдении условий различий в оценках построенных моделей (параметрической и непараметрической) оценка (4) применима при конечном N. Но следует заметить, что коэффициент Я0 не гарантирует наилучших оценок регрессии в заданной точке х, отличной от выборочных X

Постановка задачи

Для большинства задач прогнозирования, использующих модели регрессии, наибольший интерес представляет оценка регрессии в заданных точках х, которые могут не совпадать с выборочными X Следовательно, необходима реализация комбинированной оценки регрессии с наилучшей оценкой коэффициента Я в заданной точке х - Я(х). Общий вид функционала для наилучшей оценки Я(х) нам неизвестен. Указанные в [2, 4] частные решения для Я зависят от выбранных критериев оптимальности и имеют недостатки. Определим некоторые требования к свойствам наилучшей оценки Я(х).

1. Коэффициент Я(х) должен оцениваться в заданной точке х с качеством комбинированной оценки регрессии не хуже, чем с оценками (4).

2. Коэффициент Я(х) должен оцениваться для конечного объема выборочных данных N и не терять качество оценки вплоть до нескольких десятков наблюдений.

3. В условиях конечного объема выборки N выражение оценки Я(х) должно быть применимо для любой выбранной точки х. То есть свободно

где <р() - некоторый функционал, представляющий выражение коэффициента Я(х); а (х) - вектор аргументов, которые необходимо оценить в точке х; ; - величина, учитывающая ошибки представления и оптимизации коэффициента Я(х).

Рассмотрим еще один способ оценки коэффициента Я, удовлетворяющий указанным требованиям и выражению (5).

Статистическая оценка коэффициента к,

зависящая от выбора точки x

Представим аппроксимацию неизвестного выражения для коэффициента Я(х) с помощью функционалов, подобных ядерным оценкам. Обозначим их к(х). Выберем функцию ядра следующего вида, рекомендованную в [6]

к (х) =—1—,

1+1 х |'

где х - аргумент функции; р - величина, принимающая значения в виде целых положительных чисел.

Выбранная функция дает удовлетворительное приближение оцениваемой величины при удалении от области, содержащей наблюдения, и удовлетворяет требованию 3.

Для вектора а(х) можно предложить несколько вариантов получения различных аргументов в точке х. Упростим задачу выбора и ограничимся дополнительной информацией о некоторых функционалах плотности в точке х, полученных на основе выборочных данных и предложенных в [5] для оценки коэффициента Я(х) из другого критерия. Выберем для формирования аргументов следующие величины [2, 5]:

С (х) = я 2(х) - /н(х) ^(х),

V(х) = С (х) +(/м (х))2 - /м (х) Я1( х),

Ао(х) = gi(x) - J (x;0) g o(x),

( - ^

Ai(x) = А o(x)

1 --

1

1 + (NH )"(А o( х))2

, н =ПhNj>,

j=i

go(x), gi(x), g,(x) имеют вид:

1

NH

1

(j>]

'N ]

i=1 j=1

N

Я1(х) ^^77^^ПК[(х(/) -/Ц ^Н ,=1 _/=1

1 N т

«^(х)=—£ з2 П к [(ха) - х(/VШ ']•

^Н ,=1 / = 1

Здесь Да) - заданное ядро (некоторая функция плотности вероятности); hN(') - параметры масштаба, удовлетворяющие следующим требованиям: при N^», ^ 0)^0, NH^».

Обозначим еще одно выражение оценки функционала плотности в точке х

ао(х) =(/«(х))2 -Л(х)«1(х)-

Тогда У(х) можно представить как:

V (х) = С(х) + ао(х)-

Выбранные аргументы являются ненормированными величинами, что может вызвать проблемы их применения в выражении (5). Проведем нормировку выбранных аргументов, взяв их отношения, и определим вектор аргументов в следующем виде

а0(х) V (х)

а1(х) = -

a2(x) =-

(6)

С (х)' ''' NH (АДх))2’

а(х) = Ц(х), а2( х)}-

Аргументы в виде (6) не имеют размерности и соответствуют требованию 3.

Для аргументов (6) необходимо подобрать параметры масштаба hN(') некоторым наилучшим способом на основе выбранного критерия оптимальности. Если выбор критерия затруднен, сделаем предположение, что параметры масштаба, выбранные для оценок непараметрической модели регрессии 4{х), дадут удовлетворяющие результаты и при использовании их в аргументах выражения (6).

И последнее замечание. Для сохранения вида зависимости (прямая или обратная) коэффициента Я по отношению к оценкам регрессии из выражения (2), в оценке Я(х) будем использовать функцию (1-к(х)). Для компенсации потерь оптимальности оценки Я(а(х)), в том числе от «чужих» параметров масштаба, применим в ней коэффициенты сглаживания. С учетом выше изложенного представим адаптивную оценку Я(х) в виде

Я (а(х), Ь) = ¿з Я (а(х), ¿1, ¿2) =

= ¿з П(1 - к (а/(х)Ь/))’

/=1

(7)

где b=(bbb2,b3| - вектор коэффициентов сглаживания, значения которых подберем из следующего выборочного критерия оптимальности

02 (b) =Е [Y - Jn (X,; Я(a(х), b))]2 ^ min. (8) " b

i =1

Сократим количество подбираемых элементов вектора Ь, применив способ, предложенный в [4]. Зафиксируем значения коэффициентов b1, b2, а b3 оценим по выборке. Представляя выражение для b3, введем обозначения

Я(a(X,), ¿1, ¿2) = Я(a(X,); ¿1,..., b, | =1),

4(х,) = Y - Jn (X,),

ОД) = Jn (X) - Jn (X ;Ь (9)

Используя выражения (2), (7), (8), (9), получим выборочную оценку для b3

¿^(X, )d2(X, )Я (a( X), ¿1, ¿2)

£ (^(Х, )Я (а( X,.), ¿1, ¿2))2 /=1

Оценка (7) удовлетворяет большинству требований постановки задачи.

Модифицированная оценка коэффициента Я,

зависящая от выбора точки x

Можно ли улучшить оценку вида (7), используя еще какую либо дополнительную информацию на основе выборочных данных? Предположим, что одна из построенных моделей регрессии (параметрическая или непараметрическая) получает прогнозные оценки, близкие к истинным значениям. Тогда сумма выборочных регрессионных остатков от ее оценок может быть меньше, чем у другой модели. Используем это предположение. Обозначим суммы квадратов выборочных регрессионных остатков построенных параметрической и непараметрической моделей регрессии:

бз =£ [3, - /(X, ;в)]2, б4 = £[3, - / (X )]2-

,=1 , = 1

Взяв их отношение, получим безразмерную нормированную величину <23.

Величину ^ можно использовать разными способами. Предложим один из них. Сформируем дополнительный аргумент в виде некоторой функции, учитывающей предпочтение оценок одной из построенных моделей (величина л), сближение оценок построенных моделей при увеличении объема выборки (№), а также, вида зависимости коэффициента Я: а^АХЛО. Используем его в выражении (6) как величину, увеличивающую предпочтение оценок одной из построенных моделей. Тогда вектор аргументов должен включать а3:

a^x) = Ц(х), 02 (х), а,

(10)

i =1

Проверим свойства комбинированных оценок регрессии вида (2) с оценками коэффициентов Я вида (4), (7) и с вектором (10) в имитационном эксперименте.

Выбор вида оценок моделей регрессии для эксперимента

Для оценок параметрической модели регрессии выберем оценки линейной параметрической модели J(x;0)=00+01x<1)+...+0mx<m) с оценкой вектора 6=(0o,..., вт) по методу наименьших квадратов. Для оценок непараметрической модели регрессии выберем оценки вида Надарая-Ватсона [7]

N m

£ Y П к [(x(j) - X( j V #)]

Jn(x(1),...,x(m)) = -, (11)

£П к [(x( j) - X( j))/ *N)]

i=1 j=1

где K(u) - заданное ядро (некоторая функция плотности вероятности); hN(J)=cj(m/N)(1/(4+m)) - параметры масштаба; cJ - выбираются из условия минимума суммы квадратов регрессионных остатков

Q(Cl,...,Cm) = £[Y - Jn(X-(1),-, X(m))]2 ^ niin .

i=1 C1>-.Cm

Условия имитационного эксперимента

Сравнение качества оценок представленных моделей регрессии - непростая задача, так как оценки получены с использованием разных критериев оптимальности, разными методами, с несколькими допущениями. Поэтому имитационный эксперимент проведен с общим критерием качества оценок регрессии - оценки СКО.

Для простоты интерпретации результатов имитационный эксперимент проведен с одномерной величиной xeR1. Сравнение свойств оценок выполнено со случайным выбором точек X. Для имитации случайных ошибок измерений величины X и Yгенерировались из двумерного нормального закона с заданным коэффициентом корреляции. Параметры генерации выборок обеспечивали в эксперименте формирование функции «истинной» регрессии - линейной J(x)=0,0+1,0x.

Для имитационного эксперимента выбраны следующие условия моделирования:

• сравнение качества оценок в условиях малых объемов выборки выполнено для объемов выборок в диапазоне N=5-125 с интервалом 5=5;

• случайные величины Yи X из двумерного нормального закона генерировались из условий нулевых математических ожиданий, со среднеквадратическим отклонением a(X)=a(Y)=1,0 и коэффициентом корреляции r=0,7;

• для каждого значения N числовые результаты эксперимента были получены по серии исходных выборок количеством K=1350000 (с одинаковым объемом наблюдений N в каждой выборке).

Оценки непараметрической модели регрессии для каждого наблюдения выборки получены по методу скользящего эксперимента (с исключением из выборки наблюдения i в точке X, в которой оценивается регрессия).

Сравнение качества оценок регрессии проводилось у пяти моделей (Jj=J(X;0), J2=JN(X),

1=ШХ0), J4=Jn(X;Я(а(2))), Л^ХЯВД))). Для выявления способностей комбинированной оценки уменьшать СКО оценки истинной регрессии, использовались следующие критерии. Критерии, вычисленные для каждой исходной выборки.

1. Средняя квадратичная погрешность прогнозирования в произвольных точках

S(J) = -1£[J(X-) - J (X )]2, j = 15, (12)

N i=1

где J(Xi) - истинное значение регрессии в произвольной точке X; J(X) - оценка регрессии по модели j в произвольной точке Xi.

Критерии, вычисленные по серии K исходных выборок.

2. Среднее квадратичных погрешностей прогнозирования по серии Kв произвольных точках

Qj(J) = тIS(J), j = 1,5. (13)

K s=1

При указанных условиях моделирования в имитационном эксперименте обеспечивается преимущество (в смысле качества) оценкам параметрической модели регрессии J (X;0).

Результаты эксперимента

Результаты имитационного эксперимента по критериям (12) и (13) представлены на рисунке. Номера кривых на рисунке совпадают с номерами моделей регрессии, указанных в условиях эксперимента. Кривые на графиках рисунка статистически значимо различаются на уровне значимости меньше

0.05, за исключением областей пересечения кривых.

На рисунке представлены результаты сравнения качества оценок регрессии по критерию Qj(J). По горизонтальной оси указан объем выборки N, по вертикальной оси - величина среднего квадратичных погрешностей прогнозирования по серии Kв произвольных точках.

По результатам сравнения при указанных условиях имитационного эксперимента можно сделать следующие выводы.

1. Оценки модели регрессии:

• параметрической J1 дают третий по качеству результат среди представленных моделей в случае истинной линейной регрессии, проигрывая оценкам комбинированных моделей J3 и J5 (рисунок, кривая 1);

• непараметрической J2 дают невысокий результат среди представленных моделей (рисунок, кривая 2). Но с увеличением объема выборки N качество оценок улучшается;

т

0,05

1 — «Л, 2—У2, 3 —/з, 4 — У4, 5 — >/5

0,00 -1—1------1---1------1-1-1-------1-1-■---■-■----■--■---■----1---■---■---1---1--■---1---1---1--. Д/5--------10 15---20---25 30 35----40 45--50--55-60 65---70--75 80 85 90 95 100105 110 115 120---------125

Рисунок. Среднее квадратичных погрешностей прогнозирования по серии К в произвольных точках 0(]) при коэффициенте корреляции г=0,7

• комбинированной /3 дают второй по качеству результат (рисунок, кривая 3), проигрывая лишь оценкам модели /5. Это подтверждает заявленные свойства оценок комбинированной модели регрессии (2);

• комбинированной /4 дают результат лучше, чем у непараметрической модели /2 (рисунок, пунктирная кривая 4), а при объемах выборки N>35 практически не отличаются от оценок параметрической 11 (и на уровне значимости меньше 0,05);

• комбинированной /5 дают лучший результат среди всех моделей (рисунок, кривая 5). С увеличением объема выборки N выигрыш по сравнению с оценками других моделей сохраняется. Это также подтверждает заявленные свойства оценок комбинированной модели регрессии (2).

2. Оценки весового коэффициента Я(Х) с вектором вида (10) в комбинированной оценке регрессии /5 показали свои преимущества по сравнению с оценками вида (7) и (4). Они удовлетворяют всем требованиям постановки задачи. Сложность вычисления оценок с вектором (10) почти не отличается от вида (7).

3. В эксперименте подтверждены предположения, что дополнительная информация вида (10) является достаточной для оценки коэффициента Я в точке (х) и используется эффективнее,

чем в оценках вида (7) и (4), несмотря на неоптимальную оценку параметров масштаба для оценок (6).

4. Результаты эксперимента позволяют утверждать, что оценки Я(Х) с вектором вида (10) могут стать основой для дальнейшего улучшения комбинированных оценок регрессии в точке х и достижения наилучшего качества оценок.

Заключение

В работе представлена статистическая оценка весового коэффициента Я в точке х вида (7) и с вектором вида (10) для комбинированной модели регрессии вида (2) и продемонстрирована ее работоспособность при конечных объемах выборок N.

В имитационном эксперименте подтверждены свойства комбинированной модели регрессии вида (2) получать оценки лучше, чем у каждой из построенных моделей (параметрической или непараметрической). Результаты имитационного эксперимента демонстрируют преимущества ее оценок уже при N>10.

Лучшие оценки комбинированной модели /5 и хорошие оценки модели У3 в имитационном эксперименте подтверждают близость оценок коэффициентов Я к наилучшим. Это подтверждает правильность выбора критериев оптимизации и величин дополнительной информации (6) и (10), а также функционалов вида (5) для оценки Я.

Представленные варианты комбинированных оценок регрессии и результаты имитационного эксперимента позволяют утверждать, что у комбинированных оценок имеются широкие возможности совершенствования.

Результаты эксперимента показывают, что представленная комбинированная оценка регрессии со статистической оценкой весового коэффициента предпочтительнее, чем каждая из оценок

параметрической и непараметрической моделей. Их преимущества проявляются как при малых объемах выборок, так и при их интерполяции за пределы эксперимента (N>125).

Результаты моделирования, представленные на рисунке, получены с помощью кластера Межрегионального вычислительного центра ТГУ СКИФ СуЪепа (skif.tsu.ru). Автор выражает благодарность сотрудникам Центра за оказанную помощь.

СПИСОК ЛИТЕРАТУРЫ

1. Дмитриев Ю.Г. Непараметрическое условное оценивание функционалов плотности распределения // Математическое моделирование и теория вероятностей / под ред. И.А. Александрова, А.М. Бубенчикова, В.Н. Берцуна, Ю.К. Устинова. -Томск: Изд-во «Пеленг», 1998. - С. 169-177.

2. Скрипин С.В. Свойства комбинированной оценки регрессии при конечных объемах выборок // Известия Томского политехнического университета. - 2008. - Т. 313. - № 5. - С. 10-14.

3. Скрипин С.В. Свойства комбинированной оценки в задаче классификации наблюдений // Известия Томского политехнического университета. - 2009. - Т. 314. - № 5. - С. 21-26.

4. Скрипин С.В. О весовом коэффициенте в комбинированной оценке регрессии // Новые информационные технологии в исследовании сложных структур: Тезисы докл. VIII Росс. конф.

с международным участием. - Томск, 5-8 октября 2010. -Томск: Изд-во НТЛ, 2010. - С. 98-99.

5. Скрипин С.В. Комбинированная непараметрическая оценка регрессии // Вестник Томского государственного университета. - 2005. - Прил. № 14. - С. 311-313.

6. Дукарский О.М., Левит Б.Я. Некоторые применения непараметрических оценок регрессии // Многомерный статистический анализ в социально-экономических исследованиях / Академия наук СССР, Центральный экономико-математический институт. Серия «Ученые записки по статистике». - М.: Наука, 1974. - Т. XXVI. - С. 31-37.

7. Надарая Э.А. Об оценке регрессии // Теория вероятностей и ее применения. - 1964. - Т. 9. - Вып. 1. - С. 147-149.

Поступила 12.04.2011 г.

УДК 65.012.122

ОПТИМИЗАЦИЯ СИСТЕМЫ МАССОВОГО ОБСЛУЖИВАНИЯ С ГИСТЕРЕЗИСНОЙ СТРАТЕГИЕЙ УПРАВЛЕНИЯ ОДНОТИПНЫМ РЕЗЕРВНЫМ ПРИБОРОМ

Л.И. Самочернова, Е.С. Петров

Томский политехнический университет E-mail: [email protected]

Исследована система массового обслуживания с гистерезисной стратегией управления однотипным резервным прибором, управляемым по текущему времени ожидания заявки, находящейся первой в очереди. Проведена оптимизация системы при учете потерь на ожидание и амортизацию.

Ключевые слова:

Система, обслуживание, время ожидания, амортизация, оптимальный момент.

Key words:

System, service, queuing time, depreciation, optimal moment.

Введение

В последние годы сфера приложений теории массового обслуживания расширилась благодаря бурному развитию вычислительных, телекоммуникационных и производственных систем. Управляемые системы массового обслуживания (УСМО) являются адекватными моделями многих реальных технических систем [1-9]. Значительное число работ посвящено изучению систем массового обслуживания (СМО), в которых моменты включения и выключения резервных приборов, интенсивность обслуживания зависят от числа заявок в си-

стеме или от длины очереди [1-4]. Однако существуют лишь отдельные работы, например [5-9], в которых изучены СМО с управлением по времени ожидания. В данной статье рассматривается УСМО, которая аналогична системе, изученной в [8], но с гистерезисной стратегией управления однотипным резервным прибором.

1.Описание системы

Рассмотрим однолинейную систему массового обслуживания с простейшим входящим потоком интенсивности , к которой может подключаться ре-