«Быстрый» непараметрический алгоритм классификации множеств случайных величин Текст научной статьи по специальности «Математика»

УДК 681.513

А.В. Лапко, В.А. Лапко

«БЫСТРЫЙ» НЕПАРАМЕТРИЧЕСКИИ АЛГОРИТМ КЛАССИФИКАЦИИ МНОЖЕСТВ СЛУЧАЙНЫХ ВЕЛИЧИН*

На основе последовательных процедур формирования решений разработаны непараметрические алгоритмы классификации множеств случайных величин, обладающие высокой вычислительной эффективностью.

Введение. Непараметрические алгоритмы классификации множеств случайных величин впервые были предложены и исследованы в работах [1,2]. Идея подхода заключается в заменене операций над множествами X на преобразования статистических оценок функций распределения их элементов ¥(х) с помощью методов непараметрической статистики.

С этих позиций непараметрическое решающее правило классификации в двуальтернативной задаче распознавания образов представляется в виде

__ ГX еЦ , если /2 (X )> 0

ти(х):

[X єП2 , если f 2 (X) < 0 ,

(1)

где уравнение разделяющей поверхности

Г к

ч-1

к

maxi

|f (x)-F (x)

Df,

/12(X) = п П£>д1 £ст(г)ПФ

V у=1 ) г =1 у=1

восстанавливается по обучающей выборке ^, а(г) ,г = 1, п) объема п;

, ч I 1, если X1 е Ц а (г ) = г 1 - «указания учителя».

[-1, если Xг е ^2

Основные и значительные временные затраты при использовании решающего правила т12 (X) связаны с построением и проверкой гипотезы о тождественности эмпирических функций распределения

¥(ху), ¥ (ху) признаков элементов множеств X, X1, г = 1, п в соответствии с критерием Смирнова

(Бр - пороговое значение критерия).

Возникает проблема повышения вычислительной эффективности непараметрических алгоритмов классификации множеств случайных величин, которая в работе решается на основе применения последовательных процедур формирования решений.

Постановка задачи. Имеется обучающая выборка V = ^, а(г), г = 1, п), составленная из множеств Xi независимых наблюдений признаков х = (хj,j = 1Д), классифицируемых объектов аг и «указаний учителя» об их принадлежности к одному, например, из двух классов ^, А2.

Законы распределения

x є X

неизвестны

характеризуются наблюдениями

Xг = (х, j = 1, щ ), г = 1, п .

Обозначим через , Ц2 - образы классов объектов А , А в пространстве их признаков х, а

1 Исследования выполнены в рамках гранта РФФИ №03-01-00081.

n

и

П12 = Ц ^ ^2 . Определим центры х1 множеств X1 и будем считать, что плотности вероятностей Р1(х) V х е Ц, Р2(х) V х е Ц2 достаточно гладкие и имеют хотя бы первые две производные по компонентам ху,/ = 1,к.

Пусть т12 (X), т12 (х) - решающие правила классификации множеств случайных величин на основе традиционного подхода (1) и построенные с позиций замены X на х .

Необходимо построить обобщенное решающее правило классификации множеств случайных величин м12 (т12 (х) , т12 (X)), по вычислительной эффективности значительно превышающее теоретически обоснованный алгоритм распознавания образов т12 (X).

Синтез алгоритма классификации. Сформируем обучающую выборку V = (хг, а(г) ,г = 1, п) для построения решающего правила

\х еЦ , если /12(х) > 0

т12(х)- 1- 0 , /_ч п

[х е Ц2 , если /12 (х) < 0 ,

(2)

где

/12 (х) = р Р1(х ) - р2 Р2 (х) (3)

- уравнение разделяющей поверхности между классами, оптимальное в смысле минимума вероятности ошибки распознавания образов; р , р - априорные вероятности классов.

Компоненты центров х1 множеств X1 определяются как средние значения признаков ху, вычисляемых по выборкам (х/, j = 1, пг ,у = 1, к), г = 1, п .

Воспользуемся методами непараметрической статистики и построим статистическую оценку (3)

/12(х)= пПЕа(г')ПФ

Л

_ , „ , (4)

V /=1 ) г=1 /=1

где Ф() - ядерные функции, удовлетворяющие свойствам положительности, симметричности отно-

сительно х1 и нормированности [1]; су су (п) ^ 0 при п ^ да.

Соответствующее уравнению (4) решающее правило Ш12 (х) обладает высокой вычислительной эффективностью. Однако обоснованное его применение возможно только при симметричных законах распределения элементов классифицируемых множеств.

Заметим, что значение ошибки классификации формируется в области пересечения классов Ц12. Поэтому определим в Ц12 решающее правило т{ 2 (X). С этой целью организуем вычислительный эксперимент на основе алгоритма шу2 (х) для формирования обучающей выборки V? = (x1, а(г) , г е Тух ), элементы которой принадлежат области пересечения классов Ц12 .

С учетом (1) осуществим синтез оценки решающего правила ) на основе разделяющей по-

коэффициенты размытости ядерных функций, значения которых

верхности

/12 (X ) =

где

( к п12 П

V /=1

к (

4-1

’£а(г) н^, X),

а

ге112

> (X, ^ )=Г! ф[ Н¥ (х)-¥г (х *

Ф

та^¥ (х) - ¥ (х)

1, если \¥(х)- ¥ (х)|<

0, если \¥(х)- ¥ (х)> Бр ,

п12 - количество элементов множества /12 .

Тогда «быстрый» алгоритм классификации множеств случайных величин представляется следующей последовательной процедурой формирования решения:

X еЦ , если /12 (х) > 0 и р2 (х) = 0 ,

М (X) : ■< X еЦ , если /2 (х) < 0 и рх (х) = 0 , иначе перейти к алгоритму т^^).

Отметим, что ошибки распознавания образов алгоритмов М (X) и ту2 (X) совпадают. Однако вычислительная эффективность М (X) выше, так как значительно сокращаются временные затраты на проверку гипотезы о тождественности эмпирических функций распределения из обучающей выборки и закона распределения элементов контрольного множества.

Модификации алгоритма классификации. Дополнительно уменьшить время классификации можно за счет сокращения количества задач

н0: ¥г (х) = ¥(х), г е Т12 в процессе функционирования алгоритма ).

Введем дополнительные параметры, характеризующие множество случайных величин X1,

Так как

р/ = ¥' (х/), / = 1, к ,г е /12.

то гипотеза Н0 отвергается, если справедливо соотношение

% < |р - ¥(ху).

(5)

Проверка соотношения (5) требует значительно меньше временных затрат при формировании ядерных функций алгоритма ту2 (X), чем при использовании традиционных условий критерия Смирнова.

Анализ алгоритма классификации. Для сравнения вычислительной эффективности непараметрических алгоритмов классификации множеств случайных величин обозначим через т , t - время, затрачи-

Л

ваемое на вычисление ядерных функций Ф

-7

и Ф

тах

\¥ (х/ )- ¥ (ху ]

соответственно.

Тогда время, затрачиваемое на классификацию ситуации X традиционным непараметрическим алгоритмов ту2 (X) (1), не превышает значения Тт = nkt, а решающим правилом

М (X) - Тм = п (1 - Р) т к + п р t к .

Здесь Р - вероятность принадлежности множеств X1 обучающей выборки области пересечения классов Ц12.

Время t увеличивается с ростом объема обучающей выборки. По результатам вычислительного эксперимента отношение ^ представляется линейной аппроксимацией типа а п. Тогда при достаточно

больших п отношение Тм'

= р.

т

Заключение. Применение последовательных процедур формирования решений обеспечивает разработку непараметрических алгоритмов классификации множеств случайных величин с высокой вычислительной эффективностью. Структуру «быстрых» решающих правил составляют непараметрические алгоритмы

с

у

распознавания образов в пространстве параметров центров анализируемых множеств и традиционные классификаторы множеств случайных величин, определенные в условиях неоднозначных решений. Вычислительная эффективность предложенных методов повышается с сокращением области пересечения классов.

Литература

1. Непараметрические системы классификации / А.В. Лапко [и др.]. - Новосибирск: Наука, 2000. - 240 с.

2. Лапко, А.В. Непараметрические методики анализа множеств случайных величин / А.В. Лапко, В.А. Лапко // Автометрия. - 2003. - №1. - С. 54-61.

УДК 519.7 В.А. Лапко, Р.В. Бадмаев

СИНТЕЗ И АНАЛИЗ НЕЛИНЕЙНЫХ НЕПАРАМЕТРИЧЕСКИХ КОЛЛЕКТИВОВ РЕШАЮЩИХ ПРАВИЛ В ЗАДАЧАХ ВОССТАНОВЛЕНИЯ СТОХАСТИЧЕСКИХ ЗАВИСИМОСТЕЙ, ОСНОВАННЫХ ПОСЛЕДОВАТЕЛЬНЫХ ПРОЦЕДУРАХ ФОРМИРОВАНИЯ РЕШЕНИЙ*

Рассматриваются нелинейные непараметрические коллективы решающих правил в задачах восстановления стохастических зависимостей, обеспечивающих эффективное решения задач при малых выборках большой размерности. С помощью метода вычислительного эксперимента исследуются показатели эффективности нелинейных непараметрических коллективов. Полученные результаты сравниваются с традиционными непараметрическими решающими правилами.

Введение. Последовательные процедуры принятия решений являются эффективным направлением обхода проблем сложности и неопределенности при моделировании и оптимизации систем, что достигается путем разбиения исходной задачи на ряд взаимосвязанных более простых задач [1]. Такая схема используется, например, в методе динамического программирования и методе группового учета аргументов (МГУА) [2-7].

Работа посвящена синтезу и анализу нелинейных непараметрических коллективов решающих правил восстановления стохастических зависимостей для решения задач в пространствах большой размерности и малых объемах обучающих выборок. Идея предлагаемого алгоритма заключается в декомпозиции исходной задачи на ряд простых, решаемых в пространствах меньшей размерности. Основной проблемой при построении подобных систем принятия решений является выбор их эффективной структуры. Для решения данной проблемы предлагается индуктивный метод выбора рациональной структуры системы, основанный на принципах имитационного моделирования [8].

Синтез нелинейных непараметрических коллективов решающих правил. Пусть дана выборка

V = (х1 , у1, г = 1,п) из статистически независимых наблюдений значений у1 неизвестной однозначной зависимости

у = (р(х) V х е Як (1)

и ее аргументов х1, где х = (х1, х2,шшш,хк) - вектор.

Эффективным подходом «обхода» проблемы малых выборок являются последовательные процедуры формирования решений, основанные на принципе декомпозиции исходной задачи.

Идея предлагаемого алгоритма состоит в построении семейства локальных решающих правил на основании конечных наборов признаков х = (х(/), t = 1, т) обучающей выборки и последующей их интеграции в едином нелинейном решающем правиле. Тогда при восстановлении искомой стохастической зависимости (1) предлагаются нелинейные непараметрические коллективы решающих правил с последователь-

* Работа выполнена в рамках гранта Президента РФ №МД-2130.2005.9.