CC BY
11
УДК 004.93
РАСПОЗНАЮЩИЕ ОПЕРАТОРЫ, ОСНОВАННЫЕ НА ПРИНЦИПЕ ПОТЕНЦИАЛОВ, В УСЛОВИЯХ БОЛЬШОЙ РАЗМЕРНОСТИ ПРИЗНАКОВОГО ПРОСТРАНСТВА
И.К. Каримов1, С.С. Раджабов 2, О.Н. Мирзаев2, О.А. Даминов2
'Камчатский государственный технический университет, Петропавловск-Камчатский, 683003 2 Институт математики и информационных технологий АНРУз, Ташкент, 100125
e-mail: karimov [email protected]
В статье рассмотрены вопросы, связанные с построением модели распознающих операторов в условиях большой размерности пространства признаков. В качестве исходной модели рассмотрена модель, основанная на принципе потенциалов. Основным отличием предложенной модели является использование пороговой функции различия между объектом распознавания и классом при построении функции близости на базе потенциальных функций. Приведены результаты экспериментальных исследований по оценке работоспособности рассмотренных распознающих операторов. Предложенные операторы обеспечивают существенное уменьшение числа вычислительных операций при распознавании неизвестных объектов, что позволяет применить эти операторы при создании распознающих систем, работающих в режиме реального времени.
Ключевые слова: распознавание образов, модель распознающих операторов, принцип ближайшего соседа, зависимость признаков, репрезентативный признак.
Recognizing operators based on potential principle in the conditions of high dimensionality of tag space.
I.K.Karimov1, S.S.Radjabov2, O.N. Mirzaev2, O.A.Daminov2 ^Kamchatka State Technical University, Petropavlovsk-Kamchatsky, 683003; institute of Mathematics and Information Technology, Tashkent, 100125)
Problems of recognizing operators model development in the conditions of high dimensionality of tag space are considered. As the reference model we used the model based on potential principle. The main distinction of the offered model is the use of threshold difference between recognizing object and class while making proximity function based on potential function. Results of experiments according to functionality assessment of studied recognizing operators are presented. Proposed operators minimize computing operations while recognizing unknown objects. It allows to applying these operators in recognizing systems development working in real-time mode.
Key words: pattern recognition, pattern recognition model operators, the principle of the nearest neighbor, dependence symptoms, representative sign.
Введение
В настоящее время глубоко разработан и детально изучен ряд моделей алгоритмов распознавания [1-8], например, такие как модели, основанные на разделяющих функциях; модели, построенные на базе математической статистики и теории вероятности; модели, построенные на принципе потенциалов; модели, основанные на вычислении оценок. Однако анализ этих алгоритмов показывает, что в настоящее время главным образом разрабатываются алгоритмы распознавания, ориентированные на решение задач, где объекты описаны в пространстве независимых (или слабозависимых) признаков [9].
Большинство из рассмотренных в [1-8] алгоритмов распознавания при решении задачи распознавания в условиях большой размерности признакового пространства требует привлечения весьма значительных вычислительных мощностей, которые могут быть обеспечены только высокопроизводительной компьютерной техникой. Следовательно, остается недостаточно разработанным вопрос о практической применимости тех или иных алгоритмов распознавания для решения задач при реальных размерностях данных. В связи с этим вопросы разработки и исследования моделей алгоритмов распознавания, ориентированных на решение задач диагностики, прогнозирования и классификации объектов в условиях большой размерности признакового пространства, являются актуальными.
Цель данной работы состоит в построении модели распознающих операторов с учетом большой размерности признакового пространства. Для достижения поставленной цели разработана модель распознающих операторов, ключевым моментом которой является выделение набора репрезентативных признаков и построение модели взаимосвязанности. В качестве исходной модели выбрана модель распознающих операторов, основанных на принципе потенциалов [1, 2, 4, 7]. Отличительной особенностью предлагаемой модели от существующих моделей распознающих операторов, основанных на принципе потенциалов, является построение
пороговой функций различия.
Следует отметить, что при решении прикладных задач распознавания, где объекты заданы в пространстве признаков небольшой размерности, классические распознающие операторы, рассмотренные в [1, 4, 7], работают эффективнее, чем предлагаемый алгоритм. При этом число вычислительных операций в процессе распознавания предлагаемым алгоритмом существенно увеличивается. Это объясняется тем, что в подобной ситуации большинство признаков связано между собой достаточно слабо, что не позволяет построить простой распознающий оператор. Однако в случае большой размерности признакового пространства данный алгоритм работает эффективнее, чем исходный. Таким образом, имеющаяся априорная информация о рассматриваемой задаче позволяет для ее решения выбрать эффективную модель распознающих операторов.
Основные понятия и обозначения
Опираясь на [2, 4], введем некоторые понятия и обозначения. Рассмотрим множество допустимых объектов 3 , которое покрыто / подмножествами (классами) К,К2,...,К :
I
3 = и К;, К, о К =0, г * ; г, ] е {1,...,/}. (1)
;=1
Предполагается, что разбиение (1) определено не полностью, а дана только некоторая начальная информация о классах К,К, ..,К . Для уточнения понятия начальной информации
выделим т объектов из 3 : Я,...,Я ,...,Ят (УЯ1 е 3, г = 1,т) . Каждому выделенному объекту в пространстве исходных признаков X (X = (х,...,х ,...,хп)) соответствует п -мерный вектор
признаков: Я = (ап,...,ау,...,а1п), ... , Я, = (ап,...,аи,...,аш), ... , ^ = (ат1,...,ащ—О»). Далее введем следующие обозначения: Ят = {Я ,...,Я ,...,Ят}, К = Ят оKj, СК = Ят \Kj. Тогда начальную информацию можно задать как некоторое множество, элементы которого состоят из пары < Я , а(Я) >, где Я - выделенный объект, а(Я ) - информационный вектор этого объекта:
J0 = {<Я;ад >,...,<Я,;а(Я) >,...,<Ят;«Я >}; (2)
а(Я) = (а,1,...,ау ,...,а,/);
[1, если Я е KJ; у [0, если Я й KJ.
Совокупность информационных векторов, соответствующих всем объектам Я т , образует информационную матрицу а .
II г\\тк/
Постановка задачи
Пусть задан произвольный набор объектов Я9 (Я9 = {Я1,...,Я },Я9 с3), описанных в
пространстве исходных признаков X. Каждому объекту Я (Я е Я9) в пространстве X соответствует описание (числовая характеристика) объекта J(Я) = (а , . ,а , . ,а). При этом размерность пространства исходных признаков п достаточно большая. В этих условиях большинство признаков взаимосвязано, что затрудняет использование многих алгоритмов распознавания [9]. Задача состоит в построении такого алгоритма А, который по начальной информации (2) вычисляет значения предиката Р(Я^ (Р/Я1)="Я е KJ"). Другими словами,
искомый алгоритм А переводит набор , Я9) в матрицу Цр^.Ц ^ (Р; = Р; (Я )): А(^, Я 9 ) = ||Рг> || ^ Здесь Р ( Ру е{0,1, А}) интерпретируется следующим образом. Если Ру = А, то считается, что алгоритм А не смог вычислить значение предиката Р(Я) . Если жеРу е {0,1} , то Р1у есть значение предиката Р (Я ) , вычисленное алгоритмом А для объекта Я ' по заданным его числовым
характеристикам.
В работе [2] доказано, что произвольный алгоритм распознавания можно представить как последовательное выполнение операторов B (распознающий оператор) и C (решающее правило):
A = B о C,
BJо,~q)=IKL' C(NL)=INU ßje{0,1'А}•
Из этого следует, что каждый алгоритм A можно разделить на два последовательных этапа. На первом этапе распознающий оператор B на основе начальной информации J переводит объекты
контрольной выборки Sq в числовую матрицу Ць^Ц размером q х l (q - число строк, равное числу
объектов; l - число столбцов, равное числу классов). На втором этапе по полученной числовой матрице решающее правило C определяет принадлежность объектов S\,...,Sq к классам K1,...,Kl:
C(l bL)=IWL •
В этом случае решение принимается поэлементно:
0, если btj < c1,
1, если bj < c2, (3) А, если c - b - С.
ßj =
В литературе рассматриваются различные правила, однако, как показано в [2], можно ограничиться рассмотрением только правила (3).
Метод решения
В настоящей работе рассмотрен новый подход к решению задачи построения распознающих операторов с учетом особенности признакового пространства большой размерности. На базе этого подхода предложена модель распознающих операторов, основанных на принципе потенциалов. Основная идея предлагаемой модели состоит в формировании подмножеств сильносвязанных признаков и распознавания объектов на основе оценки взаимосвязанности этих признаков [10]. Задание этих операторов включает следующие основные этапы:
1. Выделение подмножеств сильносвязанных признаков. На этом этапе определяется система «независимых» подмножеств признаков, состав которой будет зависеть от параметра п . Задавая различные целочисленные значения этому параметру, получим различные распознающие операторы. Значение параметра п определяется на основе анализа исходных данных, а в некоторых случаях его можно задать априорно.
В зависимости от способа задания меры близости между подмножествами сильносвязанных признаков (О и ) и функционала качества разделения можно получить разнообразные
алгоритмы выделения независимых множеств сильносвязанных признаков [11].
2. Формирование набора репрезентативных признаков. Основная идея выбора репрезентативных признаков заключается в их различии (несходстве) в формируемом наборе репрезентативных признаков. В процессе формирования этого набора требуется, чтобы каждый выделенный признак был типичным представителем рассматриваемого подмножества сильносвязанных признаков. В результате выполнения данного этапа получаем сокращенное пространство признаков, размерность которого намного меньше исходного (п < п). Далее сформированное пространство признаков обозначим через У (У = (у,...,у ,)).
3. Определение моделей зависимости в каждом подмножестве признаков для класса
К (7 = 1,1). Пусть - произвольный признак, принадлежащий подмножеству .
Предполагается, что элементы линейно упорядочены по индексу признаков (т. е. х < X, если 1 < 7). Далее нулевым элементом (х0) подмножества примем у , остальные элементы обозначаются через х1 (N =|О|'' =1' . '^ _ 1). Тогда модель зависимости в принимает вид [10]: _
X = Р(с, у9), X \ у9,
где с - вектор неизвестных параметров; Р - функция из некоторого заданного класса функций {Р} . Вычисленные значения вектора неизвестных параметров с определяют модель зависимости в
подмножестве признаков для класса К. (у = 1,/). В зависимости от задания параметрического вида Е(с, х) и метода определения с получаем разнообразные модели зависимости в подмножестве признаков (д = 1,п').
4. Выделение предпочтительных моделей зависимости. Пусть N - мощность подмножества сильносвязанных признаков . Предполагается, что в определено ^ — 1) моделей
зависимости для объектов класса К :
х, = Е(с,.Уд), х, еОд \Уд, ' = —1), где уд - репрезентативный признак (у е ).
Введем следующие обозначения: Е = ^о П К , Е = ^о \ Е . Поиск предпочтительной модели зависимости в осуществляется на основе оценки доминантности рассматриваемых моделей для объектов, которые относятся к множеству :
12 £ (х, — Е (с, Уд ))2
т --, ь = |е|, и = Ш.
' Ь Е (х, — Е (с, Уд )Г Ь 11' 2 1 21
Чем больше величина Т , тем больше отдается предпочтение ' -й модели зависимости. Если несколько моделей получают одинаковое предпочтение, то выбирается любой из них.
В результате выполнения данного этапа определяется предпочтительная модель зависимости для подмножества признаков Од , которая обозначается через х = /(с, уд). Далее
рассматриваются только эти модели зависимости.
5. Определение элементарных пороговых правил принятия решений. Сформулируем элементарные пороговые правила принятия решений. Они характеризуют допустимые отклонения в рассматриваемой модели зависимости. Рассмотрим / множеств объектов. Этим множествам соответствует таблица обучения Тппй [2, 3].
Обозначим через Е множество всех предпочтительных моделей зависимостей в
подмножестве признаков . На базе модели зависимости х = /(с,хц) (/(с,хц) еЕ?, у = 1,...,/) в Оч определим элементарные пороговые правила принятия решений 8; (г = 1,...,N — 1) в виде:
б, (к, ^)=|0, если Iа'—/(с, ад ^< Л;
' 1 [1, в противном случае, где ад - значение репрезентативного признака множества ; а - значение /-го признака объекта S ; Л - заданный порог.
6. Определение функции различия й(Kj, S ) между К . и объектом S по признакам, входящим в О . На данном этапе задается функция различия, которая определяет степень отдаленности между объектом S и классом. Функция различия й(К], S ) между классом Ку и
объектом S определяется одним из следующих способов:
а) функция различия между классом К и объектом S задается в виде:
п
й (К,, S,) = Еб, (К, S,);
,=1
б) известно [3], что не все признаки, описывающие рассматриваемые объекты, одинаковы по важности при решении практических задач распознавания образов. Данное различие важности
признаков учитывается введением нового параметра (' = 1, п '), который характеризует важность признака. В этом случае функция й(К , S ) определяется как
d(Kj,S) = £X,5, (Kj,S).
7. Задание функции близости и} (Б ) между объектом Б и объектами класса К.. На этом этапе определяется степень близости объекта Б к классу К . При этом можно использовать потенциальные функции вида [7]
и. (Б') =-1--,
Л 1 + ^ (KJ, Б )
где - параметр распознающего оператора.
8. Вычисление оценки принадлежности объекта Б к классу К.. Пусть даны оценки близости
объекта Б к классу К (] = 1,1): и (К, Б ),и (К2, Б ),...,и (К,, Б ) . Для вычисления оценки принадлежности объекта Б к классу К на этом этапе определяется как функция от оценки близости
I
ц, (Б) = уП (К, Б')(К, Б),
и=1
uфj
где уи - параметр распознающего оператора.
Таким образом, мы определили распознающие операторы В(Б), основанные на принципе потенциалов, в условиях большой размерности признакового пространства. При последовательном
применении оператора B(S ) к объектам S1,...,Si.,...,S получим матрицу
qyl
(bj j (S)):
B( Jо, ~q) =
b
b
b
b
b
Данный оператор может быть расширен на основе введения новых параметров или применения различных эвристических принципов, например, на основе потенциальных функций специального вида.
Экспериментальная часть. Для практического использования предложенной модели распознающих операторов разработана программа в среде Delphi. Ее работоспособность проверена при решении ряда практических задач из различных областей человеческой деятельности.
Сравнительный анализ классической модели распознающих операторов, основанных на принципе потенциалов, модели распознающих операторов, основанных на вычислении оценок, а также предлагаемой модели распознающих операторов для рассмотренных задач проведен по следующим критериям:
- точность распознавания объектов контрольной выборки;
- время, израсходованное алгоритмом на обучение;
- время, израсходованное алгоритмом на распознавание объектов из контрольной выборки.
Для вычисления этих критериев при решении прикладных задач разбиение произведено по
стандартной методике перекрестной проверки [12]: генерируется 10 случайных разбиений выборки на 10 блоков примерно равной длины и равными долями классов, и каждый блок поочередно становится контрольной выборкой, остальные - обучающей. Точность распознавания и временные показатели определялись как средние. Эксперименты проводились на компьютере Pentium IV Dual Core 2,2 GHz с объемом оперативной памяти 1 Gb.
Результаты экспериментов представлены на рисунке, где задачами 1, 2, 3, 4 являются соответственно:
- модельная задача (число классов l = 2; число объектов m = 400; число признаков n = 100);
- задача идентификации личности по геометрическим признакам фотопортрета (1 = 5; m = 200; n = 153);
i=1
j
b
b
b
i1
il
V
- задача определения сорта вина (l = 3; m = 178; n = 13);
- задача диагностики рака груди (l = 2; m = 684; n = 9).
Алгоритмами распознавания А1, А2, A3 являются соответственно:
- алгоритмы, основанные на принципе потенциалов;
- алгоритмы вычисления оценок (АВО);
- модифицированные алгоритмы распознавания, основанные на принципе потенциалов (предлагаемая модель).
Сравнение результатов решения приведенных выше задач показывает, что при решении первых трех задач с использованием предлагаемой модели алгоритмов распознавания повысилась точность распознавания объектов контрольной выборки относительно традиционных алгоритмов А1 и А2. Данное обстоятельство связано с тем, что в этих задачах присутствует сильная взаимосвязь между признаками описания объектов, что позволяет построить эффективный алгоритм в рамках предлагаемой модели. В четвертой же задаче взаимосвязь между признаками несколько слаба, что повлекло за собой некоторое снижение точности распознавания алгоритма A3 относительно алгоритмов А1 и А2 (рис., a).
В предлагаемой модели для распознавания объекта используются только предпочтительные модели зависимости между признаками, что обусловило повышение скорости распознавания объектов во всех рассмотренных задачах (рис., в). Поэтому эту модель можно использовать при разработке систем распознавания, работающих в режиме реального времени. Вместе с тем необходимо отметить, что время, израсходованное на обучение алгоритма, увеличилось (рис., б), так как для построения эффективного алгоритма распознавания требуется оптимизировать большее число параметров, чем при использовании традиционной модели распознающих операторов, основанных на принципе потенциалов.
А1 А2 I A3
12 3 4 Задача
б
Результаты экспериментов: а - точность распознавания; б - время, израсходованное алгоритмом на обучение; в - время, израсходованное алгоритмом на распознавание
Заключение
Разработана модель распознающих операторов, основанных на принципе потенциалов, с учетом взаимосвязанности признаков. Основная идея этих операторов заключается в выявлении подмножеств взаимосвязанных признаков и выделении предпочтительной модели зависимости для каждого подмножества.
Применение разработанной модели позволяет улучшить точность распознавания и расширить область ее применения при решении прикладных задач. Данная модель распознающих операторов значительно снижает число вычислительных операций при распознавании неизвестного объекта и может быть использована при составлении различных программ, ориентированных на решение задач прогнозирования и классификации объектов, заданных в пространстве признаков большой размерности.
Литература
1. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. - М.: Наука, 1970. - 348 с.
а
в
2. ЖуравлевЮ.И. Избранные научные труды. - М.: Магистр, 1998. - 420 с.
3. Журавлев Ю.И., Камилов М.М., Туляганов Ш.Е. Алгоритмы вычисления оценок и их применение. - Ташкент: Фан, 1974. - 119 с.
4. Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения. - М.: Фазис, 2006. -159 с.
5. Камилов М.М., Фазылов Ш.Х., Мирзаев Н.М. Алгоритмы распознавания, основанные на оценке взаимосвязанности признаков // Математические методы распознавания образов: Тез. докл.
- М., 2007. - С. 140-143.
6. Лбов Г.С., Старцева Н.Г. Логические решающие функции и вопросы статистической устойчивости решений. - Новосибирск: Изд-во ИМ СО РАН, 1999. - 211 с.
7. Duda R.O., Hart P.E., Stork D.G. Pattern Classification, Second Edition. - New York: John Wiley, Inc., 2001. - 680 p.
8. Vapnik V. Statistical Learning Theory. - New York: John Wiley Sons, Inc., 1998. - 732 p.
9. Камилов М.М., Мирзаев Н.М., Раджабов С.С. Современное состояние вопросов построения моделей алгоритмов распознавания // Химическая технология. Контроль и управление.
- Ташкент, 2009. - № 2. - С. 67-72.
10. Фазылов Ш.Х., Мирзаев Н.М., Мирзаев О.Н. Об одной модели модифированных алгоритмов распознавания типа потенциальных функций // Математические методы распознавания образов: Тез. докл. - М., 2009. - С. 200-203.
11. Камилов М.М., Мирзаев Н.М., Раджабов С.С. Определение параметров модели алгоритмов распознавания, основанных на оценке взаимосвязанности признаков // Тр. Всерос. конф. «Знания -Онтологии - Теории» ЗОНТ-09 / Ин-т матем. СО РАН. - Новосибирск, 2009. - Т. 1. - С. 35-41.
12. Kohavi R. A study of cross-validation and bootstrap for accuracy estimation and model selection // Proc. ofthe 14-th International Joint Conference on Artificial Intelligence. - San Mateo, 1995. - P. 1137-1145.
