Формирование базы знаний по результатам радиомониторинга в целях решения задачи классификации радиоканалов Текст научной статьи по специальности «Компьютерные и информационные науки»

Формирование базы знаний по результатам радиомониторинга в целях решения задачи классификации радиоканалов

В СТАТЬЕ РАССМАТРИВАЮТСЯ МЕТОДЫ АВТОМАТИЧЕСКОГО ПОИСКА ЛОГИЧЕСКИХ ПРАВИЛ ПО РЕЗУЛЬТАТАМ РАДИОМОНИТОРИНГАДЛЯ РЕШЕНИЯ ЗАДАЧ КЛАССИФИКАЦИИ РАДИОСИГНАЛОВ. ПРЕДЛАГАЕТСЯ СТРАТЕГИЯ ФОРМИРОВАНИЯ БАЗЫ ЗНАНИЙ НА ОСНОВЕ ПОЛУЧЕННЫХ ЛОГИЧЕСКИХ ПРАВИЛ.

Аджемов С.С.,

начальник НИО МТУСИ, [email protected] Виноградов А.Н.,

ведущий инженер-программист МТУСИ,

[email protected]

Чиров Д.С.,

ведущий научный сотрудник МТУСИ, [email protected]

Существует множество моделей представления знаний, применяемых в различных предметных областях. Одной из наиболее часто применяемых в экспертных системах мониторинга является продукционная модель -модель основанная на правилах [1]. Эта модель отличается своей наглядностью, высокой модульностью, легкостью внесения дополнений и изменений, простотой механизма логического вывода. Совокупность хранимых знаний представляется в виде набора правил вида "если (условие) то (действие)". Под "условием" (антецедентом) понимается некоторое предложение-образец, по которому осуществляется поиск в базе знаний, а под "действием" (консеквентом) - действия, выполняемые при успешном исходе поиска (действия могут быть как промежуточными, выступающими далее как условия, так и терминальными или целевыми, завершающими работу системы). Экспертные системы, использующие продукционные базы знаний, позволяют использовать прямой (от данных к цели) и обратный (от цели для её подтверждения к данным) механизмы вывода.

При формировании базы знаний могут быть использованы знания экспертов предметной области, однако наибольший интерес представляет процесс автоматизированной обработки накопленной в ходе проведения

мониторинга информации с использованием систем интеллектуального анализа данных и их отдельного направления - "обнаружения знаний в базах данных" ("Data Mining"). Использование систем данного класса позволяет выявить неявные либо скрытые закономерности в анализируемых данных, построить набор классифицирующих правил и определить достаточный для проведения классификации набор признаков. Алгоритмы предъявляют минимальные требования к типу анализируемых данных и применимы для обработки разнородной информации, получаемой в ходе мониторинга.

Наиболее популярные подходы в рассматриваемом классе аналитических систем реализуют алгоритмы построения деревьев решений и ограниченного перебора.

Немаловажной особенностью данных алгоритмов является то, что результаты их работы прозрачны для восприятия человеком и мо-

гут быть легко интерпретируемы оператором-аналитиком (оценка эффективности указанных алгоритмов производится по конечному результату на независимых контрольных выборках или с помощью процедур кросс-вали-дизации).

Деревья решений позволяют свести анализируемые данные к набору простых правил, представленных в виде иерархической структуры - дерева. Корень дерева неявно содержит все классифицируемые данные, а листья - определенные классы после выполнения классификации. Промежуточные узлы дерева представляют пункты принятия решения о выборе или выполнения тестирующих процедур с атрибутами элементов данных, которые служат для дальнейшего разделения в этом узле (см. исунок).

Входной информацией для системы построения деревьев решений является обучающая выборка. Обучающая выборка содержит

Класс % п

Объект 3 65.81 408

Объект 4 34.19 212

Всего: 100 1-і 620

I

>1261.717

_L

Частота

_____і_____

ешяяешя

ИОбъект 4 0.87 2 I

Всего: 36.94 229

-----1

<=1261.717

L

Объект 3 46.29 181

Объект 4 53.71 210

Всего: 63.06 391

Уровень

> 0.695

--------1

<= 0.695

Объект 3 7.89 18

Объект 4 0 0 Объект 4 92.11 210

Всего: 26.29 163 Всего: 36.77 228

Структура дерева решений

множество примеров (объектов), каждый из которых характеризуется фиксированным набором атрибутов, причём один из них обязательно должен указывать на принадлежность объекта к определенному классу. Применительно к базам данных можно сказать, что несколько полей таблицы содержат параметры объекта, а одно поле указывает на принадлежность объекта к классу. Выходом системы является построенное по обучающей выборке дерево решений, отражающее найденные скрытые закономерности, и выявленный в ходе анализа набор признаков, достаточный для проведения классификации новых объектов.

Необходимым условием успешного применения системы является выполнение следующих требований [2].

— Перечень целевых классов необходимо сформулировать заранее. Алгоритмы не способны формировать перечень классов на основе группировки объектов из обучающей последовательности. Кроме того, классы должны быть четко очерченными, а не "расплывчатыми" — некоторый объект либо принадлежит к данному классу, либо нет. Другими словами, система пытается найти ответы на вопросы "какие наборы атрибутов характерны для каждого из классов, существуют ли закономерности, позволяющие в дальнейшем идентифицировать объекты, принадлежащие данному классу?"

— Применяемые в системе методы обучения требуют использовать обучающие выборки большого объема. При малом объеме на полученных в результате правилах будут сказываться индивидуальные особенности объектов, что может привести к неверной классификации незнакомых объектов.

— Данные в обучающей выборке должны быть представлены в формате "атрибут значение", т.е. каждый объект должен быть охарактеризован в терминах фиксированного набора атрибутов и их значений для данного объекта. Существуют методы обработки, которые позволяют справиться и с пропущенными атрибутами. Предполагается, что в таких случаях выход соответствующей тестирующей процедуры будет в вероятностном смысле распределен по закону, определенному на основе параметров только тех объектов, в которых такой атрибут определен.

На сегодняшний день существует значительное число алгоритмов, реализующих деревья решений — CART, C4.5, NewId, ITrule, CHAID, CN2 и т.д. Наиболее широко распространенным из них является алгоритм C4.5 [5]

— усовершенствованная версия алгоритма ID3 (Iterative Dichotomizer). Алгоритм исполь-

зует последовательность тестовых процедур, с помощью которых множество S разделяется на подмножества, содержащие объекты только одного класса. Ключевой в алгоритме является процедура построения дерева решений, в котором промежуточные узлы соответствуют тестовым процедурам, каждая из которых имеет дело с единственным атрибутом объектов из обучающей выборки.

Пусть Т представляет любую тестовую процедуру, связанную с одним из атрибутов, а (Q,Q ..., Qn} — множество допустимых выходных значений такой процедуры при ее применении к произвольному объекту х. Применение процедуры Т к объекту х будем обозначать как Т(х). Следовательно, процедура Т(х) разбивает множество S на составляющие {S,, S2,..., Sn}, такие, что

Si={x|T(x) = Q.}

Если рекурсивно заменять каждый узел Si поддеревом, то в результате будет построено дерево решений для обучающей выборки S. Как уже отмечалось выше, ключевым фактором в решении этой проблемы является выбор тестовой процедуры — для каждого поддерева нужно найти наиболее подходящий атрибут, по которому можно выполнять дальнейшее разделение объектов.

Используем для этого заимствованное из теории информации понятие энтропии. Энтропия — это число, описывающее объем информации, содержащейся в множестве сообщений М = {m,,m2, ...,mn}. Вероятность получения определенного сообщения mi из этого множества определим как р^). Объем информации, содержащейся в этом сообщении, будет в таком случае равен

I(mi) = -log p(mi). (1)

Таким образом, объем информации в сообщении связан с вероятностью получения этого сообщения обратной монотонной зависимостью. Поскольку объем информации измеряется в битах, логарифм в этой формуле берется по основанию 2.

Энтропия множества сообщений U(M) является взвешенной суммой количества информации в каждом отдельном сообщении, причем в качестве весовых коэффициентов используются вероятности получения соответствующих сообщений:

U(M) = -Б. p(mi) logp(mi), i=1, ..., n (2)

Чем большую неожиданность представля-

ет получение определенного сообщения из числа возможных, тем более оно информативно. Если все сообщения в множестве равновероятны, энтропия множества сообщений достигает максимума.

Способ построения дерева решений базируется на следующих предположениях:

• Корректное дерево решений, сформированное по обучающей выборке Б, будет разделять объекты в той же пропорции, в какой они представлены в этой обучающей выборке.

• Для какого-либо объекта, который нужно классифицировать, тестирующую процедуру можно рассматривать как источник сообщений об этом объекте.

Пусть N1 — количество объектов в Б, принадлежащих классу С, Тогда вероятность того, что произвольный объект с, взятый из Б, принадлежит классу С,, можно оценить по формуле

р(с е С,) = Ц/|Б|, (3)

а количество информации, которое несет такое сообщение, равно

1(с е С,) = -1од2р(т,)(с е С,) бит. (4)

Теперь рассмотрим энтропию множества целевых классов, считая их также множеством сообщений {С1,С2,...,Ск}. Энтропия также может быть вычислена как взвешенная сумма количества информации в отдельных сообщениях, причем весовые коэффициенты можно определить, опираясь на весомость классов в обучающей выборке:

и(М) = -Х, = 1;_кр(сеС,) х 1(с е С,) бит. (5)

Энтропия и(М) соответствует среднему количеству информации, которое необходимо для определения принадлежности произвольного объекта (с е Б), какому-то классу до того, как выполнена хотя бы одна тестирующая процедура. После того как соответствующая тестирующая процедура Т выполнит разделение Б на подмножества (Б^2, ..., Бп), энтропия будет определяться соотношением

иТ(М) = -Х, = и.к(|Б|/|Б;|) х и(Б,). (6)

Полученная оценка показывает, сколько информации еще необходимо после того, как выполнено разделение. Оценка формируется как сумма неопределенностей сформированных подмножеств, взвешенная в пропорции размеров этих подмножеств.

Из этих рассуждений очевидно следует эвристика выбора очередного атрибута для тестирования, используемая в алгоритме, -нужно выбрать тот атрибут, который обещает наибольший прирост информации. Прирост информации GS(T) после выполнения процедуры тестирования Т по отношению ко множеству Б равен

GS(T) = и(Б) - ЩБ). (7)

Такую эвристику иногда называют минимизацией энтропии, поскольку увеличивая прирост информации на каждом последующем тестировании, алгоритм тем самым уменьшает энтропию или меру беспорядка в множестве.

Рассмотрим самый простой случай, когда множество целевых классов включает всего два элемента. Пусть п1 — это количество объектов класса С1 в множестве обучающей выборки Б, а П2 — количество объектов класса С2 в этом же множестве. Таким образом, произвольный объект принадлежит к классу С1 с вероятностью п1/(п1+ П2), а к классу С2 с вероятностью п2/(п1 + П2). Ожидаемое количество информации в множестве сообщений М={С1,С2} равно

и(М) = -п1/( п1+ п2) 1од2(п1/( п1 + п2)) -

п2/( п1+ п2) 1од2(п2/( п1 + п2)). (8)

Отношение (пи + п2|,)/(п1+ п2) соответствует весу каждой ¡-й ветви дерева. Это отношение показывает, какая часть всех объектов Б принадлежит подмножеству Бг

Недостатком эвристики, основанной на приросте количества информации, является то, что она отдает предпочтение процедурам с наибольшим количеством выходных значений ^, Q2, ..., Qn). Возьмем, например, случай, когда практически бесполезные тесты будут разделять исходную обучающую выборку на множество классов с единственным представителем в каждом. Это произойдет, если обучающую выборку классифицировать по номеру измерения. Для описанной эвристики именно такой вариант получит преимущество перед прочими, поскольку Ыт(Б) будет равно нулю и, следовательно, разность Gs(T) = и(Б)

- Ыт(Б) достигнет максимального значения.

Для заданной тестирующей процедуры Т на множестве данных Б, которая характеризуется приростом количества информации Gs(T), возьмем в качестве критерия отбора относительный прирост НбП"), который определяется соотношением

Нб(П = Gs(T)| У(Б), (9)

где

V(S) = -X =ir.k(|S|/|Si|) x !од2(|Б|/|Б,|) (10).

Важно понять, в чем состоит отличие величины V(S) от U(S). Величина V(S) определяется множеством сообщений {Qi, Q2,...,Qn} или, что то же самое, множеством подмножеств (Si, S2,...,Sn), ассоциированных с выходными значениями тестовой процедуры, а не с множеством классов (Ci, С2,...,Ск}. Таким образом, при вычислении величины V(S) принимается во внимание множество выходных значений теста, а не множество классов.

Новая эвристика состоит в том, что выбирается та тестирующая процедура, которая максимизирует определенную выше величину относительного прироста количества информации. Теперь те пустые тесты, о которых было упомянуто выше и которым прежний алгоритм отдал бы преимущество, окажутся наименее предпочтительны, поскольку для них знаменатель будет равен log2(N), где N — количество элементов в обучающей выборке.

После того, как дерево решений будет построено, необходимо преобразовать его в набор логических правил, пригодный для заполнения базы знаний экспертной системы классификации радиосигналов.

Логические правила имеют следующий вид [3]:

IF (условие 1) и (условие 1) и ... (условие N) THEN (заключение), или IF (A) THEN (B)

Примеры условий: X = C^ X < C2 и т.д., где X — какой-либо параметр, Ci — константы.

Любое правило в виде условного суждения ЕСЛИ (А) ТО (В) имеет две основные характеристики — точность и полноту [3].

Точность правила — это доля случаев, когда правило подтверждается, среди всех случаев его применения (доля случаев B среди случаев A).

Полнота правила — это доля случаев, когда правило подтверждается, среди всех случаев, когда имеет место объясняемый исход B (доля случаев A среди случаев B).

Таким образом, наиболее ценны правила, обладающие максимально возможной полнотой при заданной точности. Тем не менее, для предметных областей со сложной системной организацией часто не удается найти единственное if-then правило, обладающее 100% полнотой.

Дерево решений можно преобразовать в набор логических правил. Условия в правиле

— это тестовые процедуры, выполняемые в промежуточных узлах дерева, а заключение правила — отнесение объекта к определенному классу.

Однако строить набор правил перечислением всех возможных путей на графе — процесс весьма неэффективный. Некоторые тесты могут служить просто для того, чтобы разделить дерево и таким образом сузить пространство выбора до подмножества, которое в дальнейшем уточняется с помощью проверки других, более информативных атрибутов. Это происходит по той причине, что не все атрибуты имеют отношение ко всем классам объектов.

Применима следующая стратегия формирования множества правил из дерева решений [2].

1. Сформировать начальный вариант множества правил, перечислив все пути от корня дерева к листьям.

2. Обобщить правила и при этом удалить из них те условия, которые представляются излишними. Например, в дереве решений одна ветвь отвечает условию "Частота >3000", в последствии эта ветвь разбивается на две подвет-ви по параметрам "Частота >3200" и "Частота <= 3200". В этом случае правило для одной подветви будет включать два условия: "Частота >3000" и "Частота >3200". Очевидно, что условие "Частота >3000" является лишним, так как условие "Частота >3200" уточняет его.

3. Сгруппировать правила в подмножества в соответствии с тем, к каким классам они имеют отношение, а затем удалить из каждого подмножества те правила, которые не вносят ничего нового в определение соответствующего класса.

4. Упорядочить множества правил по классам и выбрать класс, который будет являться классом по умолчанию.

Упорядочение правил, которое выполняется на шаге (4), можно рассматривать как форму механизма разрешения конфликтов. Порядок классов внутри определенного подмножества теперь уже не будет иметь значения. Назначение класса по умолчанию можно считать своего рода правилом по умолчанию, которое действует в том случае, когда не подходит ни одно другое правило.

Описанный алгоритм успешно применялся при обработке достаточно больших обучающих выборок, основанных на информации сигнально-параметрических баз данньх, содержащих до сотен тысяч записей. Скорость работы алгоритма практически линейно зависит от произведения количества объектов в обучающей выборке на количество атрибутов, использованное для их представления. Кроме того, система способна работать с зашумленными и неполными данными, что так же немаловажно при решении задачи классификации и идентификации радиоизлучений.

Вторым классом систем поиска логических правил являются системы, реализующие алгоритмы ограниченного перебора. Современные реализации этих алгоритмов позволяют обойти некоторые недостатки методов построения деревьев решений. В большинстве случаев при построении деревьев решений используется индуктивное обучение (индукция деревьев), основанное на методе "разделения и захвата". Данный метод для перехода на следующий шаг требует прохода по всей длине построенного дерева. Оценка каждого правила происходит независимо от других правил в дереве. Это потенциально неоптимальный подход, так как в этом случае можно получить правила излишней длины, то есть, различные ветви дерева могут содержать в себе одинаковые узлы (последовательности узлов). Альтернативой этому подходу может служить чередование правил при их построении, то есть необходимо оценивать качество каждого правила в контексте существующего набора. По аналогии с вышеизложенным, такой подход можно назвать "захват без разделения" ("conquering without separating" — CWS [4]).

В CWS каждый пример это вектор, состоящий из пар значений — признак и спецификация класса, к которому он принадлежит, признак может быть как символьным, так и числовым. Каждое правило состоит из антецедентов (тела) и прогнозируемого класса (головы). Каждый антецедент является условием, организованным на единственном признаке. Условия на символьных признаках могут иметь вид равенства ai = vij, где ai — признак, а Vij — возможное значение признака. Условия на числовых признаках имеют вид неравенств ai > vij или ai < vij. Также, каждое правило CWS связано с вектором вероятности класса; прогнозируемый класс — это класс с самой высокой вероятностью. Для класса Ci, Pr(Ci) оценивается как nri/nr, где nr — количество примеров покрываемых правилом r, а nri — количество примеров, принадлежащих к классу i из nr. Когда пример охвачен более чем одним правилом, вектора вероятности классов всех охватывающих этот пример правил суммируются, и класс с самой высокой вероятностью выбирается победителем для этого примера. Это подобно подходу, используемому в алгоритме CN2, только вместо частот используются вероятности.

Псевдокод алгоритма CWS представлен в табл. 1. Первоначально набор правил пуст, и всем примерам назначена принадлежность к превалирующему классу. В каждом цикле новое правило с пустым телом предварительно (условно) добавляется к набору, и каждое

правило уже там активируется одним дополнительным антецедентом. Таким образом, индукция второго правила начинается сразу после начала первого и так далее, пока не индуцируются все правила на этом шаге. В конце каждого цикла, если к правилу не добавляется антецедент, то правило деактивируется. Если деактивируется правило с пустым телом, то это правило удаляется из набора. Правило с пустым телом указывает на пустой (несуществующий) класс, но это не существенно, так как данное правило начинает участвовать в процессе классификации примеров только в том случае, ели имеет хотя бы один антецедент, а наличие антецедента сразу позволяет определить класс, к которому относится большинство примеров удовлетворяющему данному антецеденту. Прогнозируемый класс правила может изменяться в случаях когда к правилу добавляются новые антецеденты. Асс(ВБ) — точность набора правил ВБ на обучающей выборке (то есть доля правильно классифицируемых примеров правилами ВБ). Большинство алгоритмов индукции правил оценивают точность измененного правила только на примерах, которые оно покрывает. Это не позволяет учитывать влияние любых других правил, покрывающих эти примеры, и приводит к специализации (сужению) правила, чего следует избегать в пользу нахождения обобщенных правил. CWБ не допускает этого за счет глобальной процедуры оценки и индукции вложенных правил.

Рассмотрим пример. Пусть имеется четыре примера: а, Ь, с, <і Каждый пример описывается двумя признаками х и у. Обозначим с, и с2 — классы к которым относятся данные примеры. Таблица классов будет иметь вид:

x1 Уі c1

x1 У2 c1

x2 Уз c2

Х3 Уз С2

Отсюда перечень всех возможных антецедентов:

х > х2;

х <х2;

У >У2;

У < У2.

Создадим пустой набор правил 1?Б и добавим в него одно правило I? с пустым телом.

На первом шаге цикла.

Добавляем в тело антецедент № 1 — х > х^ Рассчитываем вектор вероятностей классов:

Рг С )= ^ 1 = 0; пг 1

Рг (с2 ) = ^ = 1 = 1. пг 1

Отсюда предсказуемый класс для данного правила с^ Точность полученного набора правил, состоящего из одного правила І? = {х > х2І, равна 25%.

Рассмотрим правило с антецедентом х < х^ в итоге имеем правило вида I? = {х < х^. Рассчитываем вектор вероятностей классов:

рг (с )=^ = 2 = 1;

пг 2

РГ (С2 ) = ^ = 2 = 0.

пг 2

Отсюда предсказуемый класс для данного правила с1. Точность полученного набора правил, состоящего из одного правила І? = {х < х2І, равна 50%.

Рассмотрим антецедент у > У2, в итоге имеем правило вида І? = {у > У2}. Рассчитываем вектор вероятностей классов:

Рг (с )= ^ = 2 = 0; пг 2

Таблица 1

Пусть набор правил = 0 Повторять

Добавляем одно активное правило с пустым телом в набор .

¡.Для каждого активного правила К из набора /?.?,

2.Для каждого возможного антецедента А V,

Принимаем /?’ = /? с добавленным в тело

антецедентом А V.

Рассчитываем вектор вероятностей классов и предсказываемый класс для /?'. Принимаем /?5' = /?5 с Я замененным на /?'.

Если Лсс(/?5")> Лсс(&$), то КБ = /?5'. Возврат на 2.

Если РБ не изменилось, то деактивируем правило Я. Возврат на 1.

Пока все правила не деактивируются.

Возвращаем полученный набор правил /?5.

Г

Отсюда предсказуемый класс для данного правила с2. Точность полученного набора правил, состоящего из одного правила І? = {у > У2}, равна 50%.

Рассмотрим следующий антецедент у < У2, в итоге имеем правило вида I? = {у < у2}. Рассчитываем вектор вероятностей классов:

рг (с )=^ = 1;

Pr (c2)Л = о. n

Данное правило имеет точность 25%.

По окончанию первого шага цикла, сохраним правило с максимальной точностью (в случае наличия двух и более правил с максимальной точностью, выбираем любое из них), то есть правило I? = {х < х2 с,}.

Переходим на следующий шаг цикла и добавляем к набору пустое правило. То есть в наборе у нас теперь два правила 1?, = {х < х2 с,}

и R2= { }.

Добавляем в активное правило R2 = { ) последовательно каждый из возможных антецедентов и рассчитываем для полученных наборов точность:

Rl = {х < х2 с,}, R2 = {х > х2 с2} —

Acc(RБ) = 75%

Rl = {х < х2 с,}, R2 = {х < х2 с,} —

Асс^Б) = 50%

^ = {х < х2, с^ R2= {у > у2, с2} —

Acc(RБ) = ,00%

^ = {х < х2 с,} R2= {у < у, с2} —

Acc(RБ) = 50%

Сохраняем набор Rl = {х < х2 с,},

^= {у > у2, с2}.

Добавляем в активное правило Rl = {х < х2, с,} последовательно каждый из возможных антецедентов и рассчитываем для полученных наборов точность:

Rl = {х < х2 х > х2 с,}, R2 = {у > у2 с2} —

Асс^Б) = 75% '

R1 = {х < х2, х < х2, c1}, К2={у > у2, с2} —

Acc(RБ) = ,00%

R1 = {х < х2 у > у2 0}, Р2= {у > у2 с2} —

Acc(RБ) = 50%

^ = {х < х2, у < у2, c1}, R2= {у > у2, с2} —

Acc(RБ) = 75%

Как видно из полученных данных не один новый набор не улучшил точность. Соответственно, оставляем предыдущий набор Rl = {х < х2 с,}, Р2 = {у > у2 с2} и правило Rl — деактивируем.

Переходим на следующий шаг. Добавляем в набор RБ пустое правило Rз = { }. В итоге имеем набор из трех правил Rl, R2, Rз, имеющий два активных правила — R2 и Rз. К этим правилам и будем добавлять новые антецеденты.

Цикл по Rз:

^ = {х < х2, c1}, R2={у > у2, c2},

R3 = {x < X2 R1 = {x < x2 R3 = {x > X-R1 = {x < x2 R3= {y > У2 R1 = {x < x2 R3= {У < У2

c0} — Acc(RS) = 100%

c0} r2= {У > У2, c2}, c2} — Acc(RS) = 'l00%

c1}, r2= {У > У2 c2}, c2} — Acc(RS) = 'l00%

c0} r2= {У > У2, c2}, c0} — Acc(RS) = 'l00%

Не один из полученных наборов не улучшил точность. Поэтому правило Rз остается с пустым телом и деактивируется.

Цикл по R2:

Rl = {х < х2 с,}, R2 = {у > у2 х > х2,с2} —

Acc(RБ) = 75%

R1 = {х < х2 с,}, R2= {у > у2 х < х2,0} —

Acc(RБ) = 50%

R1 = {х < х2, cl}, ^= {у > у2, у > у2,с2} —

Acc(RБ) = !00%

R1 = {х < х2, c1}, R2= {у > у2, у < у2,с2} —

Acc(RБ) = 75%

Ни один из полученных наборов не улучшил точность. Поэтому правило R2 остается без изменений и деактивируется.

Так как в наборе не остается не одного активного правила, обучение останавливается.

В результате имеем набор правил: R, = {x < x2 c,}, R2= {y > y2 c2}, позволяющий разделить обучающее множество объектов со стопроцентной точностью.

В заключение хочется отметить, что описанные в статье методы автоматического поиска правил могут быть существенно оптимизированы и расширены. Идея усиления решения заключается в построении не одного, а сразу нескольких деревьев решений. При этом главное требование к таким деревьям решений заключается в том, чтобы они как можно меньше дублировали друг друга. Эти деревья будут давать ошибки, но на разных объектах. В результате, использование совокупности таких деревьев, или правил, полученных из них, возможно, приведет к приросту точности классификации. Построение множества различных деревьев возможно за счет выбора отличных друг от друга параметров, по которым происходит разбиение множества в узле.

Особо стоит отметить подход, при котором возможно построение нескольких деревьев решений (а также наборов правил), общее количество которых соответствует количеству классов в обучающей выборке. Каждое дерево (набор правил) при этом предназначено для классификации объектов только одного класса. Совокупность отдельных правил, полученных из таких деревьев, будет наиболее точно отражать найденные закономерности и, возможно, позволит в дальнейшем производить более точную классификацию неизвестных объектов.

Литература

1. Гаврилова Т., Хорошевский В. Базы знаний интеллектуальных систем. — СПб: Питер, 2000.

2. Джексон П. Введение в экспертные системы. /Пер. с англ. : Уч. пос. — М.: Издательский дом "Вильямс", 2001.

3. Дюк В., Самойленко А Data mining: учебный курс. — СПб: Питер, 2001.

4. Pedro Domingos. Fast Discovery of Simple Rules. AAAI/IAAI, Vol. 2 1996: 1384.

5. Quinlan J.R. C4.5: Programs for Machine learning/ San Mateo, CA: Morgan Kaufmann, 1993.

r