Построение нейро-нечётких моделей по прецедентам с хэширующим преобразованием на обобщённуюось Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93

С.А. СУББОТИН*

ПОСТРОЕНИЕ НЕЙРО-НЕЧЁТКИХ МОДЕЛЕЙ ПО ПРЕЦЕДЕНТАМ С ХЭШИРУЮЩИМ ПРЕОБРАЗОВАНИЕМ НА ОБОБЩЁННУЮ ОСЬ

Запорожский национальный технический университет, Запорожье, Украина_

Анотація. Вирішено задачу автоматизації побудови діагностичних і розпізнавальних моделей за прецедентами на основі нейро-нечітких мереж. Запропоновано метод побудови нейро-нечітких мереж з хешуючим перетворенням на узагальнену вісь, який дозволяє підвищити рівні автоматизації синтезу та узагальнення моделей, спростити структуру і скоротити число параметрів, а також підвищити інтерпретабельність нейро-нечітких мереж. Розроблено програмне забезпечення, що реалізує запропонований метод, а також проведені експерименти з його дослідження при вирішенні практичних завдань.

Ключові слова: вибірка, редукція даних, відбір екземплярів, відбір ознак, нейро-нечітка мережа, модель, діагностування, розпізнавання образів.

Аннотация. Решена задача автоматизации построения диагностических и распознающих моделей по прецедентам на основе нейро-нечетких сетей. Предложен метод построения нейронечётких сетей с хэширующим преобразованием на обобщённую ось, который позволяет повысить уровни автоматизации синтеза и обобщения моделей, упростить структуру и сократить число параметров, а также повысить интерпретабельность нейро-нечетких сетей. Разработано программное обеспечение, реализующее предложенный метод, а также проведены эксперименты по его исследованию при решении практических задач.

Ключевые слова: выборка, редукция данных, отбор экземпляров, отбор признаков, нейро-нечеткая сеть, модель, диагностирование, распознавание образов.

Abstract. The problem of automation build the diagnostic and recognizing models by precedents on the basis of neuro-fuzzy networks is solved. The method of neuro-fuzzy network construction with hashing transformation on the generalized axis is proposed. It allows to increase the levels of automation of synthesis and of generalization of models, to simplify the structure and to reduce the number ofparameters, and to increase the interpretability of neuro-fuzzy networks. Software implementing proposed method is developed. The experiments with proposed method in practical problem solving were conducted. Keywords: sample data reduction, example selection, feature selection, neuro-fuzzy network model, diagnosis, pattern recognition.

1. Введение

При решении задач построения диагностических и распознающих моделей по прецедентам широкое распространение на практике получили нейро-нечеткие сети (ННС) [1-2], сочетающие способности к обучению на основе данных и высокую интерпретабельность получаемых моделей.

Как правило, при построении модели на основе ННС для выделения нечётких термов и правил требуется либо наличие экспертных знаний [3], что на практике может быть недостижимо из-за отсутствия экспертных знаний или их неполноты, либо реализация процедур кластерного анализа [4], что приводит к большим затратам ресурсов ЭВМ на расчёт расстояний между экземплярами и итеративную обработку выборки.

При этом для задач большой размерности известные методы построения нейронечетких моделей [5] затрачивают чрезмерно большой объем ресурсов ЭВМ и приводят к получению моделей, характеризующихся высоким уровнем сложности, что, в свою очередь, приводит к низкому уровню обобщения обучающих данных и снижает интерпрета-бельность модели.

20

© Субботин С.А., 2015

ISSN 1028-9763. Математичні машини і системи, 2015, № 1

Целью данной работы является создание метода, позволяющего автоматизировать процесс построения диагностических и распознающих моделей на основе нейро-нечетких сетей для задач с большой размерностью данных.

2. Постановка задачи

Пусть мы имеем исходную выборку X = < x, у > - набор S прецедентов о зависимости

у (x), x = (x5}, у = (у5}, ^ = 1, 2, ..., S, характеризующихся набором N входных признаков {xj }, j = 1, 2, ..., N, где j - номер признака, и выходным признаком у . Каждый

5 -й прецедент представим как < x5, у5 >, x5 = {xSj }, где xSj - значение j -го входного, а

у5 - значение выходного признака для 5 -го прецедента (экземпляра) выборки, у5 є (1, 2, ..., K }, где K - число классов, K > 1.

Тогда задача синтеза ННС будет заключаться в определении такой структуры F() и значений параметров w ННС, при которых будет удовлетворен критерий качества модели f (F(), w, < x, у >) ® opt, где opt - условное обозначение оптимума [6].

В случае, когда исходная выборка имеет большую размерность, перед построением ННС необходимо решить задачу сокращения размерности обучающих данных, которая в

свою очередь заключается в отборе экземпляров (дано: < x, у >, надо: < x', у'>, x' с {x5 }, у1 = (у5 | x5 є x'}, S' = | у'|, S1 < S, f (< x', у' >, < x, у >) ® opt, отборе информативных признаков (дано: < x, у >, надо: < x',у >, x'c{xj}, N =| x5 |, N'<N, S' = S,

f (< x', у >, < x , у >) ® opt, конструировании искусственных признаков (дано: < x, у >,

надо: < x', у >, x' = (x';- }, x) = Ft ({xj }), S' = S, f(< x', у >, < x, у >) ® opt, где Ft - i -е преобразование.

3. Метод построения нейро-нечётких сетей

Поскольку, как отмечено выше, при построении ННС в условиях заданной обучающей выборки большой размерности существенно возрастают требования к ресурсам ЭВМ, перед построением модели на основе ННС необходимо сократить размерность данных путем сокращения размерности признакового пространства и отбора наиболее значимых экземпляров.

Сокращение размерности признакового пространства, с одной стороны, возможно обеспечить путем отбора подмножества наиболее информативных признаков из исходного набора признаков [7]. С другой стороны, размерность признакового пространства возможно сократить путем формирования на основе исходного или сокращенного набора признаков искусственного конструируемого признака с помощью преобразования, отображающего обучающие данные из многомерного исходного пространства признаков в одномерное пространство обобщённого признака [8]. При этом целесообразно совместить преобразование признаков и отбор наиболее значимых признаков в одной процедуре так, чтобы преобразование на обобщённую ось учитывало только наиболее информативные исходные признаки.

Дополнительным средством сокращения размерности признакового пространства может служить его дискретизация посредством разбиения признаков на интервалы - термы. Это позволит повысить обобщающие свойства модели относительно исходных данных, автоматизировать формирование термов посредством исключения пользователя из

ISSN 1028-9763. Математичні машини і системи, 2015, № 1

21

процесса построения модели, а также, по сути, реализовать процедуру, аналогичную кластер-анализу, но не требующую расчета расстояний между экземплярами [6, 7, 9].

Сокращение обучающей выборки данных путём отбора наиболее важных экземпляров в исходном пространстве признаков для выборок большого объема представляется с вычислительной точки зрения крайне сложной задачей [6]. Поэтому отбор экземпляров целесообразно осуществлять по одномерной оси конструируемого признака [9].

Дополнительным средством упрощения отбора экземпляров является оперирование не значениями исходных признаков при преобразовании на обобщенную ось, а номерами термов-интервалов признаков, к которым относится экземпляр. Это позволит за счет обобщения данных сгруппировать по обобщенной оси близко расположенные экземпляры в исходном пространстве признаков.

Объединяя рассмотренные идеи, получим метод построения нейро-нечетких сетей с преобразованием на обобщённую ось, заключающийся в выполнении следующих этапов.

Этап инициализации: задать исходную выборку X = < х, у > .

Этап редукции признакового пространства: сформировать преобразование из исходного N-мерного пространства признаков на обобщённую ось x*, дискретизируя признаки, оценивая их значимость и выделяя подмножество наиболее информативных признаков.

Этап редукции набора прецедентов: для исходной выборки, отображенной с помощью сформированного преобразования на обобщённую ось х*, выделить экземпляры, находящиеся на границах классов и кластеров и занести их в обучающую выборку.

Этап построения нейро-нечеткой сети: на основе редуцированной обучающей выборки в одномерном пространстве обобщенной оси х* выделить нечёткие термы и сформировать продукционные правила, а также настроить параметры ННС.

4. Формирование обобщённого признака

Для заданной выборки < х, у > сформируем разбиение исходного пространства признаков. Для этого вначале с помощью одного из методов [6, 7, 9] разобьём диапазон значений

каждого j -го признака Xj на интервалы х

jq

=< ljq ’

rjq >, где х jq - q -й интервал значе-

jq

ний j -го признака, ljq, rjq - соответственно, значения левой и правой границ q -го интервала значений j -го признака. Обозначим Qj - число интервалов значений j -го при-

знака.

После этого для каждого q -го интервала значений j -го признака определим число экземпляров g -го класса, попавших в соответствующий интервал, Sjqg :

s

jqg

і К

і=і

jq

< х

< r ■ ys

jq

g

}, j=1, 2, ...., N, q = 1, 2, ..., Qj, g=1, 2, ...,

K,

S

а также общее число экземпляров всех классов, попавших в q -й интервал значений j -го признака:

S jq

Z Iі l jq < х j < rjq } j 1 2

S=1

, N, q = 1, 2, ..., Qj.

Далее оценим значимость q -го интервала j -го признака по формуле

22

ISSN 1028-9763. Математичні машини і системи, 2015, № 1

w

jq

0 Sjq = 0;

max {S

g=1,2,...,K

jqg-

S

> S jq > 0

jq

j =1, 2, ...., N, q=1, 2, ..., Qj .

Чем больше будет в интервале экземпляров разных классов, тем сложнее в нём разделить экземпляры, тем меньше будет полезность интервала для принятия решения о разделении экземпляров. Все интервалы, о которых в выборке отсутствует информация, целесообразно также исключить из рассмотрения, присвоив им нулевые веса - оценки значимости.

После этого определим индивидуальные оценки значимости для каждого j -го при-

знака, j =1, 2,

N:

w,

Qj

V w ■

^ jq

q=1________

max {Qp}

p =1,2,...,N F

или wj

max {wjq} q=1,2,...,Q/ Jqi

max {Qp}

p=1,2,..., N F

Чем больше будет у j -го признака полезных для разделения классов интервалов, тем больше значение wj, которое в наилучшем случае будет равно единице.

Затем попарно определим эквивалентность q -го и p -го интервалов значений для j -го и i -го признаков:

S

e . . = jq*p

!{1| ijq £ x'S £ ijq,lip £ xs £ lip} _________________________________________, e

max{Sjq, Sip }

jqip

eipjq, i =1, 2, ..., N, j = i +1, i +2, ..., N .

После чего оценим эквивалентность j -го и i-го признаков:

S

V{1|ijq £xsj £ijq,lip £xs £lip}

ejqip = —---------tt;—g, 7--------, ej'qip = eipjq, I =1, 2, ..., N, j = I +1, I +2, ..., N ■

max{S jq, Sip }

Далее выполним редукцию признаков. Рассмотрим попарно j -й и i -й признаки, i =1, 2, ..., N, j = i +1, i +2, ..., N :

- если ejqip =1., то j -й и i -й признаки абсолютно эквивалентны (дублируются), оставим из них признак с наименьшим номером;

- если ejqip > єп , где єп - заданное значение порога, то удалим соответствующий

интервал значений того признака, который имеет большее значение оценки информативности;

- удалим также все интервалы, в которые не попал ни один экземпляр, то есть те, у которых w jq =0.

В итоге получим редуцированный набор признаков, не содержащий дублирующихся признаков и интервалов значений (термов). Перенумеруем признаки и интервалы, пропуская удалённые.

Далее сформируем хэширующее преобразование на ось обобщённого признака. При этом мы будем стремиться к тому, чтобы формируемое преобразование минимизировало

ISSN 1028-9763. Математичні машини і системи, 2015, № 1

23

число используемых признаков и интервалов, а также минимизировало бы число коллизий - ситуаций, когда несколько экземпляров, принадлежащих к разным классам, попадают в один и тот же интервал значений признака.

Установим упорядоченный набор отобранных признаков х' = 0, а исходный редуцированный набор признаков обозначим х = {хj } . Обозначим текущий набор экземпляров,

входящих в коллизии (конфликтный набор), как х * .

До тех пор, пока имеются неотобранные признаки, позволяющие уменьшить число коллизий, и относительно сформированного набора признаков х' имеются экземпляры, вступающие в коллизию, следует выполнять такие действия:

- среди всех признаков в х найти один признак с наименьшим числом коллизий, а при наличии нескольких таких признаков отдать предпочтение признаку с наименьшим числом интервалов;

- выделить из обучающей выборки все экземпляры, участвующие в коллизиях, относительно интервалов выбранного признака;

- последовательно просматривая признаки в порядке возрастания числа коллизий, найти признак, относительно интервалов которого выделенные экземпляры образуют меньше всего коллизий, и добавить его в набор х', после чего удалить из х; удалить из конфликтного множества экземпляров х * те экземпляры, которые не входят в коллизии относительно добавленного признака.

После чего перенумеруем последовательно оставшиеся интервалы признаков в х'.

Для отображения на ось обобщённого признака экземпляра х5 в исходной системе координат вначале необходимо определить номера интервалов каждого входящего в х' признака, в которые попадает экземпляр, с исключением из нумерации удаленных интервалов. Затем сформировать целочисленную координату по обобщённому признаку (хэш) путём последовательной записи в бинарном виде номеров интервалов признаков из х', в

которые попал экземпляр х5. При этом более значимые признаки из х' будут иметь большие бинарные веса.

5. Формирование обучающей и тестовой выборок

Для сформированного преобразования отобразим выборку X на обобщённую ось и получим выборку на обобщённой оси < х*, у >. Далее упорядочим экземпляры на обобщённой оси в порядке неубывания значений обобщённой оси х* .

Просматривая экземпляры на обобщённой оси слева направо, включим в обучающую выборку X' те экземпляры, которые являются смежными на обобщённой оси, но принадлежат к разным классам:

X' = X'u{< х*,ys > \s = 1,2,...,S,p = s +1,s + 2,...,S, —3g = 1,2,...,S: | х* -х* |<| х* -х*! |,ys Ф ур}, а также экземпляры, образующие коллизии:

X' = X'u{< х*, ys > |s = 1,2,..., S, Зр, р Ф s, р = 1,2,..., S : х* = х*р, ys Ф ур }.

Экземпляры, не вошедшие в обучающую выборку, занесём в тестовую выборку:

X„.

= Xтест. и{< х*,ys > s = 1,2,...,S :< х*,ys >ї X'}.

24

ISSN 1028-9763. Математичні машини і системи, 2015, № 1

6. Построение нейро-нечеткой сети с преобразованием на обобщённую ось

ННС будем синтезировать на основе редуцированной выборки по обобщённой оси X'. Вначале упорядочим экземпляры выборки X' в порядке возрастания координаты по обобщённой оси х*.

Затем, просматривая слева направо экземпляры по обобщённой оси, выделим интервалы значений обобщённой оси для каждого класса: {tq =< lq, rq, kq >}, где tq - q -й

терм (интервал) обобщённого признака, lq - левое граничное значение q -го интервала обобщённой оси, rq - правое граничное значение q -го интервала обобщённой оси, kq -номер класса экземпляров, находящихся в q -м интервале обобщённой оси.

Далее для каждого класса g =1, 2, ..., K относительно распознаваемого экземпляра

< х%, ys > сформируем чёткое продукционное правило вида:

если \J{4 Є tq I kq = g} то yl = g,

q=1,2,...,Q

где Q - число интервалов обобщённой оси.

На основе определенных параметров интервалов настроим функции принадлежности к нечётким термам:

|!q (х* ) = exp

^ х* - aq ^ _________ч

2b

q J

где m (xl) - функция принадлежности экземпляра х* к q -му терму обобщённой оси, aq и bq - настраиваемые параметры функции принадлежности к q -му терму обобщённой оси, которые предлагается устанавливать как aq = 0,5(lq + rq), bq = rq -1 .

После чего зададим правила определения принадлежностей распознаваемого экземпляра к классам:

mg (х* ) = max {m q (x* )| kq = g}, q = 1,2,..., K,

q =1,2,...,Q

где mg (х*) - функция принадлежности экземпляра х* к g -му классу.

Затем определим способ дефаззификации:

ys* = arg max {mg(х*)}.

g=1,2,..., K

Это позволит нам представить сформированную нечёткую систему в виде ННС, схема которой изображена на рис. 1. На входы сети подаются значения признаков распознаваемого экземпляра в исходной системе признаков, которые затем преобразуются в координату на обобщённой оси с помощью сформированного преобразования. После чего выполняется фаззификация, то есть определяются значения принадлежностей распознаваемого экземпляра к термам обобщённой оси (узлы фаззификации на рис. 1 изображены треугольниками, повернутыми влево), на основе которых определяются принадлежности распознаваемого экземпляра к классам (на рис. 1 данные узлы показаны окружностями), которые далее объединяются и дефаззифицируются узлом, изображенным треугольником, повернутым вправо.

ISSN 1028-9763. Математичні машини і системи, 2015, № 1

25

Рис. 1. Схема ННС с преобразованием на обобщённую ось

После синтеза структуры и установки параметров ННС целесообразно осуществить проверку её работы для экземпляров тестовой или всей исходной выборки.

Если используемый критерий качества работы полученной ННС [10] удовлетворен, то завершить построение ННС, в противном случае подстроить значения параметров функций принадлежности к термам обобщённой оси с помощью методов эволюционного поиска [5, 7] или на основе техники обратного распространения ошибки [1].

7. Эксперименты и результаты

Для экспериментальной проверки работоспособности предложенного метода была разработана его программная реализация, с помощью которой проводились эксперименты по построению диагностических и распознающих моделей для различных практических задач [6, 11], характеристики которых приведены в табл. 1. Здесь, кроме ранее введенных, используются следующие обозначения: n = NS - размерность исходной выборки, ri = N?S? - размерность редуцированной выборки, отображённой на обобщённую ось, t?об. Itоб. -отношение времени настройки параметров нечётких термов до достижения приемлемого качества модели для сети, синтезированной с помощью предложенного метода, t?об. и времени настройки параметров нечётких термов до достижения приемлемого качества модели для сети Мамдани-Заде t об..

Как видно из табл. 1, использование предложенного метода позволяет сократить размерность обучающих данных в среднем в 500 раз, а объём выборки в 5-10 раз, что существенно снижает требования к ресурсам ЭВМ, обеспечивая при этом сохранение в сформированной подвыборке важнейших для последующего анализа топологических свойств исходной выборки. Благодаря снижению размерности обучающих данных, а также повышению обобщающих свойств моделей относительно данных, достигается существенное сокращение времени настройки параметров модели по сравнению с классической ННС Мамдани-Заде, синтезируемой в исходном пространстве признаков.

Таблица 1. Характеристики исходных и редуцированных выборок, а также процесса построения ННС___________________________________________________________________

Задача K N S n S VS N 4N ri In t об.Itоб.

Диагностирование патологий плода по кардиотокограмме [11] 3 23 2126 48898 0,11 0,04 0,005 17,1

Предсказание типа лесного покрова [11] 7 54 581012 31374648 0,09 0,02 0,002 480,2

Диагностирование лопаток газотурбинных авиадвигателей [6] 2 10000 32 320000 0,19 110-4 210-5 1,9

26

ISSN 1028-9763. Математичні машини і системи, 2015, № 1

Результаты проведенных экспериментов подтвердили работоспособность и практическую применимость предложенного метода, а также реализующего его программного обеспечения и позволяют рекомендовать разработанный метод и программное обеспечение для использования при решении задач диагностирования и распознавания образов по признакам.

8. Заключение

В работе решена актуальная задача автоматизации построения диагностических и распознающих моделей по прецедентам на основе нейро-нечетких сетей.

Научная новизна результатов работы заключается в том, что впервые предложен метод построения нейро-нечётких сетей, который для заданной выборки прецедентов формирует преобразование выборки из исходного пространства на обобщённую ось, дискретизируя признаки, оценивая их значимость и выделяя подмножество наиболее информативных признаков. После чего для выборки, отображенной на обобщённую ось, выделяет наиболее значимые экземпляры, на основе которых в одномерном пространстве обобщенной оси выделяет нечёткие термы, а также формирует структуру и настраивает параметры ННС в автоматическом режиме.

Это позволяет повысить уровень автоматизации синтеза ННС за счёт исключения пользователя из процесса формирования разбиения признаков на термы и задания правил, повысить уровень обобщения данных за счёт сокращения числа признаков, дискретизации признаков и отбора экземпляров, упростить структуру ННС и сократить число её параметров, снизить вариативность получаемых моделей, упростить их программную и аппаратную реализацию, а также повысить интерпретабельность ННС.

Практическая значимость результатов работы состоит в том, что разработано программное обеспечение, реализующее предложенный метод построения ННС, а также проведены эксперименты по его исследованию при решении практических задач, результаты которых позволяют рекомендовать разработанный метод для использования на практике при решении задач диагностирования и распознавания образов.

Дальнейшие исследования могут быть сосредоточены на разработке новых преобразований на обобщённую ось, позволяющих уменьшить число коллизий и повысить разделимость классов по обобщённой оси.

Работа выполнена в рамках госбюджетной научно-исследовательской темы Запорожского национального технического университета "Интеллектуальные информационные технологии автоматизации проектирования, моделирования, управления и диагностирования производственных процессов и систем" при поддержке проекта “Centers of Excellence for young RESearchers” Европейской Комиссии (№ 544137-TEMPUS-1-2013-1-SK-TEMPUS-JPHES).

СПИСОК ЛИТЕРАТУРЫ

1. Рутковская Д. Нейронные сети, генетические алгоритмы и нечёткие системы / Рутковская Д., Пилинский М., Рутковский Л.; пер. с польск. И.Д. Рудинского. - М.: Горячая линия - Телеком, 2004. - 452 с.

2. Engelbrecht A. Computational intelligence: an introduction / Engelbrecht А. - Sidney: John Wiley & Sons, 2007. - 597 p.

3. Terano T. Fuzzy systems theory and its applications / Terano Т., Asai К., Sugeno М. - San Diego: Academic Press, 1992. - 268 p.

4. Леоненков А.В. Нечёткое моделирование в среде MATLAB и fuzzyTECH / Леоненков А.В. -СПб.: БХВ-Петербург, 2003. - 736 c.

5. Ротштейн А.П. Интеллектуальные технологии идентификации: нечёткая логика, генетические алгоритмы, нейронные сети / Ротштейн А.П. - Винница: Универсум-Винница, 1999. - 320 с.

ISSN 1028-9763. Математичні машини і системи, 2015, № 1

27

6. Интеллектуальные информационные технологии проектирования автоматизированных систем диагностирования и распознавания образов / [С.А. Субботин, Ан.А. Олейник, Е.А. Гофман и др.]; под ред. С.А. Субботина. - Харьков: ООО «Компания Смит», 2012. - 317 с.

7. Прогрессивные технологии моделирования, оптимизации и интеллектуальной автоматизации этапов жизненного цикла авиационных двигателей / [А.В. Богуслаев, Ал. А. Олейник, Ан. А. Олейник и др.]; под ред. Д.В. Павленко, С.А. Субботина. - Запорожье: ОАО "Мотор Сич", 2009. - 468 с.

8. Субботин С.А. Преобразования на обобщенную ось и анализ их качества в задачах диагностики и распознавания образов / С.А. Субботин // Приборы и системы. Управление, контроль, диагностика. - 2013. - № 9. - С. 7 - 15.

9. Субботин С.А. Метод извлечения обучающих выборок из исходных выборок большого объема для диагностирования и распознавания образов / С.А. Субботин // Математичні машини і системи. - 2013. - № 1. - С. 56 - 62.

10. Субботин С.А. Модели критериев сравнения нейронных и нейро-нечётких сетей в задачах диагностики и классификации образов // С.А. Субботин // Наукові праці Донецького національного технічного університету. - (Серія «Інформатика, кібернетика та обчислювальна техніка»). - Донецьк: ДНТУ, 2010. - Вип. 12 (165). - С. 148 - 151.

11. UCI Machine-learning Repository [Електронний ресурс]. - Режим доступу:

http: //archive .ics.uci. edu/ml/.

Стаття надійшла до редакції 14.02.2014

28

ISSN 1028-9763. Математичні машини і системи, 2015, № 1