CC BY
257
и бзоры
УДК 533.735
НЕЧЕТКОЕ МОДЕЛИРОВАНИЕ И КЛАСТЕРИЗАЦИЯ1
Ю.И. Кудинов, И.Ю. Кудинов
Рассмотрены основные методы нечеткой кластеризации и их применение для структурной идентификации кусочно-линейных функций и нечетких моделей с тремя видами продукционных правил, содержащих в правых частях нечеткие множества, константы и линейные уравнения.
Ключевые слова: нечеткие модели, нечеткая кластеризация, структурная идентификация.
ВВЕДЕНИЕ
В теории управления значительное внимание уделяется проблеме синтеза математических моделей в условиях неопределенности, характеризующихся исключительной сложностью, нелинейностью и слабой изученностью связей между переменными большинства технологических объектов, наличием значительных помех и погрешностей измерения. В этих условиях высокую эффективность показали нечеткие модели, содержащие продукционные правила типа «если — то» и функции принадлежности (ФП), задающие интервалы изменения входных и выходных переменных в каждом правиле.
Ключевая задача построения нечетких моделей состоит в определении исходной структуры (числа нечетких правил и ФП) на основании технологической информации.
Начиная с середины 1980-х гг., интенсивно развиваются методы получения ФП и нечетких правил путем разбиения данных на однородные группы, именуемые нечеткими кластерами.
Однако информация о методах нечеткой кластеризации не систематизирована и разбросана по многим публикациям.
Цель настоящей работы — дать конструктивный анализ методов нечеткой кластеризации и их применения для структурной идентификации нечетких моделей.
'Работа выполнена при финансовой поддержке РФФИ (проект № 08-08-00052).
1. ОСНОВНЫЕ ПОНЯТИЯ НЕЧЕТКИХ МОДЕЛЕЙ И НЕЧЁТКОЙ КЛАСТЕРИЗАЦИИ
Рассмотрим основные понятия, касающиеся структуры и некоторых элементов нечетких моделей. В настоящее время широко известны три типа нечетких моделей с продукционными правилами, содержащими в правой части нечеткие множества [1]
7)0 у0 Л/~0 V®
К : если х1 есть л1 , х2 есть Х2 , ..., хт есть лт,
то у0 есть Y0, (1)
константы [2]
7)0 Л/~0 Л/~0 Л/~0
К : если %1 есть Х1 , х2 есть Х2 , ..., Хт есть Хт,
00 то у есть а (2)
и линейные уравнения [3]
7)0 т^0 ТЛ0 Т^0
К : если х1 есть Х1 , х2 есть Х2 , ..., хт есть Хт,
0 _ 0 10 1 10 /Л _ -|
то у = а0 + а1 х1 + ... + атхт, 0 = 1, п, (3)
00
где х, — входные переменные; Х; и У — нечеткие множества, характеризующие входные и выход-
п ■ 1--- 0 0
ную переменные в 0-м правиле, I = 1, т; а и а,- — константы и коэффициенты линейных уравнений, I = 0, т .
Нечеткое множество Х,0 , I = 1, т, 0 = 1, п , за-
0 0 0
данное на интервале Хг- = {х : х, т1п < х. < х, тах},
называется упорядоченной совокупностью пар [4] Х,0 = {х,, Х0 (х,)}, х, е Х0,
где X — функция принадлежности переменной * к множеству X0, отображающая интервал X® в интервал [0, 1].
Введем понятие степени принадлежности X® , равной значению ФП X С*-) при некотором значении хі переменной х, и сформулируем задачу кластеризации данных х = {хр х2, ..., хк, ..., х^},
хк є Rm, k = 1, N, где N — число векторов данных; т — размерность каждого вектора данных.
Кластеризация — это определение числа с областей разбиения векторов в данных х, причем нечеткая с — кластеризация формирует матрицу
X = [ X0 ], 6 = 1, с, k = 1, N, значений — степеней принадлежности X0 функции принадлежности
Xі® (хЛ) вектора данных хк к 6-й области разбиения
или 6-му кластеру. Основная задача нечеткой кластеризации заключается в нахождении матрицы значений функции принадлежности X и центра кластера V, оптимальных в смысле минимума критерия
_ N с
J(X , v) = X Z (Xk)
k = 1 0 = 1
pii 012
P" xk - v A
с ограничениями
__ A
0 m Xk m 1,
N
Vk З Є, 0 < Z Xk < N, k = 1
P є [1, то],
(4)
V0, k,
(5)
0 = 1
где V = {V1, V2, ..., Vе} — вектор неизвестных центров
кластеров; ||х ||А = *]хТАх — норма; А — матрица размером т х т.
Вначале рассмотрим методы нечеткой кластеризации, а затем связанные с ними процедуры структурной идентификации трех типов нечетких моделей: качественных, точечных и линейных, содержащих соответствующие продукционные правила (1)—(3).
2. МЕТОДЫ НЕЧЕТКОЙ КЛАСТЕРИЗАЦИИ
Кластеризацию можно считать одним из первых и довольно эффективных приложений теории нечетких множеств. Всего через четыре года пос-
ле выхода знаменитой статьи Л. Заде «Нечеткие множества» [4], появились работы Распини [5, 6] и Дана [7], положившие начало нечеткой кластеризации.
Развитие и широкое применение нечеткая кластеризация получила благодаря Бездеку [8] и его методу нечетких с-средних (Fuzzy C — Means — FCM). Суть алгоритма FCM-кластеризации заключается в следующем.
Пусть каждая из N пар входных xk и выходных ук, к = 1, 2, ..., N, данных принадлежит одной из
n групп со степенью принадлежности хк = Xе(xk, v0)
n
пары xk, ук к кластеру 9 с центром v и расстоя-
г.0 0
нием Вк между xk и v , определенным евклидовой нормой
/г»0\ 2 II 0| 2 ,
(Dk ) = Fk - v \\л = (xk
v0)A(xk
v0)T,
(6)
где А — единичная матрица.
После задания степеней принадлежности
_0
Xk є [0, 1] в виде случайных чисел, удовлетворяющих ограничениям (5), определяются центр нечеткого кластера 6
Е Й )Р*к
V0 = k = 1
Z (X0 )p
k = 1
и значения степеней принадлежности
Xk =......... ........-1
(7)
" с / D&\ 2/(p - 1)-
Z ч = 1 1 1 1 С5
(8)
минимизирующие критерий (4). Вычисление по формулам (6)—(8) повторяется до наступления сходимости, т. е. когда перестают изменяться координаты центров кластеров V или на у-й итерации выполняется условие || VУ — Vу 1|| < Б, где V = (V1, ..., Vе) — матрица центров кластеров.
В другой альтернативной FCM-кластеризации, предложенной Рунклером [9], условием сходимости служит матричная норма
||XY - XY -1
|| <
8.
(9)
Более широкие возможности разбиения предоставляют кластеры эллипсоидной формы, построенные методом Густафсона—Кесселя [10]. Тогда в
с
выражении нормы (6) используется не единичная матрица А, а матрица ковариаций для 9-го кластера
N
х—' /T-^0\P/ 0\ 0\
z (Xk) (xk- v) (xk- v)
A = k-=±-
N
(10)
Z (Xk) k = 1
Расстояние между к-м вектором данных хк и
п
центром V кластера 9 определяется как
II 012 / 0\
||Xk - v ||л0 = (Xk - v )
det (A0) nA-1
(Xk - v0)T. (11)
Подставляя матрицу (10) в выражение (11) и далее в формулу (6), проводим расчеты в соответствии с методом FCM-кластеризации. Развивая идеи работы [10], Гас и Гева [11] на базе матрицы ковариаций А0 сконструировали новую функцию расстояний
(^ )2 = (2п)(т + 1)/27Эе1(А0) X
х exp(0,5(xfc - v0)TA01 (xt - vu))/X
. -в
=9
где X = N Z Xk — среднее
k = 1
значение степени
принадлежности.
Для снижения ошибки вычисления центра кластера V0 (7), вызванной малыми или нулевыми зна-__________0
чениями Хк , Кришнапурам и Келлер [12] предло-
N
жили ослабить условие нормализации Z Xk
= 1,
k = 1
N
преобразуя его в неравенство I Хк > 0, и доба-
к = 1
вить в функцию потерь (4) штрафной член, компенсирующий влияние малых значений степеней принадлежности
N е
Jp(X, v, n) = Z Z (Xp, kl|xk - V
+
k = 1 0 = 1
+ n0(1 - X0 )Р'),
где n — весовой множитель, вычисляемый по формуле
N ,
,v-0 ЧР II 0||
Z (Xp, k) llxk- vll
0 _ k = 1
n
Z (xp0 k )p' k = 1
где p' — показатель (p' > 1).
В результате была получена итерационная схема возможностного метода с-средних (Possibilistic C-Means — PCM) с соотношениями
Л0 =
Л p, k
1 +
Vn
Э1
N
Z (Xp, k)
v = kjLi_________
v = N
x
I
к = 1
аналогичная схеме (7), (8) и минимизирующая критерий (12). Различные аспекты РСМ-кластери-зации, связанные с выбором исходных значений _0
Хк , обсуждаются в работах [13—16].
В работе Пола [17] для целей повышения точности вычисления центров кластеров была предложена смешанная FPCM-кластеризация, которая заключается в минимизации критерия
с N
т>0
2
JFP = (х, Xp , V) = Z Z ((xk )p + (Xp, k )p)(Dk) = 1 k= 1
с помощью соотношений
Л0 =
( С (D®\ 2/(p'-1)^-1
N
xp, k =
N
^л0\ 2/(p '- 1)l-1
' Dkl 1
' n0j 1V DjJ
V0 = k = 1
Z [(Xk )p + (X0, k )p] Xk
N
I [(хк )Р + (ХР, к Г] к = 1
Обширный класс составляют методы нечеткой кластеризации так называемых реляционных данных, именуемые как FRCM и изложенные в работах Распини [5], Хатвея и Бездека [18, 19]. В FRCM-кластеризации применяется евклидова (12) норма между данными гк = ||х. — хк||2, j, к = 1, 2,
..., Ы, которая гарантирует выполнение ограничений Гд 1 0, г}к = 0, г}к = ГЩ.
Критерий, подлежащий минимизации, для FRCM-кластеризации имеет вид
JFR(. х) =
с Ґ N N _ _ , Ґ N
ZI Z Z [(х/(х/ok/12Zх/
0 = 1 v = 1 k = 1 V і = 1
(13)
1
Опишем итерационную схему FRCM-кластеризации, минимизирующую критерий (13). Вычисляется с-среднее векторов
V® = [(X;)р, (^2)р, ..., (<)р]т/ е (X00) (14)
N
Е
к = 1
и степени принадлежности
( с
X: =
Е [лк/лк]2/<Р- ;>
=1
(15)
где ^ = (Л*0)к - ((V0№).
Если выполняется условие (9), то расчет заканчивается, в противном случае он возобновляется по формулам (14) и (15).
Дальнейшее развитие нечеткой кластеризации с реляционными данными связано с повышением ее устойчивости по отношению к шуму [20—23]. Шум в работе [20] рассматривается как сепарабельный класс (*) данных хк и с-средних вектора
_ _ _ N _
V* = [(X*)р, (Х2)р, ..., (XN)р]Т/ I (Хк).
к = 1
С нормой Б*к в объекте — шуме, равной
8/2 = (^к )2.
С учетом объекта — шума критерий RFCM-кластеризации примет вид [21—24]
Ъ + I I (Хк )р(Хк )Р8,
] = 1 к = 1
а ФП к очищенному от шумов классу 9 —
= (Л )
Е (лк) -і=і
А2/(1 - Р>
+(2/5)
1/(Р -1)
После ранних работ Бездека и других исследователей стало ясно, что результаты FCM- и FCM-подобных методов нечеткой кластеризации во многом зависят от правильного выбора значения показателя р, числа с и размеров кластеров [25].
Кси и Бени [26] определили разбиение, которое минимизирует отношение мер компактности С(с) к сепарабельности Б(с), заданных следующим образом:
1 е N _ 2
од = N 11X0 Ь - Аа ■
0 = 1 к = 1
о/ \ * II 0 і II2
¿(с) = тіл ||V - V \|л.
0* і
Сугено и Яшукава [1] рекомендуют выбирать число групп данных с, минимизирущее критерий
N с _
т = е Е (Xk )р(||хк - V,|л
к=10 = 1
0|| 2 , || 0 - II2 ,
+ IIV - х||л ),
где х — центр множества данных. Первая норма является внутрикластерной, а вторая — межкластерной вариациями.
Другая близкая по смыслу, но более обоснованная попытка разрешить проблемы разбиения данных была предпринята в работах [27, 28] и заключалась в применении нечетких разреженных внут-рикластерной
с N
р/~ _ „0\/ V _ „0\Т
Е Е (Xk) (хк - V )(хк
0 = 1 к = 1
и межкластерной матриц
с N
V0 )Т
Г.\Т
¿в = Е Е (X0 )р(^ - V XV0 - V)
= 1 к = 1
где нечеткий вектор V — взвешенное среднее данных относительно их ФП каждого кластера
с N
V = Е Е (^)
х
0 = 1 к = 1
Г с N
Е Е & )р -0 = 1 к = 1
Матрица SB характеризует сепарабельность, а Бцт — компактность нечетких кластеров. Для получения «хороших» кластеров надо минимизировать 1:г(Бж) — для увеличения компактности кластеров и максимизировать 1х(Бв) — для увеличения сепарабельности между кластерами, т. е. минимизировать
Зц?в( X, V) = нед - *г(£в) = *т(Бж - Б в) =
= I I (Хк )р(||хк - VI2 - ||У - VI2), (16)
к= 1 = 1
где 1х(Б) — след матрицы Б.
Минимум критерия (16) в итерационной схеме FCM-кластеризации с соотношениями (6), (7) и (8) достигается при оптимальном числе кластеров с * < с.
В работе [28] рассматривается подход в определении верхней К границы интервала [1, К] изменения показателя р. Для этих целей используется полная разреженная матрица
N
с
¿Т = ¿V + ¿в =
0чр
Е Е (^ )| (хк - V)
к = 1
с
След матрицы БТ монотонно уменьшается от некоторой постоянной величины К до 0, а показатель р увеличивается от 1 до то. Величина К зависит только от данных
K = tr
( N
Z
к = 1
1
N
xk - N Z xk
к = 1
1
N
xk- N Z xk
к = 1
T-i
Исходное значение показателя р выбираем в середине интервала [0, К] и находим оптимальное значение с *, минимизирующее критерий (16). Для значений р и с * проверяем, чтобы 1х(БТ) достиг своего предела. В противном случае повторяются вычисления с новым значением р.
Чен и Ванг [29] предложили итерационный метод уточнения нечеткого показателя р. Кластер 9 описывается ФП
Xе (x) =
1 +
x - v
b/Л
где v0 и b0 — центр и наклон функции, ст0 — квадратный корень из следа ковариационной матрицы 9-й группы данных.
Суть этого метода заключается в нахождении величины р такой, что для каждого измерения рабочего пространства существует по крайней мере один кластер, для которого изменения вдоль k-го
измерения стк больше, чем изменения элементов
обучающегося множества для заданного измерения стк. Величина р вначале принимается равной 1,5, и на каждом шаге алгоритм увеличивает ее на 0,1. Другие близкие по смыслу методы определения числа кластеров и показателя р представлены в работах [30—33].
Нечеткая кластеризация (классификация) получила интересное продолжение в работах отечественных ученых Е.В. Баумана и А.А. Дорофеюка. Они применили вариационный подход к нечеткой кластеризации [34], чтобы получить разбиение на классы, оптимальные в смысле глобального минимума некоторого критерия.
В широко известной работе Хопнера и коллег [35] обобщаются методы и результаты нечеткой кластеризации, достигнутые к 2000 г.
Завершим обзор FCM-подобных методов нечеткой кластеризации работами [36—40], в которых соотношения рассчитываются по итерационной схеме, аналогичной схеме (6)—(8), но отличаются видом критерия, ограничений и выражениями для вычисления центров кластеров v * и степени принадлежности Xk .
Теперь перейдем к анализу немногочисленной группы эвристических методов нечеткой кластеризации.
В подходах, развитых Ли, Мукайдоно и др. [41—43], уже не используется показатель р. Функция потерь, подлежащая минимизации, записывается как
N
,9ц2
J = Z Z Xk К- - v9ll
k=19 = 1
X, = 1, Vk = 1, N,
(17)
(18)
Этот метод гауссовой кластеризации максимизирует энтропию относительно каждой пары данных при выполнении двух условий: а) минимизации функции потерь (17); б) нормализации степеней принадлежности (18). Задача формулируется следующим образом:
максимизировать <|s Z log (Xk) !>, є > 0, при ус-
L 9 = 1
ловии (а);
минимизировать <! Z Xk
9112
=1
где є — малое положительное число и справедливо
= 1, Vk = 1, 2,
N.
условие (б): Z Xk 0 = 1
Данный алгоритм проще FCM-кластеризации: центры кластеров v обновляются с помощью со__________________q
отношения (4), а Xk определяется по формуле 0 _ exp (IIxk - v0II2/2ст2)
Xk =
Z exp (|Xk - v9|| /2a2)
0 = 1
Здесь величина 2ст2 связана с ограничением (а). Для получения центров кластеров могут быть также использованы известные методы пикового и разностного группирования данных.
Алгоритм пикового группирования был разработан Ягером и Филевым [44, 45]. В нем мерой плотности размещения входных векторов хк, к = 1, N, служит так называемая пиковая функция. В пространстве N входных векторов х создается равномерная сетка, в узлах которой рассчитывается пиковая функция
N
Р* = Z exp(-||v0 - Xkl|2b/2a2),
k = 1
С
С
0
С
6
CONTROL SCIENCES № 6 • 2008
где Ь и ст — константы, индивидуально подбираемые для каждой конкретной задачи.
После расчета значений Р0 для всех потенциальных центров среди них выбирается первый V1,
имеющий наибольшее значение Р1. Для выбора следующих центров необходимо исключить центр
V0 с помощью формулы
р0 = Р0 - Р0ехр(-||V0 - хк||2Ь/2ст2),
имеющей нулевое значение в точке с1. Процесс на-
2 3 к
хождения следующих центров V , V , ..., V , ... завершается после их полного обхода. Метод пикового группирования эффективен, если размерность вектора х не слитком велика. В противном случае процесс расчета очередных пиковых функций становится слишком громоздким и длительным.
Разностное группирование [46] представляет собой усовершенствованный вариант пикового группирования, использующий пиковую функцию вида
Р0 = I ехр(-4||х0 - х//гв)
к = 1
с радиусом г , определяющим меру близости. Точка х0 с наибольшим значением Р1 становится
1 ~0 ^ первым центром V = х кластера. 1ак же, как и в
методе пикового группирования, переопределяется пиковая функция
Р0 = Р - Р0 ехр(-4||х0 - х0 ||2/гь), (19)
где гь * 1,5га
После модификации пиковой функции отыскивается следующая точка х0 (или центр кластера
2 ~2Ч
V = х ), для которой становится максимальной
величина Р2. Процесс поиска очередного центра кластера возобновляется после исключения компонентов найденных точек по формуле (19). Для устранения влияния шума в данных вводятся два
порога 5+ * 0,5 и 5 = 0,15 и определяются новый
кандидат центра хк на к-м шаге и связанное с ним
значение пиковой функции Рк :
если Рк > Р (5+), то хк считается новым кластером;
если Рк < Р (5-), то хк отбраковывается, и алгоритм завершает работу.
Пусть Ртт будет наименьшим расстоянием между хк и всеми найденными центрами кластера если СОтлЛ) + ( Рк А Р1 ) 1 1, то хк признается новым центром кластера, так как находится довольно далеко от ближайшего кластера; иначе х к бракуется, значение его пиковой функции устанавливается равным нулю и алгоритм продолжает работу.
3. СТРУКТУРНАЯ ИДЕНТИФИКАЦИЯ НЕЧЕТКИХ МОДЕЛЕЙ
Под структурной идентификацией будем понимать определение числа ФП и правил нечетких моделей. Качественная, точечная и линейная модели и образующие их продукционные правила (1)—(3) могут быть получены посредством проектирования кластеров на оси координат.
Теперь рассмотрим разновидности методов проектирования, позволяющие идентифицировать структуру указанных видов нечетких моделей.
Сосредоточим внимание на одном из первых применений FCM-кластеризации для построения качественных нечетких моделей. В работе [1] для этих целей в качестве объекта используется нелинейная зависимость
у = (1 + х2 + х25 )2, 1 < х1, х2 < 5. (20)
По формуле (20) для хк = (х1к, х2к) рассчитывают
выходы ук, к = 1, N, которые подвергаются
FCM-кластеризации для определения степени принадлежности ук в Y0, 9 = 1, п : (хк, ук), ^(ук),
72(Ук), ..., У0^), .•., ^(Ук).
Далее получают нечеткий кластер X во входном пространстве X = (Х1 х Х2) и проекции X на оси х1, х2, у (X1(x1k) = X2(x2k) = У(ук)) для нахождения нечетких множеств X!, X2, У и нечеткого правила
Л: если х1 есть X1 и х2 есть X2, то у есть У.
Подчеркнем, что число правил п в нечеткой модели равно числу кластеров с.
Обзор методов нечеткой кластеризации показал, что они обладают существенным ограничением: нечеткой кластеризации подвергаются только входные или выходные данные, в результате чего получаемые нечеткие правила могут оказаться не полностью определенными, например, правые части в выражениях (2) и (3). Поэтому начнем с методов нечеткой FCM-кластеризации данных на произведении Хт х Y входных Хт = (Х1 х Х2 х ... х Хт) и выходного Y пространств. Первые попытки та-
кой кластеризации и последующей структурной идентификации были предприняты в работе [46], а завершенные формы они приобрели в статье Дельгадо [47].
Рассматривается пространство Хт х Y, которое разбито на п кластеров с центрами у^у = (V0, у),
9 = 1, п , и связанные с ними функции принадлежности
распределенным по кластерам, модифицированным методом Гаса и Гевы [11].
Рассмотрим другой предложенный Ченом и его коллегами [51] более обоснованный подход к идентификации линейных нечетких моделей, представленных нечеткими правилами (3) в компактной форме
7)0 0 -Т 0
Л : если х есть X , то у = х а ,
л0 Ц, у) =
1
(х, у) - (V0, V0)
2п
ьЕ111(х„ у) - (^ у4,12
1/(р -1>:
где р > 1; если Ц, у) = (V0, V0), то Я0 Ц, у) = 1 и 0 < Я0 (х^ у) < 1 в противном случае.
Нечеткие множества X0, X/ .
Xm , ^ и со-
ответствующие ФП X0 (х1), X0 (х2), ..., X,0 (хт),
У0(у) могут быть найдены как проекции Я ^х^ у) на оси *, *, ..., х , у. Полагаем, что п нечетких
13 23 7 т7 у 7
кластеров в пространстве Хт х Y образует совокупность правил
Я0: если х есть X0, то у есть У0, 6 = 1, п,
0 9
где х = (х1, ..., хт) — входной вектор; X = (X1 , ...,
Кт) — вектор нечетких множеств; х есть X = (х1
есть X1 , х2 есть X2 , ..., хт есть Xm) — псевдовек-торное высказывание.
Используя упрощенный метод вывода, предложенный Мизумото [48], запишем заключение У0 в виде синглетона а0 — центра тяжести У 0(у):
где х = (1, х) — модифицированный входной вектор; а0 = (а0 , а0 , ..., ат) — вектор коэффициентов линейного уравнения в правой части 6-го правила.
В работе сформулированы две задачи минимизации.
Первая задача представляет собой задачу FCM-кластеризации
Л = Е (X0 )р(11хк - V0 ||) ^ тіл
0 = 1 X, Vе
при условии
0=1
отвечающей итерационной схеме (6)—(8).
Вторая задача заключается в минимизации критерия
Л2 = Е (/к)Р 1 (Iу: - хк а0|)
2
= 1
при условии
Е /0 = 1, Vk = 1, N, = 1
р1
> 1,
а0 = |У0(у)уйу/1У0(у)ф, 6 = 1, п .
Тогда правило (1) можно переписать как
7)0 т/-0 0 /-\ ~\
Я : если х есть X , то у = а , 6 = 1, п .
Таким образом, может быть получена исходная структура качественных и точечных нечетких моделей.
Идентификация нечеткой модели с правилами типа (3) впервые была проведена в работе Бабушки и Вербруггена [49] и опиралась на результаты линейной аппроксимации множества данных, сгруппированных в кластеры эллипсоидного типа методом Густафсона и Кесселя [9]. В следующей работе Абони и Бабушки [50] структурная идентификация нечеткой модели (3) проводилась по данным,
посредством выбора последовательности степеней истинности
/к =
- N .
Е (1 у: - х0аі И у: - х0 а0 Ь -і= 1
0|. 2/<р - 1)
1
в которых, если у0 - х0 а = 0, то
/0 = 11, если 9 = j к [ 0, если 9 * j.
В результате решения находим степени принадлежности X^ = diag(X0 , X2, ..., XN) и степени истинности И00 = diag(/0, /20, ..., fN), которые
П
П
п
при подстановке в формулу рекуррентного метода наименьших квадратов
а0 = (х[(X])2(И0 )2*к )-2(*[(X0 )2()ук),
9 = ,
позволяют найти коэффициенты линейных уравнений в нечетких моделях (3).
В работах [52—55] разработаны более совершенные процедуры пастеризации входных и выходных данных на основе нечетких с-регрессион-ных моделей. Кластер представляет собой гиперплоскость, которая задается правой частью /(х) каждого правила линейной нечеткой модели. Последняя рассматривается как кусочно-линейная регрессионная модель /х), содержащая множества М гиперплоскостей, связанных с соответствующими кластерами. Поэтому прототип или центр 9-го кластера в пространстве, полученном при объединении входа и выхода, будет образован гиперплоскостями с коэффициентами а0 , i = 0, т, определяющими линейный выход 9-го правила.
Нечеткая классификация на основе вариационного подхода [34] также нашла успешное применение для кусочно-линейной аппроксимации сложных зависимостей [56].
ЗАКЛЮЧЕНИЕ
Современные технологические и социальноэкономические системы относятся к сложным слабоформализуемым системам, функционирующим в условиях большой неопределенности: неполноты знаний, нечеткости описания, наличия помех и погрешностей измерения.
К настоящему времени стало ясно, что в значительном числе случаев управление такими системами на базе традиционного (детерминированного или статистического) моделирования становиться малоэффективным и требуется разработка новых методов и подходов к описанию технологических объектов и систем.
Один из таких подходов к моделированию основан на применении нечеткой кластеризации — наиболее перспективному приложению теории нечетких множеств Л. Заде.
В настоящей статье рассмотрены три основных типа нечетких моделей и процедуры их структурной идентификации на базе методов нечеткой кластеризации.
Наряду с традиционными задачами структурной идентификации нечетких моделей прогнозирования свойств материалов [57—59], методы нечеткой кластеризации нашли широкое применение в задачах распознавания образов [60, 61], определения дефектов [62], границ [63] и цвета [64] изоб-
ражений, анализа временных сигналов [65]. Это далеко не полный перечень областей применения такой очень бурно развивающейся прикладной составляющей теории нечетких множеств, как нечеткая кластеризация.
ЛИТЕРАТУРА
1. Sugeno M., Yasukawa T. A fuzzy-logic-based approach to qualitative modeling // IEEE Trans. on Fuzzy Systems. — 1993. — Vol. 1. — P. 7—31.
2. Mamdani E.H. Application of fuzzy algorithms for control of a simple dynamic plant // Proc. Inst. Elect. Eng. — 1974. — Vol. 121. — P. 1585—1588.
3. Takagi Y., Sugeno M. Fuzzy identification of Systems and its application to modeling and control // IEEE Trans. Systems, Man and Cybernetics. — 1985. — Vol. SMC-15. — P. 116—132.
4. Zade L.A. Fuzzy sets // Information and Control. — 1965. — Vol. 8. — P. 338—353.
5. Ruspini E. A new approach to clustering // Information and Control. — 1969. — Vol. 15, No 1. — P. 22—32.
6. Raspini E. Numerical methods for fuzzy clustering // Information and Science. — 1970. — Vol. 2. — P. 319—350.
7. Dunn J.C. A fuzzy relative of the ISODATA process and its use in detecting compact well-separated cluster // J. Cybernet. — 1973. — Vol. 3, No 3. — P. 32—57.
8. Bezdek J.C. Pattern recognition with fuzzy objective function algorithms. — New York: Plenum Press, 1982.
9. Runkler T.A., Bezdek J.C. Aternating cluster estimation: a new tool for clustering and function approximation // IEEE Trans. on Fuzzy Systems. — 1999. — Vol. 7, No 4. — P. 377—393.
10. Gustafson D.E., Kessel W.C. Fuzzy clustering with a fuzzy covariance matrix // Proc. IEEE CdC, San Diego, CA. — 1979. — P. 761—766. — Vol. 7. — P. 773—781.
11. Gath I., Geva A.B. Unsupervised optimal fuzzy clastering // IEEE Trans. Pattern Anal. Machine Intell., 1989. — Vol. 7. — P. 773—781.
12. Krishnapuram R., Keller J.M. A possibilistic approach to clustering // IEEE Trans. on Fuzzy Systems. — 1993. — Vol. 1. — P. 98—110.
13. Krishnapuram R, Keller J.M. The possibilistic c-means algorithm: insights and recommendation // Ibid. on Fuzzy Systems. —
1996. — Vol. 4, No 3 — P. 385—393.
14. Barny M., Cappellini V., Mecocci A. A possibilistic approach to clustering // Ibid. — 1996. — Vol. 4, No 3. — P. 393—396.
15. Timm H., Borget C., Doring C., Kruse R. An extension to possibilistic fuzzy cluster analysis // Fuzzy Sets and Systems. —
2004. — Vol. 141. — P. 3—16.
16. Pal N.R., Pal K., Keller J.M., Bezdec J.C. A possibilistic fuzzy c-means clustering algorithm // IEEE Trans. on Fuzzy Systems. — 2005. — Vol. 13, No 4. — P. 517—530.
17. Pal N.R., Pal K., Keller J.M., Bezdec J.C. A mixed c-means clustering model // IEEE Int. Conf. Fuzzy Systems, Spain. —
1997. — P. 11—21.
18. Hathaway R.J., Dovenport J.W., Bezder J.C. Relational duals of the c-means algorithm // Pattern Recognition. — 1989. — Vol. 22, No 2. — P. 205—212.
19. Bezder J.C., Hathaway R.J., Windham M.P. Numerical comparison of the RFCM and AP algorithms for clustering relational data // Ibid. — 1991. — Vol. 24, No 8. — P. 783—791.
20. Dave R.N. Characterization and detection of noise in clustering // Pattern Recognition Letter. — 1991. — Vol. 12. — P. 657—664.
21. Frigui H., Krishnapuram R. A robust algoritlim for automatic extraction of an unknown number of clusters from noisy data // Ibid. — 1996. — Vol. 17. — P. 1223—1232.
22. Dave R.N. Robust clustering methods: A unified view // IEEE Trans. on Fuzzy Systems. — 1997. — Vol. 5. — P. 270—293.
23. Dave R.N., Sen S. Robust fuzzy clustering of relation data // Ibid. - 2002. - Vol. 10, No 6. - P. 713-727.
24. Leski J. Towards a robust fuzzy clustering // Fuzzy Sets and Systems. - 2003. - Vol. 137. - P. 215-233.
25. Cannon R.L., Dave J.V., Bezdek J. C. Efficient implementation of the fuzzy c-means clustering algorithms // IEEE Trans. Pattern Anal. Machine Intell. - 1986. - Vol. 8, No 2. - P. 248-255.
26. Xie X., Beni G. A validity measure for fuzzy clustering // Ibid. -1991. - Vol. 13. - P. 841-847.
27. Pal N.R., Bezdek J.C. On cluster validity for the fuzzy c-means model // IEEE Transactions on Fuzzy Systems. - 1995. -Vol. 3, No 3. - P. 370-379.
28. Emami M.R., Tiirksen I.B., Goldenberg A.A. Development of a systematic methodology of fuzzy logic modeling // Ibid. -
1998. - Vol. 6. - P. 346-361.
29. Chen M.-S., Wang S.-W. Fuzzy clustering for optimizing fuzzy membership functions // Fuzzy Sets and Systems. - 1999. -Vol. 103. - P. 239-254.
30. Fadili M.J., Ruan S., Bloyet D., Mayoyer B. On the number of clusters and the fuzziness index for unsupervised FCA application to BOLD fMRI time series // Med. Image Anal. - 2001. -Vol. 5. - P. 55-67.
31. Yu J., Cheng Q, Huang H. Analysis of the weighting exponent in the FCM // IEEE Trans. Systems, Man and Cybernetics. B. -
2004. - Vol. 34, No 1. - P. 634-638.
32. Yu J. Optimality test for generalized FCM and its application no parameter selection // IEEE Trans. on Fuzzy Systems. -
2005. - Vol. 13, No 1. - P. 164-176.
33. Yang M.S. On a class of fuzzy classification maximum likelihood procedures // Fuzzy Sets and Systems. - 1993. - Vol. 57. -P. 365-375.
34. Бауман Е.В. Методы размытой классификации (вариационный подход) // Автоматика и телемеханика. - 1988. -№ 12. - С. 143-156.
35. Hoppner F., Klawonn F., Kruse R., Runkler T. Fuzzy cluster analysis - methods for image recognition, classification, and data analysis. - New York: Wiley, 1999.
36. Pedrycz W. Conditional fuzzy c-means // Pattern Recognition Letter. - 1996. - Vol. 17. - P. 625-632.
37. Lin J.S. Fuzzy clustering using a compensated fuzzy Hopfield network // Neural Processing Letter. - 1999. - Vol. 10, No 1. -P. 35-48.
38. Ozdemir D, Akarun L. Fuzzy algorithms for combined quantization and dithering // IEEE Trans. Image Processing. - 2001. -Vol. 10, No 6. - P. 923-931.
39. Wu K.L., Yang S.M. Alternative c-means clustering algorithms // Pattern Recognition. - 2002. - Vol. 35. - P. 2267-2278.
40. Menard M., Courboulay V., Dardignac P. Possibistic and probabilistic fuzzy clustering: unification within the framework of the nonextensive thermostatistics // Ibid. - 2003. - Vol. 36, No 6. -P. 1325-1342.
41. Li R.P., Mukaidono M. A maximum entropy to fuzzy clustering // Proc. 4th IEEE Int. Conf. Fuzzy Systems. - Yokohama, 1995. - P. 2227-2232.
42. Li R.P., Mukaidono M. Gaussian clustering method based on maximum-fuzzy-entropy interpretation // Fuzzy Sets and Systems. - 1999. - Vol. 102. - P. 253-258.
43. Tran D., Wagner M. Fuzzy entropy clustering // Proc. FUZZ IEEE, 2000. - 2002. - Vol. 1. - P. 152-157.
44. Yager R.R., Filev D.P. Approximate clustering via the mountain method // IEEE Trans. Systems, Man and Cybernetics. -1994. - Vol. 24. - P. 1279-1284.
45. Yager R.R., Filev D.P. Generation of fuzzy rules by mountain clustering // J. Intel. Fuzzy Syst. - 1994. - Vol. 2. - P. 209-219.
46. Chiu S.L. Fuzzy model identification based on cluster estimation // Ibid. - 1994. - Vol. 2 - P. 267-278.
47. Delgado M, Gomes-Skarmeta A.F., Martin F. A fuzzy clustering-based rapid prototyping for fuzzy rule based modeling //
IEEE Trans. on Fuzzy Systems. — 1997. — Vol. 5, No 2. — P. 223—233.
48. Mizumoto M. Method of fuzzy inference suitable for fuzzy control // J. Soc. Instrum. Contr. Engineers. — 1989. — Vol. 58. — P. 959—963.
49. Babuska R., Verbruggen H.B. A new identification method for linguistic fuzzy models // Proc. FUZZ — IEEE/IFES’95, — Yokohama, 1995. — P. 897—904.
50. Abonyi J., Babuska R., Szeifert F. Modified Gath-Geva fuzzy clustering for identification of Takagi-Sugeno fuzzy models // IEEE Trans. on Systems, Man, and Cybernetics / Part b: Cybernetics. — 2002. — Vol. 32, No 5. — P. 612—621.
51. Chen J.-Q., Xi Y.-G., Zhang Z.-J. A clustering algorithm for fuzzy model identification // Fuzzy Sets and Systems. — 1998. — Vol. 98. — P. 319—329.
52. Hathaway R.J., Bezdek J.C. Switching regression models and fuzzy clustering // IEEE Trans. on Fuzzy Systems. — 1993. — Vol. 1, No 3. — P. 195—204.
53. Kim E., Park S., Ji S., Park M. A new approach to fuzzy modeling // Ibid. — 1997. — Vol. 5, No 3. — P. 328—337.
54. Kim E., Park S., Kim S., Park M. A transformed input-domain approach to fuzzy modeling // Ibid. — 1998. — Vol. 6, No 4. — P. 596—904.
55. L^ski J. E-insensitive fuzzy c-reggression models: introduction to E-insensitive fuzzy modeling // IEEE Trans. Systems, Man and Cybernetics. B. — 2004. — Vol. 31, No 1. — P. 4—15.
56. Бауман Е.В., Дорофеюк А.А., Корнилов Г.В. Алгоритмы оптимальной кусочно-линейной аппроксимации сложных зависимостей // Автоматика и телемеханика. — 2004. — № 10. — С. 163—171.
57. Arafesh L., Singh H., Putatunda S.K. A neuro-fuzzy approach to material processing // IEEE Transactions Systems, Man and Cybernetics. C. — 1999. — Vol. 29. — P. 362—370.
58. Chen M.-Y, Linkens D.A. A Systematic neuro-fuzzy modeling frame work with application to material property prediction // Ibid. B. — 2001. — Vol. 31, No 5. — P. 781—790.
59. Yang M.S., Yu N.Y Estimation of parameters in latent class models using fuzzy clustering algorithms // Eur. J. Open Res. —
2005. — Vol. 160. — P. 515—531.
60. Вайберг Л.И., Сигодин М.В. Аппарат теории размытых множеств в распознавании образов // Автоматика и телемеханика. — 1982. — № 9. — С. 163—167.
61. Шумихин А.Г., Черепанов А.И., Дорохов И.Н. Размытый обучающийся алгоритм классификации, распознавания и прогнозирования аномальных технологических ситуаций // TOXT — 1988. — T. XXII, № 6. — С. 810—815.
62. Liao T.W., Li D.-M., Li Y.-M. Detection of welding flaw from radiographic images with fuzzy clustering methods // Fuzzy Sets and Systems. — 1999. — Vol. 108. — P. 145—158.
63. Bensaid A.M., Hall L.O., Bezdek J.C., Clarke L.P. Validity-guided (re)clustering with applications to image segmentation // IEEE Trans. on Fuzzy Systems. — 1996. — Vol. 4, No 2. — P. 112—123.
64. Ozdemir D., Akarun L. A fuzzy algorithm for color quantization of images // Pattern Recognition. — 2002. — Vol. 35. — P. 1785—1791.
65. Leski J.M, Owczarek A.J. A time — domain constrained fuzzy clustering method and its application to signal analysis // Fuzzy Sets and Systems. — 2005. — Vol. 155. — P. 165—190.
Статья представлена к публикации членом редколлегии
Ф.Ф. Пащенко.
Кудинов Юрий Иванович — д-р техн. наук, зав кафедрой,
Кудинов Иван Юрьевич — аспирант,
Липецкий государственный технический университет,
S (84742) 32-80-53, e-mail: [email protected].
