CC BY
26
НЕИРО1НФОРМАТИКА ТА ШТЕЛЕКТУАЛЬШ СИСТЕМИ
НЕИРОИНФОРМАТИКА И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
NEUROINFORMATICS AND INTELLIGENT SYSTEMS
УДК 004.032.26
Бодянський е. В.1, Дейнеко А. О.2, Куценко Я. В.3
1Д-р. техн. наук, науковий кервник ПроблемноТ НДЛ АСУ, Харквський нацональний ун1верситет радоелектронки, Харкв,
УкраТна
2Канд. техн. наук, науковий сп1вроб1тник Проблемно'!' НДЛ АСУ, Харквський нацональний унверситет радоелектронки,
Харкв, УкраТна
3Аспрантка кафедри штучного ¡нтелекту Харювського национального университету радоелектронки, Харюв, УкраТна
ПОСЛ1ДОВНЕ НЕЧ1ТКЕ КЛАСТЕРУВАННЯ НА ОСНОВ1 _НЕЙРО-ФАЗЗ1 П1ДХОДУ_
У статт запропоновано on-line нейро-фаззi систему для виршення задач послщовного нечеткого кластерування даних, що дозволяе опрацьовувати вектори спостережень за умов обмеженого числа даних в оброблюванш вибiрцi, а також алгоритм и самоначання на основi самооргашзовно1 мапи Т. Когонена. Архитектура системи мiстить сiм шарiв обробки шформацп i е за своею суттю гiбридом системи Ванга-Менделя та нечгтко! кластерувально! самооргашзовно1 мережг Запропонована система в процесi самонавчання налаш-товуе не лише сво! параметри, але й архитектуру в on-line режима Для налаштування параметрiв функцiй належностi пбридно1 нейро-фаззi системи введено алгоритм, що Грунтуеться на використаннi конкуренткого навчання. У процес навчання гiбридна нейро-фаззi система налаштовуе синаптичнi ваги, центри i параметри ширини функцiй належностi. Розроблено програмне забезпечення, що реалiзуе запропоновану архитектуру пбридно1 нейро-фаззi системи. Проведено низку експерименпв з дослiдження властивостей запропоновано! системи. Результати експерименпв шдтвердили те, що запропоновану систему можна використовувати для розв'язання задачi кластерування, при цьому обробляння даних вщбуваеться в on-line режима Система характеризуеться простотою чисельно1 реалiзацil. Характерною особливютю запропоновано1 системи е те, що вона об'еднуе в собi як навчання з вчителем, так i самонавчання.
Ключовi слова: пбридна система, обчислювальний iнтелект, нейро-фаззi система, функщя належностi, нечiтке кластерування.
НОМЕНКЛАТУРА
80М - самоорганiзовна мапа Когонена;
ГСМ - метод нечетких С-середшх;
УЬББ - надвелика база даних;
КБРК - радiально-базиснi нейроннi мережц
8УМ - машини опорних вектс^в;
Р80М - нейро-фаззi мережа Когонена;
х(к) - вектор вхщних сигналiв;
Х(к) - ощнка вектора вхiдних сигналiв;
х^ (к) - I -та компонента вектора вхщних сигналiв;
т - кшьюсть кластерiв;
И - кшьюсть функцш належностi на кожному входц ^ п - простiр вхщних ознак;
к - номер спостереження у навчальнiй вибiрцi або момент поточного часу;
сц - параметр, що визначае центр I -1 функцп належ-ностi Н компоненти;
О - параметр ширини функцп належностi; Оц - параметр ширини I -1 функцп належност Н ком-поненти;
- функцiя належност на i-му входц N - обсяг навчально! вибiрки; фi - функцiя належностц
ф i (к) - сигнал на виходi третього прихованого шару; e (к) - векторна похибка; e - значення скалярного критерiю точностi; Н - будь-яка норма у метрищ Мшковського; Wh - значення синаптично! ваги;
W - матриця синаптичних ваг; r - радiус сусiдства;
П(2) - параметр кроку навчання на другому тактц
Rh - проспр сигналiв тдвищено! розмiрностi; ф(х) - сигнал на виходi другого прихованого шару; ()+ - символ операцп псевдообернення;
ß - невщ'емний параметр фаззiфiкацil, що визначае нечiтку границю мiж рiзними класами;
© Бодянський €. В., Дейнеко А. О., Куценко Я. В., 2016 DOI 10.15588/1607-3274-2016-3-4
p-ISSN 1607-3274. Радюелектрошка, шформатика, управлiння. 2016. № 3 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2016. № 3
uj (k) - р1вень належност k-го спостереження до j -го кластеру;
Cj (k) - параметр центру в Mani Когонена;
P(k -1) - ковaрiaцiйнa матриця. ВСТУП
У наш час тдходи до опрацювання шформацп, яю зaсновaнi на математичному aпaрaтi обчислювального iнтелекту [1-4], набули широкого розповсюдження для виршення багатьох задач, що виникають в рамцях Data Mining [5, 6], при цьому кластерування займае особливе мiсце [7, 8], осюльки процес пошуку рiшення на осжда парадигми самонавчання [9] значно складшше навчан-ня з вчителем. Незважаючи на те, що сьогодш юнуе безлiч aлгоритмiв кластерування, лише незначна 1х частина може бути використана для виршення задач Data Stream Mining [10], коли шформащя подаеться на опрацювання по-слщовно в on-line режимi. У цш ситуацп доцiльним е ви-користання кластерувальних сaмооргaнiзовних нейрон-них мереж Т. Когонена (SOM) [11], призначених для опрацювання великих мaсивiв даних в послiдовному режимi. При цьому апрюрно припускаеться, що внутр-iшня структура оброблюваних даних е такою, що вщнов-лювaнi кластери взаемно не перетинаються i мають опук-лу форму, що дозволяе в процем налаштування нейрон-но1 мережi побудувати роздiляючи гiперплощини, яю чiтко розмежовують рiзнi класи.
Зрозумшо, що iснуючi системи обчислювального ште-лекту мають бути суттево модифжованими для оброб-ляння великих мaсивiв шформацп (Big Data), якi послвдов-но надходять на опрацювання та формують кластери до-вшьно! форми, що можуть деяким чином перетинатися.
У зв'язку з цим метою ще! роботи е розробка пбрид-но1 еволюцшно! нейро-фaззi системи та адаптивного метода ll самонавчання для послiдовного нечiткого кластерування даних в умовах перетинання клaстерiв довшь-но1 форми.
1 ПОСТАНОВКА ЗАДАЧ1
У нaйбiльш загальнш постaновцi зaдaчi кластерування передбачаеться, що е масив (можливо зростаючий) з N ба-гaтовимiрних спостережень, що описуються «-вимiрними
векторами ознак x(k) = (x1(k),x2(k),...,xn(k))T e Rn ,
k = 1,2,...,N,..., яю необхщно розбити на m клaстерiв, при цьому це число може бути заздалепдь нев^омо, тобто 1 < m < N. Очевидно, що така велика юльюсть вщо-мих методiв вирiшення зaдaчi кластерування пов'язана з тим, що сьогодш не ^нуе ушверсального алгоритму придатного для ефективного використання у вих вини-каючих випадках. Одна з таких можливих i досить склад-них ситуaцiй пов'язана з припущенням, що кожен вектор спостережень може одночасно вщноситись з рiзни-ми рiвнями нaлежностi не до одного, а вщразу до юлькох чи до всiх формуемих клaстерiв. У цiй ситуацп на перший план виходять, так зваш, м'як алгоритми (soft algorithms) [8], серед яких нaйбiльшу увагу привернуто до нейро-фaззi систем [9-11].
2 О1ЛЯД Л1ТЕРАТУРИ
Задача кластерування великих мaсивiв бaгaтовимiрних спостережень (векторiв-обрaзiв) часто виникае у багатьох реальних практичних задачах, а для ll виршення роз-роблено множину aлгоригмiв [1-3], при цьому в останш роки в рамцях концепцп Big Data особлива увага при-дiляеться оброблянню iнформaцil, що збер^аеться або у надвеликих базах даних (VLDB), або надходить на опрацювання в on-line режимi в формi потоку даних (data stream).
У випадку, коли класи перетинаються можуть бути використаш методи нечiткого кластерного aнaлiзу [12, 13], у тому чи^ нечiткi сaмооргaнiзовнi мережi Т. Когонена [14, 15], що реaлiзують в тш чи iншiй формi метод нечiтких С-середнiх (FCM) [16].
У випадку неопуклих клaстерiв завдання кластерування iстотно ускладнюеться, оскшьки нейронш мережi Т. Когонена як в чгткому, так i нечеткому вaрiaнтaх, реaлiзу-ють фактично методи К-середтх i нечiтких С-середнiх, яю формують опуклi множини з опрацьованих спостережень.
Для вирiшення задач кластерування у випадках, коли класи даних мають довшьну форму, можуть бути використаш ядерш самооргашзовш мапи Т. Когонена [7, 17, 18], побудоваш на осжда ядер Дж. Мерсера [19-21] i зас-новаш на мiнiмiзaцil критерiю емпiричного ризику, що полягае в основi спещального класу нейронних мереж, вiдомих як машини опор них векторiв (SVM) [9]. Треба вщзначити, що SVM-нейроннi мереж^ як потужний зaсiб вирiшення багатьох задач Data Mining, включаючи i кластерування, признaченi для опрацюваня iнформaцil тiльки у пакетному режимi i не можуть aнaлiзувaти даш, що послiдовно надходять в нейронну мережу
У зв'язку з цим доцшьно зaмiсть трaдицiйного SVM-тдходу використовувати iдеl, що поклaденi в основу ра-дiaльно-бaзисних нейронних мереж (RBFN) [9] i пов'я-заш з теоремою Т. Кавера [23], яка стверджуе, що лшшно-
нероздшьна задача розпiзнaвaння обрaзiв в просторi
Dn ■
вхiдних ознак R може стати лшшно-роздшимою в про-
сторi пiдвищеноl розмiрностi Rh (n +1 < h). На основi спiльного використання RBFN i SOM в [23] була введена on-line кластеризувальна нейро-система, призначена для ч^кого вщновлення клaсiв довшьно! форми. Основним недолiком цiеl системи, втам як i всiх рaдiaльно-бaзисних нейромереж, е, так званий, «прокльон розмiрностi», що породжуе рiзке збшьшення числа R-нейронiв в прихова-ному шaрi з ростом розмiрностi вх^ного простору Rn.
У зв'язку з цим доцшьною е розробка on-line нейро-фaззi системи для виршення задач послiдовного нечiткого кластерування даних, що дозволяе опрацьовувати векто-ри спостережень будь-яко1 розмiрностi в умовах обме-женого числа спостережень в оброблюванш вибiрцi.
3 МАТЕР1АЛИ I МЕТОДИ
На рис. 1 наведено архитектуру запропоновано! гiбрид-но1 кластеризувально! on-line нейро-фaззi системи. Вхiдною iнформaцiею для ще! системи е центрована щодо середнього вибiркa векторiв спостережень, яка можливо зростае x(1), x(2),..., x(k),..., x(N),...;
x(k) = (x1(k),..., xi (k),..., xn(k))T e Rn таких, що
1 N
1 < xi (к) < 1, — V х (к) = 0, яка повинна бути роздле-N^ 1
к=1
на на m кластерiв довшьжи форми, при цьому к тут може бути як номером поточного спостереження, так i моментом поточного часу.
Вектори спостережень х(к ) послщовно надходять на нульовий (рецепторний) шар системи, звiдки передають-ся на перший прихований шар, утворений nh (по h на кожний вхщ) функцiями Ц/1 (xi), / = 1,2,...,h; i = 1,2,...,n
i виконуючий фаззiфiкування вхiдного простору Rn. Другий прихований шар забезпечуе агрегування рiвнiв належностi, розрахованих в першому шарi, i мiстить h блоюв множення. Таким чином, першi два шари цiеï системи повшстю збiгаються з шарами найбшьш популяр-них нейро-фаззi систем ANFIS i TSK [24, 25], основною перевагою яких крiм унiверсальних апроксимуючих вла-стивостей е те, що ïх вихiдний сигнал лiнiйно залежить вщ параметрiв-синаптичних ваг, якi налаштовуються, що дозволяе використовувати для ïх налаштування як мно-жину вщомих лiнiйних алгоритмiв навчання [9, 26], так i вiдомi методи адаптивного кластерування [30, 28], яю е оптимальними за швидкодiею.
Отже, якщо на вхiд системи подано векторний сигнал х(к ), елементи першого прихованого шару здiйснюють його фаззiфiкування, обчислюючи рiвнi належностi 0 < Цц (Xi (к)) < 1, при цьому зазвичай в якост функцiй належностi використовуються традицiйнi гавсiани
Ц/i ( Xi (к )) = exp
( (xi(к) - Ci)2 ^ ' 2а2
де Cii , CTi - параметри цен^в i ширини вщповщно. Зау-важимо також те, що попередне кодування даних на дея-кий iнтервал, наприклад, -1 < xt (к) < 1 дозволяе спрос-тити розрахунки, оскiльки параметри ширини стi в цьому випадку можуть бути прийнят однаковими для вшх входiв, тобто CTi = ст.
У другому прихованому шарi обчислюються агрего-ванi значення
n
ф/ (к ) = П^й( xi(к ^ i=1
при цьому для гавмашв з однаковими параметрами ширини е коректним спiввiдношення
ф/ (к ) = П va( xi(к )) = П exp
i=1 i=1
( (x^-cufЛ
2ст
= exp
( 2 ^ ||x(k ) - с/||
2ст2
де Ci = (c/1, Ci 2,..., Ci n ) , тобто сигнали на виходах блокiв множення другого прихованого шару е аналопчними сигналам на виходах нейрошв R/ першого прихованого шару звичайних радiально-базисних нейронних мереж (RBFN).
Третiй прихований шар системи - шар нормалiзацiï (N) реалiзуе елементарне перетворення
ф ( x) =
ф( x)
11ф( x)||
де ф(х) = (ф!(х),...,фг(х),...,фи(х) ), необхщне для ефективно1 роботи четвертого вихщного шару, що е фак-тично кластерувальною нейро-фаззi мережею Когонена (Г80М) [29], налаштування параметрiв яко1 виконуеться за допомогою спецiалiзованоl процедури конкурентно -го самонавчання.
У цьому шарi вирiшуеться задача розбиття послщов-ностей образiв шдвищено1 розмiрностi ср(х(1)),...,ср(х(к)),...,ф(х(N)),... на т кластерiв iз знаход-
~к ~к ~к
женням прототитв-центрощв < ,...,Cj ,...,ст (нейрони ^) i рiвнiв належност кожного ¿ф(к) до кожного ^го
кластера Uj(к) (нейрони NM), с^ eRh, j = 1,2,...,m.
Важлива проблема, що виникае в процес синтезу системи, полягае в тому, як ефективно оргашзувати базис, утворений дзвонуватими функщями, в якому мож-на було б ефективно провести кластерування. Для цього необхiдно оргашзувати процес адаптацп кiлькостi h > n i цен^в с/i функцш належност першого шар}'.
Для виршення цiеï задачi призначенi п'ятий, шостий i сьомий додатюж шари, утвореш nh налаштовними си-наптичними вагами, n +1 суматорами i n блоками длен-ня, що вирiшують задачi дефаззiфiкування.
Таким чином, перший, другий, п' ятий, шостий i сьо-мий шари системи утворюють по сутi багатовихщну ней-ро-фаззi систему Ванга-Менделя [30] (TSK-система ну-льового порядку), основною вiдмiннiстю якоï е те, що в якост навчального тут використовуеться вхщний сигнал x(k), тобто система працюе в режимi автоасоцiацiï [21]. Виходом сьомого шару е векторний сигнал x^) e Rn,
який е оцiнкою вхiдного сигналу x(к ).
Яюсть в^новлення оцiнюеться на основi векторноï похибки
е(к ) = x^ ) - x( к )
за допомогою того чи шшого скалярного критерж>, наприклад:
_ 1 vixWzxM
е =— V --11 '
N к=1 ||x|I*
де |Н| - будь-яка норма у метрищ Мшковського, або MAPE-оцшки
h
1 N
е = - V
N¿1
VI x (к ) - x (к )|
: 100%.
VI xi ( к )|
i=1
р-К8К 1607-3274. Радюелектронжа, шформатика, управлiння. 2016. № 3 е-ЕЗБЫ 2313-688Х. Каёю Е1еойоп^, Сошриег Баепое, Сопйо1. 2016. № 3
Необхщно також зауважити, що на виходах п'ятого
Якщо виявиться, що значення е перевищуе деякий апрюрно заданий порщ приймаеться ршення про те, що прихованого шару формуеться пк сигнал1в процес налаштування цих шар1в повинен тривати, тобто к, С/{, , тдлягають подальшому уточненню. Кшцевим результатом навчання цих шар1в е значення к, Сц, \ мат-риця синаптичних ваг Ж = {м>ц }.
П^/г (X (к» = Щ/Ф/(к^
г=1
а на виходах шостого -п +1 сигналш
Рисунок 1 - Нечггка кластерувальна пбридна нейро-фазз1 система
h n h
Z wi П vu ( x(k )) = Z w i(k )'
l=1 г=1 l=1
Z ri (x (k)) =Z 9i (k)
l=1i=1 l=1
i, нарешта, на виходах сьомого шару - n сигналiв
h n n
Z w nvii(x(k)) h nvii(x(k))
подiленi piBHOMipHO, то
x (k ) =
i=1 i=1
-=Z wii-
i=1
1K"' h n ^ "il h n
i=1
znvii ( x (k )) l=1 znvii ( x (k )) l=1i=1 l=1i=1
= Z willl (X(k)) = wï î^ (x(k)), l=1
nvli(xi(k))
де cpl (x(k)) =
i=1
h n '
ZÜVli ( x (k ))
l=1 i=1
wi = (wi1, wi 2,■■■, wih )
(cp1 (x(k)),l(x(k)),..., cph(x(k)))T.
Вводячи в подальший розгляд (n х1)-вектор x(k) = ( x1 (k ), ■■■, xi (k),..., xn (k))T i (n х h)-матрицю W = (h>1,wi,■■■,м>п)T, остаточно можна записати x(k) = W Cph (x(k))
e(k) = x(k) - Wlh (x(k))■
Процес навчання нейро-фаззi системи, що розгля-даеться, зводиться до самонавчання - еволюцп першого прихованого шару, навчання з вчителем матриц синап-тичних ваг w п'ятого прихованого шару i конкурентного самонавчання нейро-фаззi-мережi Когонена четвертого вихщного шару
В основу налаштування першого прихованого шару покладеш iдеï еволюцiйних фаззьсистем i, перш за все, адаптивний метод самонавчання гiбридноï нейро-фаззi системи [31] ■
Нехай на вхщ системи, у якш в початковому сташ в першому прихованому шарi вщсутш функцiï належностi, надходить перше спостереження навчальноï вибiрки
x(1) = (x^),^,xt(1),_,xn(1))T ■ Це спостереження фор-
муе перший набiр функцiй належностi
V1 = (vu,-, V1i,■■■, V1n)T таких, Що c1i = xi(1>
Далi для векторжй функцiï належностi v з центром C1(1) задаеться радiус сусiдства r, що визначаеться максимально можливим числом h функцiй належност у си-стемi■ Так, якщо функцп належностi по компонентам роз-
h -1
Дал^ при надходженш другого спостереження x(2) проводиться перевiрка умови
max |с1г- - Xj (2) < r. 0)
i
Якщо ця умова виконуеться, проводиться корекцiя центрiв функцiй належност щ вiдповiдно до правила
cii (2) = Оц (1) + n(2)(x (2) - ch (1)),
де n(2) - параметр кроку навчання, наприклад, при П(2) = 0,5
сц (2) =
C1i (1) + xi (2) 2 ■
У тому випадку, якщо умова (1) не виконуеться, формуеться друга функщя належност з центрами
C2i (2) = X (2)-
Таким чином, формуеться вузол системи R2, утво-рений елементами першого i другого шарiв.
Нехай до моменту надходження на вхщ системи спостереження х(к) сформовано p вузлiв Rj функцш на-лежностi Щ,^2,. .,Hp,Р < h з центрами cii (к-1),l = 1,2,..., p; i = 1,2,..., n. З надходженням х(к) виконуеться перевiрка умови
max - xi (к) < r V l = 1,2,..., p. (2)
i
Якщо ця умова виконуеться, проводиться корекщя цен^в функцш належноста, найближчих до вщповщних компонентiв xt (к ) вщповщно до правила
Cli (k) = C1i (k -1) + n(k)(xi (k) - C1 (k -1)).
(3)
Нескладно помiтити, що (3) е не що шше, як вщоме правило самонавчання Т Когонена «Переможець отри-муе все» [11] з таею лише рiзницею, що самонавчання мапи Т Когонена реалiзуеться на гiперсферi
l|x(k 4 =1,
а правило (3) - на гiперкубi
l|x(k )|| „= 1
У тому випадку, якщо умова (2) не виконуеться, в системi формуеться (p + 1)-й (p +1 < h) вузол Rp+1 з центрами функцш належност
cp+1,i(k ) = x,(k )■
Як можна побачити, ця процедура е пбридом еволю-цiйного алгоритму Н Касабова [33] i самоорганiзовноï мапи Т Когонена [11], при цьому процес еволюцп архь тектури-самонавчання функцш належност може про-тiкати як безперервно, так i до досягнення кшькост функцш належност граничного значення nh ■
2
та
p-ISSN 1607-3274. Радюелектронжа, шформатика, управлшия. 2016. № 3 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2016. № 3
Для налаштування матриц синаптичних ваг може бути використаний або рекурентний метод найменших квад-ратав, який е за суттю оптимальною за швидждаею гавсь всько-ньютонiвською процедурою оптишзацп вигляду
W (к ) = W (к -1)
P(k ) = P(k -1)-
( x(k ) - W (к - 1)фh ( x(k ))фhT ( x(k ))P(k -1)
1 + phT ( x(k ))P(k - 1)фh (x(k )) P(k - 1)фh ( x(k ))фhT ( x(k ))P(k -1)
1 + срhT ( x(k ))P(k -1)фh ( x(k ))
або багатовимiрна версiя алгоритму Качмажа-У1дроу-Гоффа
W (к ) = W (k -1) +
(x(k) - W (к - 1)фh (x(k)K hT
Фh ( x(k ))
¥ ( x(k )) =
= W (k -1) + (x(k) - W (к - 1)фh (x(k))ph+ (x(k)),
де (•) + - символ операцiï псевдообернення.
В основi конкурентного самонавчання четвертого прихованого шару полягае ймовiрнiсний алгоритм нечеткого кластерування, заснований на оптишзацп цшьо-воï функцiï вигляду [16]
N m
VV
к=1 j=1
E u, cf ) = VVutj (к )
ф(x(k)) - c
K
за обмежень
який при ß = 2 збшаеться з алгоритмом нечетких С-се-реднiх (FCM) Дж. Бездека:
N
V u) (к )Ф ( x(k ))
pr.K = k=1_
cJ N
V uj (к )
к=1
(5)
u j (к) = -
Фр( x(k )) - c
K
ч-2
K
V ( Фр(x(k)) - ci l =1
Алгоритми (4), (5) набули широкого поширення при виршенш задач нечеткого кластерування, проте ïх вико-ристання можливе тiльки в пакетному режиш при фiксо-ваному об'емi оброблюваноï вибiрки даних.
Якщо ж дат надходять на опрацювання послщовно в on-line режимi, е доцшьним використання рекурентного варiанту (4), заснованого на процедурi нелiнiйного про-грамування Ерроу-Гурвiца-Удзави вигляду
cKK (к ) = cKK (к -1) + )uß (к - 1)(Ф( x(k)) - c K (к -1)), j = 1,2,..., m,
uj (к ) = -
(I Ф( x(k )) -
сK )1-ß
(6)
m w «i 2 -
V (I Ф(x(k)) - cf (k^ )1-ß
£ uj (k) = 1, к = 1,2, j=1
, N,
N
0 <V uj (k) < N, j = 1,2,...,
к=1
де uj (к) e[0,1], ß - невщ'емний параметр фаззiфiку-
вання, що визначае нечггку границю мiж рiзними класа-ми i впливае на рiвень нечгткоста в остаточному розбиттi даних по кластерам.
Застосування стандартного апарату нелiнiйного про-грамування, заснованого на невизначених множниках Лагранжа i виршенш системи рiвнянь Каруша-Куна -Таккера, веде до вщомого результату
N
V uß (к )Ф ( x(k ))
7.K = k=1_
cj N
V uß (k)
к=1
u j (к ) = -
(
ф(x(k)) - c
K
)1-ß
V ( ср(x(k)) - c/ =1
K
)1-ß
Аналiзуючи (6), можна помiтити, що розглядаючи ствмножник uj (к -1) в якоста функцiï суидства, отри-муемо правило самонавчання Т. Когонена на основi принципу «Переможець отримуе бiльше» (WTM), при ß ^ 1 отримуемо алгоритм типу К-середшх, а ß ^ 0 вщповщае стандартному правилу Т. Когонена типу «Переможець отримуе все» (WTA):
cf (к ) = cf (к -1) + n(k )(Ф ( x(k )) - cf (к -1)) (7)
аналопчне (3). Нескладно помпити також, що рекурент-на процедура (7) мiнiмiзуе цшьову функщю вигляду
E(cf ) = V|p(x(к)) - c
оптимiзацiя якоï веде до звичайноï оцiнки середнього арифметичного
cf (к) =Т V Ф(x(k))
' p(x(k))eC/j
(4) або у рекурентнш формi:
cf (к) = cf (к -1) + 1(ф(x(k)) - cf (к -1)).
j
"j
Такий вибiр параметра кроку n(k) узгоджуеться з правилами стохастичноï апроксимацiï i надае результатам ясний фiзичний змiст.
2
2
1
Таким чином, алгоритм самонавчання (6) четвертого прихованого шару остаточно може бути записаний у вшляда
K K uj (k -1) K
cf (k) = cf (k -1) + -Í-(px(k)) - гf (k -1)), j = 1,2,..., m,
k
1
' (¿) = (I P x(k)) - Cf (k )|2)1-e jj HIpx(k)) - cf (k J2)1-P
1=1
що поеднуе в cö6i обчислювальну простоту i послгдовну обробку когонетвського навчання з можливiстю нещткого кластерування.
Вектори-центро1ди кластерiв Cj (k), обчислеш в простер
тдвищено1 розм!рносп Rh, дал! можуть бути спроектоваш у вииднпй проспр Rn за допомогою матриц! синаптичних ваг на основ! перетворення
cf (k) = W(k)Ncf (k) V j = 1,2,...,m,
cf (k) e Rn, cf (k) e Rh.
Таким чином, розглянута кластерувальна нейро-фаззi система е за суттю пбридом двох нейро-фаззi систем: еволюцшно1 TSK-системи i нечпж>1 кластерувально1 мережi Когонена, що дозволяе в on-line режим вщновлювати класи довиъно1 форми, що перекриваються (лгншно нероздiльнi), як! формуються да-ними, що надходять на обробляння у Форм! потоку шформаци.
4ЕКСПЕРИМЕНТИ
Ефектившсть запропоновано1 пбридно1 нейро-фазз! системи та процедур ll навчання продемонстрована при розв'-язанн задач! неч!ткого кластерування. В якосп тестових данних було обрано три виб!рки з иО-репозггсря - Iris, Wine та Breast Cancer [34]. Bti данн було попередньо пронормовано на гшер-куб в штервал! [-1, 1].
Для поргвняння ефективносп запропоновано1 системи з ефек-тивтстю гнших юнуючих систем було обрано самоорганзовну мапу Т. Когонена та метод нечгтких С-середн1х (FCM).
У якосп критерж> якосп кластерування було обрано се-редньоквадратичну похибку MSE. 5 РЕЗУЛЬТАТИ
Результати проведених експерименпв наведено в табл. 1.
Таблиця 1 - Результати експерименпв
Тип системи Iris Wine Breast Cancer
Самоограшзовна мапа Т. Когонена 0,067 0,79 0,82
FCM 0,07 0,072 0,08
Пбридна нейро-фазз! система 0,054 0,069 0,0083
6 ОБГОВОРЕННЯ
Як можна побачити з табл. 1, запропонована пбридна нейро-фазз! система досить непогано показала себе при розв'язанн задач кластерування. Варто вщзначити, що з ростом виб!рки по-хибка кластерування запропоновано1 нейро-фаза системи змен-шувалась. Якщо поргвнювати якгсть кластерування, пбридна нейро-фазз! система продемонструвала найкращий результат.
Результат кластерування за допомогою пбридно! ней-ро-фазз! системи для виб!рок Iris, Wine та Breast Cancer наведено на рис. 2. Для бшьшо! наочност результати зв!зуал!зоваш у трьохвишрному простор!.
0.8
я
в
Рисунок 2 - Результати кластерування пбридною нейро-фазз! системою:
а - виб1рка Iris, б - виб!рка Wine, в - виб!рка Breast Cancer
p-ISSN 1607-3274. Радюелектронжа, шформатика, управлiння. 2016. № 3 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2016. № 3
ВИСШОВКИ
Таким чином у розгляд введено еволюцшний шдхщ до виршення задач нечеткого on-line кластерування по-тоюв даних, що послщовно надходять на опрацювання.
Наукова новизна роботи полягае у тому, що запропо-новано пбридну нейро-фазз1 систему обчислювального штелекту, що призначена для нечеткого on-line кластерування потоку шформацп в умовах невизначеност як про форму клаив, так i про р1вн1 1х перекриття. Введена ней-ро-фазз1 система е досить простою в чисельнш реаль зацп i дозволяе вирiшувати задачi динамiчного штелек-туального аналiзу даних (DDM) та iнтелектуального ана-лiзу потокiв даних (DSM) за умов суттево! апрюрно! невизначенностi.
До практично! цшност отриманих результатiв мож-на вiднести те, що запропоновану систему можна вико-ристовувати для розв'язання задач кластерування в умовах велико! кшькосп спостережень (Big Data), що надходять на обробляння в послщовному режиш. ПОДЯКИ
Роботу виконано в рамках держбюджетно! науково-досл^но! теми Харкiвського нацюнального ушверсите-ту радiоелектронiки № 307 «Динамiчний штелектуаль-ний аналiз послщовностей неч^ко! шформацп за умов суттево! невизначеностi на основi гiбридниx систем обчислювального штелекту». СПИСОК ЛГГЕРАТУРИ
1. Rutkowski L. Computational Intelligence. Methods and Techniques / L. Rutkowski. - Berlin-Heidelberg : Springer-Verlag, 2008. -514 p.
2. Mumford C. Computational Intelligence. Collaboration, Fuzzy and Emergence / C. Mumford, L. Jain. - Berlin: Springer-Vergal, 2009. - 726 p.
3. Computational Intelligence. A Methodological Introduction / [R. Kruse, C. Borgelt, F. Klawonn and other]. - Berlin : Springer, 2013. - 488 p.
4. Du K.-L. Neural Networks and Statistical Learning / K.-L. Du, M. N. S. Swamy. - London : Springer-Verlag, 2014. - 824 p.
5. Han J. Data Mining : Concepts and Techniques / J. Han, M. Kamber. - Amsterdam : Morgan Kaufmann Publ., 2006. -754 p.
6. Aggarwal C. C. Data Mining / A. A. Aggarwal. - Cham : Springer, Int. Publ., Switzerland, 2015. - 734 p.
7. Aggarwal C. C. Data Clustering. Algorithms and Application / C. C. Aggarwal, C. K. Reddy. - Boca Raton : CRC Press, 2014. -648 p.
8. Xu R. Clustering, IEEE Press Series on Computational Intelligence / R. Xu, D. C. Wunsch. - Hoboken, NJ: John Wiley & Sons, Inc., 2009. - 370 p.
9. Haykin S. Neural Networks. A Comprehensive Foundation / S. Haykin. - Upper Saddle River, N.J.: Prentice Hall, Inc., 1999. -842 p.
10. Bifet A. Adaptive Stream Mining: Pattern Learning and Mining from Evolving Data Streams / A. Bifet. - IOS Press, 2010. - 224 p.
11. Kohonen, T. Self-Organizing Maps / T. Kohonen. - Berlin : Springer-Verlag, 1995. - 362 p.
12. Höppner F. Fuzzy-Clusteranalyse: Verfahren für die Bilderkennung, Klassifikation und Datenanalyse. / F. Hcppner, F. Klawonn, R. Kruse. - Braunschweig : Vieweg, 1996. - 280 p.
13. Fuzzy Cluster Analysis: Methods for Classibication, Data Analysis and Image Recognition [F. Höppner, F. Klawonn, R. Kruse, T. Runkler]. - Chichester : John Wiley & Sons, 1999. - 289 p.
14.Tsao E. C.-K. Fuzzy Kohonen clustering networks / E. C.-K. Tsao, J. C. Bezdek, N. R. Pal // Pattern Recognition. -1994. - Vol. 27, № 5. - P. 757-764.
15. Smoothly distributed fuzzy C-means: a new self-organizing map [R. D. Pascual-Marqui, A. D. Pascual-Montano, K. Kochi, J. M. Caroso] // Pattern Recognition, 2001. - Vol. 34, № 5. -P. 2395-2402.
16. Bezdek J.-C. Pattern Recognition with Fuzzy Objective Function Algorithms / J.-C. Bezdek. - N. Y. : Plenum Press, 1981. - 272 p.
17. Girolami M. Mercer kernel-based clustering in feature space / M. Girolami // IEEE Transactions on Neural Networks. - 2002. -Vol. 13, Issue 3. - P. 780-784.
18. Camastra F. A novel kernel method for clustering / F. Camastra, A. Verri // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2005. - Issue. 5. - P. 801-805.
19. Schdkopf B. Learning with Kernels / B. Schdkopf, A. Smola. -Cambridge, M. A. : MIT Press, 2002. - 648 p.
20. Kung S. Y. Kernel Methods and Machine Learning / S. Y. Kung. -Cambridge : University Press, 2014. - 578 p.
21. Kacprzyk J. Springer Handbook of Computational Intelligence / J. Kacprzyk, W. Pedrycz. - Berlin Heidelberg : Springer-Verlag, 2015. - 1634 p.
22. Cover T. M. Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition / T. M. Cover // IEEE Transactions on Electronic Computers. -1965. - Vol. 14. - P. 326-334.
23. Бодянский Е. В. Ядерная самоорганизующаяся карта на основе радиально-базисной нейронной сети / E. B. Бодянский, А. А. Дейнеко, Я. В. Куценко // Электротехнические и компьютерные системы. - 2015. - № 20. - C. 97-105.
24. Jang J.-S. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence / J.-S. Jang, C.-T. Sun, E. Mizutani. - Upper Saddle River: Prentice Hall, 1997. - 640 p.
25. Takagi T. Fuzzy identification of systems and its applications to modeling and control / T. Takagi, M. Sugeno // IEEE Transactions on Systems, Man, and Cybernetics. - 1985. - Vol. 15, № 1. -P. 116-132.
26. Friedman J. The Elements of Statistical Learning. Data Mining, Inference and Prediction / J. Friedman, T. Hasti, R.Tibshirani. -Berlin : Springer, 2003. - 552 p.
27. Ljung L. System Identification : Theory for User / L. Ljung. -Upper Saddle river : Prentice Hall, Inc., 1987. - 432 p.
28. Nelles O. Nonlinear System Identification / O. Nelles. - Berlin : Springer, 2001. - 785 р.
29. Bodyanskiy Ye. Adaptive neuro-fuzzy Kohonen network with variable fuzzifier / Ye. Bodyanskiy, B. Kolchygin, I. Pliss // Int. J. Information Technologies and Knowledge. - 2011. -Vol. 18, Issue 3. - P. 215-223.
30. Wang L. X. Fuzzy basis functions, universal approximation, and orthogonal least-squares learning / L. X. Wang, J. M. Mendel // IEEE Transactions on Neural Networks. - 1992. - Vol. 3, Issue 5. -P. 807-814.
31. Lughofer E. Evolving Fuzzy Systems - Methodologies and Applications / E. Lughofer. - Studies in Fuzziness and Soft Computing. - Springer-Berlin, 2011. - 410 p.
32. Bodyanskiy Ye. V. Adaptive method of hybrid learning for an evolving neuro-fuzzy system / Ye. V. Bodyanskiy, O. O. Boiko, I. P. Pliss // Cybernetics and Systems Analysis. - 2015. - Vol. 51, Issue 4. - P. 500-505.
33. Kasabov N. Evolving Connectionist Systems / N. Kasabov. -London : Springer-Verlag, 2003. - 307 p.
34. Frank A. UCI Machine Learning Repository [Electronic resource] / A. Frank, A. Asuncion. - Irvine, CA : University of California, School of Information and Computer Science, 2013. - Access mode: http ://archi ve .ics.uci.edu/ml.
Стаття надшшла до редакцй 01.08.2016.
Шсля доробки 16.08.2016.
Бодянский Е. В.1, Дейнеко А. О.2, Куценко Я. В.3
1 Д-р техн. наук, научный руководитель Проблемной НИЛ АСУ, Харьковский национальный университет радиоэлектроники, Харьков, Украина 2Канд. техн. наук, научный сотрудник Проблемной НИЛ АСУ, Харьковский национальный университет радиоэлектроники, Харьков, Украина 3 Аспирантка кафедры искусственного интеллекта Харьковского национального университета радиоэлектроники, Харьков, Украина ПОСЛЕДОВАТЕЛЬНАЯ НЕЧЕТКАЯ КЛАСТЕРИЗАЦИЯ НА ОСНОВЕ НЕЙРО-ФАЗЗИ ПОДХОДА
В статье предложена on-line нейро-фаззи система для решения задачи последовательной нечеткой кластеризации данных, которая позволяет обрабатывать векторы наблюдений любой размерности в условиях ограниченного числа данных в обрабатываемой выборке, а также алгоритм ее самообучения на основе самоорганизующейся карты Т. Кохонена. Архитектура системы содержит сем слоев обработки информации и, по своей сути, является гибридом системы Ванга-Менделя и кластеризирующейся самоорганизующейся сети. Предложенная система в процессе самообучения настраивает не только свои параметры, но и архитектуру в on-line режиме. Для настройки параметров функций принадлежности гибридной нейро-фаззи системы введен алгоритм, основанный на использовании конкурентного обучения. В процессе обучения гибридная нейро-фаззи система настраивает синаптические веса, центры и параметры ширины функций принадлежности. Разработано программное обеспечение, реализующее предложенную архитектуру гибридной нейро-фаззи системы. Проведен ряд экспериментов по исследованию свойств предлагаемой системы. Результаты экспериментов подтвердили, что предложенную систему можно использовать для решения задачи кластеризации, при этом обработка данных происходит в on-line режиме. Система характеризуется простотой численной реализации. Отличительной особенностью предложенной системы является то, что она объединяет в себе как обучение с учителем, так и самообучение.
Ключевые слова: гибридная система, вычислительный интеллект, нейро-фаззи система, функция принадлежности, нечеткая кластеризация. Bodyanskiy Ye. V.1, Deineko A. O.2, Kutsenko Ya. V.3
1Dr. Sc., Scientific Head of the Control Systems Research Laboratory, Kharkiv National University of Radio Electronics, Kharkiv, Ukraine 2Ph.D, Researcher at the Control Systems Research Laboratory, Kharkiv National University of Radio Electronics, Kharkiv, Ukraine 3Ph.D, student at the Artificial Intelligence Department, Kharkiv National University of Radio Electronics, Kharkiv, Ukraine SEQUENTIAL FUZZY CLUSTERING BASED ON NEURO-FUZZY APPROACH
An on-line neuro-fuzzy system for solving data stream fuzzy clustering task and its self-learning procedures based on T. Kohonen's rule are proposed in the paper. The architecture of proposed system consists of seven information processing layers and represents the hybrid of the Wang-Mendel system and clustering self-organizing network. During a learning procedure in on-line mode, the proposed system tunes both its parameters and its architecture. For tuning of membership functions parameters of neuro-fuzzy system the method based on competitive learning is proposed. The hybrid neuro-fuzzy system tunes its synaptic weights, centers and width parameters of membership functions. Software that implements the proposed hybrid neuro-fuzzy system's architecture has been developed. A number of experiments has been held in order to research the proposed system's properties. Experimental results have proved the fact that the proposed system could be used to solve a sequential stream clustering task. The proposed system provides computational simplicity. A distinguishing feature of the proposed system is that this system combine supervised learning and self-learning procedures.
Keywords: hybrid system, Data Mining, Data Stream Mining, neuro-fuzzy system, membership function, fuzzy clustering.
REFERENCES
1. Rutkowski L. Computational Intelligence. Methods and Techniques. Berlin-Heidelberg, Springer-Verlag, 2008, 514 p.
2. Mumford C., Jain L. Computational Intelligence. Collaboration, Fuzzy and Emergence. Berlin, Springer-Vergal, 2009, 726 p.
3. Kruse R., Borgelt C., Klawonn F., Moewes C., Steinbrecher M., Held P. Computational Intelligence. A Methodological Intr oduction. Berlin, Springer, 2013, 488 p.
4. Du K.-L., Swamy M.N.S. Neural Networks and Statistical Learning. London, Springer-Verlag, 2014, 824 p.
5. Han J., Kamber M. Data Mining: Concepts and Techniques. Amsterdam: Morgan Kaufmann Publ., 2006, 754 p.
6. Aggarwal C. C. Data Mining, Cham, Springer, Int. Publ., Switzerland,
2015, 734 p.
7. Aggarwal C. C., Reddy C. K. Data Clustering. Algorithms and Application. Boca Raton, CRC Press, 2014, 648 p.
8. Xu R., Wunsch D. C. Clustering, IEEE Press Series on Computational Intelligence. Hoboken, NJ. John Wiley & Sons, Inc., 2009, 370 p.
9. Haykin S. Neural Networks. A Comprehensive Foundation, Upper Saddle River, N.J., Prentice Hall, Inc., 1999, 842 p.
10. Bifet A. Adaptive Stream Mining: Pattern Learning and Mining from Evolving Data Streams. IOS Press, 2010, 224 p.
11. Kohonen T. Self-Organizing Maps. Berlin, Springer-Verlag, 1995, 362 p.
12. Höppner F., Klawonn F., Kruse R. Fuzzy-Clusteranalyse: Verfahren für die Bilderkennung, Klassifikation und Datenanalyse. Braunschweig, Vieweg, 1996, 280 p.
13. Höppner F., Klawonn F., Kruse R., Runkler T. Fuzzy Cluster Analysis: Methods for Classification, Data Analysis and Image Recognition. Chichester, John Wiley & Sons, 1999, 289 p.
14. Tsao E. C.-K., Bezdek J. C., Pal N. R. Fuzzy Kohonen clustering networks, Pattern Recognition, 1994, Vol. 27, No. 5, pp. 757-764.
15. Pascual-Marqui R. D., Pascual-Montano A. D., Kochi K., Caroso J. M. Smoothly distributed fuzzy C-means: a new self-organizing map, Pattern Recognition, 2001, Vol. 34, No. 5, pp. 2395-2402.
16. Bezdek J.-C. Pattern Recognition with Fuzzy Objective Function Algorithms, N.Y., Plenum Press, 1981, 272 p.
17. Girolami M. Mercer kernel-based clustering in feature space, IEEE Transactions on Neural Networks, 2002, Vol. 13, Issue 3, pp. 780-784.
18. Camastra F., Verri A. A novel kernel method for clustering, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, Issue. 5, pp. 801-805.
19. Schdkopf B., Smola A. Learning with Kernels, Cambridge, M.A., MIT Press, 2002, 648 p.
20. Kung S. Y. Kernel Methods and Machine Learning, Cambridge, University Press, 2014, 578 p.
21. Kacprzyk J., Pedrycz W. Springer Handbook of Computational Intelligence. Berlin Heidelberg, Springer-Verlag, 2015, 1634 p.
22. Cover T. M. Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition, IEEE Transactions on Electronic Computers, 1965, Vol. 14, pp. 326-334.
23. Bodyanskiy Ye., Deineko A., Kutsenko Ya. Kernel Self-Organizing Map based on radial-basis neural network, Electrotechnical and computer systems, 2015, Vol. 20, pp. 97-105.
24. Jang J.-S., Sun C.-T., Mizutani E. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence, Upper Saddle River, Prentice Hall, 1997, 640 p.
25. Takagi T., Sugeno M. Fuzzy identification of systems and its applications to modeling and control, IEEE Transactions on Systems, Man, and Cybernetics, 1985, Vol.15, № 1, pp. 116-132.
26. Friedman J., Hasti T., Tibshirani R. The Elements of Statistical Learning. Data Mining, Inference and Prediction. Berlin, Springer, 2003, 552 p.
27.Ljung L. System Identification: Theory for User, Upper Saddle river, Prentice Hall, Inc., 1987, 432 p.
28. Nelles O. Nonlinear System Identification. Berlin, Springer, 2001, 785 p.
29. Bodyanskiy Ye., Kolchygin B., Pliss I. Adaptive neuro-fuzzy Kohonen network with variable fuzzifier, Int. J. Information Technologies and Knowledge, 2011, Vol. 18, Issue 3, pp. 215-223.
30. Wang L. X., Mendel J. M. Fuzzy basis functions, universal approximation, and orthogonal least-squares learning, IEEE Transactions on Neural Networks, 1992, Vol. 3, Issue 5, pp. 807-814.
31.Lughofer E. Evolving Fuzzy Systems - Methodologies and Applications, Studies in Fuzziness and Soft Computing, SpringerBerlin, 2011, 410 p.
32.Bodyanskiy Ye.V., Boiko O.O., Pliss I. P. Adaptive method of hybrid learning for an evolving neuro-fuzzy system, Cybernetics and Systems Analysis, 2015, Vol. 51, Issue 4, pp. 500-505.
33. Kasabov N. Evolving Connectionist Systems. London, SpringerVerlag, 2003, 307 p.
34.Frank A., Asuncion A. UCI Machine Learning Repository [Electronic resource], Irvine, CA, University of California, School of Information and Computer Science, 2013, Access mode: http:/ /archive.ics.uci.edu/ml.
