Еволюційна каскадна система на основі нейро-фаззі вузлів Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.032.26

Бодянський е. В.1, Тищенко О. К.2, Бойко О. О.3

1Д-р техн. наук, науковий кер1вник ПроблемноТ НДЛ АСУ, Харювський нац/ональний ун1верситет радоелектронки, Харюв,

УкраТна

2Канд. техн. наук, старший науковий сп1вроб1тник ПроблемноТ НДЛ АСУ, Харювський нацональний ушверситет

радоелектрон1ки, Харюв, УкраТна

3Асп1рантка кафедри штучного ¡нтелекту Харювського национального ушверситету радоелектронки, Харюв, УкраТна

ЕВОЛЮЦ1ЙНА КАСКАДНА СИСТЕМА НА ОСНОВ1 НЕЙРО-ФАЗЗ1

ВУЗЛ1В

У ста™ запропоновано еволюцшну каскадну систему обчислювального штелекту на 0CH0Bi нейро-фаззi вузлiв, а також алгоритми 11 навчання. Запропонована система в процес навчання налаштовуе не тiльки сво! параметри, але й архитектуру в online режима У якостi вузлiв еволюцшно! каскадно! системи запропоновано використовувати нейро-фаззi системи. Для налаштування параметрiв функцiй належност нейро-фаззi вузлiв запропоновано алгоритм, що Грунтуеться на використаннi градiентно! процедури мiшмiзацi! критерiю навчання. У процес навчання нейро-фаззi вузлiв налаштовуються синаптичш ваги, центри i параметри ширини функцiй належностi нейро-фаззi вузлiв. Розроблено програмне забезпечення, що реалiзуе запропоновану архггектуру еволюцшно! каскадно! нейро-фаззi системи. Проведено ряд експерименпв з дослщження властивостей запропоновано! системи. Результати експерименпв пiдтвердили те, що запропоновану систему можна використовувати для розв'язання широкого кола задач штелектуального аналiзу даних, при цьому обробка даних вщбуваеться в online режима Система характеризуеться простотою чисельно! реалiзацi!, а процес обробки даних може бути пришвидшено завдяки можливост паралельного налаштування вузл!в еволюцiйно! каскадно! системи. Характерною особливютю запропоновано! системи е те, що для !! налаштування не потр!бний великий об'ем навчально! ви6Грки.

Ключовi слова: гiбридна система, обчислювальний штелект, каскадна система, нейро-фаззi система, функщя належностi, еволюцiйна система.

<5ii - параметр ширини l -! функцп належност i -! компоненти;

Х (k) - добуток значень l -! функцп належност для k-го вектора вхщних сигнадiв;

w'i - синаптична вага добутку значень l -! функцп на-лежност для вузла з i -ю та j -ю компонентами;

w4 - вектор синаптичних ваг для вузла з i -ю та j -ю компонентами;

E (k) - значення функцп критерж> навчання для k-го вектора вхщних сигнал1в;

Пс - параметр кроку навчання для параметра центра функцп належностц

Па - параметр кроку навчання для параметра ширини функцп належностц exp(x) - експонента; а - параметр забування; 5ir - дельта-функщя. ВСТУП

У наш час пбридш системи обчислювального штелекту i, перш за все, штучш нейронш мереж1 та нейро-фазз1 системи отримали широке розповсюдження для виршення р1зних задач штелектуального анал1зу даних: розтзнавання образ1в, щентифжацп, емуляцп, штелекту-ального керування тощо. При цьому на практищ достат-ньо часто виникають ситуацп, коли дат, що тдлягають обробщ, надходять до входу системи послщовно в online режимг Така ситуацiя е предметом розгляду напрямкiв, що штенсивно розвиваються в наш час i вГдомГ як Dynamic Data Mining та Data Stream Mining [1], а для ро-боти в цих умовах найкраще пристосованi так зваш «ево-люцшш системи обчислювального штелекту» [2-6], яю

DOI 10.15588/1607-3274-2016-2-5

НОМЕНКЛАТУРА

TSK - Takagi-Sugeno-Kang system;

ANFIS - adaptive neuro-fuzzy inference system;

МГУА - Метод Групового Урахування Аргументiв;

МНК - метод найменших квадратiв;

x(k) - вектор вхщних сигналiв;

Xi (k) - i-та компонента вектора вхщних сигналiв;

h - кшьюсть функцш належностi;

k - номер спостереження у навчальнiй ви6Грщ;

n - кшьюсть входГв системи;

N - кшьюсть спостережень у навчальнш ви6Грщ;

s - кшьюсть вузлГв у першому прихованому шарi си-стеми;

SB - блок селекцп;

N[i] - i -й прихований шар системи;

y[1 (k) - вихщний сигнал j -го вузла першого прихо-ваного шару для k-го вектора вхщних сигналiв;

yj* (k) - вихдаий сигнал блоку селекцп для j -го вузла першого прихованого шару для k-го вектора вхщних сигналiв;

j)[i] (k) - вихщний сигнал i-го прихованого шару сис-теми;

y (k) - вихщний сигнал вузла для k-го вектора вхщних СИГШЛГВ;

y (k) - навчальний сигнал для k-го вектора вхщних СИГШЛГВ;

H-ft - функщя належносп i-! компоненти вектора вхщних сигналiв до l -го центро!да;

Cli - параметр, що визначае центр l -! функцп належ-ност i -! компоненти;

© Бодянський €. В., Тищенко О. К., Бойко О. О., 2016

p-ISSN 1607-3274. Радюелектрошка, шформатика, управлiння. 2016. № 2 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2016. № 2

у процес1 навчання налаштовують не т1льки сво! параметры, але й архитектуру.

Треба в1дзначити, що процес навчання суттево уск-ладнюеться, коли навчальш виб1рки м1стять невелику кшьюстъ спостережень, що призводить до того, що система або не встигае налаштувати сво! параметри (не ка-жучи про архитектуру), або виникае ефект «перенавчан-ня» (overfitting).

У зв'язку з цим синтез пбридних систем обчислю-вального штелекту, що навчаються в online режим1 та здатш зм1нювати свою архитектуру у процем навчання, е досить щкавою та актуальною задачею. 1 ПОСТАНОВКА ЗАДАЧ1

Нехай задана виб1рка даних, кожне спостереження з яко! мае вигляд (nх1)-вим1рного вектора сигнал1в

х(к) = ( (к), Х2 (к),..., xn (к))T (к = 1, 2,..., N - номер

спостереження у навчальнш виб1рщ).

Тод1 задача дослщження полягае в навчанш еволюцшно! каскадно! нейро-фазз1 системи для обробки вхщних даних i отриманш вихщних значень для розв'язку певно! задач1 iнтелекгуального аналiзу даних.

Результатом роботи запропоновано! системи е вихщ-

ний сигнал y (к) для кожного спостереження з вибiрки

даних.

У якост цiльово! функцi! використовуеться середнь-

1 N „2

оквадратична помилка E (к) = ^ ^ (( (к) — У (к)) .

к=1

2 О1ЛЯД Л1ТЕРАТУРИ

На сьогодтшнш день iснуе багато еволюцiйних систем обчислювального iнтелекгу, що здатш обробляти дат в online режима В осжда бiльшостi з них лежать багато-шаровi нейро-фаззi системи типу TSK або ANFIS. Але у випадках, коли навчальш вибiрки мiстять невелику кiлькiсть спостережень, щ системи можуть не встигнути налаштувати сво! параметри та арх^ектуру. Перебороти вказаш труднощi можна, декомпозувавши вихщну проблему на ряд задач меншо! розмiрностi, для вирiшення яких кiлькiсть наявних даних е достатньою.

Одним з найбiльш ефективних пiдходiв, що Грунту-ються на цьому принципi, е Метод Групового Урахуван-ня Аргументiв (МГУА) [7-10], який, на жаль, погано при-стосований до роботи в online режимь Набагато про-стiше адаптувати до цього режиму так зваш «каскадш нейроннi мережЬ [11-14], хоча до суттевих недолiкiв цих систем можна взнести те, що в них використовуеться «заморожування» (freezing) параметрiв.

Спроба створення «гiбрида» МГУА i каскадних ней-ронних мереж, що адаптований до роботи в online ре-жимi, була здiйснена в [15], де в якост вузлiв були вико-ристанi складенi R нейрони. Ця мережа, що володiе ви-сокою швидкодiею та апроксимуючими можливостями, налаштовуе всi сво! параметри i архiтектуру в online ре-жимi, однак при цьому потребуе достатньо велию за об'емом навчальш вибiрки.

У цiй роботi зроблено спробу синтезу еволюцшно! каскадно! системи обчислювального штелекту, яка при-значена для обробки потоку даних, що надходять в online режиш, i яка мае суттево меншу в порiвняннi з вiдомими аналогами кшьюстъ параметрiв, що налаштовуються.

3 МАТЕР1АЛИ I МЕТОДИ

На рис. 1 наведено архитектуру еволюцiйно! каскад-но! системи.

До нульового шару системи надходить (n х 1)-вишр-ний вектор вхщних сигналiв

х (к ) = ( х1 (к), х2 (к),..., xn (к ))T (тут к = 1,2,..., N -номер спостереження у навчальнш вибiрцi або шдекс поточного дискретного часу), який далi передаеться на

2 ■

перший прихований шар, що метить cn вузлiв-нейронiв,

кожен з яких мае два входи. На виходах вузлiв N[1] першо-го прихованого шару формуються вих^ш сигнали

У«1 (к), s = 1, 2,..., 0,5n(n -1) = cn . Далi щ сигнали над-

ходять до блоку селекцп SB, який виконуе сортування вузлiв першого прихованого шару за прийнятим кри-терiем (найчастше за зростанням значення середнього

41]*/ \ ■

квадрата помилки). Виходи блока селекцп y1 J (к) i

Рисунок 1 - Архiтектура еволюцшно! каскадно! системи

Л1]* / .

У2 (k ) надходять до входу единого вузла-нейрона другого шару, на виходi якого формуеться вихщний сигнал

j)[2] (k). Цей вихiдний сигнал разом з вихщним сигналом блока селекцп у[1]* (k) надходить до входу вузла-ней-

рона наступного шару Процес нарощування каскадiв тривае до досягнення необхiдноï точностi. Варто заува-жити, що всi нейрони системи налаштовуються незалеж-но один вщ одного. Завдяки цьому об'ем необшджи на-вчальноï вибiрки можна скоротити.

У якост вузла каскаджй мережi запропоновано використовувати систему, архитектура якоï наведена на рис. 2.

Цей вузол е по суп нейро-фаззi системою Ванга-Мен-деля [16, 17]. На вхщ вузла подаеться двовишрний вектор

T

вхщних сигналiв x (k) = ( (k), Xj (k)) , що пiдлягають обробщ. Перший шар вузла реалiзуе фаззiфiкацiю вхiдних змiнних. Вiн мiстить 2h функцiй належностi M/i (xt (k)), M-// (xj (k)), / = 1, 2,..., h. Елементи першого шару об-числюють рiвнi належностi 0 < M/i ( (k)) < 1,

0 < Mj (xj (k)) <1. У якост функцiй належностi найчаст-ше використовуються rаусiани

M/i (x (k)) = exp

f 2 Л

(xi (k)- c/i (k))

2a2 (k)

(1)

де c/i (k) - параметр, що визначае центр функцп належ-носта, a/i (k) - параметр ширини функцп належноста.

Другий шар забезпечуе агрегування рiвнiв належ-ностi, що обчислюються в першому шарi. На виходах другого шару з'являеться h агрегованих сигналiв

x/ (k) = Мй (x (k)) M/j (xj (k)).

Третiй шар - це шар синаптичних ваг, що тдлягають налаштуванню у процес навчання. Виходами третього шару е значення

w" M/i (x (k))м// (xj (k)) = w"x/ (k).

Четвертий шар утворений двома суматорами i об-числюе суми вихiдних сигналiв другого та третього шарiв. Виходами четвертого шару е значення

Ë wïMî, (x (k )) (xj (k ))=Ë wïxî (k ), /=1 /=1

h h

ËM/i (x (k))j (xj (k)) = Ëx/ (k).

l/=1 /=1

У п'ятому (вихiдному) шарi нейрона вiдбуваеться нормалiзацiя, в результатi якоï обчислюеться вихщний

сигнал вузла j)!1] (k) :

h .. .. .. Ë w'l M/i (x (k)) M/j (xj (k)) Ë w'i x/ (k)

y?] (k )=

/=1

h

I

h

Ë Mpi (x (k)) Mpj (xj (k)) Ë xp (k)

p=1

p=1

= Ë

/=1

ij x/ (k ) . / h

Ëx p(k )

p=1

= Ë Wj <pj (x (k )) = (W ) P (x (k )),

/=1

де <pj (x (k)) = -~x^-

Ë xp (k)

p=1

: M/i (x (k )) M j (xj (k )) Ë Mpi (x (k )) Mpj (xj (k ))

lp=1

Рисунок 2 - Вузол каскадно!' мереж!

p-ISSN 1607-3274. Радюелектронжа, шформатика, управлшия. 2016. № 2 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2016. № 2

^ = ((,..., 4) ф (х(к)) = (фГ (Х(к)),..., 4 (х(к)))

Аналогiчним чином виконуються обчислення в iнших вузлах прихованих шарiв. Такий вузол системи подiбно до нормалiзованоi радiально-базисноi нейронно! мережi реа-лiзуе нелiнiйне вiдображення вх1дних сигналiв у виидт, але мiстить меншу кiлькiсть параме^в, що налаштовуються. Оскшьки вихiдний сигнал кожного з вузлiв системи

г!1]'

(к)

лшшно залежить вiд синаптичних ваг w

(кT,для

!х налаштування може бути використаний стандартний метод найменших квадратiв (МНК). Якщо данi надходять на обробку послiдовно в online режимi, то використо-вуеться рекурентна форма МНК

Vv (к +1) = w'J (к)+-

Р(к +1) = -

Р(к)-

Р (кy (к)-(( (к))T ф" (х(к))"' (х(к)) а + (сф (х(к))) Р"' (к)ф" (х(к)) Р(к)ф(х(к))(( (х(к))) Рj (к)

а + (ф"' (х(к))) Рj (к)ф" (х(к))

,0 < а < 1.

Також для налаштування синаптичних ваг може бути використаний оптимальний за швидюадею градiентний однокроковий алгоритм Качмажа-Уiдроу-Гоффа у виглядi

у (к)-( (к))т ф V (х (к)) ^ (к +1) = * V (к)+ v '' " ф v (х (к)) .

ф

(х (к ))|

Для налаштування параметрiв центрiв i ширини функцш належностi можна використати градiентнi про-цедури мiнiмiзацii критерiю навчання

41] (к)=\ (у (к)-у1 (к ))2 = 1 ( у (к)-((к ))Т ф (х (к )) )2. (2)

Для спрощення розрахунку похiдних i прискорення обчислення значення функцii належност можна ввести позначення

<52 (к) = -0,5ст-2 (к) .

При застосувант методу найшвидшого спуску вiдповiднi формули адаптаци у загальному випадку для (п х1)-вишр-ного вектора вх1дних сигналiв набувають вигляду

СГ' (к +1) = СГ' (к)-П

(к)

dcr.

С,

(к +1) = б2 (к)-п0

(к)

as 2

де nc, ns - параметри кроку навчання для параметрiв

центра i ширини вщповщно; r = 1, 2,..., h ; ' = 1, 2,..., n .

При використанш в якостi функцiй належност тради-цiйних Гаусiанiв (1) вщповщш формули градiента цшьо-

во! функцп (2) для однiе! пари (х(к), y(к)) навчальних даних набувають вигляду

^ = [(»"' (к )) ф' (х (к ))-.У (к ^ w? (к )МШ), ^ = [(( (к )) ф' (х (к ))-.У (к )) h J (к )J2,

де

ф" (х (к)) = -

Щ' (х (к))щу (( (к))

,1

ЕщР' (х (к))Щpj (( (к))

Р=1

(3)

Похiднi

дф" (х (к)) . дф" (х (к))

дсг

-r' ^r'

новi (3), можна записати як

i -;--, визначеш на ос-

ds 2

h

ф (х(к)) К ЕЩР' (х(к))Щр" ((к))- ЩЦ (х(к))Щ"' (хj(к))

dCri

ХЩГ" ( (к )|)'M)T,

Е Щр' (х (к))Щр" (( (к))

Р=1

дф" (х(к)).

h р=1

h

5ir Е Щр' (х (к))щpj (( (к))-Щц (х (к))j (( (к))

дб 2

Е Щр.- (х(к ))Щр" (((к))

р=1

ХЩ

j ((' (к))■

^ (х (к D

д.5 2

дщ^ (х (к))

де §ir - дельта-функцiя. Похiднi - •

дщ„ (х (к))

дс_

визначенi на осжда (1), можна записати як

дб 2

дщ„ (х (к)) = х (к)- c„ (к) s2 (к)

дс„ дщ„ (х (к))

exp

2 )

дсг 2

= (х (к)- cn (к))2 exp

(х (к)- c„ (к)) 2s2 (к)

(х (к)- c„ (к)) 2б2(к )

2 )

Таким чином, виконуеться паралельне налаштування вмх синаптичних ваг, параметрiв пентрiв та ширини функцш належноста вузлiв першого прихованого шару системи. Вузли наступних шарiв, що утворюють каскадну структуру, налаштовуються аналопчно нейронам першого прихованого шару з пею лише рiзницею, що iхнiми

входами е вихiднi сигнали у^1* (к) блоку селекцп 83 та

попереднiх каскадав, а навчальний сигнал у (к) е стльним для вмх елеменлв еволюпiйноi каскадноi системи.

4ЕКСПЕРИМЕНТИ

Ефектившсть запропонованоï еволюцiйноï каскадноï нейро-фаззi мережi та ïï процедур навчання була проде-монстрована при розв'язаннi задачi прогнозування не-стацiонарних сигналiв.

У якосп тестовоï ви6!рки було обрано часовий ряд, що описуе щомюячний тиск над рiвнем моря за перюд з 1882 по 1998 рж (Darwin sea level pressure, ви6!р^ отримана з! сховища даних DataMarket). Загальний об'ем ви6!рки -1400 спостережень. Навчальна вибiрка мютила 1100 спос-тережень, перевiрочна - 300 спостережень. Для пс^внян-ня ефективностi запропонованоï системи з ефектившстю шших юнуючих систем було обрано багатошаровий пер-септрон, радiально-базисну нейронну мережу та ANFIS.

У якосп критерiю якосп прогнозування було обрано середньоквадратичну помилку (MSE).

На рис. 3 наведено фазовий портрет ряду, що прогнозуеться.

5 РЕЗУЛЬТАТИ

Результати проведених експериментiв наведено в табл. 1.

6 ОБГОВОРЕННЯ

Як можна побачити з табл. 1, запропонована еволюцiй-на каскадна система досить непогано показала себе при розв'язаннi задачi прогнозування. Варто вiдзначити, що час навчання запропоноважй системи був одним з найкращих. Якщо порiвнювати яюсть прогжшв, еволющйна каскадна система продемонструвала найкращий результат.

Результат прогнозування для перевiрочноï ви6!рки наведений на рис. 4. Суцшьною чорною лшею показаний ряд, що прогнозуеться, пунктирною - прогноз системи, суцшьною мрою - значення помилки.

0.5 -1-1-i-1-i-1-i-1-i-

0 01 02 0.3 0.4 0.5 0.6 07 0.8 09 1

Рисунок 3 - Фазовий портрет ряду

Таблиця 1 - Результати експерименпв

Тип системи Помилка навчання Помилка тестування Час навчання, с

Багатошаровий персептрон 0,0150 0,0168 0,2500

Радiально-базисна нейронна мережа 0,0172 0,0224 0,2391

ANFIS 0,0157 0,0165 0,2031

Еволюцшна каскадна система 0,0146 0,0156 0,2067

1150 1200 1250 1 300 1 350

Рисунок 4 - Результати прогнозування ряду ВИСНОВКИ

Наукова новизна роботи полягае у тому, що запропоновано еволюцшну каскадну нейро-фазз1 систему та online алгоритм навчання вах !! параметргв, характерною осо6ливгстю яко! е те, що для свого налаштування вона не потребуе великих об'емТв навчально! ви6грки. В основг системи лежать ще! Метода Гру-пового Урахування Аргументгв та еволющйних нейро-фаззi систем, що дозволяе знайти не тшьки оптимадьнi значення па-раметрiв, але й отримати найкращу архитектуру для кожно! конкретно! задачг Система характеризуеться простотою чисель-но! реалiзацi!, а можливГсть паралельного налаштування !! вузлгв збiльшуе швидкодш процесу обробки даних.

До практично! щнносп отриманих результатгв можна вщне-сти те, що запропоновану систему можна використовувати для розв'язання широкого кола задач штелектуального ана-лгзу даних. ПОДЯКИ

Роботу виконано в рамках держбюджетно! науково-досль дно! теми Харкiвського нащонального унiверситету радiое-лектронiки № 307 «Дишмгчний iнтелектуадьний анадiз по-слвдовностей нечiтко! iнформацi! за умов суттево! невизначе-ностг на основг пбридних систем обчислювального iнтелекту». СПИСОК ЛТЕРАТУРИ

1. Bifet A. Adaptive Stream Mining: Pattern Learning and Mining from Evolving Data Streams / A. Bifet. - IOS Press, 2010. - 224 p.

2. Kasabov N. Evolving fuzzy neural networks : theory and applications for on-line adaptive prediction, decision making and control / N. Kasabov // Australian Journal of Intelligent Information Processing Systems. - 1998. - Vol. 5, Issue 3. - P. 154-160.

3. Kasabov N. Evolving fuzzy neural networks for on-line supervised/ unsupervised, knowledge-based learning / N. Kasabov // IEEE Transactions on Man, Machine, and Cybernetics. - 2001. -Vol. 31, Issue 6. - P. 902-918.

4. Kasabov N. Evolving Connectionist Systems / N. Kasabov. -London : Springer-Verlag, 2003. - 307 p.

5. Lughofer E. Evolving Fuzzy Systems - Methodologies, Advanced Concepts and Applications / E. Lughofer. - Berlin : Springer, 2011. - 410 p.

6. Ivakhnenko A. G. Polynomial theory of complex systems / A. G. Ivakhnenko // IEEE Transactions on Systems, Man, and Cybernetics. - 1971. - Vol. 1, Issue 4. - P. 364-378.

7. Ивахненко А. Г. Самообучающиеся системы распознавания и автоматического управления / А. Г. Ивахненко. - Киев : Техника, 1969. - 392 с.

8. Ивахненко А. Г. Долгосрочное прогнозирование и управление сложными системами / А. Г. Ивахненко. - Киев : Техшка, 1975. - 311 с.

9. Ивахненко А. Г. Помехоустойчивость моделирования / А Г Ивахненко, В. С. Степашко. - Киев : Наукова думка, 1985. - 216 с.

p-ISSN 1607-3274. Радюелектронжа, шформатика, управлiння. 2016. № 2 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2016. № 2

10. Fahlman S. E. The cascade-correlation learning architecture / S. E. Fahlman, C. Lebiere // NIPS 1989 : Neural Information Processing Systems Conference, Denver, 27 30 November 1989 : proceedings. -San Mateo, CA : Morgan Kaufman, 1990. - P. 524-532.

11.Prechelt L. Investigation of the CasCor family of learning algorithms / L. Prechelt // Neural Networks. - 1997. - Vol. 10, Issue 5. - P. 885-896.

12. Bodyanskiy Ye. Hybrid cascade neural network based on wavelet-neuron / Ye. Bodyanskiy, O. Kharchenko, O. Vynokurova // Information Theories and Applications. - 2011. - Vol. 18, Issue 4. - P. 335 343.

13. Bodyanskiy Ye. Evolving cascade neural network based on multidimensional Epanechnikov's kernels and its learning algorithm / Ye. Bodyanskiy, P. Grimm, N. Teslenko // Information Technologies and Knowledge. - 2011. - Vol. 5, Issue 1. - P. 25- 30.

14. Wang L.-X. Fuzzy basis functions, universal approximation, and orthogonal least-squares learning / L.-X. Wang, J. M. Mendel // IEEE Transactions on Neural Networks. - 1992. - Vol. 3, Issue 5. -P. 807 814.

15. Wang L.-X. Adaptive Fuzzy Systems and Control. Design and Stability Analysis / L. X. Wang. - Upper Saddle River : Prentice Hall, 1994. - 256 p.

Стаття надшшла до редакцп 29.03.2016.

Шсля доробки 11.04.2016.

Харьковский национальный университет радиоэлектроники, Харь-

Бодянский Е. В.1, Тищенко А. К.2, Бойко Е. А.3

1Д-р техн. наук, научный руководитель Проблемной НИЛ АСУ, ков, Украина

2Канд. техн. наук, старший научный сотрудник Проблемной НИЛ АСУ, Харьковский национальный университет радиоэлектроники, Харьков, Украина

'Аспирантка кафедры искусственного интеллекта Харьковского национального университета радиоэлектроники, Харьков, Украина

ЭВОЛЮЦИОНИРУЮЩАЯ КАСКАДНАЯ СИСТЕМА НА ОСНОВЕ НЕЙРО-ФАЗЗИ УЗЛОВ

В статье предложена эволюционирующая каскадная система вычислительного интеллекта на основе нейро-фаззи узлов, а также алгоритмы её обучения. Предложенная система в процессе обучения настраивает не только свои параметры, но и архитектуру в online режиме. В качестве узлов эволюционирующей каскадной системы предлагается использовать нейро-фаззи системы. Для настройки параметров функций принадлежности нейро-фаззи узлов предложен алгоритм, основанный на использовании градиентной процедуры минимизации критерия обучения. В процессе обучения нейро-фаззи узлов настраиваются синаптические веса, центры и параметры ширины функций принадлежности нейро-фаззи узлов. Разработано программное обеспечение, которое реализует предложенную архитектуру эволюционирующей каскадной нейро-фаззи системы. Проведен ряд экспериментов по исследованию свойств предложенной системы. Результаты экспериментов подтвердили то, что предложенную систему можно использовать для решения широкого круга задач интеллектуального анализа данных, при этом обработка данных происходит в online режиме. Система характеризуется простотой численной реализации, а процесс обработки данных ускоряется благодаря возможности параллельной настройки узлов эволюционирующей каскадной системы. Отличительной особенностью предложенной системы является то, что для ее настройки не требуется большой объем обучающей выборки.

Ключевые слова: гибридная система, вычислительный интеллект, каскадная система, нейро-фаззи система, функция принадлежности, эволюционирующая система.

Bodyanskiy Ye. V.1, Tyshchenko O. K.2, Boiko O. O.3

1Dr.Sc., Scientific Head of the Control Systems Research Laboratory, Kharkiv National University of Radio Electronics, Kharkiv, Ukraine

2Ph.D., Senior Researcher at the Control Systems Research Laboratory, Kharkiv National University of Radio Electronics, Kharkiv, Ukraine

3Ph.D. student at the Artificial Intelligence Department, Kharkiv National University of Radio Electronics, Kharkiv, Ukraine

AN EVOLVING CASCADE SYSTEM BASED ON NEURO-FUZZY NODES

An evolving cascade system based on fuzzy-neurons and its learning procedures are proposed in the paper. During a learning procedure in an online mode, the proposed system tunes both its parameters and its architecture. Neuro-fuzzy systems are proposed as nodes of the evolving cascade system. A method based on the gradient procedure of a learning criterion minimization is proposed for membership functions' tuning in the neuro-fuzzy nodes. Synaptic weights, centers and width parameters of the membership functions are tuned during the learning procedure. Software that implements the proposed evolving cascade neuro-fuzzy system's architecture has been developed. A number of experiments has been held in order to research the proposed system's properties. Experimental results have proven the fact that the proposed system could be used to solve a wide range of Data Mining tasks. Data sets are processed in an online mode. The proposed system provides computational simplicity, and data sets are processed faster due to the possibility of parallel tuning for the evolving cascade system. A distinguishing feature of the proposed system is that there is no need of a large training set for the system to be tuned.

Keywords: hybrid system, Computational Intelligence, cascade system, neuro-fuzzy system, membership function, evolving system.

REFERENCES

Bifet A. Adaptive Stream Mining: Pattern Learning and Mining from Evolving Data Streams. IOS Press, 2010, 224 p. Kasabov N. Evolving fuzzy neural networks : theory and applications for on-line adaptive prediction, decision making and control, Australian Journal of Intelligent Information Processing Systems, 1998, Vol. 5, Issue 3, pp. 154 160. Kasabov N. Evolving fuzzy neural networks for on-line supervised/ unsupervised, knowledge-based learning, IEEE Transactions on Man, Machine, and Cybernetics, 2001, Vol. 31, Issue 6, pp. 902-918. Kasabov N. Evolving Connectionist Systems. London, SpringerVerlag, 2003, 307 p.

Lughofer E. Evolving Fuzzy Systems - Methodologies, Advanced Concepts and Applications. Berlin, Springer, 2011, 410 p. Ivakhnenko A. G. Polynomial theory of complex systems, IEEE Transactions on Systems, Man, and Cybernetics, 1971, Vol. 1, Issue 4, pp. 364-378.

Ivakhnenko A. G. Samoobuchayushhiesya sistemy raspoznavaniya i avtomaticheskogo upravleniya. Kiev, Technika, 1969, 392 p. Ivakhnenko A. G. Dolgosrochnoe prognozirovanie i upravlenie slozhnymi sistemami. Kiev, Technika, 1975, 311 p.

9

Ivakhnenko A. G., Stepashko V. S. Pomexoustojchivost' modelirovaniya. Kiev, Naukova dumka, 1985, 216 p. Fahlman S. E., Lebiere C. The cascade-correlation learning architecture, NIPS 1989 : Neural Information Processing Systems Conference, Denver, 27-30 November 1989 : proceedings. San Mateo, CA, Morgan Kaufman, 1990, pp. 524-532. Prechelt L. Investigation of the CasCor family of learning algorithms, Neural Networks, 1997, Vol. 10, Issue 5, pp. 885 896. 12. Bodyanskiy Ye., Kharchenko O., Vynokurova O. Hybrid cascade neural network based on wavelet-neuron, Information Theories and Applications, 2011, Vol. 18, Issue 4, pp. 335-343. Bodyanskiy Ye., Grimm P., Teslenko N. Evolving cascade neural network based on multidimensional Epanechnikov's kernels and its learning algorithm, Information Technologies and Knowledge, 2011, Vol. 5, Issue 1, pp. 25-30.

Wang L.-X., Mendel J. M. Fuzzy basis functions, universal approximation, and orthogonal least-squares learning, IEEE Transactions on Neural Networks, 1992, Vol. 3, Issue 5, pp. 807 814. Wang L.-X. Adaptive Fuzzy Systems and Control. Design and Stability Analysis. Upper Saddle River, Prentice Hall, 1994, 256 p.

10

11

13

14.

15

1

2

3

4

5

6

7