CC BY
65
ЗАКЛЮЧЕНИЕ
C целью снижения времени обучения HC в работе решена актуальная задача распределения HC по процессорам.
Научная noe^M работы заключается в том, что впервые предложена новая модель реализации MП на многопроцессорной системе, которая дает возможность получения максимального ускорения, ограниченного числом имеюш^ся процессоров, за счет распределения однотипные операций умножения, осуществляю-ш^ся в процессе функционирования HC.
Пракmuческая цеmocmh работы состоит в том, что проведенные эксперименты, реализующие предложенную модель, показали высокую эффективность. Данная модель реализована с помощью теxнологии параллельного программирования MPI.
ПЕРЕЧЕНЬ ССЫЛОК
1. Richard O. Duda, Peter E. Hart, David G. Stork. Pattern classification: Wiley-Interscience; 2nd edition, 2000. -680 p.
2. Гергель В. П., Стронгин Р. Г. Основы параллельных вычислений для многопроцессорных вычислительных систем: Учебное пособие Нижегородский госуниверситета. - Нижний Новгород, 2003. - 184 с.
3. Саймон Хайкин. Нейронные сети: полный курс, 2-е издание. М.: Издательский дом «Вильямс», 2006. -1104 с.
4. Миркес Е. М. Учебное пособие по курсу НЕЙРОИНФОР-МАТИКА. - Красноярск, 2002. - 347 с.
5. Ben Krose, Patrick van der Smagt. An Introduction to Neural Networks: University of Amsterdam, 1996. -154 p.
Надшшла 2.03.2007
In this work the MP model realization on multiprocessing system is offered. The processors organization as a star topology is offered. The given approach allows considerably to lower time of training neural network and enables receptions of the maximal acceleration limited to number of available processors.
В дaнoï рoбomi заnрonoнoвана мoдель реaлiзaцn бага-moшaрoвoгo nерcеnmрoну на бaгamonрoцеcoрнoï cucmемi npu oбмеженiй кiлькocmi nрoцеcoрiв. В Hêocmi monoлoгiï oбчucлювaльнoï cucmемu зanрonoнoвaнa oргaнiзaцiя nрoцеcoрiв у вuглядi зiркu. Дант niдxiд дoзвoляe значт знuзumu час навчання нейрoннoï мережi ma дае мoж-лuвicmь oдержaння мaкcuмaльнoгo nрucкoрення, ùo oбме-жент чucлoм наявнux nрoцеcoрiв.
УДК 519.7:004.93
С. О. Субботш, A. О. Олшник
CTPVKTVPHÈÉ CÈHTE3 HEÉPOMOÂEËEÉ HA OCHOBI ïOËlMOÂAËbHOTO EBOËNôlÉHOrO nO0VKV
Дocлiдженo nрoблему cmрукmурнoгo cuнmезу нейрoме-режнux мoделей. Poзрoбленo меmoд noлiмoдaльнoгo евo-люцiйнoгo штуку з клacmерuзaцieю xрoмocoм, ùo дoзвo-ляе oдержamu рiзнi cmрукmурu нейрoмереж, niдвuщуючu ймoвiрнicmь знaxoдження мoделi, aдеквamнoï рoзв'язувa-тй зaдaчi. Прoведенo екcnерuменmu no cuнmезi мoделей зaлежнocmi cmaну здoрoв'я населення вiд забруднення на-вкoлuшньoгo cередoвuщa.
ВСТУП
Етап вибору оптимально! арх!тектури нейромодел! е одним з найважлив!ших завдань при синтез! нейро-мереж [1], оск!льки на цьому етап! формуеться топо-лог!я зв'язк!в та обираються функц!! активац!! ней-рон!в, як! надал! визначають принцип функц!онування мереж! й Г! ефективн!сть для вир!шення досл!джувано! задач!. Так, нейромереж!, що мають невелику к!льк!сть нейрон!в ! л!н!йн! функц!! активац!!, як правило, через сво! обмежен! апроксимац!йн! здатност! не дозволяють вир!шувати реальн! практичн! задач!. У той же час
© Субботш С. О., Олшник А. О., 2008
виб1р надлишково! юлькоси нейрошв у мереж1 приз-водить до проблеми перенавчання й втрати апрокси-мацшних властивостей нейромодел1 [2, 3].
У наш час структурний синтез нейромережних моделей вщбуваеться за участю експерта в предметнш об-ласт розв'язувано! задачу що призводить до значного впливу р1вня досвщу й знань експерта на ефектившсть побудовано! нейромодел1 [4].
1снуюч1 методи автоматичного пошуку оптимально'! структури нейромережних моделей використовують жад1бну стратегш пошуку [5]. Так конструктивш (constructive) методи починають пошук з мШмально мож-ливо! арх1тектури мереж1 (нейромережа 1з мШмаль-ною юльюстю шар1в, нейрошв i м1жнейронних зв'язюв) i по-слiдовно на кожнiй иераци додають новi шари, нейрони й мiжнейроннi зв'язки. При використаннi де-структивних методiв (destructive) на початковш раци оцiнюeться ефективнiсть нейромодел^ що мш-тить максимально припустиму юльюсть шарiв, ней-
рон1в 1 м1жнеиронних зв язк1в, пот1м у процеи пошуку структура тако! модел! скорочуеться до наИб1льш приИнятно!.
Однак так1 методи внасл1док застосування жад1бно! стратеги досл1джують незначну частину простору вс1х можливих структур неИромоделеИ 1 схильн1 до влучен-ня И «застрявання» у локальних оптимумах ц1льово! функци.
Методи еволюц1Ино! оптим1зац11 [6] е випадково спрямованими, не використовують жад1бну стратег1ю пошуку И не схильн1 до зациклення в областях локальних екстремум1в, що дозволяе ефективно !х застосову-вати для пошуку оптимально! структури неИромереж-них моделеИ. Кр1м того, синтез структури неИромодел1 за допомогою метод1в еволюцшно! оптим1заци дозволяе адаптувати (налагодити, вибрати) тополог1ю мере-ж1 до вир1шення р1зних задач без необх1дност1 участ1 експерта в цьому етап1.
Однак результатом оптим1зац11 за допомогою кла-сичних еволюц1Иних метод1в е наб1р р1вних м1ж собою р1шень або таких р1шень, що мало в1др1зняються, у ре-зультат1 чого оптимальна структура неИромодел1 може не бути знаИдена, оск1льки класичн1 еволюц1Ин1 методи можуть нер1вном1рно покривати прост1р пошуку, 1 знач-н1 за розм1ром област1 в простор1 зм1нних можуть ви-явитися недосл1дженими за обмежену к1льк1сть 1те-рац1И.
Метою дано! роботи е створення пол1модального методу еволюц1Иного пошуку, якиИ п1двищуе розматсть популяцп И дозволяе б1льш р1вном1рно покривати про-ст1р пошуку, результатом якого е не едине р1шення (структура неИромереж1), а множина р1зних р1шень, що дозволяе вибрати арх1тектуру неИромодел1, яка як-наИкраще задовольняе зовн1шн1м критер1ям.
1 ПОСТАНОВКА ЗАВДАННЯ
НехаИ задано максимально припустиму к1льк1сть неИрон1в А у неИромереж1, що використовуеться для апроксимацп залежност1 за виб1ркою вих1дних даних <X, У>, де X = {X,} - наб1р значень ознак, що характеризуют досл1джуваниИ об'ект або процес; У = = {Ур} - масив значень вих1дного параметру в задан1И виб1рц1; XI = {х^р} - г-та ознака у виб1рц1, г = 1,2,..., Ь; Хгр - значення г-! ознаки для р-го екземпляру виб1р-ки, р =1,2, ..., т; Ур - значення прогнозованого параметра для р-го екземпляру; Ь - загальна к1льк1сть оз-нак у вих1дному набор1; т - к1льк1сть екземпляр1в виб1рки.
Тод1 задача структурного синтезу неИромодел1 поля-гае у пошуку структури модел1 вигляду НМ = НМ(С), для яко! £(НМ, X, У) ^ шт, де С = С(Ь, А) -матриця, що визначае наявн1сть синаптичних зв'язк1в м1ж елементами мереж1 (рецепторами, неИронами); ^(НМ, X, У) - критер1И, що визначае ефективн1сть
використання неИромережно! модел1 НМ для апрокси-маци залежност1 м1ж набором вх1дних параметр1в X 1 в1дпов1дним Иому вектором значень вих1дного параметру У. Як правило, за критер1И оптимальност1 неИромодел1 обирають середньоквадратичну помилку:
т 2
= ^ (Ур - у(НМ, Xp)) , де Xp - наб1р значень оз-
р = 1
нак для р-го екземпляру; у(НМ, Xp) - значення вихо-ду неИромодел1 НМ, обчислене для набору значень Xp.
2 СТРУКТУРНИЙ СИНТЕЗ
НЕЙРОМЕРЕЖНИХ МОДЕЛЕЙ НА ОСНОВI
ЕВОЛЮЦ1ЙНО1 ОПТИМ1ЗАЦИ
При використанн1 еволюц1Иного пошуку для синтезу структури неИромереж необх1дно визначити спос1б по-дання структури мереж1 в хромосом1 И вибрати ф1тнес-функц1ю для оц1нювання хромосом [5, 7].
1снують так1 методи кодування 1нформацИ про структуру неИромодел1 в хромосомах [5]: пряме кодування, параметричне подання, комб1новане подання, подання у вигляд1 породжуючих правил, фрактальне подання, популяц1Ине подання, дерево подання.
НаИб1льш ефективним е пряме кодування, при яко-му наявн1сть кожного можливого м1жнеИронного зв'яз-ку безпосередньо описуеться в б1нарн1И матриц1 зв'яз-к1в С неИромереж1, у як1И одиничне значення в ком1р-ц1 в1дпов1дае наявност1 зв'язку в1д г-го до /-го неИ-рона. Таким чином, неИронна мережа подаеться у ви-гляд1 матриц1 сум1жност1.
Хромосома при прямому кодуванн1 подаеться б1то-вим рядком, що м1стить 1нформац1ю про наявн1сть м1жнеИронних зв'язк1в.
При цьому довжина хромосоми дор1внюе К2, де К -максимально припустима к1льк1сть вузл1в (сума загаль-но! к1лькост1 ознак у навчаюч1И виб1рц1 даних 1 максимально припустимо! к1лькост1 неИрон1в) у неИромодел1. У випадку структурного синтезу неИромереж прямого поширення вс1 значення елемент1в матриц1 зв'язк1в, що знаходяться на головн1И д1агонал1 И нижче 11, дор1в-нюють нулю, тому хромосому можна спростити, зали-шивши в н1И т1льки елементи матриц1 зв'язк1в, що пе-ребувають вище головно! д1агонал1 (рис. 1), у резуль-тат1 чого к1льк1сть ген1в у хромосом1 визначаеться за формулою: Кх(К - 1)/2.
Як видно, при такому поданн1 структури мереж1 розм1р хромосоми е пропорц1Иним квадрату к1лькост1 неИрон1в мереж1, внасл1док чого зб1льшення к1лькост1 неИрон1в у базов1И мереж1 призводить до значного зб1льшення часу, необх1дного на еволюц1ИниИ пошук.
Перетворення хромосоми в структуру неИромодел1 (декодування) в1дбуваеться у такиИ спос1б.
Крок 1. Сформувати матрицю зв'язк1в неИроме-реж1, що в1дпов1дае хромосом1 (рис. 1, б).
112
1607-3274 «Рад1оелектрон1ка. 1нформатика. Управл1ння» № 1, 2008
1» 1) 0 0 О 0 0 1 1 1 0 (I ] 1 0 0 0 1 ° 1 " 1 '
ирапорш мая внос и зв'язюв В1Д I
1- го 2-го нейрону (ознаки 3-го до нейрошв 4-го 5-го |б-го
3 4 5 Ь 7 3 4 5 6 7 4 5 6 7 5 6 7
а)
Рисунок 1 - Приклад хромосоми й в1дпов1дноЧ ¿й нейромереж1 при структурному синтез1:
а - хромосома; б - матриця зв'язюв нейромереж! що вщповщае хромосом!; в - побудований на основ! матриц! зв'язюв граф; г - синтезована нейромережа (без надлишкових нейрошв ! зв'язюв)
Крок 2. Побудувати на основ! матриц! зв'язк!в граф (рис. 1, в).
Крок 3. Синтезувати нейромережу на основ! побу-дованого на попередньому кроц! графа, видаливши при цьому нейрони, як! не мають вих!дних зв'язк!в до нейрон!в наступних шар!в (рис. 1, г).
Для зменшення розм!ру хромосоми можна викорис-товувати апр!орну !нформац!ю про структуру мереж!. Так, наприклад, якщо в!домо, що м!ж двома сус!дн!ми шарами мереж! використовуються повнозв'язн! з'ед-нання, то в такому випадку в хромосом! може бути подана лише !нформац!я про к!льк!сть схованих шар!в ! к!льк!сть нейрон!в на кожному шар!.
У випадку необх!дност! вибору функц!! активац!! нейрон!в при структурному синтез! в хромосому можна ввести додатков! гени, що м!стять !нформац!ю про вид функц!! активац!! для кожного нейрону.
У ф!тнес-функц!! при структурному синтез!, як правило, враховуються:
- складн!сть синтезовано! мереж!, що в!дпов!дае оц!нюван!й хромосом!. У цьому критер!! враховуються к!льк!сть шар!в мереж!, нейрон!в на кожному шар!, а також характер, тополог!я й к!льк!сть м!жнейрон-них зв'язк!в;
- помилка прогнозування або класиф!кац!! за синте-зованою моделлю.
Структурний синтез нейромодел! на основ! еволю-ц!йного п!дходу може бути виконаний як така посл!-довн!сть крок!в [5, 7-8].
Крок 1. Сформувати початкове покол!ння хромосом, як! м!стять !нформац!ю про структуру мереж!.
Крок 2. Виконати оц!нювання хромосом поточно! популяц!!.
Крок 2.1. Декодувати кожну хромосому в популяц!! в арх!тектуру в!дпов!дно! нейронно! мереж!.
Крок 2.2. Навчити кожну нейронну мережу за обраним методом (наприклад, за допомогою методу Левенберга-Марквардта [1]) за допомогою даних з навчаючо! виб!рки (виконати параметричний синтез нейромереж!). Початков! значення вагових ко-еф!ц!ент!в при навчанн! задаються залежно в!д обрано-го методу параметричного синтезу або випадковим чином.
Крок 2.3. Обчислити значення ф!тнес-функц!! хромосом, що враховуе помилку нейромереж! й склад-н!сть !! арх!тектури (к!льк!сть шар!в, нейрон!в, м!ж-нейронних зв'язк!в).
Крок 3. Перев!рити критер!! зак!нчення пошуку. У випадку задоволення таких критер!!в, виконати перех!д до кроку 7.
Крок 4. Вибрати найб!льш пристосован! хромосоми для виконання над ними еволюц!йних оператор!в схре-щування й мутац!!.
Крок 5. Виконати оператори схрещування й мутац!! над в!д!браними ран!ше хромосомами.
Крок 6. Створити нове покол!ння з отриманих на попередньому кроц! хромосом-нащадк!в ! найб!льш
пpиcтocoваниx xpoмocoм пoтoчнoгo пoкoлlння. Bикo-нати rnpex^ дo кpoкy 2. Kpoк 7. Зупитення.
3 ПOЛtMOДAЛЬНИЙ EBOЛЮЦtЙНИЙ
METOД CTPУКTУPНOГO CИНTEЗУ
НEЙPOMOДEЛEЙ
^и виpiшeннi завдання cтpyктypнoгo cинтeзy теИ-poмepeжниx мoдeлeИ цlльoва функц1я, як пpавилo, мае дeкlлька oптимyмlв [l-4], poзташoваниx у plзниx o6-лаcтяx пpocтopy пoшyкy. Пpи викopиcтаннl клаcичниx мeтoдiв eвoлюцlИнo'i oптимlзацl'i peзyльтатoм пoшyкy е пoпyляцlя poзв'язкlв, як1 малo вiдpiзняютьcя oдин в1д oднoгo, у peзyльтатi чoгo знаИдeнe plшeння мoжe виявитиcя лoкальним oптимyмoм багатoeкcтpeмальнoï функци. TакиИ poзв'язoк (cтpyктypа нeИpoмoдeлl), як пpавилo, е нeeфeктивним пpи Иoгo викopиcтаннi на пpактицl, ocкlльки нe забeзпeчye дocтатню тoчнlcть клаcифlкацlï для даниx, як1 нe вxoдять дo навчаючoï вибlpки.
Toмy для cтpyктypнoгo cинтeзy нeИpoмoдeлeИ дo-ц1льним е викopиcтання eвoлюцlИниx мeтoдlв, здат-ниx дo пoшyкy дeкlлькox cyбoптимальниx poзв'язкlв. ^и викopиcтаннl тpадицlИниx мeтoдlв eвoлюцlИнoгo пoшyкy дo oптимlзацlï пoлlмoдальниx функц1И 1стуе пpoблeма пepeдчаcнoï збlжнocтl дo лoкальнoгo om^^y-му. Для пoдoлання данoï пpoблeми poзpoблeнo дв1 гpyпи мeтoдiв: мeтoди вlдxилeння в1д пepeдчаcнoï зб1ж-нocтl та мeтoди вlднoвлeння [9].
Meтoди пepшoï гpyпи змeншyють гететичну зб1ж-нlcть пoпyляцlï з мeтoю забeзпeчeння ïï poзмаïтocтl И нeдoпyщeння зациклeння в лoкальниx oптимyмаx. Oднак пpи такoмy пlдxoдl викopиcтoвyютьcя штpафнi функци для змeншeння Имoвlpнocтl пoяви в пoпyляцlï cxoжиx poзв'язкlв, щр викликае нeoбxlднlcть poзpа-xyнкy значeнь такиx функц1И для кoжнoï xpoмocoми И, oтжe, значнo cпoвlльнюe пpoцec eвoлюцlИнoгo пoшyкy.
Meтoди вlднoвлeння cпpямoванi на збlльшeння poз-маïтocтl в пoпyляцlï шляxoм викopиcтання cтpатeгlï пepeзавантажeння у випадкаx нeдocтатньoï poзмаïтocтl в пoпyляцlï, щo такoж вимагае значниx чаcoвиx ви-тpат.
У poзpoблeнoмy мeтoдl пoлlмoдальнoгo eвoлюцlИнo-гo пoшyкy з клаcтepизацleю xpoмocoм пpoпoнyeтьcя ^упувати plшeння (xpoмocoми) у клаcтepи за ïxнiм poзташyванням в пpocтopl пoшyкy.
ПpoпoнoваниИ мeтoд у пpoцecl eвoлюцiИнoгo пoшy-ку визначае гpyпи близькиx (пoдlбниx) xpoмocoм 1 п1д-вищуе poзмаïтlcть пoпyляцlï шляxoм пoгlpшeння зна-чeнь фlтнec-фyнкцlИ xpoмocoм в залeжнocтi в1д близь-кocтl дo ^rnpy ïxньoï гpyпи, нe вимагаючи пpи цьoмy oбчиcлeння значeнь штpафниx функц1И 1 нe викopиcтo-вуючи пpoцeдypи пepeзавантажeння.
PoзpoблeниИ пoлlмoдальниИ eвoлюцlИниИ пoшyк з клаcтepизацleю xpoмocoм пepeдбачаe витанання та-киx кpoкlв.
Kpoк l. Задати: кlлькlcть oптимyмlв (oптимальниx CTpy^yp нeИpoмoдeлeИ) к, як1 нeoбxlднo знаИти в xoдl eвoлюцlИнoгo пoшyкy; N - к1льк1сть xpoмocoм у пo-пуляци, N >> к.
Kpoк 2. Bcтанoвити л1чильник lтepацlИ: t = l.
Kpoк 3. Bcтанoвити к1льк1сть eлlтниx ocoбин (xpo-мocoм): ke = k.
Kpoк 4. Iнlцlалlзyвати пoчаткoвy пoпyляцlю у ви-гляд1 xpoмocoм Hj, j = l, 2, ..., N.
Kpoк 5. Oбчиcлити значeння фlтнec-фyнкцlï f(Hj) для ^œ^ï xpoмocoми Hj.
Kpoк б. З^упувати xpoмocoми в k клаcтeplв за зна-чeнням ïxнlx фlтнec-фyнкцlИ 1 poзташyванням у пpo-cтopl пoшyкy.
Kpoк 6.1. Для кoжнoï xpoмocoми Hj oбчиcлити в1д-cтань Xeмiнга (кlлькlcть нeзбlжниx гeнlв в oднакoвиx пoзицlяx xpoмocoм) дo вclx iншиx xpoмocoм у пoпy-ляцп. B^cra^ Xeмlнга d(Hj; H/) м1ж xpoмocoмами Hj та Hi poзpаxoвyeтьcя за фopмyлoю:
d(HrHl) = £ |V
i = l
h
дe L - poзмlp xpoмocoм; hj та hi/ - значeння i-x б1т1в xpoмocoм Hj та H/, вiдпoвiднo.
Kpoк б.2. Bcтанoвити л1чильник cфopмoваниx кла^ тeplв: m = l.
Kpoк б.З. Bибpати xpoмocoмy з наИ^ащим значeн-ням фlтнec-фyнкцlï як ^rnp m-гo клаcтepy. Пpи цьoмy poзглядаютьcя xpoмocoми, щe нe згpyпoванi пo кла^ тepаx.
Шаг б.4. Bвecти в клаcтep (N/k - l) xpoмocoм, наИближчиx за вlдcтанню Xeмiнга дo xpoмocoми, щo е цeнтpoм пoтoчнoгo m-гo клаcтepy. У випадку, якшр (N/k) - нeцlлe, то для визначeння нeoбxlднoï к1ль-^cm xpoмocoм в m-му клаcтepl km (нe вpаxoвyючи вжг пpиcyтню xpoмocoмy, щo е цeнтpoм клаcтepy) пpoпoнyeтьcя викopиcтoвyвати фopмyлy km = Round (m/k) - (m - l) Round (N/k) - l, дe Round (p) -o^yrae^ значeння p.
Kpoк б.5. Якщo вй клаcтepи cфopмoванi (m = k), тoдl витанати пepexlд дo кpoкy 7.
Kpoк б.б. Bcтанoвити: m = m + l. Bикoнати пepexlд дo кpoкy б.З.
Kpoк 7. Збшьшити значeння фlтнec-фyнкцlИ xpoмo-coм, шр нe e кpащими в клаcтepi, за фopмyлoю:
fn(Hj ) =
d ( Hj;Hmax, j У]
d(HjHc- j) J fj,
114
ISSN 1607-З274 «Pадioeлeктpoнiка. Iнфopматика. Упpавлiння» № l, 2008
де /„(Ну) - нове значення ф!тнес-функц!! /-! хромосо-ми; /(Ну) - значення ф!тнес-функц!! до зм!ни у-! хромосоми; ¿(Ну; Нс у) - в!дстань Хем!нга в!д у-! хромосоми до центра !! групи; ¿(Ну; Нтах у) - максимальна в!дстань Хем!нга в груп! у-! хромосоми; 5 - параметр, що визначае ступ!нь пог!ршення значень ф!тнес-функц!й хромосом, що не е центрами кластер!в,
5 > 1.
Крок 8. В!д!брати хромосоми для схрещування й мутац!!.
Крок 9. Застосувати оператори схрещування й мутац!! до в!д!браних на попередньому кроц! хромосом. Як так! оператори пропонуеться використовувати кла-сичн! еволюц!йн! оператори (наприклад, точкове, од-нор!дне або р!вном!рне схрещування й просту мута-ц!ю).
Крок 10. Сформувати нове покол!ння. При цьому кращ! (ел!тн!) хромосоми в кожному кластер! гаранто-вано переходять у нове покол!ння.
Крок 11. Якщо £ = Т, де Т - максимально задана к!льк!сть !терац!й, тод! виконати перех!д до кроку 14.
Крок 12. Встановити: £ = £ +1.
Крок 13. Виконати перех!д до кроку 5.
Крок 14. Оц!нити кожну з к хромосом, що е центрами кластер!в, за допомогою даних тестово! виб!рки. Вибрати найкращу хромосому. Нейромодель, що в!д-пов!дае так!й хромосом!, приймаеться як р!шення.
Крок 15. Зупинення.
Розроблений метод пол!модального еволюц!йного пошуку з кластеризацию хромосом п!двищуе розма!-т!сть популяц!! й дозволяе б!льш р!вном!рно покрити прост!р пошуку, п!двищуючи в такий спос!б можли-в!сть в!дшукання глобального оптимуму й зб!льшуючи ймов!рн!сть усп!шного виконання процедури оц!нки знайдених р!шень за допомогою зовн!шн!х критер!!в на тестов!й виб!рц!, оск!льки результатом пошуку е не едина структура нейромереж!, а множина р!зних роз-в'язк!в, що дозволяе вибрати таку нейромережну модель, що якнайкраще задовольняе зовн!шн!м крите-р!ям оц!нювання ефективност! нейромоделей.
4 ЕКСПЕРИМЕНТИ Й РЕЗУЛЬТАТЕ
ПО МОДЕЛЮВАННЮ ПОКАЗНИКА ЗДОРОВ'Я Д1ТЕЙ
З метою досл!дження ефективност! запропонованого методу пол!модального еволюц!йного пошуку з кластеризацию хромосом для структурного синтезу нейромоделей вир!шувалася практична задача побудови моделей залежност! стану здоров'я населення в!д за-бруднення навколишнього середовища.
У великих промислових м!стах Укра!ни в умовах несприятливо! еколог!чно! ситуац!! актуальним е вив-чення впливу показник!в забруднення навколишнього середовища на стан здоров'я населення й, у першу
чергу, здоров'я д!тей, оск!льки д!ти е б!льш сприйнят-ливими до впливу еколог!чних фактор!в.
У ход! проведеного виб!ркового досл!дження стану здоров'я д!тей шк!льного в!ку [10], як! проживають у трьох р!зн! за р!внем техногенного навантаження районах м!ста Запор!жжя (контрольному й двох до-сл!дних) у д!тей досл!дних район!в були виявлен! ста-тистично достов!рн! в!дхилення показник!в здоров'я в пор!внянн! з контрольним районом. Однак необх!дно брати до уваги низьку специф!чн!сть виявлених зм!н стану здоров'я. За даними л!тератури [11] под!бн! ефекти можуть викликатися кр!м еколог!чних й !нши-ми факторами, у першу чергу медико-б!олог!чного й соц!ального характеру.
Тому актуальним е встановлення к!льк!сного внеску еколог!чних ! !нших фактор!в у формування здоров'я дитячого населення.
Вих!дна виб!рка складалася з екземпляр!в, кожний з яких являв собою наб!р значень характеристик для в!дпов!дно! дитини, ! складалася з 48 ознак, що харак-теризують еколог!чн!, медико-б!олог!чн! й соц!ально-побутов! фактори, як! впливають на стан здоров'я д!тей.
Перед синтезом модел! залежност! стану здоров'я населення в!д забруднення навколишнього середови-ща було проведене вид!лення !нформативного набору ознак. Для в!дбору ознак використовувався еволю-ц!йний метод з ф!ксац!ею частини простору пошуку [12]. У результат! скорочення розм!рност! вих!дного ознакового набору було залишено 19 ознак: Х} - район; Х2 - в!к, рок!в; Х3 - стать; Х4 - маса, кг; Х5 -р!вень ф!зичного розвитку; Хб - пульс до навантажен-ня; Х7 - к!льк!сть рок!в проживання дитини в даному район!; х8 - час щоденного перегляду телев!зора; х9 -тривал!сть н!чного сну, годин; х^ - чи займаеться ди-тина спортом; х11 - в!к матер! при народженн! дитини, рок!в; х 12 - чи була пов'язана робота матер! !з профес!йними хворобами до народження дитини; Х13 -тип родини (повна, неповна); х14 - прот!кання ваг!т-ност! (без ускладнень, з ускладненнями); Х15 - чи страждае мати хрон!чними захворюваннями; Х}6 - чи страждае батько хрон!чними захворюваннями; Х17 - чи курить батько; Х}8 - чи курить мати; Х19 - середн!й доход на одного члена родини на м!сяць, грн; у - !ндекс напруги, що визначае стан здоров'я дитини, у. о.
Для структурного синтезу нейромоделей використо-вувалися: метод додавання нейрон!в, метод видалення нейрон!в, класичний еволюц!йний пошук ! запропоно-ваний еволюц!йний метод пол!модального еволюц!йно-го пошуку з кластеризацию хромосом, який був про-грамно реал!зований мовою пакета МаНаЬ. Максимально припустима к!льк!сть нейрон!в для вс!х метод!в структурного синтезу - 15, при цьому останн!й шар нейромодел! м!стив один нейрон, оск!льки модель мае один вих!д, вс! нейрони мали сигмо!дн! функц!! акти-
вацп, а як дж^им^ит функци викopиcтoвyвалиcя зважeнi cyми.
Пoчаткoвl значeння паpамeтplв eвoлюцiИниx мeтoдlв вcтанoвлювалиcя такими: oпepатop вiдбopy - з ви-кopиcтанням pyлeтки, oпepатop cxpeщyвання - p^-нoмipниИ, oпepатop мутацп - тoчкoвиИ, к1льк1сть oco-бин у пoпyляцlï N = 100, Имoвipнicть cxpeщyвання pcSpp = 0,8, макcимальна кlлькlcть iтepацiИ T = 100, кlлькlcть eлiтниx ocoбин Ne = 4.
Як кpитeplИ oцiнювання cинтeзoваниx нeИpoмoдeлeИ пpoпoнyeтьcя викopиcтoвyвати виpаз:
f = E +
N
N
дe E - пoмилка пpoгнoзyвання за cинтeзoванoю мo-дeллю; Nw - к1льк1сть cинаптичниx зв'язк1в у мepeжi; Nw max - макcимальнo мoжлива кlлькlcть зв'язк1в у мepeжl. Як пoмилка пpoгнoзyвання пpиИмалаcя ce-peдньoквадpатична пoмилка нeИpoмoдeлl, паpамeтpич-ниИ cинтeз якoï викoнyвавcя за дoпoмoгoю мeтoдy звopoтнoгo пoшиpeння пoмилки [1-2].
Tаким чинoм, запpoпoнoваниИ кpитeplИ дoзвoляe вpаxoвyвати як пoмилкy пpoгнoзyвання за cинтeзoва-нoю нeИpoмoдeллю, так 1 ïï cкладнlcть.
У зв'язку з iмoвipнicним xаpактepoм poбoти eвo-люцlИниx мeтoдiв для дocлlджeння ïxнlx влаcтивocтeИ пoбyдoва мoдeлeИ за дoпoмoгoю такиx мeтoдiв витану-валаcя 100 pазlв для oдepжання б1льш oб'eктивниx ycepeднeниx peзyльтатiв.
У табл. 1 навeдeнl peзyльтати cинтeзy нeИpoмepeж-ниx мoдeлeИ залeжнocтi cтанy здopoв'я наceлeння в1д eкoлoгiчниx, мeдикo-бloлoгlчниx 1 coцlальнo-пoбyтoвиx фактoplв.
У мeтoдаx дoдавання нeИpoнlв 1 видалeння нeИpoнlв peзyльтатoм е нeИpoмepeжl, щр мlcтять ви мoжливl пpямo cпpямoванi зв'язки в1д нeИpoнlв пoтoчнoгo шаpy дo нeИpoнlв наcтyпнoгo шаpy. %му, як виднo з табл. 1 (ст^в^ць «Юльюсть зв'язк1в»), нeИpoмoдeлl, oтpима-н1 в peзyльтатl cтpyктypнoгo cинтeзy за дoпoмoгoю eвoлюцlИниx мeтoдlв, е б1льш пpocтими, ocкlльки м1-стять значнo мeншy кlлькlcть зв'язк1в. Ц викликанo тим, щo мeтoди eвoлюцiИнoгo пoшyкy, на в1дм1ну в1д мeтoдiв дoдавання И видалeння нeИpoнlв, як oптимiзo-ван1 паpамeтpи викopиcтoвyють те кlлькlcть нeИpoнlв у мepeжl, а наявн1сть мlжнeИpoнниx зв'язк1в.
Як виднo з табл. 1, пoмилка пpoгнoзyвання за б1ль-шlcтю cинтeзoваниx за дoпoмoгoю plзниx мeтoдlв теИ-poмoдeлeИ значнo пoгlpшyeтьcя пpи викopиcтаннl да-ниx тecтoвoï вибlpки. Toмy дoцiльним е заcтocyвання poзpoблeнoгo мeтoдy пoлiмoдальнoгo eвoлюцlИнoгo пo-шуку з клаcтepизацieю xpoмocoм, peзyльтатoм якoгo е те единиИ, а дeкlлька plзниx poзв'язкiв (cтpyктyp нeИpoмepeж), дeякl з якиx забeзпeчyють дocить гаpнl peзyльтати И для даниx тecтoвoï вибlpки. Tак cepeднь-oквадpатична пoмилка нeИpoмoдeлl з1 cтpyктypoю 42-1, poзpаxoвана за даними тecтoвoï вибlpки, cтанo-вить 0,0097, щр нeзначнo гlpшe в пopiвняннi з темил-кoю, poзpаxoванoю для даниx навчаючoï вибlpки.
У табл. 2 навeдeнo cтpyктypy нeИpoмepeжi, щo за-бeзпeчye дocтатню точшсть пpoгнoзyвання як на даниx навчаючoï вибlpки (0,0085), так 1 на даниx тecтoвoï вибlpки (0,0097).
Peзyльтати пoбyдoви нeИpoмepeжниx мoдeлeИ, oтpи-ман1 за дoпoмoгoю заcтocyвання plзниx мeтoдiв CTpy^ тypнoгo cинтeзy, пoказали, щр poзpoблeниИ мeтoд пo-лlмoдальнoгo eвoлюцiИнoгo пoшyкy з клаcтepизацleю xpoмocoм дoзвoляe oдepжати plзнl cтpyктypи нeИpoмo-дeлeИ, п1двищуючи в такиИ cпoclб iмoвipнicть cинтeзy
Таблиця 1 - Результати структурного синтезу нейромоделей
Паpамeтpи кpащoï нeИpoмepeжнoï мoдeлi
№ Иазва методу CepeднiИ qüc, c Cтpyктypа Юлькють Значeння Cepeдньoквадpатична пoмилка
зв'язюв oцiнювання f за навчаючoю вибipкoю за тecтoвoю вибipкoю
l Meтoд дoдавання нeИpoнiв l8l,2 5-2-1 l07 0,39l4 0,0093 0,0207
2 Meтoд видалeння нeИpoнiв 327,б 4-2-1 8б 0,3l58 0,0087 0,0193
3 KлаcичниИ eвoлюцiИниИ пoшyк 285,9 4-3-1 53 0,1919 0,009б 0,01б2
4 Meтoд пoлiмoдальнoгo eвoлюцiИнoгo пoшyкy з клаcтepизацieю xpoHocoH 29б,3 4-2-1 47 0,17б4 0,0085 0,0097
5-3-1 5б 0,2083 0,0083 0,0178
3-2-1 42 0,1592 0,0092 0,0232
4-3-l 49 0,1844 0,0094 0,0114
116
ISSN 1607-3274 «Pадioeлeктpoнiка. Iнфopматика. Упpавлiння» № 1, 2008
Таблиця 2 - Структура оптимальноi нейромодел1
Номер шару Номер нейрона в rnapi Входи нейрона (та значення вагових коефЩен^в)
1 ознаки № 1 (0,462), 2 (-7,228), 4 (-0,824), 5 (-1,733), 8 (3,065), 12 (-2,751), 14 (5,488), 16 (4,524)
1 2 ознаки № 1 (-0,174), 2 (1,068), 3 (-2,571), 4 (-0,171), 6 (2,353), 7 (-1,384), 8 (-3,205), 11 (-1,518), 12 (1,005), 14 (-7,203), 15 (8,507), 16 (-0,807), 18 (2,13), 19 (-1,031)
3 ознаки № 1 (3,412), 4 (-2,183), 5 (-3,343), 6 (-1,419), 9 (2,81), 10 (-1,723), 11 (-4,665), 12 (-1,176), 14 (-1,029), 15 (2,073), 16 (-4,616), 17 (-1,152)
4 ознаки № 4 (1,827), 7 (-3,163), 12 (5,49), 17 (-0,733), 18 (-4,41), 19 (0,161)
2 1 нейрони 1-го шару № 1 (-2,091), 2 (10,55), 3 (2,361)
2 нейрони 1-го шару № 3 (-0,242), 4 (3,751)
3 1 нейрони 2-го шару № 1 (-0,558), 2 (2,382)
нейромереж, що мають прийнятн! апроксимац!йн! здат-ност! як для даних навчаючо!, так ! для даних тестово! виб!рок.
ВИСНОВОК
У робот! вир!шено завдання структурного синтезу нейронних мереж за допомогою метод!в еволюц!йного пошуку.
Наукова новизна роботи полягае в тому, що для структурного синтезу нейромоделей розроблено метод пол!модального еволюц!йного пошуку з кластериза-ц!ею хромосом, який р!вном!рно покривае прост!р пошуку ! п!двищуе можлив!сть в!дшукання глобального оптимуму, зб!льшуючи ймов!рн!сть усп!шного виконан-ня процедури оц!нки знайдених р!шень за допомогою зовн!шн!х критер!!в на тестов!й виб!рц!.
Практична ц!нн!сть результат!в роботи полягае в тому, що:
- створено програмне забезпечення, яке реал!зуе запропонований метод структурного синтезу нейромо-делей;
- вир!шено завдання синтезу нейромережних моделей залежност! стану здоров'я населення в!д еколог!ч-них, медико-б!олог!чних ! соц!ально-побутових фак-тор!в.
ПЕРЕЛ1К ПОСИЛАНЬ
1. Омату С., Халид М., Юсоф Р. Нейроуправление и его приложения / Пер. с англ. под ред. А. И. Галушкина, В. А. Птичкина. - М.: ИПРЖР, 2000. - 272 с.
2. Круглое В. В., Борисов В. В. Искусственные нейронные сети: Теория и практика. - М.: Горячая линия -Телеком, 2001. - 382 с.
3. Руденко О. Г., Бодянский Е. В. Основы теории искусственных нейронных сетей. - Харьков: Телетех, 2002. -317 с.
4. Минаев Ю. Н., Филимонова О. Ю., Лиес Б. Методы и алгоритмы идентификации и прогнозирования в ус-
ловиях неопределенности в нейросетевом логическом базисе. - М.: Горячая линия - Телеком, 2003. - 205 с.
5. Yao X. Evolving Artificial Neural Network //Proceedings of the IEEE. - 1999. - № 9(87). - P. 1423-1447.
6. The Practical Handbook of Genetic Algorithms. Volume II. New Frontiers / Ed. L. D. Chambers. - Florida: CRC Press, 2000. - 421 p.
7. Maniezzo V. Genetic Evolution of the Topology and Weight Distribution of Neural Networks // IEEE transactions on neural networks. - 1994. - № 1(5). - P. 39-53.
8. Romaniuk S. G. Applying Crossover Operators to Automatic Neural Network Construction // IEEE transactions on neural networks. - 1994. - № 4. - P. 750-752.
9. Eiben A.E., Hintering R., Michalewicz Z. Parameter Control in Evolutionary Algorithms // IEEE Transactions on Evolutionary Computation. - 1999. - № 3. - P. 124-141.
10. Кирсанова Е. В., Субботин С. А. Обобщенный метод кластер-регрессионной аппроксимации в задаче моделирования показателя здоровья детей // Ра-дюелектрошка. ¡нформатика. Управлшня. - 2004. -№ 1. - С. 62-67.
11. Вельтищев Ю. Е. Экологически детерминированная патология детского возраста // Российский вестник периматологии и педиатрии. - 1996. - № 2. - С. 5-12.
12. Subbotin S., Oleynik A. The feature selection method based on the evolutionary approach with a fixation of a search space // Modern problems of radio engineering, telecommunications and computer science: Proceedings of the IX International Conference TCSET'2006 (21-25 February 2006). - Lviv: Publishing house of Lviv Polytechnic, 2006. - P. 574-575.
Надшшла 5.03.2008
Исследована проблема структурного синтеза нейросе-тевых моделей. Разработан метод полимодального эволюционного поиска с кластеризацией хромосом, позволяющий получить различные структуры нейросетей, повышая вероятность нахождения модели, адекватной решаемой задачи. Проведены эксперименты по синтезу моделей зависимости состояния здоровья населения от загрязнения окружающей среды.
The problem of structural synthesis of neural network models is considered. The polymodal evolutionary search method with a chromosomes clustering is developed, allowing to develop various structures of neural networks with good computational capabilities. Experiments on model synthesis of health state dependence from the environmental population are lead.
