Модели и алгоритмы формирования GRID-систем для структурно-параметрического синтеза нейросетевых моделей Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК004.272.3

С. Н. Ефимов, В. С. Тынченко

МОДЕЛИ И АЛГОРИТМЫ ФОРМИРОВАНИЯ (,Ш1)-СИСТК М ДЛЯ СТРУКТУРНО-ПАРАМЕТРИЧЕСКОГО СИНТЕЗА НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

Обсуждается проблема выбора эффективной конфигурации ОШБ-системы для параллельной реализации ней-росетевого моделирования. Разработан новый многопопуляционный параллельный генетический алгоритм для решения многокритериальной оптимизационной задачи структурно-параметрического синтеза нейросетевых моделей. Предложен комплекс аналитических моделей оценки эффективности функционирования ОКЮ-системы.

Ключевые слова: нейросетевые модели, структурно-параметрический синтез, параллельные генетические алгоритмы, модели ОКЮ-систем.

Искусственные нейронные сети (ИНС) в настоящее время успешно применяются для решения самых разнообразных научно-технических задач, таких как задачи автоматизации процессов распознавания образов, адаптивного управления, аппроксимации функционалов, прогнозирования, создания экспертных систем, организации ассоциативной памяти и др. Однако эффективное применение данного подхода широким кругом специалистов не всегда возможно из-за отсутствия формализованных процедур, полностью охватывающих весь процесс построения нейросетевых моделей.

Автоматизация структурно-параметрического синтеза нейросетевой модели с произвольными связями между нейронами требует решения сложных многопараметрических оптимизационных задач выбора эффективной структуры нейросети и настройки ее весовых коэффициентов. При решении подобного рода задач оптимизации хорошо зарекомендовали себя генетические алгоритмы, которые не требуют информации о свойствах оптимизируемой функции и позволяют вести глобальный поиск в пространстве решений [1].

Выполнение расчетов по генетическим алгоритмам требует значительных вычислительных ресурсов, однако указанные алгоритмы потенциально обладают свойством массового параллелизма при обработке информации, что допускает их эффективную параллельную реализацию. Распараллеливание генетических алгоритмов на базе распределенной вычислительной системы (ВС) позволяет существенно сократить время, затрачиваемое на решение задачи, как за счет параллельного выполнения вычислений, так и за счет применения более эффективных, по сравнению с последовательным случаем, способов реализации алгоритмов.

Повсеместное использование высокопроизводительных и доступных по стоимости персональных компьютеров, разработка и массовое практическое применение сетевых информационных технологий различного уровня и назначения позволяет говорить о распределенных компьютерных сетях как об эффективной и значительно более дешевой альтернативе многопроцессорных и многомашинных вычислительных систем в качестве аппаратных средств реализации параллельных вычислений при решении сложных и ресурсоемких задач. Однако основной проблемой широко распространенных технологий глобальных компьютерных сетей является невозможность универсально и эффективно использовать удаленные вычислительные ресурсы, поскольку Интернет-техноло-

гии изначально ориентировались на доступ к данным, а не к вычислительным мощностям.

Преодолеть ограничения и недоработки существующих в этой области решений позволяет интенсивное развитие и внедрение перспективной сетевой технологии СР1ГО. в основе которой лежит идея создания географически распределенной вычислительной инфраструктуры, объединяющей ресурсы различных типов, с коллективным доступом к ним в рамках виртуальных организаций, состоящих из предприятий и специалистов, которые совместно используют эти общие ресурсы. Применяя эту технологию и наполняя ее конкретным содержанием, можно реализовать ту или иную СР1 ГО-систсму. предназначенную для решения того или иного класса прикладных задач. Особый интерес СР1ГО-тсхнология представляет для организаций и учреяедений, уже имеющих в своем распоряжении большой парк персональных компьютеров, объединение которых в единую СЯЮ-систему позволяет эффективно использовать простаивающие мощности и повысить производительность труда конечных пользователей [2].

Важным свойством СЯЮ-систсм является то, что вся работа по управлению, перераспределению и оптимизации использования ресурсов при решении конкретной задачи ложится на системное программное обеспечение и выполняется незаметно для пользователя, создавая тем самым единое виртуальное информационное пространство, обладающее огромными вычислительными мощностями и объемом памяти. Автоматизация распределения ресурсов СЯЮ-систсмы и их координации в процессе решения сложных научно-технических задач требует разработки и применения формальных методов моделирования и оптимизации для формирования эффективной конфигурации вычислительных ресурсов этой системы, реализующей свои основные функции.

Пост ановка задачи многокритериальной оптимизации структуры ИНС. Формализуем постановку задачи многокритериальной оптимизации структуры ИНС следующим образом [3]:

т

І(0иТ^С^,а/)~УІ)2

пг

-> пип .

С,1Г,а/ '

(С) + £ Кі (а/) -> тіл

, , С,а/

где С - матрица связей ИНС размерности У/У,: [Г - матрица весов связей ИНС размерности Л^хЛ^; а/ - вектор активационных функций на нейронах в ИНС размерности Ия, 7Ун -количество нейронов в ИНС; ()1'Т^ ((\1Г. а/) -реальное значение к-то выхода ИНС, имеющей структуру (С, 1Г. а/), при подаче на ее входы у -го образа; у'к -идеальное (желаемое) выходное состояние к-то нейрона; п - количество нейронов на выходе сети; т - размер обучающей выборки; N - количество связей ИНС;

2^ акт

К. =—— - коэффициент относительной сложности вы-

* ^св

числения активационной функции на /-м нейроне, здесь

лу-гакт ^ 1

/, - время вычисления активационнои функции на 1-м

нейроне; Т"' - время обработки одной связи ИНС.

Модификация многопопуляционного параллельного генетического алгоритма (I П А) для решения задач многокритериальной оптимизации. В случае применения многопопуляционного параллельного генетического алгоритма (ПГА) для решения задачи многокритериальной оптимизации необходимо адаптировать алгоритм таким образом, чтобы учесть многокритериальный характер решаемой задачи.

При решении оптимизационной задачи в многокритериальной постановке каждая популяция эволюционирует в соответствии с некоторым многокритериальным генетическим алгоритмом, а их взаимодействие определяется выбранной схемой реализации параллельного ГА [4].

Для выполнения оператора миграции требуется производить оценивание качества индивидов. Такую оценку предлагается выполнять на основе концепции парето-до-минирования: индивид тем лучше, чем меньшее количество индивидов в популяции его доминируют и, наоборот, индивид тем хуже, чем большее количество индивидов в популяции его доминируют.

Разработка нового многокритериального многопопуляционного ПГА. В данной статье в многокритериальный многопопуляционный ПГА предлагается добавить процедуру реструктуризации топологии связей меяеду популяциями в ходе решения оптимизационной задачи. Данная процедура реализуется следующим образом: к изначально выбранной базовой топологии связей между популяциями динамически добавляются временные связи меяеду изолированными друг от друга популяциями, чтобы популяции, недостаточно хорошо функционирующие в текущий момент, могли получить дополнительных мигрантов из лучших индивидов тех популяций, которые показывают достаточно хорошие результаты.

Основными характеристиками, по которым можно оценивать качество работы алгоритмов, являются следующие:

- количество глобально парето-недоминируемых индивидов в популяции алгоритма;

- разброс глобально парето-недоминируемых индивидов алгоритма на множестве Парето (или фронте Парето).

Под глобально парето-недоминируемыми индивидами будем понимать индивидов, которые являются недоминируемыми не только при сравнении с индивидами своей популяции, но и при сравнении со всеми индивидами остальных параллельно функционирующих популяций.

В соответствии с этим качество работы параллельно функционирующих популяций можно оценивать по следующему выражению:

б* = * X ||ц*1*-ци1)||, (1)

1*=1,«,ар01-1

;=*+1,л^Р01

где 01 - критерий качества /-го параллельно функциони-

ЛГЮ1 л?01

рующего алгоритма; Л^°Р01 = VI III/: ж- -

]=\ к=1 1=1

количество парето-оптимальных индивидов в популяции /'-го алгоритма; .У., ь - количество параллельно функци-

к1 _ |0, при шсГ;. <тА\,

онирующих алгоритмов; 1л =<{ 1

1, иначе.

Здесь 1псГ; - /'-й недоминируемый индивид /-го алгоритма. При Ы°Ю1 = 1:

а= X

При Ы°Р01 = 0:

а=к Е е

(2)

(3)

где к - коэффициент участия плохих алгоритмов.

Рассмотрим схему многокритериального многопопуляционного ПГА с реструктуризацией топологии связей между популяциями.

Введем обозначения:

- ТУ- количество популяций;

- т - скорость миграции /-й популяции (/' = 1, ТУ);

- к - период миграции /-й популяции (/ = 1. У).

Рассмотрим работу алгоритма на примере /-й популяции.

1. Выполнить к/ циклов многокритериального ГА.

2. Вычислить значения (А. показателей качества работы всех алгоритмов по формулам (1)...(3).

3. Если ()1 <-

Ей

ж

, то добавить временную связь от

популяции у, для которой 0,] >

N

Ей

1=1

ж

к популяции / с

вероятностью Р =

' Ей

Ей

N

4. Выполнить миграцию в соответствии с полученной топологией.

Применение описанного выше многокритериального многопопуляционного ПГА позволяет повысить быстродействие стандартного многопопуляционного генетического алгоритма при решении тестовых и практических задач нейросетевого моделирования в среднем на 15,54 %, что свидетельствует об эффективности применения предложенного подхода.

Для эффективного выполнения параллельных вычислений в процессе нейросетевого моделирования необходимо принимать решения, касающиеся аппаратной конфигурации вычислительных систем, на которых будет

производиться структурно-параметрическии синтез искусственных нейронных сетей. Основным инструментом при исследовании эффективности функционирования вычислительных систем являются аналитические модели оценки производительности и надежности [5].

Аналитическая модель оценки производительности централизованного варианта GRID-системы при реализации задачи с синхронным стартом. Пусть в конфигурацию GRID-системы входит произвольное количество клиентских вычислительных узлов различной производительности и многопроцессорный сервер.

Характеристики моделируемой GRID-системы следующие:

-N- количество клиентских ресурсов GRID-системы (клиентских вычислительных узлов);

- п — количество однородных процессоров серверного узла системы;

—со - быстродействие /'-го клиентского ресурса GRID-системы, FLOPS;

- cosrv - быстродействие процессоров на серверном узле системы, FLOPS;

- п - быстродействие канала связи /-го клиентского ресурса GRID-системы с ее серверным узлом, бит/с.

Характеристики решаемой задачи:

- ЛОа|а - средняя вычислительная сложность (количество машинных операций) одной итерации вычислений на одной ветви алгоритма решения задачи, операций;

- M)ctrl - средняя вычислительная сложность алгоритма управления одной ветвью алгоритма решения задачи, операций;

- У - средний объем данных клиент-серверного обмена, бит;

- Т - максимально допустимое время решения задачи.

Отличительной чертой любой GRID-системы является наличие установленного расписания работы ее вычислительных ресурсов. Введем обозначения:

- t°n - время включения/-го ресурса GRID-системы,

i = \N',

- t°s - время выключения /'-го ресурса GRID-системы, / = 1. Л':

1 при (Ґ,оп < tf A t > t™ Л t < tf ) V

/ = \ N • Интенсивность обслуживания каждой заявки подчиняется экспоненциальному закону распределения с параметром ц [7]. Вновь поступившая на обслуживание заявка направляется с равной вероятностью на любой из свободных процессоров сервера и принимается на обслуживание. Если все процессоры заняты, то поступившая на обслуживание заявка становится в очередь и 5вдет своего обслуживания. Дисциплина обслуживания

- случайный равновероятный выбор из очереди.

Рассматриваемая СМО может находиться в следую-щих состояниях: а/1./, , - в системе находится^ , заявок

от /'-го клиентского ресурса СШО-системы, где /=1,2,..., ТУ, к процессоров сервера занято обслуживанием, / заявок находятся в очередях на обслуживание.

вероятность нахождения

Обозначим через Р. системы в состоянии а ]

эк,1 ' АЛ,-

7к:1.

А’Н’-Ли '

Решение системы дифференциальных уравнений рассматриваемой СМО будет иметь вид

(£ + /)!"

k+l-\ п

P.

М) =

„(*+0

h N-k

I (к+1)\

,(*+0

х т^)

л є{0,1} /=1

лфл}

При оценке производительности СШО-системы определяющим оказывается общее количество заявок, находящихся на обслуживании и в очередях, независимо от их типа. Общее количество заявок, находящихся в очередях, можно определить, используя понятия совокупности стационарных вероятностей Р средней длины очереди / и коэффициентов q. средних потерь производительности для клиентов каждого типа. С учетом сказанного среднюю производительность СШО-системы можно определить, используя следующие выражения:

м т

Пср(0 = £—*-5,(0,

-Ґ0ДО

,(0 = 1 +

- 8 (0 =

ч / / +оп V. А . V. -оп А . . ч ч , / ,оп . .ой1 А . . ,оп А . . .ой1 ч

V (I. > I. АI > АI > ti ) V (/. > I. АI < I. А ( < I. ),

О иначе,

где 5 (I) -показатель доступности/'-го узла-определяет, присутствует ли /'-й узел СШО в сети в заданное время I.

Представим процесс функционирования СШО-системы замкнутой системой массового обслуживания (СМО) с ожиданием и случайным распределением заявок всех типов по всем процессорам сервера без взаимодействия меяеду собой [6].

Пусть в СШО-системе имеется N клиентских узлов, каждый из которых в некоторые случайные моменты времени нуждается в обслуживании. Обслуживание осуществляется посредством п однородных процессоров серверного узла. Поток заявок на обслуживание от клиентов каждого типа - пуассоновский с параметром X, где

к=1 £=1 ,к,1

pkJ(t)= Е Pj

лфл}

лф.1}

>Jn

(О,

С С

к+1-\ п

р:

■Jn h N-k

L2A-1

к=1 1=0

с:

к (к+ 1)\

JM1)

л £{0,1} /= 1 л £{0,1}

1 при

= 0 v(= 1л/“ v Ц = 1л?” > tf

лфл}

< t°S At > t°° At > t° At > t°° At > t°S ) V

r)v

vЦ = 1л?“ > А? < А? < С ), Р, = -Су,

х1

О, иначе.

Для рассматриваемой GRID-cиcтeмы значения параметров интенсивности поступления заявок 1 и интенсив-

ности их обслуживания ц. вычисляются соответственно по формулам

1

X,. =

N0^ Klg М)с,

_Л) „

V

, M)d

V,. СО

alg

где/'= 1,2,3, ...,7V.

Предложенный подход позволяет осуществлять выбор эффективной по производительности конфигурации GRID-системы, настроенной на решение сложных задач определенного класса.

Аналитическая модель оценки надежности централизованного варианта GRID-системы при реализации задачи с синхронным стартом. Пусть в конфигурацию GRID-системы входит произвольное количество клиентских вычислительных узлов различной производительности, соединенных концентратором с многопроцессорным сервером.

Характеристики моделируемой GRID-системы следующие:

- N - количество типов клиентских ресурсов GRID-системы (клиентских вычислительных узлов);

- т.—количество клиентских ресурсов GRID-системы /-го типа;

- п — количество однородных процессоров серверного узла системы.

Каждый вычислительный ресурс GRID-системы в некоторые случайные моменты времени выходит из строя и нуждается в восстановлении. Пусть потоки отказов от всех вычислительных ресурсов являются простейшими и имеют интенсивность Xf, а время восстановления для любого вышедшего из рабочего состояния ресурса GRID-системы подчиняется экспоненциальному закону распределения с параметром цс1 - интенсивностью восстановления отказавших ресурсов виртуальным восстанавливающим устройством (ВУ). Для случая GRID-системы интенсивность |_id интерпретируется как среднее число вычислительных ресурсов, включаемых в единицу времени ВУ в состав GRID вместо отказавших ресурсов. При этом среднее время восстановления одного вычислительного ресурса будет т = (У) = тк + тд + тр, где тк, тд и тр - математические ожидания времени соответственно контроля, диагностики и реконфигурации системы.

Потоки отказов от всех элементов серверной части GRID-системы являются простейшими и имеют следующие интенсивности:

- /_'п - интенсивность отказов процессоров сервера;

- л1"'1’ - интенсивность отказов концентратора.

Время восстановления для всех вышедших из рабочего состояния процессоров сервера и концентратора подчиняется экспоненциальному закону распределения с параметрами:

- ц'п - интенсивность восстановления процессоров сервера;

- ц1'"1’ - интенсивность восстановления концентратора.

Для учета расписания работы вычислительных ресурсов GRID-системы введем следующие параметры:

- t'-'j - время включения /-го ресурса /-го типа в GRID-системе, / = 1,7V , j = 1 ,mt ;

.off

-ttJ - время выключения /-го ресурса /-го типа в GRID-системе, / = 1, N, j = 1, mi ;

_g (/)JlnPH(/"<^A/>/"A/<^)v ■j [0 иначе,

Ч / Г *0П А * *0П А * ^ \ Ч / Г*™ ^ А * ^ *0П А * ^ \

V (t. . > t . At >t. . At > t. . ) V (t. . > t . At < t. . At < t. . )

где 5 (I ) - показатель доступности/-го ресурса/-го типа, определяющий, присутствует ли j-й ресурс /-го типа в GRID-системе в заданное время I.

Процесс функционирования такой ВС представляется замкнутой СМО с ожиданием, которая может находиться в следующих состояниях: а .ь„ь .a .d -/SIYnpo-цессоров сервера исправны, а (п /'" ) - неисправны и восстанавливаются, концентратор неисправен и восстанавливается, jf клиентских ресурсов GRID-системы первого типа исправны, а (я/, - jf) - неисправны и восстанавливаются, ..., jf клиентских ресурсов GRID-системы TV-го типа исправны, a(mN-jf)~ неисправны и восстанавливаются.

Еслиу1'"1’ = О, то вычислительный процесс остановлен, в противном случае все исправные элементы участвуют в вычислительном процессе.

Обозначим через Pf ния системы в состоянии

Решение системы дифференциальных уравнений рассматриваемой СМО будет иметь следующий вид:

Г уыь jd ja вероятность нахождс-

а „ -hub .d .d .

J J Ji ,-,Jn

p„ - c At) =

J >J >J\ >->Jn N

■pC-рйE ПМ0

г=1 } gem

\<4=jf

E E E -E ттгт^р" -Рь»“ !P4 E ПМ0

Or J )• г=1 } geco

M=J?

/"=0y u =0 y, =0 yw=0 v

где Psrv =

И

_ (ihub Phub ^hub

1

Pcl‘ A.fC^+T +T) •

X К V"K 1 "д 1

Самым распространенным показателем надежности для стационарного режима функционирования ВС является коэффициент готовности вычислительной системы Кг.

С учетом определения вероятности Р„ tab J ,,

J >J >Л >->Jn

коэффициент готовности рассматриваемой GRID-системы определяется следующим образом:

п щ т2 mN

j -1 А h ibi-^

п Щ mN_x mN

J -1Л -0 ./w-1-O./w-l

Постановка задачи выбора эффективной конфигурации GRID-системы. Построенный комплекс моделей позволяет перейти к формализации задачи выбора эффективной конфигурации GRID-системы для решения сложных задач определенного класса:

cr+xc,d-z,. |/°ff - t°n | ->■ min; /= 1

при условиях

X лГ л (ti+l-о

->к°

INT А

Y,n{t„nk, o4,z)(/,.+1-/,.)

mm

7Vr-l}

- > погр.

ЛГ <£z,.

_ 1=1 где z -показатель включенности клиентских узлов в рассматриваемую структуру GRID:

1, і-й клиентский узел включен в рассматриваемую конфигурацию GRID, і = 1, N, О иначе;

Af - количество точек в упорядоченном по возрастанию множестве моментов времени включения и выключения ресурсов GRID-системы, включая начало и конец интер-

N

вала времени, NT = 2 2 z. + 2.

j=і

Ввиду сложности свойств целевых функций и ограничений данной оптимизационной задачи эффективным методом для ее решения является генетический алгоритм, использующий динамические или адаптивные штрафные функции.

Предложенные авторами модели и алгоритмы позволяют эффективно решать задачи структурно-параметрического синтеза искусственных нейронных сетей для моделирования сложных объектов и процессов в распределенных вычислительных сетях с использованием GRID-

технологии, а также повысить обоснованность выбора эффективной конфигурации вычислительных ресурсов GRID-системы.

Библиографический список

1. Семенкин, Е. С. Оптимизация технических систем : учеб. пособие/Е. С. Семенкин, О. Э. Семенкина, С. П. Коробейников ; Сиб. ин-т бизнеса, упр. и психологии. Красноярск, 1996.

2. Chervenak, A. The Data GRID: Towards an Architecture for the Distributed Management and Analysis of Large Scientific Data Sets/A. Chervenak, I. Foster, C. Kesselmanet al. // J. Network and Computer Applications. 2001. R 133-138.

3. Ефимов, С. H. Многокритериальный выбор эффективной структуры нейросетевых моделей параллельными генетическими алгоритмами / С. Н. Ефимов, В. В. Тынчен-ко // Исследование, разработка и применение высоких технологий в промышленности : сб. тр. 4-й Между на р. науч.-практ. конф. СПб., 2007. С. 223-224.

4. Cantu-Paz, Е. Designing scalable multi-population parallel genetic algorithms / E. Cantu-Paz // I11GAL Report 98009 /The University of Illinois. 1998. P. 82-122.

5. Вишневский, В. М. Теоретические основы проектирования компьютерных сетей/В. М. Вишневский. М.: Техносфера, 2003.

6. Бройдо, В. JI. Вычислительные системы, сети ите-лекоммуникации/В. JI. Бройдо. СПб.: Питер, 2003.

7. Клейнрок, JI. Теория массового обслуживания: пер. с англ. / JI. Клейнрок. М.: Машиностроение, 1979.

S. N. Efimov, V S. Tynchenko

MODELS AND ALGORITHMS OF GRID-SYSTEMS FORMING FOR STRUCTURAL AND PARAMETRIC SYNTHESIS OF NEURAL NETWORK MODELS

The choice problem of GRJD-system efficient configuration for neural network modeling parallel realization is discussed. We offer the new multiple-population parallel genetic algorithm for solving the multiobjective optimization problem of neural networks structure-parametric synthesis. The set of analytical models for GRID-system functioning efficiency estimation is suggested.

Keywords: ANN-models, structure and parametric synthesis, parallel genetic algorithvs, GRID-systems models.