CC BY
18
2006
Доклады БГУИР
октябрь-декабрь
№ 4 (16)
УДК 681.518
ПРИМЕНЕНИЕ НЕГРАДИЕНТНОГО СЛУЧАЙНОГО ПОИСКА ДЛЯ ОПТИМИЗАЦИИ ТОПОЛОГИЧЕСКОЙ СТРУКТУРЫ НЕЙРОННОЙ СИСТЕМЫ
А.А. ЛОБАТЫЙ, В.Л. БУСЬКО
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 26 июля 2006
Предложен алгоритм синтеза топологической структуры технической системы, работающий при заданном критерии качества в условиях сложных воздействий и ограничений, путем использования случайного поиска.
Ключевые слова: нейронная система, топологическая структура, неградиентный случайный поиск.
Введение
Существует широкий класс технических систем, представляющих собой совокупность большого числа элементов, соединенных между собой различным образом. К таким системам относятся интенсивно развивающиеся в последнее время системы, основанные на нейросете-вых технологиях. Эти системы используются для распознавания образов, анализа данных, моделирования, адаптивного управления.
Искусственные нейронные сети (НС) создаются из элементов, которые, как правило, являются однотипными и созданными по аналогии с биологическими нейронами, имитирующими работу головного мозга. Каждый искусственный нейрон обладает группой однонаправленных входных связей (синапсов), соединенных с выходами других нейронов, а также — выходной связью (аксоном), с которой сигнал с данного нейрона поступает на синапсы следующих нейронов. Графическую иллюстрацию соединения нейронов между собой в сеть принято называть топологией (топологической структурой) нейронной сети.
Процесс функционирования нейронной сети зависит от ее топологической структуры и величин синаптических связей. поэтому при разработке НС необходимо найти оптимальные значения всех переменных весовых коэффициентов синапсов с учетом того, что некоторые си-наптические связи могут быть постоянными. Эта задача называется обучением НС и от ее решения зависит способность сети решать поставленные перед ней проблемы в процессе эксплуатации. в настоящее время разработаны методы, определяющие законы, по которым сеть должны изменять весовые коэффициенты синапсов, предложено большое количество способов объединения нейронов в нейронную сеть [1]. известны различные алгоритмы обучения — детерминированные и стохастические в зависимости от того, представляет собой подстройка весов жесткую последовательность или она подчиняется случайному процессу. В процессе обучения возможны ситуации, когда нейронная система, частью которой является НС, подвержена влиянию случайных воздействий, следовательно, применение в данном случае детерминированных методов не приведет к достижению желаемых результатов.
Общая задача синтеза нейронных сетей в настоящее время окончательно не решена, так как зависит от ряда условий: назначения системы, формализуемой задачи, входных сигналов и других факторов.
Топологическая структура НС может быть формализована в виде ориентированного графа Г(У,Е), вершинами V которого являются ячейки искусственных нейронов, а ребрами E — синаптические связи. Представляет интерес задача оптимизации топологической структуры НС (графа r(V,E)), а также весов синоптических связей (вектора D).
Рассмотрим наиболее распространенный так называемый вариант обучения НС с учителем, при котором сети предъявляются значения как входных, так и желательных выходных сигналов, а сама сеть по некоторому внутреннему алгоритму подстраивает веса своих синапти-ческих связей.
Таким образом в процессе оптимизации НС необходимо найти оптимальные значения Гопт и Donx, обеспечивающие минимум заданного функционала качества J(r,D). При этом должны выполняться требования, предъявляемые к системе, заключающиеся в наложении на систему ограничений Q(r,D), т.е. математически задача сводится к определению
min J (Г, DГ , D . (1)
V ' / опт > опт v '
Г, D ей
Алгоритм оптимизации системы
Пусть при заданных характеристиках входного сигнала X нейронной системы характеристики выходного сигнала У полностью определяются стохастическим оператором А(X,У, t)
У = А(X, У, t) X . (2)
Изменять оператор системы можно путем изменения его топологических свойств (изменение графа системы Г), а также изменением вектора весов синаптических связей Д . Будем полагать, что граф системы Г и вектор параметров Д определяются некой управляющей матрицей системы ис, которая в общем случае является блочной (расширенным вектором):
=
Ü,
cD
Uc
, где UcD =
" Di " ' ^(V,E) -
, Ucr =
_ DnD _ _ Г пГ (V, E )-
и сВ — блочный вектор (матрица-столбец) оптимизируемых весов синаптических связей системы; и сТ — вектор (матрица-столбец), состоящий из множества возможных графов системы. Полной вероятностной характеристикой матрицы исО является многомерная плотность вероятности
ш(иО )= ш(Д...Д...До). (3)
Свойства матрицы исГ характеризуются вероятностями графов Рк (Гк) . При этом выполняется условие
пГ
Z P (Гк ) = 1.
к=1
Таким образом, для оптимизируемой системы имеем зависимость
У и) = А(X, У и, t)X .
(4)
В процессе оптимизации матрица Uc может принимать значения, совокупность которых представляет собой фиксированное множество Uc={ uc1,uc2... }. При этом фиксированному значению uck соответствуют конкретные значения векторов D = Dk и Г=Гк.
Успешное решение задачи оптимизации в значительной мере зависит от выбранного критерия оптимизации. Для того чтобы получить удобный для алгоритмического синтеза системы критерий оптимальности, введем в рассмотрение событие S , заключающееся в том, что при заданном входном сигнале X выходной сигнал Y удовлетворяет требованию близости к требуемому значению YT , и выполняются все ограничения, наложенные на систему. Противоположное событие S состоит в том, что не выполняется требование близости Y к YT или не выполняется хотя бы одно из ограничений, наложенных на систему.
Если матрицу оптимальной системы обозначить через U0 = U0 (Гопт, Dom ) , то
J^DhmUm P(S |Uc) (6)
Uc
или
P(E U0) = max P(S\UC), (7)
Uc
Критерий (7) называется критерием максимума вероятности успешного решения задачи, поставленной перед системой. Он позволяет производить оптимизацию систем, выходными сигналами которых могут быть не только случайные события, но и случайные величины.
В связи с тем что применение неградиентного случайного поиска (НСП) для параметрической оптимизации систем в настоящее время достаточно известно и освоено [2], рассмотрим подробнее применение НСП для решения задачи топологической оптимизации сложной мультиструктурной системы [3], которую в данном случае представляет НС.
Сформулируем задачу топологической оптимизации системы неградиентным случайным поиском, рассматривая ее отдельно от задачи параметрической оптимизации.
Пусть сложная система формализована в виде графа Г(У,E), где V = {V1,V2...Vn} —
множество вершин графа, E = {E1, E2...Em } — множество ребер графа. Состояние (структура)
системы может изменяться в случайные моменты времени. Эти изменения обусловлены как изменением параметров системы, так и изменениями связей между подсистемами (графа). Под изменениями графа будем подразумевать исчезновение одной или нескольких вершин, одного или нескольких ребер и т.д.
Задача состоит в формировании новой топологической структуры (графа) системы, при которой обеспечивается требуемое качество системы. При этом должны выполняться ограничения, наложенные на возможные изменения графа. В реальной НС это — ограниченность в появлении новых вершин, ребер и т.д.
При такой постановке задачи управляющая матрица системы имеет вид
UcTT = [Г1,Г2,...,ГпГ], т.е. свойства системы зависят от пГ графов Гк (k = 1,пГ ), составляющих вектор (матрицу-столбец). Следовательно, необходимо определить Ucr = U0 такое,
при котором достигается максимум вероятности события, заключающегося в близости реального выходного сигнала системы к требуемому.
Сформулируем требования к графу системы. Пусть CV — событие, заключающееся
в выборе множества вершин графа; CE — событие, заключающееся в выборе множества ребер.
CV и CE представляют собой множества возможных реализаций: CV = {CV 1зCV2...Cvn},
C ={C C C }
E 1 E1 > E Em>-
Очевидно, что события CV и CE — совместные. В то же время Сп (г = 1, vn) — несовместны и СЕ]- (] = 1,Ет) — также несовместны. Следовательно,
уп Ет
£ Р С) = 1, Е Р (Се; ) = 1. (8)
г=1 ]=1
Фиксированное состояние управляющей матрицы представляет собой фиксированные значения множеств вершин и ребер иГТ = [Си, СЕ]- ^ .
Задача состоит в определении матрицы иГ = и0 такой, чтобы вероятность Р(2|и0) была максимально возможной:
Р(Е |и0) = ш ax Р(2 |иг 2). (9)
иГ2
Пусть Оу — событие, состоящее в совместном появлении V -го сочетания элементов матрицы иг (вершин и ребер графа). При совместном рассмотрении матрицы иг и события 2 справедливо равенство
P(Gv) P(S|GV) = P(S) P(GV |s) (v = 1,пГ), (10)
где пГ — число возможных состояний матрицы Uг (число возможных графов). P(s|Gv) и P(GV |s) — соответственно условные вероятности событий. Из (10) следует, что
maxP(S|Gv)=max P(S) P(Gv|S)/P(Gv). (11)
Gv Gv
Так как P(S) не зависит от Gv, то оптимальной матрице u0 = G0 будет соответствовать максимум отношения
Ф(^)= P(Gv|S)/P(Gv). (12)
Вероятности P(Gv) задаются и называются априорными. В процессе поиска необходимо определить апостериорные вероятности P(Gv |s) . В частном случае при отсутствии необходимой информации априорные события Gv могут быть равновероятными.
Так как каждому событию Gv при заданной вероятности P(Gv) соответствует единственное значение отношения (12), то из бинарного отношения выбирается max Ф(GV ) ^ G0.
Для ускорения случайного поиска оптимального графа сложной системы Гопт априорные вероятности P(Gv ) должны изменяться в соответствии с апостериорной информацией, накопленной в блоке оптимальной управляющей матрицы U0. В основу этого изменения следует положить выражение (12), из которого следует, что максимальная эффективность поиска достигается при P(Gv ) = P(Gv |s) .
На рис. 1 показана общая схема неградиентного случайного поиска с адаптацией, предназначенного для оптимизации топологии системы [3].
Рис. 1. Структурная схема топологического неградиентного случайного поиска Если событие 2 имеет место, то ключ К1 открывается и в блок ио поступает граф системы исГ, а также параметры ЦсВ |ЦсГ , обеспечивающие свершение события 2 .
В блоке G0 формируются вероятностные характеристики событий (исГ|Н) и (исо 12, исГ ), называемые апостериорными. Блоки Ьа (п +1) и Р2 (п) в данном случае представляют собой оператор адаптации, который корректирует априорные значения исГ и исВ . Оператор адаптации обеспечивает сближение произведения Р(исГ) ®(исВ\исГ) с произведением Р(исГ |2) ®(ис0 12, исГ ) на основе рекуррентного соотношения, представляющего собой видоизмененную форму записи формулы Байеса:
Р(исГ; п +1) ъ(ис0\исГ; п +1) = Р(исГ\2; п) ъ(исВ \2,исГ; п), (13)
В выражении (13) ю(исД |исГ; п + 1) — совместная априорная плотность распределения вероятности элементов матрицы исЭ на (п+1)-м шаге поиска при условии, что граф системы имеет вид исГ . ю(исД |2,исГ;п) — совместная апостериорная плотность распределения вероятности элементов матрицы исВ на п-м шаге поиска при условии, что граф системы имеет вид исТ . Р(исГ; п +1) — априорная вероятность существования матрицы исТ на (п+1)-м шаге поиска. Р(исГ |2; п) — апостериорная вероятность существования матрицы исТ на п-м шаге поиска.
Работа блока адаптации основана на использовании рекуррентного алгоритма Р(Оу; п +1)= Р(Оу; п) + АР(^; п), (14)
где приращение вероятности ; п) определяется выражением
АР(Оу; п )= Р(0\2; п)-Р(Оу; п), (15)
т.е.
Р(Оу; п +1)= Р(0\2; п).
(16)
Как видно из (16), априорная вероятность V -го решения на (п+1)-м шаге адаптации равна апостериорной вероятности V -го решения, полученного на п-м шаге адаптации.
Принципы построения методики изменения априорной вероятности на (п+1)-м шаге поиска по апостериорной вероятности подробно описаны в [2].
В зависимости от положения изображенного на рис. 1 ключа К2 адаптация может быть непрерывной или дискретной. При непрерывной адаптации ключ К2 замкнут постоянно. Рассмотрим случай дискретной адаптации, когда ключ К2 включается периодически для передачи накопленной в блоке ио информации. При этом достоверность результатов несколько выше,
так как в отличие от непрерывной адаптации осреднение реализаций поиска производится в одинаковых условиях поиска. В данном случае оценка матрицы апостериорных вероятностей вычисляется по формуле
Р(^1 I2 , ПК 2 ' ПК1)
Рг (Оя
1, пк 2, ПК1)
п
К1
п1(1
, п
)
пг (2, ПК2 )
(17)
где пК1 — число включений ключа К1 (число событий 2) между очередными включениями ключа К2; п (2, пК2) — число свершений события Оу вместе с событием 2 за время между пК2 -м и (пК2 +1) -м включением ключа К2. При этом оценка матрицы апостериорных вероятностей тем точнее, чем больше значение пК1 .
Если оптимизация производится без адаптации, то вероятности P(GV ) в процессе поиска должны задаваться исследователем.
Потребное количество сеансов поиска Ы0 зависит от требуемой (заданной) точности
решения задачи и определяется известными выражениями прикладной математики. Поиск оптимальной топологии системы завершается на основе использования известных формул математической статистики для доверительных вероятностей. Останов поиска производится при 8с < 80, где 8с — среднее значение относительных приращений норм матриц апостериорных
вероятностей, 80
предельное значение 8С
8„ =-
П +
Е \н (пР - н (пР -^-1) 1 ^=1 н (пР
(18)
В (18) обозначено: пр — номер последнего шага поиска к ио; пс — число рабочих
шагов поиска, отсчитанных от конца успешных сеансов поиска (при которых открывается ключ К1), по которым производится осреднение реализаций, поступающих в блок и0. Н (пр-ц), Н (пр-ц-1) — нормы матриц апостериорных вероятностей соответственно на (пр-ц)-м и (пр-ц-1)-м рабочих шагах поиска. Элементы данных матриц определяют конечную цель поиска.
Результаты моделирования
На рис. 2 представлены результаты исследования работоспособности предложенной методики путем математического моделирования. Случайные реализации иллюстрируют работу алгоритма топологического неградиентного случайного поиска в соответствии с рис. 1.
На рис. 2 обозначено: Р1к — значения априорной вероятности выбора V -го графа НС;
Р01к — апостериорные вероятности события 2 , поступающие в блок G0 с выхода ключа К1; РОМ 1к — максимальные значения апостериорных вероятностей выбора оптимальной топологии НС, вычисленные в блоке G0. Индекс "к" означает номер шага поиска. Дискретные значе-
ния вероятностей на приведенных рисунках для наглядности соединены прямыми линиями. Моделирование алгоритма производилось в среде МмИСЛБ.
0 k 50
Рис. 2. Реализации вероятностей топологической оптимизации
Как видно из рисунка, количество шагов поиска, необходимое для определения оптимальной топологии системы, является случайным. В приведенном примере значение вероятности определения искомой топологии НС превысило значение 0,9 после 15-20 шагов поиска.
Заключение
Использование неградиентного случайного поиска для оптимизации сложной мульти-структурной системы является наиболее предпочтительным, так как в противном случае множество локальных экстремумов функционала качества, особенно при случайном характере смены структур, не позволяет найти требуемое решение задачи. Предложенный алгоритм топологического неградиентного случайного поиска отличается от известных наличием генератора случайных топологий системы, формализованных в виде множества возможных графов. Данный алгоритм позволяет оптимизировать по заданному критерию топологию нейронной системы.
APPLICATION NON-GRADIENT RANDOM SEARCH FOR OPTIMIZATION OF TOPOLOGICAL STRUCTURE NEURAL NETWORK TOPOLOGY
A.A. LOBATY, V.L. BUSKO Abstract
The algorithm of synthesis of topological structure of technical system working is offered at the given criteria of quality in conditions of complex influences and restrictions, by use of casual search.
Литература
1. Галушкин А.И. Теория нейронных сетей. М.: ИПРР'ЖР. 2000. 416 с.
2. Казаков И.Е., Гладков Д.И. Методы оптимизации стохастических систем. М., 1983. 384 с.
3. Лобатый А.А. Топология мультиструктурных технических систем. Минск, 2000. 162 с.
