CC BY
66
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ, ЧИСЛЕННЫЕ МЕТОДЫ И КОМПЛЕКСЫ ПРОГРАММ
УДК 777.555
А. В. ГАГАРИН, Р. К. ГАЗИЗОВ
ГИБРИДНЫЙ ГЕНЕТИЧЕСКИЙ НЕЙРОСЕТЕВОЙ АЛГОРИТМ В ЗАДАЧЕ ИДЕНТИФИКАЦИИ ПАРАМЕТРОВ ЦИФРОВЫХ МОДЕЛЕЙ
В статье предлагается гибридный генетический нейросетевой алгоритм, в котором радиальнобазисная нейронная сеть (РБНС) выполняет функцию аппроксиматора целевой функции (ЦФ). Описывается схема использования НС в составе ГА, схема предварительной обработки данных перед обучением НС и сам алгоритм обучения. Приводятся результаты тестирования разработанного алгоритма на сложных синтетических задачах оптимизации, таких как минимизация функций Рас-тригина и Розенброка с различным количеством параметров. Идентификация параметров; оптимизация; генетические алгоритмы; нейронные сети
ВВЕДЕНИЕ
В работе рассматривается задача идентификации параметров х = (х1, х2,..., хп) є Ви с Мп
динамической математической модели у = = и(ґ | х) объекта исследования (ОИ). В теории идентификации систем [1, 2] эта задача называется параметрическим оцениванием модели ОИ.
Предположим, что ОИ характеризуется контролируемыми выходными сигналами у(к) = = (у1(к), у2(к),..., Ут(к)), , которые регистрируются в ходе натурного эксперимента в дискретные моменты времени ґк, к = 1, 2,. . Им соответствуют выходные сигналы у (к | х) =
= (у(к | х),у2(к | х),...,ут(к | х)) цифровой модели
ОИ, определяемой вектором параметров х. Невязкой е(к, х) называется разность между выходными сигналами ОИ у(к) и настраиваемой модели у. (к | х):
е(к, х) = у (к) - у (к | х).
Пусть имеются данные наблюдения у(1),..., у(И) за ОИ в N различных моментов времени. Тогда задача параметрического оценивания модели заключается в выборе из всего множества параметров х є Би некоторого оптимального вектора хор‘ таким образом, чтобы невязка е(к, хор‘), к = 1,.,N была по возможности мала.
Как правило, данная задача сводится к задаче минимизации целевой функции (ЦФ) вида:
Контактная информация: (34l) 2l3-36-22
N т
f (x) = 2 8(k, x)T-W-8(k, x), (1)
k=1
где W - матрица весовых коэффициентов.
Данная функция является мерой близости настраиваемой модели к реальному ОИ и отражает качество идентификации ее параметров. Соответственно,
xopt = argmin f (x).
xeDM
На практике ищется минимум fx) с заданным порогом 5, позволяющим контролировать точность получаемого результата. Иными словами, необходимо найти решение x такое, что:
fx*) <f(xopt) + 5. (2)
Разные запуски алгоритма оптимизации в зависимости от начальной инициализации и других факторов, могут приводить к нахожде-
у-. * *
нию множества DM оптимальных решений x1, x2,.... Выбор одного из них должен осуществляться с помощью дополнительных критериев оценки, помимо (2) (например, путем «физической» интерпретации найденных параметров). Обсуждение этого вопроса выходит за рамки данной работы.
Для нахождения минимума fx), удовлетворяющего условию (2), обычно применяются итерационные методы оптимизации, генерирующие последовательность приближений {x(1), x(2),..., x(N)} такую, что x(No) е D*M (то есть x(No) удовлетворяет условию (2)). Значение индекса N0 показывает количество приближений, требуемых для нахождения оптимума ЦФ с заданным порогом. На практике, в дополнение к критерию (2) часто применяется ограничение
по времени, когда оптимизация останавливается по условию No = Nomax .
В зависимости от сложности модели и величины N, ресурсоемкость вычисления y(k | x), k = 1,.. ,,N может быть велика. Например, время численного моделирования течения многофазной смеси жидкости и газа в пористой среде, широко используемое в моделях нефтяных месторождений, даже на современных суперкомпьютерах с применением коммерческих симуляторов, таких как Shlumberger ECLIPSE, Roxar Tempest MORE, NGT BOS Core1 и т. д., может исчисляться сутками. Поэтому стандартные подходы определения параметров таких моделей на основе эволюционных стратегий [7], генетических алгоритмов (ГА) [17, 4], комбинации туннельного и градиентного методов [1o], а также других алгоритмов с возможностями глобальной оптимизации зачастую оказываются ресурсоемкими из-за относительно большого количества генерируемых приближений. Область применения алгоритмов градиентного спуска в задачах параметрического оценивания, как правило, ограничивается завершающим этапом уточнения решения, что связано с наличием многих локальных оптимумов у функции fx). В связи с этим приобретает актуальность задача создания устойчивого алгоритма с возможностями глобальной оптимизации, способного решать поставленную задачу с использованием в среднем меньшего количества приближений по сравнению со стандартными подходами.
1. ГИБРИДНЫЙ ГЕНЕТИЧЕСКИЙ НЕЙРОСЕТЕВОЙ АЛГОРИТМ
1.1 Описание алгоритма
Хорошо известно, что использование стандартного ГА предполагает на каждой итерации для каждого набора параметров (хромосомы в терминах ГА) вычисление значений ЦФ, включающее в себя моделирование ОИ (то есть расчет значений y(k | x)). Предлагаемый гибридный генетический нейросетевой алгоритм (ГА+НС) является модификацией стандартного ГА, в дальнейшем называемого главным, на каждой итерации которого создается нейросе-тевая аппроксимация f(x) целевой функции f x), предназначенная для получения прогноза
x оптимального решения функции fx). В большинстве задач параметрического оценива-
ния f (х) будет вычисляться значительно быстрее У(х), поскольку не требует предварительного расчета модельных значений у (к \ х). Поиск х осуществляется с помощью дополнительного ГА, в дальнейшем называемого вспомогательным, для которого в качестве ЦФ используется / (х) (то есть значения, вычисляемые нейронной сетью). Найденный прогноз затем добавляется в популяцию потомков главного ГА на текущей итерации и цикл повторяется. Алгоритм ГА + НС состоит из следующих основных шагов (рис. 1).
1) V =1. Полное множество приближений А = 0 . Начальная инициализация популяции основного ГА (выполняется случайным образом или на основе предоставляемых пользова-
телем данных). Выходные данные: х(,..., х(/ , Ыр - размер популяции.
2) Вычисление значений ЦФ f (х(п)),...,
f (х^) для всех хромосом популяции основного ГА на текущей итерации V.
3) Проверка критериев остановки оптимизации.
4) Пополнение множества А = А и {((х(п),
на
f (хП))),..., (хП, f (хпр )))}, формирование
основе него обучающей выборки Ь с А для НС и обучение сети.
5) Поиск прогноза оптимального решения
вспомогательным ГА, для которого ЦФ f(х) вычисляется обученной НС. Выходные данные:
прогноз оптимального решения х .
6) Создание потомков популяции основного ГА на текущей итерации V. Выходные данные:
r(v+1)
..., xN'+jj, x } (первые Np - 1 хромосом
1 Разработка ООО «РН-УфаНИПИнефть»
генерируются с помощью эволюционных операторов главного ГА, а последняя хромосома добавляется с предыдущего шага).
7) V = V + 1. Переход к шагу 2.
Адекватный прогноз х оптимального решения может значительно ускорить эволюционный поиск основного ГА. Если прогноз окажется неудачным, эволюционные механизмы обеспечат стабильность оптимизации. Приближения х, генерируемые основным ГА на протяжении всего процесса оптимизации, вместе с соответствующими значениями ЦФ _Дх) участвуют в формировании обучающей выборки для НС (стандартный ГА хранит лишь текущую
*
популяцию фиксированного размера). Вспомогательный ГА может выполнять значительно более интенсивный поиск по сравнению с главным ГА (большой размер популяции, много итераций и т. п.) и с большой вероятностью находить глобальный оптимум / , так как данная ЦФ вычисляется сравнительно быстро.
В известных публикациях, посвященных гибридизации ГА и НС, рассматриваются схемы, предназначенные для условий неповторяемого эксперимента с необходимостью проверки оптимальности решения и единоразовым обучением НС до начала оптимизации на основе заранее подготовленной обучающей выборки [19, 12, 18]. Эти схемы соответствуют одной итерации нейросетевого контура предлагаемого алгоритма ГА+НС.
Наиболее близкий аналог ГА+НС предлагается в работе [11]. Гибридный алгоритм в [11] не содержит вспомогательного ГА, поскольку на вход НС подается значение ЦФ, а на выходе получается прогноз соответствующего вектора искомых параметров. Однако такая схема имеет очевидный недостаток, заключающийся в некорректности обратной задачи, решаемой НС. Одному и тому же значению ЦФ может соответствовать несколько (или даже бесконечно много) различных значений ее аргументов. Это может привести в частности к тому, что ошибка обучения не опустится ниже некоторого значения из-за противоречащих друг другу изменений весов. Тем не менее, авторам [11] удалось добиться существенного увеличения скорости поиска ГА с бинарным кодированием на функциях Растригина и Розенброка, соответственно, от двух и трех аргументов.
1.2 Нейросетевой контур ГА + НС
1.2.1. Выбор архитектуры и алгоритма обучения сети. В алгоритме ГА+НС использовалась радиально-базисная нейронная сеть (РБНС), изначально разработанная для аппроксимации функций многих переменных [2, 9]. К преимуществам РБНС можно отнести необходимость определения количества и параметров нейронов только одного скрытого слоя. Как недостаток можно рассматривать локальность получаемых аппроксимаций [2].
Традиционные алгоритмы обучения РБНС содержат два этапа [14]. На первом этапе определяются позиции центров радиально-базисных функций (РБФ) (т. е. веса первого скрытого слоя), что обычно выполняется с помощью кластеризации обучающей выборки. Здесь и далее предполагается, что в качестве РБФ используется колоколообразная функция Гаусса или по-
добная ей. Для каждой такой функции на первом этапе необходимо также определить параметр 5, задающий ее «ширину» (иногда выделяется как самостоятельный этап). На втором этапе производится настройка весов выходного линейного слоя, что может быть сделано за одну итерацию по методу наименьших квадратов (МНК).
Главным недостатками такой схемы являются необходимость априорного задания количества РБФ (нейронов скрытого слоя) и связанная с ней проблема переобучения РБНС, когда нейронов в скрытом слое берется слишком много. Для преодоления этих недостатков был разработан специальный алгоритм кластеризации, автоматически определяющий не только координаты центров кластеров, но и их количество. Он основан на методе детерминированного отжига (Deterministic Annealing) [16] и использует дополнительную информацию в виде значений ЦФ для каждого входного вектора. Поскольку разработанный алгоритм стремится найти «естественное» количество кластеров в обучающей выборке, в результате создается РБНС с минимальным количеством скрытых нейронов. Принцип минимального размера (parsimonious principle) обеспечивает регуляризацию обучения и позволяет, в частности, получать гладкие аппроксимации. Данное свойство частично решает проблему «проклятия размерности» [5, 2]. По сути, полученные количество и координаты центров кластеров являются эвристически найденным «хорошим» начальным приближением для алгоритма ОРО, запускаемого на втором этапе. Таким образом, на первом этапе закладывается основа для получения хороших обобщающих способностей у обученной сети. Далее приведены этапы алгоритма обучения РБНС в составе нейросетевого контура ГА + НС.
1) Определение количества РБФ и позиций их центров с помощью кластеризации входных данных с автоматическим определением количества кластеров. Параметры о вычисляются на основе эвристики, предложенной в [2].
2) Уточнение всех весов сети с помощью алгоритма обратного распространения ошибки (ОРО). Такой подход обеспечивает более точную настройку РБНС по сравнению с традиционным расчетом весов только выходного слоя по МНК, так как позволяет корректировать параметры радиально-базисных нейронов скрытого слоя.
3) Возможное дополнительное обучение РБНС на основе алгоритма каскадной корреляции С. Фальмана [8].
1.2.2. Формирование обучающей выборки и области поиска для вспомогательного
ГА. На основе кластеризации, проводимой в рамках первого этапа обучения РБНС, формируются обучающая выборка для алгоритма ОРО и область поиска для вспомогательного ГА. Детально данная процедура изображена на рис. 2. Она выполняется на каждой итерации V главного ГА и включает в себя следующие шаги.
1) Входными данными для дальнейшей обработки является множество A = {(х, Дх))} всех сгенерированных главным ГА приближений (см. шаг 4 ГА + НС). На итерации п множество
A состоит из элементов.
2) Выделение из множества А подмножества из Ыв лучших приближений В с А, где Ыв задается пользователем (обычно значения Ыв лежат в пределах от 300 до 1000). Целью данного шага является ограничение сверху размера обучающей выборки для РБНС, формируемой в дальнейшем из множества в (множество А растет неограниченно). Обозначим текущее лучшее приближение как хъ (хй е В).
3) Кластеризация В с помощью разработанного алгоритма с автоматическим определением количества кластеров. Результатом является множество из Ып) найденных центров класте-
ров У = {у}. Пусть й(х, у) есть Евклидово расстояние между векторами х и у. Обозначим множество точек, принадлежащих у-му кластеру с центром в точке уу, как Су =
= {х, е В: й (х,, у у) < й (х,, у к), "к ф у}.
4) Формирование обучающей выборки Ь с В для второго этапа обучения РБНС. В выборку Ь попадают приближения (и соответствующие им значения ЦФ) из ЫЬ ближайших к лучшему приближению хъ кластеров, то есть
Nr
L = {(xi, f (xi)), xiє U C : d(xb, yk) < d(xb, y j)
i=1
"у £{/,}}. Значение Ыь задается пользователем
(в экспериментах данной работы ЫЬ = 10).
5) Определение области поиска для вспомогательного ГА, задаваемой в виде двух векторов а = (аь...,а„) и Ь = (ЪЬ...,Ъ„), таких что а, = = шт{х5/}, Ъ, = шах{х5/}, "х5 =
= (Х51, 2, •••, ) е 5. Здесь 5 — множество
приближений из Ы5: < Ы кластеров вокруг
лучшего решения, определяемое аналогично множеству Ь. То есть область поиска содержится внутри области, покрываемой обучающей выборкой. Значение Ы5 выбирается пользователем (в экспериментах данной работы Ы5 = 4).
Рис. l. Схема алгоритма ГА+НС
Рис. 2. Схема алгоритма ГА+НС
1.2.3. Дополнительное обучение РБНС.
После второго этапа обучения РБНС с помощью ОРО ошибка обучения может остаться сравнительно большой, а нейросетевая аппроксимация получается очень гладкой. Иногда возникает необходимость уточнить результат, т. е. дополнительно снизить ошибку обучения. Сделать это можно только посредством изменения структуры сети, путем добавления новых скрытых нейронов и перенастройки весов. Для добавления минимально необходимого количества нейронов в данной работе используется идея построения НС по принципу каскадной корреляции (Cascade-Correlation Learning Architecture), предложенная С. Фальманом [8].
Добавляемые скрытые нейроны обучаются по принципу максимизации модуля корреляции с остаточной ошибкой обучения (3):
S = Е
Е (Vp - V )( Ep,o - Eo )
(3)
где - оценка полезности нейрона (больше -лучше); о - индекс нейрона выходного слоя; р -индекс обучающего примера; Ур - выходной сигнал обучаемого скрытого нейрона; Ер,о -ошибка нейрона о выходного слоя на обучающем примере р; У , Еро - значения У и Ео, усредненные по всем обучающим примерам.
Для добавления одного нейрона предварительно формируется пул нейронов-кандидатов с радиально-базисными функциями активации, из которых после настройки весов выбирается один, имеющий максимальное значение 5”. Далее, согласно подходу Фальмана, нейрон
встраивается в РБНС по каскадному принципу, а его веса замораживаются.
Идея обучения РБНС на основе подхода С. Фальмана применялась в [13], где пул нейро-нов-кандидатов формировался заранее на основе кластеризации по к средним (первый этап обучения) из радиально-базисных нейронов, после чего они добавлялись в скрытый слой. Недостаток метода заключается в используемом алгоритме кластеризации (k-means), требующем априорного задания количества кластеров, то есть максимального количества скрытых нейронов сети.
2. ТЕСТИРОВАНИЕ ГА+НС НА ЗАДАЧЕ МИНИМИЗАЦИИ ТЕСТОВЫХ ФУНКЦИЙ
В данной главе приведены результаты тестирования алгоритма ГА+НС на задаче минимизации функций Растригина и Розенброка [6], которые являются де-факто стандартом проверки алгоритмов оптимизации. Эти функции имеют различный характер и позволяют проанализировать поведение разработанного гибридного нейросетевого алгоритма в сложных условиях (которые с большой вероятностью не могут возникнуть на практике), сравнить его со стандартным ГА и сделать ряд выводов, касающихся его практического применения.
2.1 Описание условий тестирования
Для проверки производительности ГА+НС была проведена серия экспериментов по минимизации функций Растригина и Розенброка от 3, 5, 50 и 100 аргументов. По полученным ре-
o
зультатам были построены графики изменения лучшего значения ЦФ в процессе ее минимизации алгоритмами ГА+НС, ГА+НС с дополнительным обучением (ГА+НС+ДО) и стандартного ГА. Кроме того, были получены статистические данные, характеризующие поведение алгоритмов в целом. Поскольку ГА имеет стохастическую природу, в целях повышения достоверности результатов для каждой ЦФ и фиксированного числа параметров производилось четыре запуска оптимизации с последующим усреднением результатов. Таким образом, в таблицах и на рисунках далее приведены усредненные величины. Оптимизация останавливалась, если выполнялся хотя бы один из следующих критериев:
• достижение значения ЦФ, меньшего 10- ;
• достижение максимального количества итераций, равного 1OO.
Легенда на рисунках расшифровывается следующим образом: GA - ГА; GA+NN -ГА+НС; GA+NN+AL - ГА+НС+ДО (ГА+НС с дополнительным обучением). В таблицах приведены следующие данные: fb - лучшее найденное значение ЦФ в результате оптимизации; No - количество итераций ГА (главного ГА); T -затраченное процессорное время; knn — количество итераций, на которых нейросетевой прогноз оказался лучшим среди всей популяции (приводится абсолютное значение и процентное, по отношению к общему числу итераций); ki — коэффициент, показывающий, во сколько раз в среднем удачный нейросетевой прогноз улучшил значение ЦФ. По сути, ki = = fbn_1 / fb, где fb - лучшее значение ЦФ, соответственно, на итерациях n - 1 и n, причем лучшей особью на n-й итерации является нейросетевой прогноз. Так как решалась задача минимизации, меньшие значения ki соответствуют лучшему результату.
Настройки основного ГА в алгоритме ГА+НС, а также стандартного ГА в экспериментах были следующими: 6O особей в популяции, 2 элитные особи, ранговая стохастическая равномерная селекция (rank-based stochastic uniform selection), BLX-а кроссовер с вероятностью 0,l, а = 0,5; равномерная мутация с вероятностью 0,1; диапазон мутации [-5,12; 5,12] для каждого параметра ЦФ, этот же диапазон использовался для случайной инициализации хромосом первого поколения.
Настройки PБНС: второй этап обучения -модифицированный алгоритм ОPО Resilient Back Propagation (RBP) [15]; максимальное количество итераций алгоритма ОPО - lOOO; критерий остановки обучения - падение суммарной
квадратической ошибки (88Е) ниже 0,01; второй критерий остановки - правило «терпения» - если за 100 последовательных итераций 88Е изменяется не более чем в 0,001 раза, обучение прекращается. В обучающую выборку отбирались не более 500 точек (N = 500) из 10 ближайших к лучшему решению кластеров (N1 = 10). Область поиска для вспомогательного ГА ограничивалась четырьмя ближайшими к лучшему решению кластерами = 4).
Дополнительное обучение РБНС осуществлялось в соответствии со следующими установками: пул из 8 нейронов-кандидатов, из них на каждой итерации добавлялся только один победитель; максимальное количество итераций алгоритма ОРО для обучения нейронов-кандидатов в пуле - 700; максимальное количество нейронов, добавляемых в процессе дообучения - 100. Выходной линейный слой НС перед началом дообучения подключался, помимо всех скрытых слоев, также напрямую к входному (распределительному) слою.
Перечисленные настройки действовали для обеих ЦФ. Необходимо отметить, что для их определения в данной работе была проведена предварительная серия экспериментов по минимизации функций Растригина и Розенброка с различными параметрами нейросетевого контура и описанными выше критериями остановки.
2.2 Тестирование ГА+НС на функции Растригина
Функция Растригина от п параметров записывается следующим образом:
П т
ЛаДх) =10п + 2(X - Юшэ^лх. )Х
.=1 (4)
хор = (0,...,0).
Многоэкстремальность функции Растригина делает градиентные методы неэффективными на задаче ее минимизации. Аппроксимация этой функции также представляет собой сложную задачу. В то же время, при правильно выбранных настройках, стандартный ГА показывает относительно хорошие результаты на функциях, подобных (4).
Результаты экспериментов по минимизации функции Растригина от различного числа параметров алгоритмами ГА, ГА+НС и ГА+НС+ДО представлены в табл. 1-4, а также на рис. 3.
Таблица 1
Статистика оптимизации функции Растригина от 3 аргументов
Алго- ритм /ь т , ч:мин: с кпп knn, % к
ГА+НС 5,57Е- 008 60,5 21:55:3 4,43 4,5 7,44 0,6
ГА+НС +ДО 6,86Е- 008 61,5 38:24:1 6,25 2 3,25 0,63
ГА Стати 6,05Е- 008 стика оп 57,5 тимиз от 5 а 00:00:0 0,03 ации фун ргументо кции в Табл Растри ица 2 ина
Алго- ритм /ь т , ч:мин :с кпп кпп, % к
ГА+Н С 2,51Е -001 92,5 131:30 :51,00 2,75 2,97 0,59
ГА+Н с+до 5,11Е -006 98,5 181:57 :27,25 1,5 1,52 0,85
ГА 1,01Е +000 100 00:00: 00,08 - - -
Из полученных результатов можно сделать следующие выводы.
1) ГА+НС с дополнительным обучением имеет преимущество во всех экспериментах, вплоть до 100 аргументов функции Растригина.
2) Применение РБНС в экспериментах с 50 и 100 параметрами позволяет скачкообразно уменьшить значение ЦФ в начале оптимизации, за счет чего ее можно остановить гораздо раньше, чем с использованием стандартного ГА. При меньшей размерности входного пространства, ГА+НС и ГА+НС+ДО значительно превосходят стандартный ГА, поскольку нейро-сетевой контур дает хорошие прогнозы на протяжении всего цикла оптимизации.
3) Относительно большие значения к, обусловлены усреднением по всем запускам для фиксированного количества аргументов ЦФ (с учетом предыдущего вывода).
4) Поскольку значение функции Растригина вычисляется практически мгновенно, процессорное время, затраченное стандартным ГА, близко к нулю. Процессорное время алгоритмов ГА+НС и ГА+НС+ДО отражает дополнительные вычислительные затраты в нейросетевом контуре. Проведенные эксперименты предназначены для качественной оценки скорости оптимизации сложной ЦФ предлагаемым алгоритмом. Анализ сравнительной ресурсоемкости
реальных задач идентификации параметров моделей ОИ с применением ГА+НС и стандартных подходов выходит за рамки данной статьи.
Таблица 3 Статистика оптимизации функции Растригина от 50 аргументов
Алго ритм /ь т , ч: мин :с кщ, кпп, % к
ГА+ НС 3,84Е +002 100 122:0 6:56,0 0 0,25 0,25 0
ГА+ НС+ ДО 5,11Е -006 100 52:13: 31,50 2,75 2,75 0,86
ГА Ста 1,01Е +000 тистика 100 птими от 5 00:00: 00,37 зации ф 0 аргум ункции нтов Таб Растри ица 4 гина
Ал- го- ритм /ь N0 т , ч:мин:с кпп кпп, % к
ГА+ НС 1,04Е+ 003 100 103:59:1 1,75 0,5 0,5 0,78
ГА+ НС+ ДО 8,37Е+ 002 100 61:47:40 ,50 3,5 2,5 0,89
ГА 1,11Е+ 003 100 00:00:00 ,68 - - -
2.3 Тестирование ГА+НС на функции Розенброка
Формула функции Розенброка приведена ниже:
/к
п-1
,(*) = X
2=1
100 (4і - хг )2 + (1 - хг )2 х°р = (1,...,1)
Эта функция использовалась Де Йонгом для тестирования канонического ГА [6] (впервые предложена Розенброком в 1960 г.). Она представляет собой непрерывную, невыпуклую, унимодальную функцию с минимальным значением, равным нулю, в точке (1, ..., 1). Минимизация функции Розенброка — очень сложная задача, в том числе и для ГА, поскольку она содержит глубокую параболическую «впадину»
вдоль кривой х, = х2+1 очень пологой формы [6].
Результаты экспериментов по минимизации функции Розенброка от различного числа параметров алгоритмами ГА, ГА+НС и ГА+НС+ДО представлены в табл. 5-8, а также на рис. 4.
Рис. 3. Сравнение производительности ГА+НС (ОА+ЫЫ), ГА+НС+ДО (ОА+ЫЫ+АЬ) и чистого ГА (ОА) на функции Растригина с различным числом параметров
Рис. 4. Сравнение производительности ГА+НС (ОА+ЫЫ), ГА+НС+ДО (ОА+ЫЫ+АЬ) и чистого ГА (ОА) на функции Розенброка с различным числом параметров
Т аблица 5 Статистика оптимизации функции Розенброка от 3 аргументов
Алго- ритм Ль Т, ч:мин:с кпп кпп,1 % к
ГА+Н 2,93Е 100 04:23:3 3 5 0,6
С -001 9,75
ГА+Н 8,37Е 100 91:08:3 5 5 0,69
с+до +002 6,75
ГА 1,11 Е 100 00:00:0
+003 0,60
Т аблица 6 Статистика оптимизации функции Розенброка от 5 аргументов
Алго- ритм Ль т , ч:мин :с кпп кпп,1 % к
ГА+Н С 2,73Е +000 100 03:27: 17,51 6 6 0,61
ГА+Н С+ДО 1,79Е +000 100 122:3 4:34,0 0 11, 5 11, 5 0,72
ГА Стат 2,06Е +000 истика о 100 птими от 50 00:00: 00,08 ации фун аргумент кции ов Таб Розен лица рока
Алго- ритм Ль т , ч:мин:с кпп кпп, % к
ГА+НС 3,9 4Е+ 002 100 03:37:3 9,14 12, 25 12, 25 0,7
ГА+НС +ДО 4,0 0Е+ 002 100 72:53:2 5,25 7 7 0,63
ГА Стати 4,9 2Е+ 003 стика о 100 птими от 50 00:00:0 0,35 ации фун аргумент кции ов Таб Розен лица рока
Алго- ритм Ль т , ч:мин :с кпп кпп,1 % к
ГА+Н С 9,72Е +003 100 12:01: 43,55 8 8 0,6 3
ГА+Н С+ДО 9,19Е +003 100 89:11: 56,25 4 4 0,4 6
ГА 1,75Е +005 100 00:00: 00,64 - - -
Из полученных результатов можно сделать следующие выводы.
1) На функции Розенброка алгоритмы ГА+НС и ГА+НС+ДО оказались лучшими во всех случаях, за исключением варианта с пятью
аргументами, когда стандартный ГА нашел незначительно лучшее значение ЦФ по сравнению с ГА+НС (рис. 4). ГА+НС+ДО продемонстрировал превосходство во всех случаях без исключения.
2) Преимущество гибридного алгоритма заключается прежде всего в высокой скорости минимизации ЦФ в начале оптимизации. Этот факт становится особенно заметен, когда число аргументов становится большим (50 и 100). В этих случаях ГА+НС и ГА+НС+ДО в течение первых 10-20 итераций резко уменьшают значение ЦФ на 2-3 порядка и серьезно превосходят стандартный ГА.
3) Из табл. 5-8 следует, что процент хороших нейросетевых прогнозов растет с увеличением размерности решаемой задачи, достигая пика примерно к 50 параметрам (12,25% для ГА+НС), после чего начинает постепенно падать. Этот факт подтверждает наличие хороших обобщающих способностей у РБНС, обучаемой по предложенному в работе алгоритму.
ВЫВОДЫ
1. Разработана структурная схема гибридного генетического нейросетевого алгоритма ГА+НС, в котором радиально-базисная нейронная сеть выполняет функцию аппроксиматора ЦФ. Такая схема не зависит от наличия обучающей выборки для НС (наблюдений за ОИ) и достаточно универсальна для решения многих задач оптимизации. Эволюционный поиск главного ГА может быть значительно ускорен хорошим прогнозом лучшего решения, получаемым на выходе нейросетевого контура, в худшем случае эффективность поиска остается на уровне стандартного ГА. Разработанный алгоритм целесообразно применять в задачах с ресурсоемким вычислением ЦФ, например, обусловленным необходимостью в предварительном численном моделировании ОИ (как в задаче параметрического оценивания).
2. Разработан алгоритм предобработки входных данных и обучения РБНС в составе ГА+НС, основанный на кластеризации входных данных с автоматическим определением количества кластеров и координат их центров. По результатам кластеризации строится обучающая выборка и определяется область поиска для вспомогательного ГА.
3. Проведено тестирование разработанного гибридного-нейросетевого алгоритма на сложных задачах минимизации функций Растригина и Розенброка с различным числом аргументов. Результаты тестов показали преимущество ГА+НС практически во всех экспериментах
(особенно с использованием дополнительного обучения). Нейросетевые прогнозы особенно эффективны в начале оптимизации, что хорошо видно в экспериментах с 50 и 100 параметрами функции Розенброка, где отрыв гибридного ГА от стандартного за первые 10 итераций достигает двух-трех порядков значений ЦФ. Подобное поведение ГА+НС дает ему важное преимущество в задачах, когда ЦФ вычисляется на основе результатов предварительных ресурсоемких расчетов, так как позволяет остановить оптимизацию на ранней стадии, получив приемлемое по точности решение.
СПИСОК ЛИТЕРАТУРЫ
1. Льюнг Л. Идентификация систем. Теория для пользователя. М.: Наука. Гл. ред. физ.-мат. лит., 1991. 432 с.
2. Хайкин С. Нейронные сети: полный курс. Изд. дом «Вильямс», 2006. 1104 с.
3. Цыпкин Я. З. Информационная теория идентификации. М.: Наука. Физматлит, 1995.
4. Ballester P. J., Carter J. N. A parallel real-coded genetic algorithm for history matching and its application to a real petroleum reservoir // Journal of Petroleum Science and Engineering. 2007. Vol. 59. P. 157-168.
5. Bellman R. Adaptive Control Processes: A Guided Tour. Princeton University Press, 1961.
6. De Jong, K. A. An analysis of the behavior of a class of genetic adaptive systems: Ph.D. thesis / University of Michigan. — 1975.
7. Evolutionary algorithms applied to history matching of complex reservoirs / R. Schulze-Riegert [et al]. // SPE Reservoir Evaluation & Engineering. 2002.
8. Fahlman S. E. The recurrent cascade-correlation architecture // Advances in Neural Information Processing Systems 3. Morgan Kaufmann, 1991. P. 190-196.
9. Girosi F., Poggio T., Caprile B. Extensions of a theory of networks for approximation and learning // Advances in Neural Information Processing Systems. Vol. 3. Morgan Kaufmann Publishers, Inc., 1991. P. 750-756.
10. Gomez S., Poggio T., Caprile B. Gradient-based history-matching with a global optimization method // Society of Petroleum Engineering Journal. 2001. Vol. 6. P. 200-208.
11. Javadi A. A., Farmani R., Tan T. P. A hybrid intelligent genetic algorithm // Advanced Engineering Informatics. 2005. Vol. 19, № 4. P. 255-262.
12. Kuo J.-T., Wang Y.-Y., Lung W.-S. A hybrid neural-genetic algorithm for reservoir water quality management // Water Res. 2006. Vol. 40, № 7. P. 13671376.
13. Lehtokangas, M. Accelerating training of radial basis function networks with cascade-correlation algorithm / M. Lehtokangas, J. Saarinen, K. Kaski // Neurocomputing. — 1995. — Vol. 9, no. 2. — Pp. 207213.
14. Neruda R., Kudov P. Learning methods for radial basis function networks // Future Gener. Comput. Syst. 2005. Vol. 21, № 7. P. 1131-1142.
15. Riedmiller M., Braun H. A direct adaptive method for faster backpropagation learning: the rprop algorithm // Proc. IEEE International Conference on Neural Networks. 1993. P. 586-591.
16. Rose K. Deterministic annealing for clustering, compression, classification, regression, and related optimization problems // Proc. of the IEEE. 1998. Vol. 86, № 11. P. 2210-2239.
17. Soleng H. Oil reservoir production forecasting with uncertainty estimation using genetic algorithms // Proc. Congress on Evolutionary Computation CEC 99. 1999. Vol. 2.
18. Srinivas V., Ramanjaneyulu K. An integrated approach for optimum design of bridge decks using genetic algorithms and artificial neural networks // Advances in Engineering Software. 2006. № 38. P. 475 -487.
19. Wang, L. A hybrid genetic algorithm-neural network strategy for simulation optimization // Applied Mathematics and Computation. 2005. Vol. 170. P. 13291343.
ОБ АВТОРАХ
Гагарин Александр Владимирович, асп. Дипл. инж. по защите информации (УГАТУ, 2003). Иссл. в обл. алгоритмов искусственного интеллекта, проектирования программн. комплексов.
Г азизов Рафаил Кавыевич,
проф., зав. каф. высокопроизво-дит. вычислит. технологий и систем. Дипл. математик (БГУ, 1983). Д-р физ. мат. наук по диф. уравнениям (ИММ Уральск. отд. РАН, 1999). Иссл. в обл. группового анализа диф. уравнений и матем. моделирования.
