Эффективность оптимизации методом непрерывно взаимодействующей колонии муравьев (CIAC) Текст научной статьи по специальности «Математика»

электронное научно-техническое издан не

НАУКА и ОБРАЗОВАНИЕ

Эя №ФС 77 - 305Б9. Государственная регистрация №0421100025.ISSN 1994-0405_

Эффективность оптимизации методом непрерывно взаимодействующей колонии муравьев (CIAC) # 02, февраль 2011

авторы: Карпенко А. П., Чернобривченко К. А.

УДК 519.6

apkarpenkoamaiL ru, chernobrivchenko. k@gmail. com Введение

В настоящее время интенсивно развиваются метаэвристические поведенческие методы оптимизации такие, как метод роя частиц, метод пчелиного роя, метод колонии муравьев.

Первым методом, основанным на идее функционирования колонии муравьев, стал метод Ant System (система муравьев) [1]. Метод был использован при решении большого числа комбинаторных задач, например, задачи коммивояжера, задачи раскраски графа и др.

Первым «муравьиным» методом, созданным для решения задач непрерывной оптимизации, стал метод CACO (Continuous Ant Colony Optimization - непрерывная оптимизация колонией муравьев) [2]. Взаимодействие агентов в методе CACO осуществляется на основе модели стигмертии - использования муравьями феромонов для пометки лучших путей [3].

Реализация идеи стигмертии не является единственным способом использования муравьиного интеллекта при решении задач оптимизации. Так, в работе [3] предложена модель, в которой канал стигмертии проигнорирован, а взаимодействие между агентами осуществляется на межиндивидуальном уровне с использованием механизма, названного мобилизацией [3]. Соответствующий метод назван авторами указанной

работы методом CIAC (Continuous Interacting Ant Colony - непрерывно взаимодействующая колония муравьев).

Данная статья посвящена исследованию эффективности модифицированного метода CIAC при решении ряда тестовых задач непрерывной глобальной оптимизации. Кроме того, в работе исследуется одно из приложений указанного метода - приближенное построение множества Парето (а, тем самым, и фронта Парето) в задаче многокритериальной оптимизации.

В первом разделе работы рассматриваются бионические предпосылки метода муравьиной колонии. Второй раздел содержит постановку задачи и схему используемого метода CIAC. В третьем разделе обсуждается схема и результаты тестирования метода и разработанного программного обеспечения. В четвертом разделе приводятся результаты исследования эффективности метода для многомерной многоэкстремальной тестовой функции, а в пятом разделе - для многомерной одноэкстремальной овражной функции. Шестой раздел посвящен исследованию эффективности приближенного построения множества Парето в задаче многокритериальной оптимизации с помощью метода CIAC. В заключении обсуждаются основные результаты работы.

Исследование эффективности метода выполнено на многоэкстремальной функции Растригина (Rastrigin) и одноэкстремальной овражной функции Розенброка (Rosenbrock) из известного пакета тестовых функций CES (Congress of Evolutionary Computing) [4].

1. Бионические предпосылки метода муравьиной колонии

Муравьи относятся к социальным насекомым, живущим внутри некоторого коллектива — колонии. Число муравьев в одной колонии может достигать нескольких миллионов. Поведение муравьев при транспортировке пищи, преодолении препятствий, строительстве муравейника и других

действиях, зачастую, приближается к теоретически оптимальному. Например структура взаимосвязи колоний в мегаколонии муравьев Formica lugubris в Швейцарии близка к минимальному остовному дереву, соединяющему все колонии в мегаколонию [5].

«Социальное» поведение муравьев строится на основе самоорганизации, т.е. на основе множества механизмов, обеспечивающих достижение системой глобальной цели в результате низкоуровневого взаимодействия ее элементов. Принципиальной особенностью такого взаимодействия является использование элементами системы только локальной информации. Любая глобальная информация и централизованное управление в этом случае отсутствуютт.

Муравьи используют два способа передачи информации. Прямой способ (уровень индивидуальных взаимодействий) реализуется между парой муравьев посредством обмена пищей, мандибулярных (челюстных) манипуляций, визуального и химического контактов. Непрямой способ (стигмертия - stigmergy) представляет собой разнесенный во времени тип взаимодействия, когда один субъект взаимодействия изменяет некоторую часть окружающей среды, а остальные используют информацию о состоянии этой части среды позже, когда находятся в ее окрестности. У муравьев стигмертия осуществляется через феромон (pheromone) — специальный секрет, который откладывается в виде следа при перемещении муравья и который может восприниматься муравьями в течение нескольких суток. Чем выше концентрация феромона на тропе, тем эта тропа более привлекательна для муравьев и большее число муравьев будет двигаться по этой тропе. Со временем феромон испаряется, что позволяет муравьям адаптировать свое поведение к изменениям внешней среды [6].

Общественное поведение муравьев в колонии подчинено идее плотной гетерархии, которая, в противоположность иерархии, предполагает не вертикальные связи между элементами системы, а горизонтальное

распределение системных функций между этими элементами, при котором сами элементы равноправны между собой. В данном случае мы имеем дело с плотной гетерархией, когда каждый из муравьев может связаться с любым другим в любой момент времени. При этом информация передается через два канала связи - канал индивидуальных взаимодействий и канал стигмертии.

2. Постановка задачи и схема метода CIAC

Рассмотрим задачу многомерной глобальной условной оптимизации: найти максимум целевой функции Ф(Х), определенной на множестве D

T>n

евклидова пространства R ,

max Ф(Х) = Ф(X*) = Ф*. (1)

X eDc Rn

Здесь X = (x1, x2,..., xn) - вектор варьируемых параметров,

D = {x | xr < x < x+, i е[1: n]} - (2)

множество допустимых значений вектора варьируемых параметров, представляющее собой гиперпараллелепипед.

Схема метода CIAC имеет следующий вид [3].

1) Создаем агентов (муравьев) Aj, j e[1:j] и случайным образом

распределяем их в области поиска D. Здесь r - число агентов в колонии.

2) Моделируем работу канала стигмертии, для чего для каждого из агентов Aj, j е [1: r] вычисляем координаты центра тяжести феромонных точек

N

G =ТЩ,jXi, i=1

где Xi - вектор координат i-ой феромонной точки, N- их общее число,

, j

i=1

нормированный интерес у-го агента к /-ой феромонной точке, определяемый по формуле

у = у в1 ехР(-8/, у).

Здесь 8 - среднее расстояние между двумя агентами в колонии, вi -количество феромона в точке Х1, 8/ у - расстояние между у-м агентом и /-ой

феромонной точкой.

3) Перемещаем агента Ау в направлении центра тяжести GJ■ на

d

случайное расстояние в пределах его размерного параметра г = —, где

у ¥

d е [0,1] - случайная величина, распределенная по нормальному закону, имеющая нулевое математическое ожидание и среднеквадратичное отклонение с; ¥ - делитель размерного параметра, определяющий величину этого параметра.

4) Моделируем функционирование канала прямого взаимодействия -агент Ау читает случайное сообщение из своей памяти.

5) Сравниваем значение целевой функции Ф( Ху) в точке расположения агента Ау с соответствующим значением Ф(Хк), полученным в сообщении от агента Ак. Если Ф(Хк) > Ф(Ху), то агент Ау перемещается в случайную точку гиперсферы, центром которой является точка Хк, а радиусом -размерный параметр гу этого агента.

6) Если Ф(Хк) < Ф(Х}), то агент Ау посылает сообщение со своими

координатами Ху и значением целевой функции случайному агенту

популяции, а затем в пределах размерного параметра г совершает случайное перемещение в окрестности точки Х у .

7) После того, как по рассмотренной схеме все агенты колонии завершили свои перемещения, моделируем испарение феромонных точек.

8) Проверяем критерий останова, в качестве которого может использоваться условие достижения заданного числа итераций Лтах или условие стагнации вычислительного процесса: расстояние между двумя последовательными лучшими значениями критерия оптимальности Ф(X),

достигнутыми колонией, не превышает заданную величину ех в течение Л^ итераций.

На (Л +1) -ой итерации количества феромона в некоторой точке определяется формулой

где вЛ - количество феромона в данной точке на предыдущей итерации, р -коэффициент устойчивости феромонных точек. Полагается, что феромонная точка исчезает, если количество феромона в ней становится меньшим величины 0тт. Количество ферромона в начальных точках расположения агентов принимается равным единице.

Размер памяти агента ограничен - полагается, что максимально допустимое число сообщений в памяти каждого из агентов не превышает величины /лтах. В ситуации, когда возможно переполнение памяти (агент получает новое сообщение при текущем числе сообщений в его памяти, равном цт&х), одно из выбранных случайным образом сообщений удаляется

из памяти, а новое сообщение записывается в нее.

Алгоритм С1АС содержит шесть свободных параметров: Т] е (0, да) - число агентов в системе;

р е [0,1] - коэффициент устойчивости феромонных точек; 0тт - количество феромона, при котором феромонная точка исчезает; ¡итах е [0, да) - максимально допустимое число сообщений в памяти агента; у - величина делителя размерного параметра;

с е [0,1] - среднеквадратичное отклонение размерного параметра при у = 1.

В соответствии с рекомендациями работы [3], относительно параметров p,6mm,o приняты следующие соглашения:

р = 0,9; 6 = 0,00000001; с = 0,1.

' 55 mm 5

Величины ^max, у в процессе исследования варьировались в пределах, значения которых указаны ниже.

3. Тестирование алгоритма

Метод CIAC реализован в среде программной системы MatLab [6]. Тестирование метода и разработанного программного обеспечения

n

выполнено для сферической целевой функции Ф(X) = x2 и области

i=1

допустимых значений D = {X | -1 < xi < 2, i е [1: n]}, где n = 2, 3, 4. Легко видеть, что максимум функции Ф( X) равен нулю и достигается в указанной

области D в точке с координатами X* = (0,0,...,0).

Если не оговорено противное, здесь и далее, использованы следующие значения свободных параметров метода CIAC, которые не определены выше: число агентов в колонии r = 186; делитель размерного параметра у = 50. Максимально допустимое число итераций Amax равно 5000,а величина Ästop -1500 итераций.

Поскольку эффективность метода существенно зависит от случайного начального расположения агентов, здесь и далее каждый эксперимент повторялся 30 раз. Эффективность метода оценивалась средним числом итераций X и средней достигнутой точностью s локализации максимума целевой функции.

Результаты тестирования иллюстрируют таблица 1 и рисунок 1 (случай n = 2, r = 10). Красные, синие и зеленые точки на рисунке 1 показывают

начальные положения агентов, а также их положения на 20-ой и на 500-ой итерациях соответственно.

Результаты тестирования показывает, что для всех рассмотренных размерностей целевой функции Ф(Х) максимум этой функции найден с высокой точностью.

Таблица 1 - Результаты тестирования программного обеспечения

п Я £

2 1516 1 • 10 6

3 1634 1 • 10 6

4 1726 2 • 10 6

* : ♦

* ■4 * к

*-

ф i 1.......

+

■0.5-1-'-1-"-1-

-1 Ш 0 0.5 1 1.5 2

Щ

Рисунок 1 - К тестированию метода

4. Исследование эффективности метода. Многоэкстремальная функция

Растригина

4.1. Рассмотрим прежде двумерную функцию Растригина (п = 2)

Ф(Х) = -£(10 + х2 - 10соэ(2лх)), (3)

г=1

определенную в области

В = {X | -2 < хг < 2,г е [1: п]]}. (4)

Глобальный максимум функции (3) на множестве (4) достигается в точке (0,0,.. .,0) и равен нулю.

Результаты исследования при варьировании величины ртах

иллюстрируют рисунки 2 - 4. Зде и далее р - усредненная вероятность локализации глобального максимума функции Ф(X) с заданной точностью е .

X 1626

Рисунок 2 - Число итераций X в функции величины р функция Растригина; п = 2

Рисунок 3 - Усредненная погрешность решения в функции величины р

функция Растригина; п = 2

Рисунок 4 - Усредненная вероятность локализации глобального максимума:

функция Растригина; n = 2; s = 10 3

Аналогичные результаты при варьировании делителя размерного параметра у иллюстрируют рисунки 5-7. Здесь максимальное число сообщений в памяти муравьев jumax принято равным 27.

Рисунок 5 - Усредненное число итераций в функции величины щ:

функция Растригина; n = 2

а) у = 1; 4; 16

б) у = 64; 256

Рисунок 6 - Усредненная погрешность решения в функции величины щ:

функция Растригина; п = 2

Рисунок 7 - Усредненная вероятность локализации глобального максимума:

функция Растригина; п = 2

Результаты, представленные на последнем рисунке, получены при е = 10 3 для у = 4, 16, 64, 256 и при е = 0,05 - для у = 1.

4.2. Рассмотрим теперь пятимерную функцию (п = 5) Растригина (3), определенную в области (4). Положим, что число агентов в колонии Т] = 398, а величина делителя размерного параметра у = 30.

Результаты исследования при варьировании величины ртах иллюстрируют рисунки 8 - 10. Аналогичные результаты исследования при варьировании величины у иллюстрируют рисунки 11 - 13.

Рисунок 8 - Усредненное число итераций в функции величины ¡umax :

функция Растригина; n = 5

2,£-03 £ 2,Е-03

1.Е-03

8,Е-04

4, £-04 -

1,76Е-03 ^^^^ 1.70Е-03

[1.60Е-03 1.57Ё-03

1Д6Е-03

9,95Е-04

2,38Е-06

11 16 21 26 31

Мм

Рисунок 9 - Усредненная погрешность решения в функции величины /лтах :

функция Растригина; п = 5

93

11 16 21 26 31 fi.

Рисунок 10 - Усредненная вероятность локализации глобального максимума:

функция Растригина; n = 5; s = 10 3

Рисунок 11 - Усредненное число итераций в функции величины щ:

функция Растригина; n = 5

а) у = 1; 4

б) у = 16; 64

Рисунок 12 - Усредненная погрешность решения в функции величины щ:

функция Растригина; п = 5

100

100

17

16

~256~ V

Рисунок 13 - Усредненная вероятность локализации глобального максимума:

функция Растригина; n = 5; s = 10 3

4.3. В обсуждение приведенных результатов экспериментов, прежде всего, следует отметить высокую эффективность метода, как для двумерной, так и для пятимерной функций Растригина. Действительно, при варьировании величины pmax в первом случае усредненное число итераций не

превышало X =2010, а во втором - X =1230; усредненная погрешность решения - величин s =3,52 • 10~3, s =1,04 • 10 2 соответственно; при лучших значениях варьируемых параметров средняя вероятность локализации глобального максимума не опускалась в том и другом случаях ниже 85 %.

Результаты исследования показывают, что, как для двумерной, так и для пятимерной функций Растригина, имеют место следующие свойства метода CIAC. Усредненное число итераций X и усредненная вероятность локализации глобального максимума p слабо зависят от величины pmax. За исключением случаев pmax = 1, 6, усредненная погрешность решения s также

слабо зависит от этой величины.

Для двумерной функции Растригина отсутствует четкая тенденция зависимости усредненного числа итераций X от величины у . В то же время, для пятимерной функции имеет место снижение числа итераций X с ростом величины у со значения X =1228 до значения X =1071 (рисунок 11). Для двумерной и для пятимерной функций Растригина, усредненная погрешность решения s уменьшается с ростом величины у на три порядка (рисунки 6, 12). С другой стороны, вероятность локализации глобального максимума p в тех же условиях уменьшается в примерно 3 раза для двумерной функции Растригна и практически до нуля - для той же пятимерной функции (рисунки 7, 13).

5. Исследование эффективности метода. Овражная функция Розенброка

Рассмотрим сначала двумерную функцию Розенброка ( n = 2)

Ф(X) = -10ф2 - x2 )2 +(1 - X! )2 ), (5)

определенную в области допустимых значений

В = {X | -5 < х. < 5,i = 1,2]}. (6)

Глобальный максимум в задаче (5), (6) достигается в точке (1,1,...,1) и равен нулю.

Результаты исследования при варьировании величины дтах иллюстрируют рисунки 14, 15. Вероятность локализации глобального максимума при всех рассматриваемых значения параметра ¡итах равна 100% и поэтому соответствующая диаграмма не приведена.

3487

Рисунок 14 - Усредненное число итерации в функции параметра д

функция Розенброка; п = 2

1 6 11 16 21 26 31 //

Рисунок 15 - Усредненное значение погрешности решения в функции параметра дтах: функция Розенброка; п = 2

Результаты исследования при варьировании величины делителя размерного параметра у иллюстрируют рисунки 16, 17. Исследование выполнено при максимальном числе сообщений ртах = 27 .

7000

Рисунок 16 - Усредненное число итераций в функции величины у/ :

функция Розеброка; п = 2

Вероятность локализации глобального максимума при всех рассматриваемых значения параметра у, за исключением случая у = 256, равна 100%.

Таким образом, на основе результатов исследования эффективности метода С1АС для двумерной функции Розеброка можно сделать следующие выводы.

а) у = 1; 4 б) у = 16; 64

Рисунок 17 - Усредненная погрешность решения в функции величины у :

функция Розеброка; n = 2

Усредненное число итераций X слабо зависит от значений параметра ^max, хотя имеет место отчетливая тенденция увеличения этого

числа с ростом величины ¡umax (с X =2068 при ^max=1 до X =3157 при ^max=31) - рисунок 14.

В зависимости усредненной погрешности решения s от значений параметра ц имеется четкий максимум, соответствующий ц =11 и

max max

равный 1,66 • 10~6. Минимальное значение, равное 7,31 • 10~8, погрешность s принимает при ц =1. При ц > 21 погрешность s слабо зависит от

max max

значений параметра ц^ и равна ~ 4 • 10 7 (рисунок 15).

Усредненное число итераций X монотонно увеличивается с ростом величины у с X =2254 при у =1 до X =7000 при у =256 (рисунок 16).

Имеет место сильная зависимость усредненной погрешности решения s от значений величины у . При увеличении у погрешность s уменьшается почти на четыре порядка - с s = 1,23 • 10 3 при у =1, до s = 2,32 • 10 7 при у =64 (рисунок 17).

Аналогичное исследование было выполнено также для пятимерной функции (n = 5) Розенброка (5). Исследование показало низкую вероятность локализации максимума этой функции методом CIAC при всех рассматриваемых значениях параметров ц^, у .

6. Приближенное построение множества Парето в задаче многокритериальной оптимизации с помощью метода CIAC

Рассмотрим задачу многокритериальной оптимизации

max Ф(X) = Ф(X*), (7)

X eDx

где DX - множество допустимых значений вектора варьируемых параметров X, Ф(Х) = (Ф1(Х),Ф2(Х),...ф(X)) - векторный критерий оптимальности [9]. Запись (7) понимается только в том смысле, что необходимо максимизировать значения всех частных критериев оптимальности Ф1(X),Ф2(X),...,Ф3(X).

Для приближенного построения множества Парето (а, тем самым, и фронта Парето) задачи (7) используем комбинацию метода С1АС и метода MOPSO [8]. В методе MOPSO положение каждого агента оценивается с точки зрения доминирования по отношению к другим агентам. После каждой итерации метода координаты доминирующих агентов заносятся в специальный архив, в котором точки не доминируют друг друга. Если после очередной итерации некоторый агент доминирует агента из архива, то последний из архива удаляется, а на его место в архив записываются координаты доминирующего агента.

Исследование эффективности указанной комбинации методов проводилось на тестовой двухмерной двухкритериальной задаче

Ф1(X) = -(*? + ) (8)

ФX) = -((х -1)2 + (Х2 -1)2 )

где множество допустимых значений

Dx = {X | -1 < х < 1, i = 1,2} (9)

(рисунок 18). Можно показать, что множество достижимости DФ и фронт

*

Парето ВФ этой задачи имеют вид, представленный на рисунке 19,

*

а множество Парето Вх - на рисунке 18 [8].

Исследование выполнено при следующих значениях параметров метода С1АС: максимальное число сообщений ртах = 5; знаменатель размерного параметра ^=50.

щ 1 Ш

%

-1 1

0 щ

-1

-■—г- *

Рисунок 18 - Область допустимых значений Dх и множество Парето Dх задачи многокритеральной оптимизации (8), (9)

*

Рисунок 19 - Область достижимости DФ и фронт Парето DФ задачи многокритеральной оптимизации (8), (9)

Результаты исследования иллюстрируют рисунки 20, 21.

Проведенное исследование показало, что метод С1АС, использующий оба канала связи между агентами популяции, по сравнению с вариантом использования только канала стигмертии обеспечивает меньшую плотность покрытия фронта Парето и множества Парето.

х2 1

0,8 0,6 0,4 0,2 0 -0,2

.......4 к ^ 1'

А т 401

+ г......

<Г *

2

Фг

1,5

0,5

0 0,2 0.4 0,6 0,8 1

1 ............

•

0,5 1 1.5 2 Х1 фх

а) б)

Рисунок 20 - Аппроксимация множества Парето (а) и фронта Парето (б): используется, как прямой канал, так и канал стигмертии

а) б)

Рисунок 21 - Аппроксимация множества Парето (а) и фронта Парето (б): используется только канал стигмертии

Заключение

Исследование эффективности метода С1АС при максимизации многоэкстремальной функции Растригина показало, что метод в широком диапазоне своих свободных параметров обеспечивает близкую к 100% вероятность локализации глобального максимума этой функции, как в двумерном, так и в пятимерном пространстве варьируемых параметров.

В то же время, максимизация этим методом овражной функции Розенброка показала высокую вероятность локализации глобального максимума только в двумерном случае. Таким образом, результаты исследования показывают, что, вообще говоря, алгоритм CIAC может быть эффективно использован при решении задачи глобальной максимизации многоэкстремальных, но не овражных функций.

Результаты исследования позволяют дать следующие рекомендации относительно выбора значений свободных параметров pmax, у метода CIAC. При поиске глобального максимума многоэкстремальных функций величина pmax должна принимать значения, не превышающие шести. При этом обеспечивается минимальная погрешность локализации этого максимума. При выборе значения величины у следует исходить из того, что с увеличением этой величины имеют место две противоречивые тенденции -уменьшение погрешности решения и уменьшение вероятности локализации глобального максимума. Разумным компромиссом могут быть значения у, равные ~16 для функций невысокой размерности и равные единице для функций высокой размерности.

Исследование показало перспективность использования комбинации методов CIAC, MOPSO для приближенного построения множества Парето и фронта Парето в задаче многокритериальной оптимизации.

В развитии работы предполагается разработка и исследование эффективности параллельных вариантов метода CIAC для решения задач многомерной глобальной оптимизации.

Литература

1. A. Colorni, M. Dorigo, V. Maniezzo. Distributed optimization by ant colonies // Proceedings of the First European Conference on Artificial Life, ECAL'91.- Elsevier, Paris, France, 1992.- pp. 34-142.

2. G. Bilchev, I.C. Parmee. The ant colony metaphor forsearching continuous design spaces // Lect. Notes Comput. Sci., 1995, 993.- pp. 25-39.

3. J. Dréo, P. Siarry/ Continuous interacting ant colony algorithm based on dense heterarchy // Future Generation Computer Systems, 2004, 20.- pp. 841-856.

4. Tang K., Yao X., Suganthan P.N., MacNish C., Chen Y.P., Chen C.M., Yang Z. Benchmark Functions for the CEC'2008 Special Session and Competition on Large Scale Global Optimization. - Nature Inspired Computation and Applications Laboratory, USTC, China, 2007.

5. Cherix D. Note preliminaire sur la structure, la phenologie et le regime alimentaire d'une super-colonie de Formica lugubris Zett // Insects Sociaux, 1980, 27.- pp. 226-236.

6. Штовба С.Д. Муравьиные алгоритмы // Exponenta Pro. Математика в приложениях, 2003, №4.- с.70-75.

7. Джон Г. Мэтьюз, Куртис Д. Финк. Численные методы. Использование MATLAB.- 3-е изд.- М.: «Вильямс», 2001.- С. 720.

8. Антух А.Э., Семенихин А.С., Хасанова Р.В. Приближенное построение множества Парето в задаче многокритериальной оптимизации методом роя частиц // Электронное научно-техническое издание «Наука и образование», 2010, №4 (http://technomag.edu.ru/doc/141969.html).