CC BY
17УДК 519. 853.4
К.А. Баркалов, к.ф.-м.н., доцент ФГАОУВО «ННГУ им. Н.И. Лобачевского» А.А. Гетманская, ассистент ФГАОУ ВО «ННГУ им. Н.И. Лобачевского» Р.А. Исрафилов, аспирант ФГАОУ ВО «ННГУ им. Н.И. Лобачевского» 603950, г. Нижний Новгород, пр. Гагарина, 23
ПРИМЕНЕНИЕ АДАПТИВНОЙ СХЕМЫ РЕДУКЦИИ РАЗМЕРНОСТИ ДЛЯ ЗАДАЧ МНОГОЭКСТРЕМАЛЬНОЙ ОПТИМИЗАЦИИ С НЕЛИНЕЙНЫМИ ОГРАНИЧЕНИЯМИ1
Ключевые слова: многоэкстремальные задачи, глобальный оптимум, нелинейные ограничения, вложенная оптимизация, индексный метод
Предлагается новый алгоритм решения многомерных многоэкстремальных задач оптимизации со сложными нелинейными ограничениями. Алгоритм основан на адаптивной схеме редуцирования многомерной задачи к системе задач меньшей размерности в сочетании с индексным методом учета ограничений, не требующим в отличие от метода штрафных функций подбора каких-либо настроечных коэффициентов и вычисления всех ограничений. Дается описание общей схемы алгоритма. Приводятся результаты вычислительных экспериментов, подтверждающие эффективность метода.
Задачи многоэкстремальной оптимизации, связанные с отысканием глобального оптимума многоэкстремальных функций (имеющих несколько локальных оптиму-мов), представляют собой класс сложных моделей принятия рациональных решений, широко используемых в актуальных приложениях (оптимальное проектирование объектов и процессов различной природы, настройка параметров моделей в научных исследованиях, оптимальное планирование и т.п.). Основным фактором, обуславливающим сложность задач данного класса, является их размерность, поскольку в общем случае вычислительные затраты, требуемые для решения задач с заданной точностью, растут экспоненциально с ростом размерности [1]. Другим фактором сложности является наличие нелинейных ограничений, формирующих области поиска сложной конфигурации (невыпуклые, неодносвязные, в т.ч. несвязные).
Вследствие широкого разнообразия классов многоэкстремальных задач и их свойств предложено несколько подходов к построению алгоритмов их решения. Теоретически безупречным является подход к конструированию алгоритмов как оптимальной вычислительной процедуры в рамках определенной модели оптимизационной задачи [2, 3]. Тем не менее, высокая математическая сложность подхода позволила построить оптимальные методы лишь в небольшом числе случаев, в основном, для задач одномерной оптимизации. Более плодотворным оказалось использование принципа одношаговой оптимальности [2, 4], на основе которого были построены методы оптимизации в рамках различных моделей оптимизируемой функции [1, 2, 4-7]. Однако и в этом случае большинство методов было предназначено для решения одномерных задач.
Другим популярным способом решения многоэкстремальных задач является применение так называемых многостартовых схем [8-10], которые используют тот простой факт, что глобальный минимум является одним из локальных. В этих схемах в области поиска размещается некоторая сетка начальных точек, из которых стартуют
1 Статья подготовлена при финансовой поддержке Российского Научного Фонда, проект №15-11-30022 «Глобальная оптимизация, суперкомпьютерные вычисления и приложения».
методы поиска локального экстремума, а затем выбирается наименьший из найденных экстремумов. Этот подход вполне конкурентоспособен для задач с небольшим количеством локальных минимумов, имеющих широкие области притяжения, но для задач с существенной многоэкстремальностью его эффективность резко падает [11].
Многие методы глобального поиска основаны на различных техниках разбиения области поиска на систему подобластей и последующего выбора наиболее перспективной подобласти для размещения очередного испытания (вычисления целевой функции). Такой подход, общая схема которого впервые была предложена для одномерных задач в работе [12] (характеристическая схема), впоследствии был распространен на многомерный случай [13] и развит для различных схем разбиения в работах [14, 15].
Наконец, для разработки методов многомерной оптимизации широко применяется подход, связанный с редукцией многомерной задачи к эквивалентной одномерной или системе одномерных подзадач и последующим решением одномерных задач эффективными методами оптимизации функций одной переменной. Используются две таких схемы: редукция на основе кривых, заполняющих пространство (кривых Пеано) [1, 2, 16, 17], и схема рекурсивной вложенной оптимизации (многошаговая редукция размерности) [1, 2, 17, 18]. В статье [19] предложена адаптивная схема редукции, обобщающая классическую многошаговую схему, существенно повышающая эффективность оптимизации по сравнению с базовым прототипом [20] и предназначенная для решения задач без ограничений.
В отношении учета ограничений на выбор параметров, формирующих область поиска оптимума, классическим подходом является подход, основанный на методе штрафных функций [21, 22], сводящий задачу с ограничениями к задаче без ограничений (или с простейшими ограничениями). Однако этот метод требует подбора некоторых коэффициентов, в частности константы штрафа, и при недостаточном значении константы решение может быть потеряно, а при завышенном значении значительно увеличивается число испытаний. Альтернативой методу штрафных функций может служить индексный метод [1, 17, 23, 24], не имеющий настроечных коэффициентов и существенно более экономный за счет того, что не требует вычисления всех ограничений в процессе поиска.
В данной статье предлагается новый алгоритм многомерной глобальной оптимизации, обобщающий адаптивную схему редукции на задачи с ограничениями за счет сочетания с индексным методом учета ограничений. Приведены результаты вычислительных экспериментов, демонстрирующие существенное повышение эффективности в сравнении с применением метода штрафных функций.
Адаптивная схема редукции размерности
Рассмотрим задачу многомерной оптимизации в формулировке задачи нелинейного программирования:
Ф(х) ^ min, х е X с Rn, (1)
X = {х е H: у(х) < 0,1 < i < q}, (2)
H = {х е Rn : а. < х } (3)
в которой требуется в допустимой области X, определяемой функциональными (2) и координатными (3) ограничениями, найти минимальное значение целевой функции Ф (х) (глобальный минимум) и координаты этого значения (глобальный минимай-
зер).
Введем обозначение у j (х) = Ф(х) и предположим, что все функции постанов-
ки (1)-(3) удовлетворяют условию Липшица в области H (каждая со своей константой), т.е.
|у, (х') - у. (х")| <L \\x' - х"||, Ух', x" g H, 1 < i < m +1, (4)
где величины L. > 0, 1 < i < m +1, являются постоянными (константы Липшица).
Рассмотрим частный случай задачи (1)-(3), когда функциональные ограничения отсутствуют (X = H), и воспользуемся соотношением [2, 18]
minФ(х) = min min ... min Ф(х). (5)
xgX x1G[a1,ß1] x2G[a2,ß2] xNG[aN ,ßN]
Введем семейство редуцированных функций Ф (^), 1 < j < n, где ^ . = (х, ., Xj), положив вначале
Фп (X) = Ф(х). (6)
Затем определим функции семейства рекуррентно как
фj (^) = mi^B ^j+1(^j+1),1 < j < n -1. (7)
В соответствии с (5)-(7)
minФ(х) = min Ф1 (x),
xgX x1G[a1,b1]
откуда следует, что решение многомерной задачи (1) можно заменить решением одномерной задачи
Ф (х ) ^ min, х g [а, ßj ]. (8)
Однако решение данной задачи предполагает вычисление значений функции Ф (х ) . Каждое такое вычисление в точке х G [а, ß ] состоит в решении задачи
Ф(х,х2) ^min, х s[a2,ß], (9)
которая вследствие фиксации x также является одномерной. Вычисление функции Ф в свою очередь требует одномерной минимизации функции Ф и т.д. вплоть до решения задачи
Фп(*UxN)^münхп efo,ßn], (10)
при фиксированном векторе , т.е. также задачи одномерной оптимизации, в которой целевой функцией согласно (6) является заданная целевая функция многомерной задачи ф^ х ).
Таким образом, соотношение (5) порождает семейство связанных одномерных подзадач вида
Ф,(^1, x,.) ^ min, х,. g [a,, ßi ], 1 < i < n, (11)
решение которых составляет алгоритмическую структуру многошаговой редукции размерности.
Решение системы подзадач (11) может быть организовано различными способами. Например, в схемах [1, 2, 18, 25] подзадачи (11) решаются в соответствии с иерархическим порядком порождения, что приводит к потере информации в процессе много-
мерного поиска. Другой подход предлагает адаптивная схема редукции [19, 20], в которой все задачи семейства (11) учитываются при планировании многомерной итерации поиска, что позволяет более полно учитывать информацию о многомерной задаче и за счет этого ускорять процесс решения. Детальное алгоритмическое описание адаптивной схемы приведено в работе [19], а здесь мы дадим краткое описание ее основных элементов.
В адаптивной схеме каждой подзадаче (11) присваивается некоторое числовое значение, называемое характеристикой этой задачи. Считается, что чем выше значение характеристики, тем более «перспективной» является подзадача для продолжения вычислений, и поэтому на каждой многомерной итерации выбирается подзадача с максимальной характеристикой для проведения в ней очередного одномерного испытания (вычисления значения одномерной целевой функции). Это испытание либо вычисляет значение целевой функции Ф (х) (если выбранная «лучшая» подзадача принадлежала уровню j = n ), либо порождает новые одномерные подзадачи согласно (7) при j < n — 1. В последнем случае новые порожденные задачи добавляются к текущему семейству (11), вычисляются их характеристики и процесс повторяется. Завершение многомерной оптимизации происходит, когда в корневой задаче (8) выполняется условие остановки алгоритма, решающего эту задачу.
Ключевым моментом схемы является процедура назначения подзадачам их характеристик. Один из возможных подходов состоит в следующем. Рассмотрим класс характеристических методов одномерной оптимизации [12, 26] и применим один из методов данного класса к решению задач (11). Характеристические алгоритмы в процессе решения задач формируют разбиение области поиска на систему интервалов и вводят оценки, называемые характеристиками интервалов, используемые для планирования поиска. В этом случае в качестве характеристики подзадачи можно взять максимальную характеристику интервалов, сформированных в данной задаче.
Данный подход был реализован и теоретически обоснован [19] для адаптивной схемы редукции в сочетании с информационно-статистическим алгоритмом глобального поиска [1, 2], а также (см. [20]) в комбинации с алгоритмом Пиявского [5].
Учет ограничений в многошаговой схеме
Рассмотрим теперь общую задачу (1)-(3) с нелинейными ограничениями (2). Используя метод штрафных функций [21, 22], сведем данную задачу к задаче с координатными ограничениями. С этой целью введем функцию штрафа P(х), х е D, такую, что P(х) = 0, когда х е X, и P(х) > 0 , если х £ X, а затем рассмотрим задачу
%(х) ^min, х е H с Rn, (12)
в которой допустимая область H является гиперпараллелепипедом (3), а
(х) = Ф( х) + СР(х), (13)
где константа С > 0 (штрафная константа) является параметром метода.
Существуют разные способы построения функций штрафа P( х), например, в качестве такой функции можно взять функцию
P^) = max{0; у^х), ...,уи(х)}. (14)
Заметим, что в условиях липшицевости (4) функция (14), а, следовательно, и функция (13) также будут удовлетворять условию Липшица.
При достаточно больших значениях константы штрафа С задачи (1) и (12) становятся эквивалентными в том смысле, что их решения совпадают. К сожалению, выбор
параметра С сопряжен с трудностями, поскольку при недостаточно большом значении параметра решение может быть потеряно, а при завышенном значении параметра методы оптимизации существенно замедляют сходимость. Тем не менее, предполагая достаточность константы штрафа, можно теперь вместо задачи (1) с ограничениями (2) решать с помощью многошаговой схемы задачу без ограничений (12). Как показано в [2], при наличии липшицевости (4) все целевые функции одномерных подзадач также будут удовлетворять условию Липшица, поэтому для их решения можно применять эффективные методы липшицевой одномерной оптимизации, например, информационно-статистические алгоритмы [1, 2] или метод минорант [5].
Принципиально иной подход к учету ограничений используется в индексном методе [1, 23, 24].
Определение 1. Индексом точки х е X называется номер р = р(х) первого нарушенного ограничения. Если в точке х е X все ограничения выполнены, то Р = Ч +1.
Иными словами, для точки х с индексом р = 1 справедливо неравенство у (х) > 0, для точки х с индексом р < 4 выполняются неравенства
у, (х) < 0,1 < , < р -1, ур (х) > 0, (15)
а при р = ч +1 мы имеем
у (х) < 0,1 <, < р. (16)
Определение 2. Индексной штрафной функцией называется функция
ад = {ур'х'(х)"1 < р(х),< (17)
[ 0, р = ч +1.
где р(х) - индекс точки х .
Очевидно, что вследствие Определения 1 функция I (х) положительна в области Н и равна нулю в допустимой области X.
Определение 3. Индексной целевой функцией называется функция
17(х) , 1 < р(х) < ч,
^ (х) Ч1^ Ч , (18)
[Ф(х) -Ф , р = ч +1. где Ф - минимальное значение функции Ф (х) в области X.
Данное определение обобщает на многомерный случай понятие индексной функции, введенное в [23] для одномерных задач.
Очевидно, что минимальное значение функции (18) в области Н равно нулю и достигается, в частности, в точке глобального минимума функции Ф (х) в области X.
Отметим, что индексная целевая функция (18) существенно отличается от функции (13) с классическим штрафом Р(х), поскольку в недопустимой области не нужно вычислять значения исходной целевой функции Ф( х). Более того, в точке с индексом р < Ч значения ограничений у (х) с номерами , > р также не требуются, в то
время как в задаче (12) в каждой точке вычисляются все ограничения наряду с целевой функцией.
В данной работе предлагаются и исследуются два подхода к решению задачи (1)-(3), основанные на адаптивной схеме редукции размерности. В первом из них адаптивная схема применяется для решения задачи (12), а для решения одномерных подзадач (11) используются информационно-статистический алгоритм глобального поиска [1, 2] (назовем этот многомерный метод алгоритмом глобального поиска с классическим штрафом - сокращенно АГП-КШ), а также модификация известного алгоритма глобальной оптимизации - метода ломаных Пиявского [5] (сокращенно МЛ-КШ), в котором константа Липшица оценивалась адаптивно согласно оценке метода [1, 2].
Второй подход применяет адаптивную схему к решению задачи
^ (x) ^ min, x е Я с Rn, (19)
где решение одномерных подзадач (11) реализуется с помощью индексного алгоритма одномерной оптимизации [1, 17] (соответствующий многомерный метод назовем алгоритмом глобального поиска с индексной фукцией - для краткости АГП-ИФ).
Сравнение методов проводилось на тестовом классе многоэкстремальных функций с нелинейными ограничениями Emmental-GKLS [27], основанном на широко применяемом для тестирования методов глобального поиска классе GKLS [28] с лип-шицевыми целевыми функциями. Нелинейные ограничения класса Emmental-GKLS порождают допустимые области сложной конфигурации, которые являются неодно-связными. При этом глобальный минимум функций данного класса всегда располагается на границе допустимой области, что существенно усложняет его поиск.
Пример функции класса Emmental-GKLS приведен на рис. 1. На этом рисунке показаны линии уровня целевой функции, а недопустимая область, определяемая 10 нелинейными ограничениями, помечена темным цветом. Расположение глобального минимума отмечено темным крестиком.
Рис. 1. Линии уровня и допустимая область функции
В эксперименте каждым из методов минимизировалось 100 двухмерных функций класса Emmental-GKLS со следующими параметрами:
- 10 локальных минимумов,
- 10 ограничений.
По результатам оптимизации выборки оценивалось среднее число К испытаний (количество выбранных методом точек в области Н, в которых оценивались значения ограничений и, возможно, целевой функции), среднее число Q вычисленных значений целевой функции и функций ограничений, а также количество N найденных c задан-
ной погрешностью 8 > 0 глобальных минимумов. Считалось, что глобальный минимум найден, если координаты лучшей найденной методом допустимой точки находились в 8-окрестности глобального условного минимума при 8 = 0.02.
Заметим, что при использовании классического метода штрафных функций в каждой точке испытания вычисляются все ограничения и целевая функция, поэтому Q = К *11, в то время как в случае индексного метода все ограничения и целевая функция вычисляются только в точках испытаний, размещенных в допустимой области X, а вне этой области вычисляется только часть ограничений (до первого нарушенного).
Результаты эксперимента для метода АГП-ИФ, основанного на сочетании адаптивной схемы редукции и индексного метода при значении параметра надежности г = 2 и точности поиска 8 = 0.01 представлены в Таблице 1.
Таблица 1
Результаты метода АГП-ИФ
K Q N
922 7268 100
Применение метода АГП-КШ, сочетающего адаптивную схему и классический штраф (13), (14) для различных значений константы штрафа С с параметрами алгоритма одномерного поиска г = 5 (параметр надежности) и точности 8 = 0.01 привело к получению результатов, представленных в Таблице 2.
Таблица 2
Результаты метода АГП-КШ
С K N
10 2055 21
20 2225 62
50 3267 86
100 6130 98
200 9301 100
Аналогичный эксперимент для различных значений константы штрафа в случае использования алгоритма МЛ-КШ с теми же значениями параметров надежности г = 5 и точности 8 = 0.01 привел к следующим результатам, которые содержатся в таблице 3.
Таблица 3
Результаты метода МЛ-КШ
С K N
10 4791 19
20 4993 61
50 9730 85
100 13558 96
200 15612 97
По итогам расчетов сравним число испытаний К = 922 и количество вычислений целевой функции и ограничений ^ = 7268 для АГП-ИФ и аналогичные величины
K = 9301 и Q = 9301*11 = 102311 для АГП-КШ для C = 200 (когда были решены все задачи). Отношения K2 /K ~ 10 и Q /Q «14 демонстрируют значительно большую экономичность предложенного метода АГП-ИФ.
Результаты эксперимента свидетельствуют, что среди методов, использующих классическую штрафную функцию (АГП-КШ и МЛ-КШ) применение информационно статистического метода является более эффективным по сравнению с методом ломаных, поскольку АГП-КШ решает все задачи за существенно меньшее число испытаний. Однако наибольшую эффективность демонстрирует адаптивный индексный алгоритм АГП-ИФ, который затратил на решение всех задач на порядок меньше испытаний и вычислений целевой функции и ограничений.
Поскольку адаптивная схема обладает значительным потенциалом параллелизма, перспективным направлением дальнейшего развития является разработка параллельной версии предложенного метода и проведение апробации на современных суперкомпьютерных системах.
Список литературы:
[1] Strongin R.G., Sergeyev Y.D. Global Optimization with Non-Convex Constraints. Sequential and Parallel Algorithms. - Dordrecht: Kluwer Academic Publishers, 2000.
[2] Стронгин Р.Г. Численные методы в многоэкстремальных задачах (информационно-статистические алгоритмы). - М.: Наука, 1978.
[3] Сухарев А.Г. Оптимальный поиск экстремума. - М.: Изд-во МГУ, 1975.
[4] Mockus J. Bayesian Approach to Global Optimization. - Dordrecht: Kluwer Academic Publishers, 1988.
[5] Пиявский С.А. Один алгоритм отыскания абсолютного экстремума функции // Ж. вычисл. матем. и матем. физ. 1972. Т. 12. № 6.- С. 888-896.
[6] Kushner H.A new method of locating maximum point of an arbitrary multipeak curve in the oresence of noise // Trans. ASME, Ser. D, J. Basic Eng. 1964. Vol. 86. No. 1. - P. 97-106.
[7] Жилинскас А.Г. Одношаговый байесовский метод поиска экстремума функции одной переменной // Кибернетика. 1975. Т.1. - С. 139-144.
[8] Бочаров И.Н., Фельдбаум А.А. Автоматический оптимизатор для поиска минимального из нескольких минимумов(глобальный оптимизатор) // Автоматика и телемеханика. 1962. Т. 23. № 3. - С. 289-301.
[9] Половинкин А.И. Оптимальное проектированиес автоматическим поиском схем инженерных конструкций // Изв. АН СССР, Техническая кибернетика. 1971. Т. 5. - С. 29-38.
[10] Boender C.G.E, Rinnooy Kan A.H.G. Bayesian stopping rules for multistart global optimization methods // Mathematical Programming. 1987. Vol. 37. No.1. - P. 59-80.
[11] Гришагин В.А. Операционные характеристики некоторых алгоритмов глобального поиска // Проблемы случайного поиска.- Рига: Зинатне. 1978. № 7. - С. 198-206.
[12] Гришагин В.А. Об условиях сходимости для одного класса алгоритмов глобального поиска // Тезисы докладов III Всесоюзного семинара «Численные методы нелинейного программиро-вания».-Харьков: Изд-во ХГУ. 1979. - С. 82-84.
[13] Pinter J.D. Global Optimization in Action. - Dordrecht: Kluwer Academic Publishers, 1996.
[14] Sergeyev Y.D. On convergence of «Divide the Best» global optimization algorithms // Optimization. 1998. Vol. 44. No. 3. - P. 303-325.
[15] Сергеев Я.Д., Квасов Д.Е. Диагональные методы глобальной оптимизации. - М.: Физмат-лит, 2008.
[16] Sergeyev Y.D., Strongin R.G., Lera D. Introduction to Global Optimization Exploiting SpaceFilling Curves. SpringerBriefs in Optimization. - New York: Springer, 2013.
[17] Стронгин Р.Г., Гергель В.П., Гришагин В.А., Баркалов К.А. Параллельные вычисления в задачах глобальной оптимизации: Монография / Предисл.: В. А. Садовничий. - М.: Издательство Московского университета, 2013.
[18] Carr C.R., Howe C.W. Quantitative Decision Procedures in Management and Economic: Deterministic Theory and Applications. - New York: McGraw-Hill, 1964.
[19] Gergel V., Grishagin V., Gergel A. Adaptive nested optimization scheme for multidimensional global search // Journal of Global Optimization. 2016. Vol.66. - P. 35-51.
[20] Grishagin V., Israfilov R., Sergeyev Y. Convergence conditions and numerical comparison of global optimization methods based on dimensionality reduction schemes // Applied Mathematics and Computation. 2018. Vol. 318. - P. 270-280.
[21] Карманов В.Г. Математическое программирование. - М.: Наука, 1975.
[22] Васильев Ф.П. Лекции по методам решения экстремальных задач. - М.: Изд. МГУ, 1974.
[23] Strongin R.G., Markin D.L. Minimization of multiextremal functions with nonconvex constraints // Cybernetics. 1986. Vol. 22. P. 486-493.
[24] Баркалов К.А., Стронгин Р.Г. Метод глобальной оптимизации с адаптивным порядком проверки ограничений // Ж. вычисл. Матем. и матем. физ. 2002. Т.42. №9. - С. 1338-1350.
[25] Gergel V.P., Grishagin V.A., Israfilov R.A. // Local tuning in nested scheme of global optimization. Procedia Computer Science. 2015. Vol. 51. P.865-874.
[26] Grishagin V.A., Sergeyev Y.D., Strongin R.G. Parallel characteristic algorithms for solving problems of global optimization // Journal of Global Optimization. 1997. Vol.10. No.2. P.185-206.
[27] Sergeyev Y.D., Kvasov D.E., Mukhametzhanov M.S. Emmental-Type GKLS-Based Multiextremal Smooth Test Problems with Non-linear Constraints. In: Battiti R., Kvasov D., Sergeyev Y. (eds) Learning and Intelligent Optimization. LION 2017. 2017. Lecture Notes in Computer Science. Vol. 10556. P. 383-388.
[28] Gaviano M., Kvasov D.E., Lera D., Sergeyev Y.D. Algorithm 829: Software for generation of classes of test functions with known local and global minima for global optimization // ACM Trans. Math. Software. 2003. Vol.29. No. 4. P. 469-480.
APPLICATION OF THE ADAPTIVE DIMENSIONALITY REDUCTION SCHEME TO PROBLEMS OF MULTIEXTREMAL OPTIMIZATION WITH NONLINEAR CONSTRAINTS
K.A. Barkalov, A.A. Getmanskaya, R.A. Israphilov
Key words: multiextremal problems, global optimum, nonlinear constraints, nested optimization, index method.
A new method for solving the multidimensional multiextremal optimization problems with complicated nonlinear constraints is proposed. The algorithm is based on the adaptive scheme of reducing a multidimensional problem to a system of problems with lesser dimension combined with the index method for the constraint satisfaction which unlike the penalty function method does not require any coefficient adjustment and computation of all the constraints. A general scheme of the algorithm is described. Results of simulation experiments demonstrating the efficiency of the algorithm proposed are given.
Статья поступила в редакцию 27.11.2017 г.
