CC BY
62
Д. В. Березкин
54
Список литературы
1. Стратегия национальной безопасности Российской Федерации (утв. Указом Президента РФ от 31 декабря 2015г. №683) : [Интернет-портал Российской газеты]. URL: http://www.rg.ru/2015/12/31/nac-bezopasnost-site-dok.html (дата обращения: 05.03.2016).
2. Березкин Д.. Технология управления разнородными знаниями // Гибридные и синергетические интеллектуальные системы : матер. 2-го Междунар. Поспеловского симпозиума. Калининград, 2014. С. 45 — 53.
3. Тарасов В. Б. Логико-лингвистические модели в искусственном интеллекте: прошлое, настоящее, будущее. URl: http://posp.raai.org/data/posp2005/ Tarasov/tarasov.html (дата обращения: 07.03.2016).
4. Поспелов Д. А. Прикладная cемиотика и искусственный интеллект // Программные системы и продукты. 1996. № 3. С. 14 — 28.
5. Осипов Г. С. От ситуационного управления к прикладной семиотике // Новости искусственного интеллекта. 2002. № 6. С. 3 — 7.
6. Махутов Н. А. Научные основы задачи по формированию системы оценки рисков // Проблемы анализа риска. 2009. Т. 6, № 3. С. 82 — 91.
7. Подиновский В. В. Введение в теорию важности критериев в многокритериальных задачах принятия решений. М., 2007.
8. Осипов Г. С. Динамические интеллектуальные системы // Искусственный интеллект и принятие решений. 2008. № 1. С. 47—54.
9. Жожикашвили А. В., Стефанюк В. Л. Динамические интеллектуальные системы // Искусственный интеллект и принятие решений. 2008. № 1. С. 4 — 14.
Об авторе
Дмитрий Валерьевич Березкин — старший преподаватель, МГТУ им. Н. Э. Баумана, Москва.
E- mail: [email protected]
About the author
Dmitry Berezkin — Senior Lecturer, Bauman Moscow State Technical University, Moscow.
E- mail: [email protected]
УДК 621.391,621.396
Р. В. Симонов, В. А. Пахотин
АЛГОРИТМЫ ПОИСКА ЭКСТРЕМУМА В МЕТОДЕ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Произведена сравнительная оценка метода наискорейшего спуска и метода отжига (симуляции восстановления) для минимизации функционала правдоподобия при решении задачи разрешения радиоимпульсов по времени. Предложен комбинированный алгоритм, позволяющий повысить быстродействие. Дана оценка области его применимости.
© Симонов Р. В., Пахотин В. А., 2016
Вестник Балтийского федерального университета им. И. Канта. Сер.: Физико-математические и технические науки. 2016. № 3. С. 54-
This article presents a comparative evaluation of steepest descent and simulated annealing for the minimization of the likelihood functional for solving the problem of the resolution of two radio pulses on time by maximum likelihood method. The combined algorithm, which allows increasing of the computation performance, was introduced. The article also presents the applicable area of this algorithm.
Ключевые слова: метод отжига, метод наискорейшего спуска, методы оптимизации, область неортогональности сигналов, теория оптимального приема, метод максимального правдоподобия.
Key words: simulated annealing, steepest descent, optimization algorithms, non-orthogonally of signals, optimum reception theory, maximum likelihood method.
55
Введение
Одна из важнейших задач обработки сигналов — задача разрешения. В области неортогональности, когда корреляционная и спектральная обработка не позволяют разрешить сигналы, эта задача может быть решена на основе теории оптимального приема с применением метода максимального правдоподобия. Данное решение рассмотрено в работах [1; 3]. Согласно им параметры сигнала определяются минимумом преобразованного функционала правдоподобия. Таким образом, для разрешения сигналов по оцениваемым параметрам необходимо решить задачу нахождения его минимума. В настоящей работе изложены вопросы, связанные с практическим применением методов оптимизации и повышением их эффективности в применении к данной задаче.
Основы теории
По работам [1; 3] при разрешении двух радиоимпульсов по времени преобразованный функционал задается следующим выражением:
Д( Ь1, Ь2) = |\уЩ2М - Щ | у(0 * е'а('-¿2 { У(0* е'а('-'2^.
Здесь Щ, Щ — оценки амплитуд первого и второго сигналов, Ь1, Ь2 — оценки времени приема, у(Ь) — принятое сообщение. В модельных экспериментах оно содержит два радиоимпульса. Частота составляет 30 кГц, длительность — 300 мкс, отношение сигнал/шум — 20 дБ. Время приема первого и второго импульсов составляет 300 мкс и 400 мкс, что соответствует области неортогональности. Принятое сообщение представлено на рисунке 1. Пунктирной линией показана корреляционная функция. Она демонстрирует, что корреляционная обработка не позволяет раздельно оценить параметры сигналов.
Принятое сообщение
15
10
56
■5 --10
-15
0
2
4
Время, с.
б
8
-4
х 10
Рис. 1. Принятое сообщение
Решая уравнения правдоподобия, можно определить оценки амплитуд как функции от 11, t 2 [1; 3]. Таким образом, функционал правдоподобия является поверхностью в пространстве параметров 11, 12 . Минимум функционала соответствует оценкам времени приема первого и второго радиоимпульсов.
Для решения задачи минимизации часто применяются градиентные методы, которые относятся к методам первого порядка (используются значения первой производной). По ним вначале задается некоторое приближение х[0] , критерий останова и начальный шаг. Затем на каждой последующей итерации осуществляется перемещение текущей точки в направлении антиградиента. Вычисляются последовательные приближения х, даваемые выражением
отличаются критериями останова и выбора шага. Один из наиболее эффективных — это метод наискорейшего спуска. Он позволяет свести задачу многомерной оптимизации к последовательному решению задач одномерной оптимизации по направлению градиента [2; 4]. Шаг определяется из следующего условия:
Направления шага на каждой из последующих итераций ортогональны.
Метод наискорейшего спуска
1[к] = а^штЛ(/(х[к] -ХУ/(\[к])).
На рисунке 2 показан функционал правдоподобия и представлен результат применения метода наискорейшего спуска. Для решения задач одномерной оптимизации применен метод золотого сечения. Круглыми маркерами обозначены два различных начальных приближения. Точки соответствуют последовательным приближениям, получаемым на каждом шаге.
57
Рис. 2. Результат применения метода наискорейшего спуска для минимизации функционала правдоподобия
Можно отметить, что поверхность функционала правдоподобия характеризуется наличием овражных областей, в которых производная близка к нулю. Это определяет плохую обусловленность и затрудняет применение методов оптимизации, основанных на вычислении производной. Также возможно возникновение локальных минимумов. Нахождение решения в таких условиях возможно лишь при выборе начального приближения, достаточно близкого к точке глобального минимума (точка 1). В случае если начальное приближение недостаточно близко к глобальному минимуму (точка 2), наблюдается сходимость к локальному минимуму, что приводит к ошибочной оценке параметров сигнала. Таким образом, методы первого порядка, как и другие детерминированные методы, не могут быть непосредственно применены для минимизации функционала правдоподобия.
Метода отжига
Один из методов, применимых для минимизации плохо обусловленных функций, — метод имитации отжига (симуляции восстановления). Алгоритм основан на моделировании физического процесса, происходящего при постепенном охлаждении некоторой нагретой субстанции. Предполагается, что кристаллическая решетка уже сформировалась, однако отдельные частицы совершают переходы, стремясь к состоянию, характеризующемуся минимальной энергией.
58
Пусть в пространстве X определен некоторый функционал, и задана некоторая начальная температура Т. Энергия определяется значением функционала в точке х е X, соответствующей текущему состоянию: Е = /(х). Также задано некоторое случайное значение энергии Е', характеризующееся распределением Гиббса
ш(Е, Т) = ехр(-ДЕ /Т),
и случайный вектор Ьг с распределением 0(Ьг, Т), который определяет новое состояние х + Ьг, и новое значение энергии. Тогда разность энергий дается выражением ДЕ = /(х + Ьг) - /(х). Если выполняется условие ДЕ < Е', то осуществляется переход в новое состояние. Его вероятность зависит от температуры и может быть определена функцией Метрополиса:
Г 1, ДЕ < 0, Р(х + Ьт ^х|х) = ^ ч
4 1 У [ехр(-ДЕ / Т), ДЕ > 0.
На начальном этапе вероятность перехода в состояние с большей энергией высока, что позволяет выходить из локальных минимумов. С каждым переходом в новое состояние значение температуры уменьшается. При некотором конечном значении температуры с высокой вероятностью может быть найден глобальный минимум энергии, соответствующий минимуму функционала. На рисунке 3 показана блок-схема алгоритма в общем случае.
Различные варианты алгоритма отжига могут отличаться законом изменения температуры, функцией вероятности перехода в новое состояние и распределением случайного вектора Ьг [4]. Исторически первая схема данного метода — Больцмановский отжиг, характеризующийся изменением температуры согласно формуле
Тк =
1
1п(1 + к)
Вероятностное распределение Ьг — нормальное с дисперсией а2 = Т:
Л2
д(Ьг, Т) = (2гсТ)-0/2ехр(-Т-).
Основным недостатком этого метода стало медленное убывание температуры и, как следствие, медленная сходимость. Однако существуют более эффективные схемы отжига. В данной работе реализован отжиг Коши (быстрый отжиг). Этот алгоритм отличается более быстрым понижением температуры:
Т(к) = То
1 + к1/0 "
Здесь О — размерность пространства параметров.
Рис. 3. Блок-схема алгоритма имитации отжига в общем случае
В качестве распределения , Т) применяется многомерное распределение Коши:
1 Т Т) = -—2---------.
п (|Ьг|2 + Т2)(О+1)/2
Такое распределение может быть также представлено в виде произведения О одномерных распределений Коши:
1 о т
°(е'т) п^^ •
На практике распределение Коши может быть достаточно просто получено из равномерного распределения методом обратного преобразования.
Для решения задачи минимизации функционала правдоподобия при разрешении сигналов по времени начальное приближение задается максимумом корреляционной функции. Каждое последующее решение оказывается ближе к глобальному минимуму. С уменьшением конечного значения температуры, являющегося критерием останова, точность решения возрастает. Однако при этом возрастает и количество обращений к минимизируемому функционалу, а следовательно, и
59
60
количество вычислений. Для получения приближения, отклонение которого от глобального минимума несущественно по сравнению с дисперсией оценочных параметров сигнала, требуется рассчитать ~103 значений функционала правдоподобия. Это на два порядка меньше, чем при минимизации методом перебора. Однако при приближении к минимуму функционала сходимость существенно замедляется, что показано на рисунке 4, где представлена зависимость отклонения текущего решения от количества выгчисленных значений функционала. Отклонение текущего решения определяется как евклидово расстояние между точкой текущего решения и минимумом.
Рис. 4. Последовательное приближение к решению
Комбинированный алгоритм
Повыгшение быстродействия возможно за счет совместного применения метода отжига и одного из детерминированных методов оптимизации. Так, метод отжига может быпъ использован для поиска начального приближения в окрестности глобального минимума, которое в дальнейшем уточняется путем решения задачи локальной оптимизации. Для этого может бы1ть применен метод наискорейшего спуска. Он намного быстрее и точнее находит минимум функции в области, в которой она является вогнутой. Такой подход позволяет выбирать достаточно высокое конечное значение температуры для метода отжига, а следовательно, существенно сократить количество выгчислений. На рисунке 5 продемонстрирован результат применения такого комбинированного алгоритма к задаче минимизации функционала. Круглыми маркерами показаны различные приближения, полученные методом отжига. Линии соответствуют шагам метода наискорейшего спуска.
Функционал правдоподобия
61
2.5 3
Время Т1, с
х 10
Рис. 5. Результат совместного применения метода отжига и метода наискорейшего спуска к решению задачи минимизации функционала правдоподобия
Для всех начальных приближений наблюдается сходимость к глобальному минимуму. Область применения алгоритма ограничена уровнем шума. Она может быть определена путем сравнения значений среднеквадратичных отклонений оценок времени приема, полученных с его применением (отмечены точками на рисунке 6), и среднеквадратичных отклонений, полученных при минимизации функционала методом перебора (отмечены круглыми маркерами).
.110
Рабочая область алгоритма
£
К &
1.5
О М
и
0,5,
** -
О . : -о о о О х ® в в * ж
10 15 20
ЗЛЯ, дБ
25
Рис. 6. Область применимости алгоритма
Отмечается, что при отношениях сигнал/шум более 8 дБ значения СКО совпадают. Таким образом, область применимости данного алгоритма можно определить как область отношений сигнал/шум более 8 дБ. Совместное применение методов отжига и наискорейшего спуска позволяет находить минимум, выгчисляя не более 300 значений функционала.
Заключение
62
В настоящей работе отмечены достоинства и недостатки рассмотренных методов оптимизации в применении к задаче нахождения минимума функционала правдоподобия. Модельные эксперименты пока-зыывают, что совместное использование данных методов позволяет повысить эффективность. По сравнению с методом отжига быстродействие возросло в 3 раза, что может быть очень существенно для систем, работающих в реальном времени. Время решения задачи на ПК составляет около 50 мс.
Список литературы
1. Власова К. В., Волхонская Е. В., Коротей Е. В., Пахотин В. А. Разрешающая способность сигналов с линейной частотной модуляцией / / Современные проблемы науки и образования. 2014. № 5. С. 48 — 56.
2. Захарова Е. М., Минашина И. К. Обзор методов многомерной оптимизации. Долгопрудный, 2014.
3. Пахотин В. А., Молостова С. В., Бессонов В. А. Фильтрация радиоимпульсов методом максимального правдоподобия // Вестник Балтийского федерального университета им. И. Канта. 2015. Вып. 4. С. 61—67.
4. Кочегурова Е. А. Теория и методы оптимизации. Томск, 2012.
5. Лопатин А. С. Метод отжига. СПб., 2005.
6. Ingber L. Very fast simulated re-annealing. Monterey, 1988.
Об авторах
Роман Валериевич Симонов — асп., Балтийский федеральный университет им. И. Канта, Калининград.
E-mail: [email protected]
Валерий Анатольевич Пахотин — д-р физ.-мат. наук, проф., Балтийский федеральный университет им. И. Канта, Калининград. E-mail: [email protected]
About the authors
Roman Simonov — PhD student, I. Kant Baltic Federal University, Kaliningrad. E-mail: [email protected]
Prof. Valerij Pakhotin — I. Kant Baltic Federal University, Kaliningrad. E-mail: [email protected]
