CC BY
10Решетнеескцие чтения. 2015
Зависимость ошибки ансамбля от разнообразия моделей в ансамбле. В работе [4] показано, что ошибка коллективной модели зависит от точности индивидуальных моделей и их разнообразия следующим образом:
N
err(H | x) = ^ wterr(hi | x) - ambi(H | x),
i=1
в том случае, если правило объединения моделей представляет собой среднее взвешенное, а в качестве меры точности выбрана среднеквадратическая ошибка
err (hi | x) = (f (x) - hi (x) )2, err(H | x) = (f (x) - H(x))2,
неопределенность ансамбля в точке x определяется как
_ N _ _ 2
ambi(H | x) = ^ w; ( (x) - H(x))
i=1
и показывает рассогласование среди индивидуальных моделей в точке x . Эту величину будем понимать под мерой разнообразия ансамбля.
Однако данные соотношения справедливы только для одного правила объединения моделей в ансамбле (среднего взвешенного) и одного (квадратичного) критерия качества. В работе проведены численные исследования, показывающие зависимость точности ансамбля от разнообразия входящих в него моделей при использовании различных правил агрегации моделей в ансамбль и различных критериев качества.
Численные исследования. В ходе исследований решались задачи из репозитария [5]. Задачи отличались количеством наблюдений, количеством признаков и типами этих признаков. В качестве индивидуальных моделей использовались деревья регрессии и нейронные сети. В качестве правила объединения моделей в ансамбле - среднее взвешенное, медиана, мода, выбор лучшей индивидуальной модели по валидационной выборке. Были выбраны следующие критерии качества: RMSLE (Root Mean Squared Logarithmic Error), MAE (Mean Absolute Error), MSE (Mean Squared Error).
Разнообразие генерировалось с помощью бутстреп-метода. Из обучающей выборки могут быть сформированы различные обучающие подмножества. Чем меньшие мощности имеют попарные пересечения этих подмножеств, тем более разнообразны обученные на них индивидуальные модели. Из обучающей выборки формируется N подмножеств размерностью M: вероятность попадания каждого наблюдения в i-е обучающее подмножество - M / n, где n - количество наблюдений в обучающей выборке. Каждая модель обучается по своему обучающему подмножеству.
Исследования показали сильное влияние разнообразия моделей в ансамбле на его точность. Для всех рассмотренных способов агрегации моделей в ансамбль (кроме выбора лучшей модели по валидаци-онной выборке) и критериев качества уменьшение размерности подмножеств M от n до некоторого значения, зависящего от решаемой задачи, приводит одновременно к увеличению разнообразия моделей и повышению точности ансамбля.
References
1. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. URL: http://statweb.stanford.edu/~tibs/Elem StatLearn/ (accessed: 1.09.2015).
2. Zhou Z.-H. Ensemble Methods: Foundations and Algorithms. Chapman & Hall/CRC, 2012. 236 p. Machine Learning & Pattern Recognition series.
3. Kuncheva L. I. Combining Pattern Classifiers. Methods and Algorithms, Wiley, 2004.
4. Krogh A., Vedelsby J. Neural network ensembles, cross validation and active learning // Advanced in Neural Information Processing System 7. Cambridge : MIT Press, 1995. Pр. 231-238.
5. UCI Machine Learning Repository: Data Sets. URL: http://archive.ics.uci.edu/ml/datasets.html (accessed: 1.09.2015).
© Мангалова Е. С., 2015
УДК 004.414.23
НЕЧЕТКАЯ СИСТЕМА УПРАВЛЕНИЯ ВЕРОЯТНОСТЬЮ МУТАЦИИ В ГЕНЕТИЧЕСКОМ АЛГОРИТМЕ*
Я. С. Матюхина, Л. В. Липинский
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
Е-mail: автора: [email protected]
Генетические алгоритмы широко и успешно применяются в задачах проектирования аппаратно-программных комплексов, однако их надежность и скорость работы на каждой отдельной задаче в большой степени зависят от выбранных настроек алгоритма.
Ключевые слова: генетический алгоритм, задачи оптимизации, нечеткая логика, нечеткий контроллер.
* Работа выполнена в рамках и при финансовой поддержке проекта RFMEFI57414X0037.
Математические методы моделирования, управления и анализа данных
FUZZY CONTROL SYSTEM PROBABILITY OF MUTATION IN A GENETIC ALGORITHM
Yа. S. Matyukhina, L. V. Lipinskiy
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation Е-mail: [email protected]
Genetic algorithms are widely and effectively used in problems of designing software and hardware, but their reliability and speed on every individual problem to a large extent depend on the selected settings of the algorithm.
Keywords: genetic algorithm, optimization problem, fuzzy logic, fuzzy controller.
Генетические алгоритмы широко и успешно применяются в задачах проектирования аппаратно-программных комплексов, в том числе и в таких сферах, как разработка систем управления космическими аппаратами, систем управления дорожным трафиком, охранно-пожарными комплексами и т. д. На сегодняшний день генетические алгоритмы, основанные на случайном поиске, доказали свою конкурентоспособность на широком круге задач, однако их надежность и скорость работы на каждой отдельной задаче в большой степени зависят от выбранных настроек алгоритма.
Генетические алгоритмы относятся к средствам решения широкого круга задач оптимизации и структурного синтеза, которые способны находить решения практически при полном отсутствии информации о характере исследуемой функции [1].
Два фактора - скорость и устойчивость - определяют эффективность генетического алгоритма для решения каждой конкретной задачи. Скорость генетического алгоритма оценивается временем, необходимым для выполнения заданного пользователем числа итераций, а устойчивость поиска - степенью устойчивости алгоритма к попаданию в точки локальных экстремумов и способностью постоянно увеличивать качество популяции от поколения к поколению. Правильная настройка этих факторов приводит к повышению скорости и устойчивости поиска, что существенно для применения генетических алгоритмов [2; 3].
Главный недостаток генетического алгоритма -это опасность преждевременного вырождения популяции хромосом, выражающегося в потере разнообра-
зия генного материала, или «застревание» в локальных экстремумах (стагнация) [4].
Одним из значимых операторов генетического алгоритма является мутация, которая позволяет предотвратить стагнацию. Управляя вероятностью мутации, мы можем существенно менять свойства генетического алгоритма. Чем больше вероятность мутации (Prn) отдельного гена, тем больше применяется стратегия исследования - глобальные свойства, чем меньше мутация - локальные свойства. На ранних итерациях больше нужны глобальные свойства, а поздних стадиях - локальные свойства.
Одним из способов управления вероятностью мутации в генетическом алгоритме является применение средств нечеткой логики, а именно, нечеткого контроллера [4; 5].
Динамическое управление вероятностью мутации осуществляется на основе таких показателей, как номер итерации (МШг) и разнообразие популяции (^), которые являются входами нечеткого логического контроллера. Текущим значениям входных признаков нечеткая система логического вывода ставит в однозначное соответствие выходной признак нечеткого контроллера - вероятность мутации (см. рисунок).
Было проведено сравнение стандартного генетического алгоритма и генетического алгоритма, управляемого системой на нечеткой логике, на одном множестве тестовых задач. В ходе тестирования для всех комбинаций настроек проводилось усреднение по 20 прогонам, в каждом прогоне по 50 индивидов и 50 итераций, решение искалось с точностью 0,001, размер турнира - 2.
б
Схема генетического алгоритма, управляемого системой на нечеткой логике: а - объект управления (ОУ), б - устройство управления (УУ)
а
Решетнееские чтения. 2015
Сравнение надежностей алгоритмов
Задача Стандартный ГА ГА, управляемый системой на нечеткой логике
Минимальная надежность Максимальная надежность Минимальная надежность Максимальная надежность
Функция Растригина, x,у е [-16;16] 0,1 0,68 0,21 0,8
Функция Розенброка, x1, x2 е [-2; 2] 0,2 0,78 0,38 0,85
Функция Катковника, x1,x2 е [-2.5;2.5] 0,12 0,76 0,2 0,83
Функция Катникова, x1, x2 е [-5;5] 0,64 1 0,68 1
Мультипликативная потенциальная функция, x1, x2 е [0;4] 0,88 1 0,92 1
Было проведено сравнение минимальных и максимальных надежностей этих двух алгоритмов, часть результатов представлена в таблице.
На основе проделанной работы можно сделать вывод, что генетический алгоритм, управляемый системой на нечеткой логике, имеет на всех функциях надежность и скорость сходимости больше, чем стандартный генетический алгоритм.
Библиографические ссылки
1. Батищев Д. И. Генетические алгоритмы решения экстремальных задач : учеб. пособие / под ред. Я. Е. Львовича. Воронеж, 1995.
2. Семенкин Е. С., Семенкина О. Э., Коробейников С. П. Адаптивные поисковые методы оптимизации сложных систем / СИБУП. Красноярск, 1997.
3. Семенкин Е. С., Терсков В. А. Модели и методы оптимизации систем управления сложными объектами / СЮИ МВД РФ. Красноярск, 2000.
4. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М. : Горячая линия-Телеком, 2006.
5. Валландер Н. Нечеткие множества. Нечеткая логика. 2004.
References
1. Batishchev D. I. Genetic algorithms for solving extreme problems / Ed. Ya. E. Lvovich. Voronezh, 1995.
2. Semenkin E. S., Semenkina O. E., Korobeynikov S. P. Adaptive search optimization techniques of complex systems. SIBUP. Krasnoyarsk, 1997.
3. Semenkin E. S., Terskov V. A. Models and methods of optimization of the management of complex objects. SUI Interior Ministry. Krasnoyarsk, 2000.
4. Rutkowski D., Pilinsky M., Rutkowski L. Neural networks, genetic algorithms and fuzzy systems. M. : Hotline Telecom, 2006.
5. Wallander N. Fuzzy sets. Fuzzy Logic. 2004.
© Матюхина Я. С., Липинский Л. В., 2015
УДК 519.65
АВТОМАТИЗАЦИЯ ИССЛЕДОВАНИЙ ДИСКРЕТНО ИЛИ ГРАФИЧЕСКИ ЗАДАННЫХ ЗАВИСИМОСТЕЙ
В. В. Митюков
Ульяновское высшее авиационное училище гражданской авиации (институт) Российская Федерация, 432071, г. Ульяновск, ул. Можайского, 8/8 E-mail: [email protected]
Рассматривается задача обобщения существующих методов гладкого приближения дискретных данных. Предложена единообразная вычислительная схема, позволяющая автоматизировать различные процессы аппроксимирования. Применение такой единой схемы упрощает и ускоряет получение искомых результатов в задачах, возникающих в ракетно-космических исследованиях (при моделировании, в вычислительных экспериментах).
Ключевые слова: задачи аппроксимации, вычислительные методы, линейные уравнения, универсальный алгоритм, численное дифференцирование, численные квадратуры.
