CC BY
14ция составила 0,958 %. При этом зашумлённость данных составила 4,14 %.
Прикладные методы обработки данных необходимы для проведения политического анализа и прогнозирования с целью получения знаний из имеющейся информации.
Библиографические ссылки
1. URL: http://archive.ics.uci.edu/ml/datasets/Congre-ssional+Voting+Records.
2. Злоба Е., Яцкие И. Статистические методы восстановления пропущенных данных // Computer Modelling & New Technologies. 2002. Vol. 6, № 1. С. 51-61.
3. Классификация и кластер / под ред. Д. В. Рай-зина. М. : Мир, 1980. 393 с.
4. Визуализация многомерных данных / под ред. А. Ю. Зиновьева. Красноярск : Изд. КГТУ, 2000. 168 c.
5. URL: http://archive.ics.uci.edu/ml/machine-learning-databases/voting-records/house-votes-84.names.
References
1. URL: http://archive.ics.uci.edu/ml/datasets/Congre-ssional+Voting+Records.
2. Zloba Ye., Yatskiye I. Statisticheskiye metody vosstanovleniya propushchennykh dannykh // Computer Modelling & New Technologies. 2002. Vol. 6. No. 1, рр. 51-61.
3. Klassifikatsiya i klaster / pod red. Rayzina D. V. M. : Mir, 1980. 393 s.
4. Vizualizatsiya mnogomernykh dannykh / pod red. Zinov'yeva A. Yu. Krasnoyarsk : Izd. KGTU, 2000. 168 c.
5. URL: http://archive.ics.uci.edu/ml/machine-learning-databases/voting-records/house-votes-84.names.
© Ломаев Ю. С., Сидорина Ю. В., 2015
УДК 519.87
О МНОГОКРИТЕРИАЛЬНОМ САМОКОНФИГУРИРУЕМОМ ЭВОЛЮЦИОННОМ АЛГОРИТМЕ ДЛЯ АВТОМАТИЗИРОВАННОГО ФОРМИРОВАНИЯ АНСАМБЛЕЙ
НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ*
Е. Д. Лосева, Л. В. Липинский
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Разработан комплексный подход к автоматизированному формированию ансамблей (коллективов) нейро-сетевых моделей, позволяющий решать задачи прогнозирования, классификации, отбора информативных признаков с учетом многокритериальной оценки эффективности. Также разработан и применен альтернативный подход к формированию коллективного решения, в котором будут учтены решения отдельных его членов. Исследование эффективности было проведено на множестве тестовых задач: его работоспособность была установлена.
Ключевые слова: многокритериальная оптимизация, самоконфигурируемое генетическое программирование, ансамбли нейросетевых моделей.
ABOUT SELF-CONFIGURING MULTI-OBJECTIVE EVOLUTIONARY ALGORITHM FOR AUTOMATED DESISGN ENSEMBLES OF NEURAL NETWORK MODELS
E. D. Loseva, L. V. Lipinskiy
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
The complex approach for automated formation of ensembles (collectives) of neural network models is developed. This method allows to solve problems of prediction, classification, feature selection with multi-criteria evaluation of effectiveness. Also the alternative approach to the formation of a collective solution is developed in which the solutions of its individual members are considered. The study of an effectiveness with different test tasks is conducted: the performance efficiency is established.
Keywords: multi-objective optimization, "Self-configuring" genetic programming, ensembles of the neural network models.
* Работа выполнена в рамках и при финансовой поддержке проекта RFMEFI57414X0037.
Решетнеескцие чтения. 2015
Разработанный комплексный подход с применением самоконфигурируемого многокритериального эволюционного алгоритма позволяет автоматизировать формирование нейросетевых моделей, объединяющихся в коллективы (ансамбли), использующих конечное число предварительно обученных моделей. Выявлено, что способность к обобщению системы на основе нейронных сетей может быть значительно повышена за счет их объединения в коллектив. Этот подход был впервые предложен в [1].
Описание алгоритма для решения различных задач встречалось во многих работах, например в [2]. Главная идея алгоритма заключается в моделировании нейросетевых моделей, которые в ходе работы программы генерируются с помощью генетического программирования. Каждая нейросетевая модель является индивидом в популяции и представляется в виде дерева, в узлах которого устанавливаются операторы {+, >} из функционального множества ¥ {ВХ1, ВХ2, ..., ВХл - входные воздействия, ¥1, ¥2, ..., ¥т - функции активации} и из терминального множества Т. Операторы {+, >} позволяют выполнить следующие функции: {+} - объединения в слой и {>} - объединения между слоями. Далее каждый индивид оценивается и отбирается по трем различным критериям эффективности. Преимуществом разработанного комплексного подхода является возможность автоматического моделирования структуры нейросетевой модели, что позволяет формировать подходящую структуру для той или иной задачи с минимизацией сложности состава (количества нейронов, количества слоев), при этом не проигрывая в эффективности [3; 4]. Каждая нейросетевая модель оценивается и отбирается с учетом нескольких критериев эффективности [5-7]. Ниже приведен перечень основных критериев:
1. Первый критерий - это точность.
2. Второй критерий - это сложность структуры нейросетевой модели.
3. Третий критерий - это точность ансамбля ней-росетевых моделей.
В зависимости от задачи и цели оптимизации количество критериев дополнялось или изменялось. Соответственно, менялись и функции пригодности для вычисления эффективности, например, в задаче прогнозирования в качестве первого критерия использовалась функция пригодности, вычисляемая по формуле (1):
EI Уг - y
E = -N
N
min,
(1)
где N - количество значений выхода; у * - эталонные значения; у - получаемые выходные значения.
А в задаче прогнозирования для описания точно -сти выбрана функция пригодности, которая вычисляется по формуле (3):
P
Pr ecision =--> max,
N
(2)
Также применение самоконфигурируемого генетического программирования осуществляет выбор оптимального набора операторов для реализации эволюционных процессов, таких как селекция, рекомбинация и мутация. Оптимальность набора признаков рассматривается с точки зрения наибольшего значения по пригодности индивида - потомка, полученного выбранным набором операторов. Оценка пригодности каждого нового потомка осуществляется по формуле (3):
_2_
max
J=1, ч
Ei
■ J,
(3)
где Р - это количество правильно классифицированных объектов; N - это общее количество объектов.
где к = 1, N , N - количество итераций; Fitki - пригодность значения i-th индивидуума на к-итерации.
Программный продукт реализован с помощью среды программирования Visual Studio C# и протестирован на компьютере с 1 терабайтом памяти и 2-ядерным процессором Intel Core 15-2410 (2.10 GHz).
Стоит отметить, что программная система была успешно использована для решения различных практических задач классификации, прогнозирования, а также модификация предложенного подхода позволила успешно осуществить задачу отбора информативных признаков, представляющих собой вектор акустических характеристик, и решить задачу распознавания пола, возраста и эмоций человека с высокой точностью.
Библиографические ссылки
1. Лосева Е. Д., Липинский Л. В. Ансамбли нейросетевых классификаторов с применением многокритериального самоконфигурируемого генетического программирования // Актуальные проблемы авиации и космонавтики : сб. тезисов конф. 2015. C. 25.
2. Loseva E., Lipinsky L., Kyklina A. Eensembles of Neural Networks with Application of Multi-Objective Self-Configuring Genetic Programming in Forecasting Problems // 11th Intern. Conf. on Natural Computation (ICNC 2015). China, Zhangjiajie, 2015. Р. 525.
3. Angeline P. J. Adaptive and self-adaptive evolutionary computations // Eds. M. Palaniswami, Y. Attikiouzel. Computational Intelligence: A Dynamic Systems Perspective / IEEE Press, 1995. P. 152-163.
4. Kasabov N. Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering. 2nd printing. The MIT Press, Cambridge, 1998. P. 16.
5. O'Neill M., Vanneschi L., Gustafson S., Banzhaf W. Open issues in genetic programming // Genetic Programming and Evolvable Machines. 2010. P. 339-363.
6. Huang J.-J., Tzeng G.-H., Ong Ch.-Sh. Two - stage genetic programming (2SGP) for the credit scoring model // Applied Mathematics and Computation. 2006. P. 1039-1053.
7. Semenkina M. E. Self-adaptive evolutionary algorithms of information technologies design of data mining. Artificial intelligence and decision making. K., 2013. P. 28.
References
1. Loseva E. D., Lipinskiy L. V. Ensembles of neural network classifiers using genetic programming multi-criteria self-configuring // Actual problems of aviation and cosmonautics: Sat. abstracts. 2015, рp. 25.
2. Loseva E., Lipinskiy L., Kyklina A. Eensembles of Neural Networks with Application of Multi-Objective Self-Configuring Genetic Programming in Forecasting Problems // 11th International Conference on Natural Computation (ICNC 2015). China, Zhangjiajie, 2015. Рр. 525.
3. Angeline P. J. Adaptive and self-adaptive evolutionary computations // Palaniswami M. and Attikiouzel Y. (Eds.) Computational Intelligence: A Dynamic Systems Perspective. IEEE Press, 1995, рр. 152-163.
4. Kasabov N. Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering. 2nd printing. The MIT Press, Cambridge, 1998, рр. 16.
5. O'Neill M., Vanneschi L., Gustafson S., Banzhaf W. Open issues in genetic programming // Genetic Programming and Evolvable Machines, 2010, рр. 339-363.
6. Huang J.-J., Tzeng G.-H., Ong Ch.-Sh. Two - stage genetic programming (2SGP) for the credit scoring model // Applied Mathematics and Computation. 2006. Рр. 1039-1053.
7. Semenkina M. E. Self-adaptive evolutionary algorithms of information technologies design of data mining. Artificial intelligence and decision making. K., 2013. Рр. 28.
© Лосева Е. Д., Липинский Л. В., 2015
УДК 519.68
ОБ ЭВОЛЮЦИОННЫХ АЛГОРИТМАХ В ЗАДАЧЕ ОПТИМИЗАЦИИ ПРОЦЕССА ОТБОРА ИНФОРМАТИВНЫХ ПРИЗНАКОВ*
Е. Д. Лосева, С. С. Бежитский
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Описываются эволюционные алгоритмы для реализации отбора информативных признаков. В качестве получаемых решений принимаются релевантные наборы признаков. Рассматриваются одно- и многокритериальные алгоритмы. Указаны преимущества предложенных подходов.
Ключевые слова: многокритериальная оптимизация, генетическое программирование, генетический алгоритм, информативные признаки.
ABOUT EVOLUTIONARY ALGORITHMS IN THE TASK OF OPTIMISATION PROCESS OF INFORMATIVE FEATURE SELECTION
E. D. Loseva, C. C. Bezhitsky
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
The evolutionary algorithms for informative feature selection are described. Relevant feature sets are adopted as a solution. The one - and multi-criteria algorithms are considered. The advantages of the proposed approaches are indicated.
Keywords: multi-objective optimization, genetic programming, genetic algorithm, informative features.
В настоящее время существует множество программных пакетов, предлагающих разнообразие методов снижения размерности. Но часто такие методы не показывают достаточную эффективность, поэтому были разработаны и применены нестандартные подходы, основанные на применении интеллектуального анализа данных (одно- и многокритериальные эволюционные алгоритмы). Успешные применения таких алгоритмов описаны в [1; 2]. Кроме того, были проведены эксперименты с применением многокритериального генетического алгоритма и генетического программирования.
Проведенные эксперименты подтверждают свою высокую эффективность. Например, целесообразность применения однокритериального генетического алгоритма (ГА) к задаче выбора оптимального набора признаков объясняется следующими причинами:
1. Это удобное представление каждого признака с помощью кода "0" или "1": 1 - это релевантный атрибут.
* Работа выполнена в рамках и при финансовой поддержке проекта ММЕП57414Х0037.
