Научная статья на тему 'Генерирование нейросетевых классификаторов кооперативными бионическими алгоритмами оптимизации'

Генерирование нейросетевых классификаторов кооперативными бионическими алгоритмами оптимизации Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
82
26
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СТАЙНЫЕ АЛГОРИТМЫ / SWARM ALGORITHMS / САМОНАСТРОЙКА / SELF-TUNING / НЕЙРОННЫЕ СЕТИ / NEURAL NETWORKS / ПРОГНОЗИРОВАНИЕ / PREDICTION

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Ахмедова Ш. А.

Разработаны новые самонастраивающиеся коллективные бионические алгоритмы, позволяющие решать задачи безусловной оптимизации как с вещественными, так и с бинарными переменными, основная идея которых заключается в кооперативной работе уже известных алгоритмов стайного типа. Исследование эффективности полученных эвристик, проведенное на множестве тестовых задач, показало их работоспособность и целесообразность использования. На базе данных алгоритмов разработана и реализована программная система для автоматического генерирования нейросетевых классификаторов, примененная для решения различных практических задач.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

PREDICTORS BASED ON NEURAL NETWOTKS GENERATED BY CO-OPERATIVE BIONIC OPTIMIZATION ALGORITHMS

New self-tuning collective bionic algorithms, which basic idea consists of co-operative work of already well-known swarm algorithms, were developed for solving unconstrained optimization problems as with real-parameter variables, so with binary variables. Investigation of the effectiveness of obtained heuristics conducted on the set of test problems showed their usefulness and workability. Program system for automatically generation of classification tools based on artificial neural networks was developed and implemented and used for solving different real-world problems.

Текст научной работы на тему «Генерирование нейросетевых классификаторов кооперативными бионическими алгоритмами оптимизации»

CSS, Shell; СУБД - PostgreSQL (версия 9.x) [3]; вебсервер - Apache (версия 2.4.x) [3].

Показатели быстродействия полученной поисковой системы представлены в таблице.

Показатели быстродействия персональной информационно-поисковой системы

Таблица БД За 1,5 ч работы За 8,5 ч работы

Индекс 1 156 776 6 443 433

Словарь 60 319 222 340

Сайт 83 1067

Веб-страница 1 301 7 383

Очередь 18 683 78308

На основании проделанной работы можно сделать вывод, что выбранные для реализации информационно-поисковой системы программные средства показали себя с хорошей стороны, позволив добиться достаточного быстродействия и надежности программного продукта. Также выбранная архитектура программного продукта, являющаяся традиционной архитектурой «больших» поисковых систем, показала свою пригодность и для реализации персональной поисковой системы. По результатам тестирования никаких отклонений обнаружено не было. Все фактические результаты совпали с ожидаемыми.

Полученный программный продукт имеет множество возможных путей развития. Например, возможна адаптация поисковой системы для конкретных пред-

метных областей. Это может достигаться за счет создания словаря ключевых терминов предметной области. Также возможно совершенствование математических алгоритмов определения релевантности поиска, создание сайта для коллективного использования поисковой системы, повышение быстродействия за счет распараллеливания работы на несколько компьютеров.

Библиографические ссылки

1. Ашманов И., Иванов А. Оптимизация и продвижение сайтов в поисковых системах. 3-е изд. СПб. : Питер, 2011. 464 с.

2. Маннинг К. Д., Рагхаван П., Шютце Х. Введение в информационный поиск : пер. с англ. М. : Вильямс, 2011. 528 с.

3. Уорсли Дж., Дрейк Дж. PostgreSQL. СПб. : Питер, 2003. (Для профессионалов). 496 с.

References

1. Ashmanov I., Ivanov A. Optimization and Site Promotion in search engines. St. Petersburg, 2011, 464 p.

2. Ch. D. Manning, P. Raghavan, H. Schutze. Introduction to Information Retrieval. Moscow, 2011, 528 p.

3. John C. Worsley, Joshua D. Drake. Practical PostgreSQL. St. Petersburg, 2003, 496 p.

© Андреева К. А., Шайдуров Р. С., 2014

УДК 591.87

ГЕНЕРИРОВАНИЕ НЕЙРОСЕТЕВЫХ КЛАССИФИКАТОРОВ КООПЕРАТИВНЫМИ БИОНИЧЕСКИМИ АЛГОРИТМАМИ ОПТИМИЗАЦИИ

Ш. А. Ахмедова

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

Е-mail: [email protected]

Разработаны новые самонастраивающиеся коллективные бионические алгоритмы, позволяющие решать задачи безусловной оптимизации как с вещественными, так и с бинарными переменными, основная идея которых заключается в кооперативной работе уже известных алгоритмов стайного типа. Исследование эффективности полученных эвристик, проведенное на множестве тестовых задач, показало их работоспособность и целесообразность использования. На базе данных алгоритмов разработана и реализована программная система для автоматического генерирования нейросетевых классификаторов, примененная для решения различных практических задач.

Ключевые слова: стайные алгоритмы, самонастройка, нейронные сети, прогнозирование.

PREDICTORS BASED ON NEURAL NETWOTKS GENERATED BY CO-OPERATIVE BIONIC

OPTIMIZATION ALGORITHMS

Sh. A. Akhmedova

Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation E-mail: [email protected]

New self-tuning collective bionic algorithms, which basic idea consists of co-operative work of already well-known swarm algorithms, were developed for solving unconstrained optimization problems as with real-parameter variables, so with binary variables. Investigation of the effectiveness of obtained heuristics conducted on the set of test problems

Программные средства и информационные технологии

showed their usefulness and workability. Program system for automatically generation of classification tools based on artificial neural networks was developed and implemented and used for solving different real-world problems.

Keywords: swarm algorithms, self-tuning, neural networks, prediction.

В настоящее время существует множество алгоритмов, основанных на идеях кооперации и коэволюции, для решения различных оптимизационных задач, например [1; 2]. Одним из таких алгоритмов является новый коллективный самонастраивающийся бионический алгоритм, названный Co-Operation of Biology Related Algorithms (COBRA), разработанный для решения задач безусловной оптимизации с вещественными переменными, который был впервые описан в [3]. Данная эвристика была разработана на основе пяти известных алгоритмов роевого интеллекта, и суть оптимизационного метода COBRA состоит в их кооперативной работе. Для каждой из компонент-эвристик генерируется своя популяция индивидов; таким образом, в итоге пять алгоритмов работают параллельно, обмениваясь индивидами. Главным преимуществом метода COBRA является возможность автоматической настройки размера популяций для его алгоритмов-компонент, которая осуществляется путем увеличения или уменьшения числа индивидов в популяции на каждой итерации работы программы, в зависимости от пригодности самой популяции. В [4] работоспособность и эффективность алгоритма успешно обоснована на множестве тестовых задач, взятых с конкурса CEC'2013, кроме того, было установлено, что разработанный метод оптимизации COBRA превосходит по результатам тестирования свои алгоритмы-компоненты. В [5] коллективный алгоритм COBRA был модифицирован для решения задач безусловной оптимизации с бинарными переменными; полученный метод был назван COBRA-b. Разработанная модификация COBRA-b была протестирована на тех же задачах, что и алгоритм COBRA, и продемонстрировала достаточно высокую эффективность при их решении.

Оба алгоритма COBRA и COBRA-b затем были успешно применены для автоматического генерирования нейросетевых классификаторов [6]: весовые коэффициенты нейронных сетей настраивались эвристикой COBRA, а структура (количество скрытых слоев сети, количество нейронов на каждом скрытом слое, вид активационной функции для каждого нейрона) выбиралась с помощью метода COBRA-b, т. е. каждая структура представлялась в виде бинарной строки. Предложенный алгоритм автоматического генерирования нейронных сетей основан на идее, высказанной в [7], подобные алгоритмы были применены при решении различных сложных практических задач в [8-10]. На его базе была создана программная система для ЭВМ, зарегистрированная под номером № 2014616237.

В программной системе были использованы следующие установки:

1. Максимальное число скрытых слоев для сети равно 5.

2. Максимальное число нейронов на каждом скрытом слое нейронной сети равно 5.

3. Каждый нейрон кодируется бинарной строкой размерности 4. Вид бинарной строки для нейрона определяет тип ее активационной функций. Настройка осуществляется для 15 активационных функций (сиг-моидальная функция, линейная функция, гиперболический тангенс и т. д.).

4. Если нейрон закодирован бинарной строкой вида «0000», значит на заданном скрытом слое его нет. Для того чтобы определить, какая именно активаци-онная функция закреплена за заданным нейроном, необходимо двоичное число, которым он закодирован, перевести в десятичное число. Последнее определяет номер активационной функции нейрона.

Таким образом, каждая структура нейронной сети представляется бинарной строкой длиной 25-4 = 100. То есть выбор структуры нейронной сети сводится к решению задачи безусловной оптимизации с бинарными переменными, размерность которой равна 100.

В итоге после запуска программы сначала алгоритмом COBRA-b инициализируется популяция структур в виде заданного множества бинарных строк. Далее для каждой структуры подбираются весовые коэффициенты: решается задача безусловной оптимизации с вещественными переменными алгоритмом COBRA, после чего выполняется «основная» работа эвристики COBRA-b, и в конечном итоге выбирается та структура, которая решает заданную задачу классификации лучше всего.

Стоит отметить, что программная система была успешно использована для решения различных практических задач классификации, а именно для задач банковского скоринга и медицинской диагностики.

Библиографические ссылки

1. Гуменникова А. В., Емельянова М. Н., Семен-кин Е. С., Сопов Е. А. Об эволюционных алгоритмах решения сложных задач оптимизации // Вестник Сиб-ГАУ. 2003. № 4. С. 14.

2. Семенкина О. Е., Семенкина О. Э. Исследование эффективности бионических алгоритмов комбинаторной оптимизации // Программные продукты и системы. 2013. № 3 (103). С. 129-133.

3. Akhmedova Sh., Shabalov A. Development and Investigation of Bio-logically Inspired Algorithms Cooperation Metaheuristic // Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO'13). 2013. P. 1417-1418.

4. Akhmedova Sh., Semenkin E. Co-Operation of Biology Related Algorithms // Proceedings of the IEEE Congress on Evolutionary Computation (CEC'2013). 2013. P. 2207-2214.

5. Ахмедова Ш. А., Семенкин Е. С. Новый коллективный метод оптимизации на основе кооперации бионических алгоритмов // Вестник СибГАУ. 2013. № 4 (50). C. 92-99.

6. Akhmedova Sh., Semenkin E., Sergienko R. Automatically Generated Classifiers for Opinion Mining

with Different Term Weighting Schemes // Proceedings of the 11th Intern. Conf. on Informatics in Control, Automation and Robotics (ICINCO'2014). 2014. Vol. 2. P. 845-850.

7. Семенкин Е. С., Шабалов А. А. Система автоматизированного проектирования коллективов интеллектуальных информационных технологий для задач анализа данных // Программные продукты и системы. 2012. № 4 (100). С. 70-73.

8. Brester Ch. Yu., Semenkin E. S. Development of adaptive genetic algorithms for neural network models multicriteria design // Вестник СибГАУ. 2013. № 4 (50). C. 99-103.

9. Stanovov V. V., Semenkin E. S. Self-adjusted evolutionary algorithms based approach for automated design of fuzzy logic systems // Вестник СибГАУ. 2013. № 4 (50). C. 148-152.

10. Khritonenko D. I., Semenkin E. S. Distributed self-configuring evolutionary algorithms for artificial neural networks design // Вестник СибГАУ. 2013. № 4 (50). C. 112-116.

References

1. Gumennikova A. V., Emelyanova M. N., Semenkin E. S., Sopov E. A. VestnikSibGAU. 2003, № 4, p. 14.

2. Semenkina O. E., Semenkina O. E. Programmnye produkty i sistemy. 2013, № 3 (103), pp. 129-133.

3. Akhmedova Sh., Shabalov A. Development and Investigation of Bio-logically Inspired Algorithms Cooperation Metaheuristic. Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO'13). 2013, p. 1417-1418.

4. Akhmedova Sh., Semenkin E. Co-Operation of Biology Related Algorithms. Proceedings of the IEEE Congress on Evolutionary Computation (CEC'2013). 2013, p. 2207-2214.

5. Akhmedova Sh. A., Semenkin E. S. Vestnik SibGAU. 2013, № 4 (50), p. 92-99.

6. Akhmedova Sh., Semenkin E., Sergienko R. Automatically Generated Classifiers for Opinion Mining with Different Term Weighting Schemes. Proceedings of the 11th International Conference on Informatics in Control, Automation and Robotics (ICINC0'2014). 2014, volume 2, p. 845-850.

7. Semenkin E. S.., Shabalov A. A. Programmnye produkty i sistemy. 2012, № 4 (100), p. 70-73.

8. Brester Ch. Yu., Semenkin E. S. Vestnik SibGAU. 2013, № 4 (50), p. 99-103.

9. Stanovov V. V., Semenkin E. S. Vestnik SibGAU. 2013, № 4 (50), p. 148-152.

10. Khritonenko D. I., Semenkin E. S. Vestnik SibGAU. 2013, № 4 (50), p. 112-116.

© AxMegoBa m.A., 2014

УДК 004.932.2

ФОРМИРОВАНИЕ ВЕКТОРОВ ПРИЗНАКОВ ИЗОБРАЖЕНИЯ ПОДПИСИ

Р. П. Баранов

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

E-mail: [email protected]

Рассматривается подзадача задачи идентификации человека по изображению его личной подписи. Приведен подход к предварительной обработке изображения подписи для ее последующего анализа.

Ключевые слова: подпись, идентификация, обработка изображений, распознавание подписи.

FORMATION OF FEATURE VECTORS OF SIGNATURE IMAGE

R. P. Baranov

Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation E-mail: [email protected]

A subtask of the assignment of the person identification by image by person signature is considered. An approach for preprocessing the image signature for subsequent analysis is demonstrated.

Keywords: signature, identification, image processing, pattern recognition signatures.

Известны два основных способа идентификации человека по его личной подписи.

Первый из них основан на динамическом (online) анализе фрагментов подписи в процессе ее

формирования, а второй (off-line) способ основан на исследовании статической подписи и сводится к построению векторов признаков изображения подписи [1].

i Надоели баннеры? Вы всегда можете отключить рекламу.