Интеллектуальные системы и технологии Текст научной статьи по специальности «Компьютерные и информационные науки»

Решетнеескцие чтения. 2015

УДК 004.89

ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ

В. Б.Звонков

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

Е-mail: [email protected]

Рассмотрены некоторые направления исследований в рамках III Международной летней школы-семинара по искусственному интеллекту ISyT-2015. Представлены исследования автора в данном направлении.

Ключевые слова: искусственный интеллект, оптимизация, искусственные нейронные сети, машинное обучение.

INTELLIGENT SYSTEMS AND TECHNOLOGIES

V. B. Zvonkov

Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]

Some areas of artificial intelligence have been described in the III International summer school-seminar ISyT-2015. Author's research is represented in this direction.

Keywords: artificial intelligence, optimization, artificial neural networks, machine learning.

Автором было принято очное участие с докладом и пройдена программа школы-семинара [2] в Тверь-Протасово 1-5 июля 2015 года. Моделирование поведения и игры роботов, оптимизация, генерация случайных чисел, кооперативное поведение и альянсы, модели генетических алгоритмов (ГА), искусственных нейронных сетей (ИНС), экспертных систем -только некоторые из докладов ученых, студентов и аспирантов.

В. Г. Редько из НИИ системных исследований РАН сделал доклад на тему «Моделирование взаимодействия между обучением и эволюцией»: были рассмотрены предпосылки моделирования взаимодействия между обучением и эволюцией, модели предшественников (НШоп, Nowlan, 1987; Мау1еу, 1997), каноническая модель эволюции, т. е. модель квазивидов (Эй-ген, 1971), оценки скорости и эффективности эволюции, модель взаимодействия между обучением и эволюцией на основе метода проб и ошибок в метрике Хемминга и отбора на основе рулеточного метода, механизм генетической ассимиляции, эффект экранирования и влияние нагрузки на обучение и другие вопросы.

В. Н. Вагин и О. Л. Моросин сделали доклад на тему «Правдоподобные рассуждения. Машинное обучение. Аргументация». «Информационный взрыв» привёл к необходимости развития методов машинного обучения на обучающих выборках. На входы алгоритмов подаются объекты с атрибутами (номинальные и числовые). Решались задачи обобщения с помощью нейронных сетей, байесовских сетей доверия, деревьев решений, ГА и эволюционного программирования, теории приближённых множеств. Рассмот-

рены методы индуктивного и дедуктивного формирования понятий, алгоритмы аргументации рассуждений.

A. А. Кулинич из ИПУ РАН сделал доклад на тему «Модель командного поведения агентов (на примере футбола роботов)». Предложена математическая модель командной работы агентов на основе критериев полезности агентов и их когнитивных диссонансов. На основе предложенной модели разработана имитационная модель игры агентов (роботов) в виртуальный футбол. Индивидуальные отличия агентов по скорости перемещения создают условия самоорганизации в команде. Моделирование эгоистичного поведения агентов одной из команд выявило факт уменьшения когнитивного диссонанса этих агентов (все агенты забивают равное число голов) и увеличения индивидуальной игры, что выражается в сокращении числа пасов в эгоистичной команде. Предложенная модель может служить алгоритмической основой для реализации поведения автономных роботов в задачах кооперации в сложных динамических ситуациях и в условиях противодействия противников.

B. Б. Бритков, Г. В. Ройзензон из Института системного анализа РАН представили работу «Об одном подходе определения перспективных направлений инновационного развития». Была разработана методология и система критериев, позволяющая определять перспективные направления исследований из больших данных в наукометрии. Были рассмотрены существующие интернет-системы семантического анализа НИР: Scopus, Web of Science, eLibrary, Google Scholar, Exactus Expert и т. д. Рассмотрен синергети-

Математические методы моделирования, управления и анализа данных

ческий подход в задаче анализа больших данных В. Б. Тарасова (2001) (семантический анализ в сочетании с методами многокритериального экспертного оценивания).

О. П. Кузнецов, Л. Ю. Жилякова из Института проблем управления имени В. А. Трапезникова РАН сделали доклад «Динамические процессы в больших сетях». Сложные (большие) сети - это графы, содержащие более десятков тысяч вершин (сети авиационных линий, социальные сети, нейронные сети и др.). Кластеры - подграфы, близкие к полным. Теория случайных графов была создана в середине ХХ века венгерскими математиками П. Эрдешем и А. Реньи. Динамика сложных сетей включает в себя динамику топологии (модели роста и модели случайной эволюции) и динамику состояний при фиксированной топологии (потоковые модели, распространение активности). Для биологических объектов динамика топологии - это процессы развития (медленное время); динамика состояний - текущие процессы (быстрое время). А также были рассмотрены другие вопросы из области нейрофизиологии и когнитивных процессов.

Я. Б. Казанович из Института математических проблем биологии РАН сделал доклад на тему «Как животные ориентируются в пространстве? Экспериментальные факты и модели». Нобелевская премия была присуждена Джону О'Кифу и Мэй-Бритт и Эдварду Мозерам за открытие клеток места в гиппокам-пе. Это нейроны, позволяющие ориентироваться в пространстве путем построения «карты местности» (1971). Клетки решетки в энторинальной коре - это нейроны, формирующие гексагональную решетку для представления координат на местности (2005). Конкурирующие работы: нейроны распознавания лиц (Эдмунд Роллс, 1984), зеркальные нейроны (Джакомо Риццолатти, 1996), нейроны времени (Эйхенбаум, 2007).

Автором были объединены два доклада [1] и [2] в один в силу их логической взаимосвязи. ЭА, ЭС, ГА используются при решении различных задач, но проблемой на сегодняшний день является необходимость их выбора и настройки. Если существует достаточно много подходов по самонастройке (EDA - в западной зарубежной литературе), то по самоорганизации их пока не существует. Предложенный алгоритм отличается от аналогов введением взвешивающей функции вероятностей, параметра количества поколений для набора статистики и других параметров. Разработанные модификации ГА одно- и многокритериальной оптимизации (SPEA), автоматического выбора и настройки структур комитетов ИНС были апробированы на различных тестовых (35 задач одно- и многокритериальной оптимизации с западных зарубежных конференций по ЭА, а также разработанных автором работ, 5 задач нейросетевой аппроксимации функций) и прикладных задачах моделирования (гидротурбина), оптимизации (задачи простого и синдицированного кредитования российских предприятий и банков), прогнозирования (евро и доллара США на основании нейросетевого анализа исторических данных от 01.01.1999 г. и 01.07.1992 г. с сайта ЦБ РФ и приме-

нения методов фундаментального анализа мировой экономической и политической ситуации). Первоначально была решена задача построения общего тренда во временных рядах, затем был получен более точный прогноз. Были введены 2 критерия прогнозирования курсов валют: относительная ошибка прогнозирования в % и процент правильных предсказаний повышения или понижения курса (например, это бывает нужно трейдерам на биржах или в игре «Что? Где? Когда?»). Были выработаны рекомендации по настройке и использованию нейроэволюционных методов в ручном режиме. Разработанные алгоритмы были реализованы в виде трёх программных систем с дружественным пользовательским интерфейсом на языке высокого уровня С++ в средах программирования Visual Studio и C++ Builder и зарегистрированы в Роспатенте. Исследования проводились с использованием методов имитационного моделирования (многократные прогоны по 500 или 1000 запусков с последующим расчётом выборочного среднего, разброса, среднеквадратического отклонения), нейроэволюци-онных методов, исследования операций, статистических методов проверки гипотез (Wilcoxon matched pair test для проверки нулевой гипотезы об извлечении пары выборочных значений критериев эффективности из одной генеральной совокупности; ANOVA -аналогично множественный анализ различий). Перебор множества настроек алгоритмов осуществлялся на конечных дискретных множествах мощностью 360 и 1800 для задач безусловной и условной оптимизации соответственно для стандартного ГА. Первоначально решались задачи оптимизации функций двух переменных, затем алгоритм был обобщен и применен к решению задач оптимизации гибридных функций 20 переменных с конференции CEC-2005. Строились графики сходимости ГА: минимальная, средняя и максимальная пригодность по популяции увеличивается при увеличении номера поколения. Общие настройки: 20 нейронов на 20 скрытых слоях, разделение имеющейся выборки на обучающую и экзаменующую случайным образом в соотношении 90 % и 10 %. Алгоритм обратного распространения ошибки: скорость обучения - 0,3, момент инерции - 0,2, число эпох - 2000. Самоорганизующийся бинарный ГА: 15 активационных функций, автоматический выбор методов и настройка параметров. Предобработка данных: выборка официальных курсов евро не нормализовалась, выборка доллара США нормализовалась из-за дефолта 1998 года. Эксперименты проводились в различных ОС Windows и Linux и на 8 одно- и многоядерных конфигурациях ЭВМ.

Библиографические ссылки

1. Звонков В. Б. О сложностях и механизмах прогнозирования евро // Системный анализ и информационные технологии : сб. науч. тр. VI Междунар. конф. Калининград, 2015. 13 с.

2. Звонков В. Б. Прогнозирование евро и доллара США самоорганизующимися алгоритмами на аппаратно-программных комплексах // Интеллектуальные системы и технологии: современное состояние и пер-

Решетнееские чтения. 2015

спективы : тр. III Междунар. летней школы-семинара по искусственному интеллекту для студентов, аспирантов и молодых ученых (1-5 июля 2015, г. Тверь), ТГТУ, 2015. 10 с.

References

1. Zvonkov V. B. Complexities and mechanisms of euro forecasting about // Proceedings of the six International conference "System analysis and information technologies". Kaliningrad, 2015. 13 p. (in Russ.).

2. Zvonkov V. B. Forecasting of Euro and Dollar USA courses with self-organizing algorithms and various hardware-software complexes // Intelligent systems and technology: current status and prospects. Proceedings of the International summer school-seminar on artificial intelligence for students, post-graduate students and young scientists (1-5 July 2015). Tver : Tver state technical university, 2015. 10 p. (in Russ.).

© Звонков В. Б., 2015

УДК 004.93

ПРОЕКТИРОВАНИЕ НЕЙРОСЕТЕВОГО КЛАССИФИКАТОРА ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ЭМОЦИЙ*

И. А. Иванов

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

E-mail: [email protected]

При использовании алгоритмов машинного обучения для решения практических задач возникает проблема настройки параметров алгоритма. Использовался алгоритм многокритериальной оптимизации для поиска коллектива Парето оптимальных нейронных сетей применительно к задаче распознавания эмоций человека по аудио- и видеоинформации.

Ключевые слова: многокритериальная оптимизация, нейронные сети, распознавание эмоций, коллектив классификаторов, синтез мультимодальных данных.

NEURAL NETWORK CLASSIFIER DESIGN TO SOLVE EMOTION RECOGNITION PROBLEM

I. A. Ivanov

Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]

Using machine learning algorithms to solve practical problems is connected with the problem of algorithm's parameter tuning. In this work we use a multi-objective optimization algorithm to search for the ensemble of Pareto optimal neural networks, which is used to solve the human emotion recognition problem based on audio and visual information.

Keywords: multi-objective optimization, neural networks, emotion recognition, ensemble of classifiers, multimodal data fusion.

Введение. Решение задач машинного обучения состоит из нескольких этапов: получение и предобработка «сырых» данных для формирования обучающей и тестовой выборки, снижение размерности признакового пространства, применение алгоритма обучения для классификации. Последний этап, включающий в себя выбор алгоритма и настройку его параметров, является очень важным, так как зачастую качество решения задачи машинного обучения очень сильно зависит от оптимальной настройки выбранного алгоритма. В данной работе рассмотрено применение многокритериального метода к настройке нейросете-вых классификаторов на примере задачи классифика-

ции эмоций с целью повышения точности классификации.

Задача распознавания эмоций. Эмоция - психический процесс средней продолжительности, отражающий субъективное оценочное отношение к существующим или возможным ситуациям. Эмоции отличаются от таких процессов, как аффект, чувство и настроение [1].

Эмоции характеризуются валентностью (тоном), т. е. могут быть положительными или отрицательны-

* Работа выполнена в рамках и при финансовой поддержке проекта ММЕП57414Х0037.