CC BY
258
Актуальные проблемы авиации и космонавтики - 2014. Информационные технологии
УДК 004.032.26
Д. В. Щеголькова, Е. И. Орешкина Научный руководитель - Л. В. Липинский Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск
АНАЛИТИЧЕСКИЙ ОБЗОР СУЩЕСТВУЮЩЕГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ, РЕШАЮЩЕГО ЗАДАЧИ ФОРМИРОВАНИЯ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ
Приведены краткое описание и результаты осуществления аналитического обзора существующих нейро-пакетов, решающих задачи в области формирования нейросетевых моделей.
Сферы применения нейронных сетей весьма обширны: экономика и бизнес, медицина, автоматизация производства, геологоразведка и многие другие. Соответственно, существует множество инструментов для формирования нейросетевых моделей и работы с ними. Помимо достаточно распространенных коммерческих программных продуктов существуют специализированные некоммерческие программные средства, разработанные исследователями и позволяющие применять нейронные сети для решения практических задач.
Разобраться в таком многообразии предлагаемых программ достаточно сложно. Логично в качестве критерия выбора инструмента использовать ориентацию нейропакета под конкретный класс задач, но большинство создателей нейросетевых программных средств заявляют об универсальности программного продукта и широте применения для решения различных задач.
Иногда достаточно простого программного решения, предназначенного для рядового пользователя. Но не исключена возможность возникновения необходимости использования каких-либо дополнительных возможностей нейропакета, например, наличие в программе генератора исходного кода, что позволяет применять внешние модули при построении и обучении нейронной сети. Рынок программных продуктов обеспечивает такого «продвинутого» пользователя соответствующими расширениями к реализации основного функционала нейропакета.
Таким образом, целью нашего исследования является анализ существующих нейропакетов с точки зрения наличия у таковых достоинств и недостатков, а также, дополнительных возможностей, помимо непосредственного моделирования нейросетевых моделей.
В рамках данной работы были рассмотрены следующие программные продукты: Neural
Network Toolbox, NeuroSolutions, NeuralWorks Professional, NeuroShell 2, BrainMaker Pro и STATISTICA Automated Neural Networks.
По мнению авторов статьи BrainMaker Pro 1994 года выпуска является самым простым из рассмотренных программных систем. Обучение НС здесь осуществляется с помощью алгоритма обратного распространения ошибки. Достоинством является большое число параметров настройки алгоритма обучения, а недостатками - отсутствие наглядности процесса моделирования и достаточно сложный пользовательский интерфейс. Цена: $850.
Neural Network Toolbox входит в состав интегрированной среды MATLAB, содержит средства для
проектирования, моделирования, разработки и визуализации НС. Слабой стороной данного пакета является то, что создание и настройка нейросети требует от пользователя наличия навыков программирования, а преимуществом служит открытая архитектура среды MATLAB, которая позволяет использовать нейронные сети, не только как самостоятельный инструмент, но и в совокупности с иными инструментами, а также реализовывать свои средства предобработки и постобработки данных, применять собственные алгоритмы обучения и т. д. [1]. Средняя стоимость -895 долл.
NeuroSolutions - система, которую можно менять и дополнять посредством имеющегося встроенного макроязыка [2]. В ней имеется мастер стандартных нейросетевых архитектур (Neural Wizard), посредством которого быстро организовывается структура, обучающая выборка, методы и критерии обучения НС. Преимуществами данного программного продукта являются наличие средств визуализации процесса создания и работы НС, а также встроенные конверторы данных, поддерживающие изображения формата BMP, файлы с числовыми или символьными данными, функции непрерывного аргумента (например, времени), заданные в аналитическом виде или в виде выборки значений. Цена: 795 долл.
NeuralWorks Professional - мощное средство для моделирования НС, в котором реализованы 28 нейронных моделей, и внушительное количество алгоритмов обучения [2]. Как и в вышеназванных пакетах в NeuralWorks Professional имеется система визуализации данных. В качестве положительно момента следует отметить наличие модуля UDND (User Define Neural Dynamics), позволяющего создавать собственные нейронные структуры. Ценовой диапазон от 1 995 долл. до 4 995 долл.
NeuroShell 2 - одна из трёх программ пакета The Al Trilogy, предназначенная для моделирования нескольких наиболее известных моделей НС. Отрицательным моментом является наличие жесткой последовательности действий при моделировании НС, поскольку для внесения изменений приходиться заново осуществлять проделанную последовательность действий. Безусловные преимущества - инструменты обмена данными, представленными в текстовом бинарном виде, а также в наиболее распространенных финансовых форматах. Примерная стоимость 995-7 495 долл. [4].
STATISTICA Automated Neural Networks - достаточно мощный и простой в использовании инструмент, который способствует работе пользователя,
Секция «Математические методы моделирования, управления и анализа данных»
помогает пройти все этапы создания разного рода нейросетей и выбрать наилучшую [5]. Осуществляется поддержка архитектур НС практически неограниченного размера, загрузки и анализа нескольких моделей. Имеется инструмент, который позволяет в автоматизированном режиме строить различные архитектуры НС и регулировать их сложность. Явных недостатков выявлено не было. Приблизительная стоимость 999-3 334 долл.
Практически все программные продукты обладают средствами визуализации процесса создания и работы НС. Одной из дополнительных функций всех вышеперечисленных нейросетевых пакетов является встроенный генератор исходного кода, отличие лишь составляют компиляторы, которые они поддерживают. Ценовой диапазон весьма обширен: от 800 до 7 500 долл. и зависит от количества приобретаемых лицензий, платформы компьютера и степени «профессиональности» версии.
Библиографические ссылки
1. Neural Network Toolbox [Электронный ресурс] : офиц. сайт программы. URL: http://matlab.ru/products/ neural-network-toolbox (дата обращения: 18.03.2014).
2. NeuroSolutions [Электронный ресурс] : офиц. сайт программы. URL: http://www.neurosolutions.com/ (дата обращения: 18.03.2014).
3. NeuralWorks Professional [Электронный ресурс] : офиц. сайт программы. URL: www.neuralware.com (дата обращения: 18.03.2014).
4. Neuroshell [Электронный ресурс] : офиц. сайт программы. URL: http://www.neuroshell.com/ (дата обращения: 18.03.2014).
5. STATISTICA Automated Neural Networks. Автоматизированные нейронные сети [Электронный ресурс]. URL: http://www.statsoft.ru/products/ STATISTICA_Neural_Networks (дата обращения: 18.03.2014).
© Щеголькова Д. В., Орешкина Е. И.. 2014
УДК 004.032.26
Д. В. Щеголькова, Е. И. Орешкина Научный руководитель - Л. В. Липинский Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск
О ПОДХОДАХ К ВЫБОРУ СТРУКТУРЫ НЕЙРОННОЙ СЕТИ НА ПРИМЕРЕ МНОГОСЛОЙНОГО ПЕРСЕПТРОНА
Приведены обоснование выбора и результаты реализации такого подхода к формированию структуры НС как поэтапное наращивание, а также предложены рекомендации по улучшению работы исследуемого алгоритма.
На сегодняшний день нейронные сети являются эффективным средством интеллектуального анализа данных. Однако, специалистам предметных областей, не связанных с математикой и анализом данных сложно ориентироваться в настройках нейронных сетей. И если для весовых коэффициентов разработаны и исследованы процедуры оптимизации (такие как, алгоритм обратного распространения ошибки, метод сопряженных градиентов и другие градиентные алгоритмы), то поиск эффективной структуры формализовать сложнее. Из чего можно заключить, что разработка эффективной процедуры выбора структуры НС является актуальной исследовательской задачей.
Один из главных вопросов при реализации нейронной сети - моделирование архитектуры (выбор количества скрытых слоtв, количества нейронов для каждого скрытого слоя, способы соединения этих нейронов, направления распространения сигналов и проч.). Существуют различные типы архитектур НС, которые принято разделять на два больших класса: сети прямого распространения сигнала и сети с обратными связями (рекуррентные).
Нейронные сети с обратными связями, относящиеся ко второму классу, позволяют прохождение сигналов в обоих направлениях. Среди НС с обрат-
ными связями наиболее популярными являются сеть Кохонена, сеть Хопфилда и АЯТ-модели.К первому классу относят сеть радиально-базисных функций и персептроны [1].
На практике наибольшее распространение получили именно многослойные персептроны. Персептрон имеет простую структуру и относительно универсален. Многослойные персептроны применяют для решения задач аппроксимации, прогнозирования, управления классификации и т. д. Простота и универсальность персептрона являются основанием выбора его в качестве основы. В данном исследовании поиск эффективных структур будет осуществляться на основе этого типа архитектуры НС.
В число основных подходов к формированию структуры нейронной сети входят упрощение нейронной сети и ее наращивание.
При первом подходе задаются некоторой избыточной структурой нейронной сети, и адаптивные параметры находят путем обучения сети. Зачастую это приводит к тому, что в нейронной сети присутствует некоторое число избыточных элементов, без которых можно вполне обойтись при решении конкретной задачи. Удаление таких элементов из нейросети называется упрощением сети. Второй подход предполагает поэтапное усложнение НС.
