О вариантах декомпозиции искусственных нейронных сетей для дальнейшего обучения с использованием модульного принципа Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.95

О ВАРИАНТАХ ДЕКОМПОЗИЦИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ДАЛЬНЕЙШЕГО ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ МОДУЛЬНОГО ПРИНЦИПА

© В.П. Рыков

Ключевые слова: искусственные нейронные сети; модульный принцип обучения.

Рассматриваются идеи деления искусственных нейронных сетей на составные части - модули для их дальнейшего обучения с использованием модульного подхода.

ВВЕДЕНИЕ

Нейронные сети - это одно из направлений исследований в области искусственного интеллекта, основанное на попытках воспроизвести нервную систему человека, а именно, способность нервной системы обучаться и исправлять ошибки, что должно позволить смоделировать, хотя и достаточно грубо, работу человеческого мозга [1]. Искусственные нейронные сети (ИНС) прочно вошли в нашу жизнь и в настоящее время широко используются при решении самых разнообразных задач и активно применяются там, где обычные алгоритмические решения оказываются неэффективными или вовсе невозможными. В числе задач, решение которых доверяют искусственным нейронным сетям, можно назвать следующие: классификация, прогнозирование временных рядов, распознавание образов, игра на бирже, проверка проведения подозрительных операций по банковским картам - и это далеко не все.

Однако использование нейронных сетей на практике предполагает ряд неудобств, например, таких как необходимость значительных временных затрат на обучение сети или сложность подбора оптимальной структуры ИНС. Возможным вариантом повышения скорости обучения может являться модульный принцип, заключающийся в последовательном поиске решения не во всем пространстве весовых коэффициентов, а отдельно для каждого модуля сети [2].

Для эффективного использования модульного подхода к обучению ИНС необходимо ответить на ряд важных вопросов:

- в каких случаях деление нейронной сети на модули является обоснованным;

- сколько нейронов должно быть в каждой части ИНС.

Таким образом, цель данной работы - показать, в

каких случаях применение модульного принципа обучения искусственных нейронных сетей является обоснованным; как осуществить деление структуры сети на отдельные модули.

КАК ОСУЩЕСТВИТЬ ДЕЛЕНИЕ НЕЙРОННОЙ СЕТИ НА МОДУЛИ

Деление сети соответственно функциям активации. Один из принципов декомпозиции гласит: слож-

ная система может быть разделена только по одному постоянному для всех уровней признаку [3]. Применительно к структуре искусственных нейронных сетей в качестве такого признака можно рассматривать тип функции активации нейронов (рис. 1).

Такой подход к делению структуры нейронной сети предоставляет большие возможности для обучения. Очевидно, что различные функции активации по-разному работают с тем или иным алгоритмом обучения, а также с его параметрами (шаг алгоритма, требуемое значение ошибки, интервал поиска весовых коэффициентов). Поэтому группировка нейронов соответственно используемым в них функциям активации позволяет применять для каждого модуля те методы или параметры обучения, которые являются более эффективными для данной функции, т. е. различные алгоритмы или параметры обучения для каждого модуля сети.

«Особые» структуры ИНС. Аналогичные преимущества при применении модульного подхода к обучению искусственных нейронных сетей могут быть получены с использованием особых топологий нейронных сетей, уже как бы «разделенных на блоки» (сеть Ворда; сеть, построенная с использованием теоремы Колмогорова).

Теорема (Колмогорова). Каждая непрерывная функция п переменных, заданная на единичном кубе п-мерного пространства, представима в виде [4]:

2п+1

/ (*1 .*2 ’-’Хп ) = I

р=і

(1)

где функции ф непрерывны, а функции Н, кроме того, еще и стандартны, т. е. не зависят от выбора функции /.

Рис. 1. Группировка нейронов соответственно функциям активации

В частности, каждая непрерывная функция двух переменных х и у представима в виде:

/(Х>У) = Ьд [ д (х) + фд (У)\ (2)

д=

Схема ИНС-модели, соответствующая теореме Колмогорова, представлена на рис. 2. Из рис. 2 видно, что в скрытых слоях нейроны как бы сгруппированы в отдельные блоки, а значит, поочередно обучая каждый из них тем или иным алгоритмом, можно добиться минимизации времени обучения. От функций активации нейронов требуется только нелинейность [4]. Используя теорему Колмогорова, можно так построить сеть связей и подобрать коэффициенты, чтобы нейронная сеть сколь угодно точно вычисляла любую непрерывную функцию от входов.

Аналогично может применяться топология нейронной сети Ворда (рис. 3). Сеть показывает хорошие результаты для задач прогнозирования и распознавания образов. Функции активации нейронов скрытого и выходного слоев подбираются экспериментально. Функции активации нейронов входного слоя, как правило, линейны. К примеру, в случае обучения с использованием модульного принципа нейронной сети, представленной на рис. 3, сеть может быть разделена на три модуля: левый модуль, нейроны которого имеют одну функцию активации; правый модуль, нейроны которого используют другую функцию активации; средний модуль, в котором весовые связи связывают входы и выход сети напрямую. Поочередно обучая каждый из модулей сети различными алгоритмами и параметрами, можно сэкономить суммарное время, необходимое для обучения.

Нейронные сети «составного объекта». Кроме того, применение модульного подход к обучению ИНС может дать существенный эффект в плане увеличения скорости обучения для «составных» сетей - сетей, включающих в себя несколько объектов. Примером такой сети может являться сеть, реализующая какой-либо алгоритм шифрования, когда одним объектом является шифратор, другим - дешифратор. В таком случае появляется возможность разбить исходную нейронную сеть на соответствующие модули и производить обучение поочередно каждого из них до достижения желаемого значения невязки.

Рис. 2. Топология нейронной сети, построенная с использованием теоремы Колмогорова

Рис. 3. Топология сети Ворда

Деление нейронной сети путем поиска минимально возможной ошибки обучения.

, M

E = MIЬ -d>2 • (3)

M 1=1

где M - число строк в обучающей выборке; dt - реальный выход; yt - выход ИНС.

Идея заключается в поиске такого модуля сети, при обучении которого начальная ошибка является минимальной. Таким образом, необходимо разбить исходную нейронную сеть на модули так, чтобы каждый их них имел «лучшие способности» к обучению, выражающиеся в наименьшей начальной ошибке.

ВЫВОД

Описаны теоретические идеи, отвечающие на вопрос, как осуществить деление нейронной сети на модули. Следует отметить, что практически все рассмотренные выше идеи нуждаются в проверке вычислительными экспериментами, поэтому на данном этапе являются теоретическими. Кроме того, необходимо выяснить, как влияет тот или иной алгоритм обучения на различные функции активации, и определить, каков должен быть минимальный размер нейронной сети, обучение которой с использованием модульного принципа имеет преимущество.

ЛИТЕРАТУРА

1. Нейронные сети - от теории к практике. URL: http://www.mql5.com/ru/articles/497. Загл. с экрана.

2. Арзамасцев А.А., Рыков В.П. Модель искусственной нейронной сети (ИНС) с реализацией модульного принципа обучения // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2012. Т. 17. Вып. 4. С. 1219-1224.

3. Хорошев А.Н. Введение в управление проектированием механических систем: учеб. пособие. Белгород, 1999.

4. Арзамасцев А.А., Зенкова Н.А. Искусственный интеллект и распознавание образов: учеб. пособие. Тамбов, 2010.

Поступила в редакцию 8 апреля 2013 г.

Rykov V.P. ON VARIANTS OF DECOMPOSITION ARTIFICIAL NEURON NETWORKS FOR FURTHER STUDY WITH USE OF MODULE PRINCIPLE

The ideas of separation of artificial neuron networks on composite parts - modules for their further study with use of module approach are considered.

Key words: artificial neuron networks; module principle of srudy.