Основные типы математических моделей узлов нейросистем с пороговыми функциями активации и полиэдральные методы их анализа Текст научной статьи по специальности «Математика»

ОСНОВНЫЕ ТИПЫ МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ УЗЛОВ НЕЙРОСИСТЕМ С ПОРОГОВЫМИ ФУНКЦИЯМИ АКТИВАЦИИ И ПОЛИЭДРАЛЬНЫЕ МЕТОДЫ ИХ АНАЛИЗА

Е.А. ВАСИЛЕВСКАЯ, доц. МГУЛ, канд. пед. наук

Н.Н. ПУДИКОВА, преподаватель филиала МАИ «Взлет», г. Ахтубинск,

К.К. РЫБНИКОВ, проф. МГУЛ, канд. физ.-мат. наук

Функционирование биологического нейрона можно описать как получение сигналов, поступающих через его отростки -дендриты - с последующим анализом совокупности этих сигналов. Итогом анализа является выработка нового сигнала, который посылается другим нейроном или непосредственно к рабочему органу.

Первая простая математическая модель биологического нейрона была предложена американскими учеными: физиологом У. Мак-Каллоком и математиком У. Пит-тсом [1]. В соответствии с этой моделью в качестве исходной информации для нейрона служат сигналы х, поступающие на 1-й вход нейрона от других нейронов или с органа,

находящегося под воздействием внешней среды. Каждый 1-й входной сигнал хг умножается на некоторое число аг (синтапсиче-ский коэффициент). Далее взвешенное произведение а1 х1 + а2х2 +... + апхп алгебраически складывается с сигналом начального возбуждения а0. Результат такого суммирования

п

8 = £ агхг + ао (1)

г=1

подается на блок функционального преобразования Д§). Значение функции Д(8) определяет выходной сигнал нейрона у = Д^). Схематически работа такой модели может быть проиллюстрирована следующим образом

134

ЛЕСНОЙ ВЕСТНИК 1/2006

В научной литературе эта модель получила название: формальный или искусственный нейрон статического типа, или просто формальный нейрон.

Функция выходного блока формального нейрона f(g) называется функцией активации (иногда функцией возбуждения, или переходной функцией).

Функция активации вида (1), рассмотренная в модели Мак-Каллока-Питтса, называется классической. В то же время при рассмотрении различных подходов к анализу модификаций схемы, приведенной на рисунке, выделяют и другие типы математических моделей [2]. Среди них можно отметить нейрон с квадратичным сумматором. В этом случае блок суммирования «£» реализует определение значения функции

Рисунок. Модель нейрона Мак-Каллока-Питтса

Ь0 - сигнал его начального возбуждения.

g = S avx'xj + a0

i, j=1

(2)

где aij - элементы некоторой матрицы

синаптических коэффи-

A = К

Il J lin хn

циентов.

Другой известной моделью является так называемый паде-нейрон, в котором блок суммирования определяется двумя сумматорами, и функция g имеет вид

g=^=

g 2

S ax + ao

i=1

S bx + bo

i =1

(3)

где bi - синаптические коэффициенты второго сумматора;

У = sign (g ) =

Будем полагать, что все рассматриваемые нами функции активации являются пороговыми, т.е. выходной сигнал у определяется следующим образом

[Ь, апёе g < 0; [ с апёе g > 0.

(На практике чаще всего: Ь = 0, с = 1).

Сформулируем теперь задачу настройки формального нейрона. Предположим, что во всем множестве Уп выходных сигналов п-мерных векторов выделено два непересекающихся подмножества х = {х«, ..., х(п')}, I = (1, 2, ..., /1),

X с Уя и ¥ = {у« у2>\ ..., },

] = (1, 2, ..., ^), ¥ с Уя, XП¥ = 0.

Будем говорить, что нейрон различает эти два множества, если при подстановке всех векторов из X неравенство g > 0 выполнено, а при подстановке всех векторов из ¥ не выполнено, т. е.

a1 Xj(i) + a2x2) +... + anx{ln ) + a0 > 0,

i = (1, 2,

ai У1( 1 ) + a2у21 ) +... + any{J) + ao ^ 0,

(4)

= (1, 2, ..., 11)

Если система неравенств (4), где в качестве неизвестных рассматриваются коэффициенты а0, а\, ..., ап, имеет решение, то существуют нейрон, различающий множества X и ¥. При этом набор коэффициентов,

удовлетворяющих (4), называется решением задачи настройки нейрона, а задача решения системы неравенств (4) называется задачей настройки нейрона.

Коэффициенты а0, а1, ..., ап - действительные, поэтому задача определения совместности системы (4) и нахождение хотя бы одного ее решения имеют полиноминальную сложность P(n, t1 + t2). В том же случае, если коэффициенты а0, а1, ..., ап должны быть целочисленными, сложность решения задачи настройки нейрона имеет экспоненциальный вид. Однако если множества X и Y таковы, что матрица

( - x(!) - -и(!)

л2

- х

(¿1)

- х

(¿1)

у;

(1)

У2

(1)

- х

(1)

- х у

(¿1) 1

(1)

,( ¿2)

,( ¿2)

,( ¿2)

-1

-1 1

1

Л

. У У2 УП

абсолютно унимодулярна, то при условии ограниченности полиэдра (4) с условиями неотрицательности коэффициентов нейрона

а0, а1,

ап

соответствующий многогранник

является целочисленным, и задача настройки нейрона сводится к определению его вершины. Сложность решения такой задачи полиноминальна. В работе [3] приводится нижняя достижимая оценка сложности определения всех решений задачи настройки нейрона в этом случае. Она имеет вид

((+ ¿2) п + 2 )• Р (п +1, + ¿2),

где Р(п + 1, ¿1 + ¿2) - полином от п + 1, ¿1 + ¿2.

В работе [4] рассмотрен случай, когда для многогранника, соответствующего условиям (4), выполняются условия целочислен-ности (например, условия Падберга [5]). В этом случае оценка сложности решения задачи настройки нейрона имеет вид

Т(п,¿1,¿2)< ¿2 • I(п,¿1 )(1СВ2 ()(п +1)) 1,

где Ь (п, ) - полином от п, ¿1;

А( X) - наибольший по абсолютной величине среди миноров максимально-

го размера матрицы X, которая получается из матрицы X многогранника упаковок

М(X,е^{и^и < е, и > 0},

где и - п-мерный вектор;

е - вектор, состоящий из ¿1 единичных компонентов, а матрица Х имеет вид

(

X =

.(1)

V х1

Й)

Д1) ^

,(к)

Нижняя достижимая граница оценки сложности в этом случае также имеет вид полинома от ¿1, ¿2, п.

Заметим, что вышеизложенный подход может быть применен и к решению задач настройки паде-нейронов с квадратичным сумматором. В случае паде-нейрона число определяемых синаптических коэффициентов равно 2(п + 1), а для случая нейрона с квадратичным сумматором -(п + 1)(п + 2)/2.

Аналогичный подход может быть применен и к решению задач определения множества входных сигналов для различных узлов нейросистем по известным выходным сигналам. Так, в работе [6] авторы исследовали эту задачу для системы формальных нейронов с одинаковыми пороговыми значениями, сигналами начального возбуждения и выходными параметрами.

Анализ структуры многогранника упаковок M(X, е) прежде всего связан с проверкой свойства абсолютной унимодулярно-сти для матрицы X. Непосредственная проверка этого свойства представляется труднореализуемой, т. к. проверить все миноры матрицы X достаточно сложно.

Поэтому возникает вопрос: как уменьшить объем вычислений путем анализа особенностей матрицы X?

Очевидно, что любая булевая матрица т х п при т = 2 является абсолютно уни-модулярной. Так как одним из базисных миноров будет минор вида

Г1 0^ 0 1

то решением системы линейных Xa < е неравенств будет а1 = а2 = 1, т. е. для задачи малой размерности решение тривиально. Фактически эта задача определения значений коэффициентов функции активации является двойственной к задаче о разбиении, подход для уменьшения размерности которой рассмотрен в [7].

Тогда и для уменьшения размерности задачи настройки формального нейрона размерность матрицы, задающей множество входных сигналов X, можно уменьшить, используя следующие правила (символы хг и ху обозначают соответственно г-ую строку и у-й столбец матрицы X).

Правило 1. Если ху есть нулевой вектор для некоторого у, то ау может принимать произвольные значения.

Правило 2. Если ху есть единичный вектор для некоторого у (т.е. все элементы равны единице), то следует принять ау = 0 и столбец у исключить из дальнейшего рассмотрения.

Правило 3. Если ху - (0,1)-вектор с единственной единицей в к-й строке, то ау = 1 в любом решении, причем строку к вычеркиваем и вычеркиваем столбцы р, для которых хкр = 1. В решении полагаем ар = 0.

Правило 4. Если в оставшейся после применения правил 1-3 подматрице X для всех строк ху > ху для некоторых у и р, то столбец ху можно вычеркнуть.

Правило 5. Если для оставшихся после вычеркивания строк и столбцов части матрицы X выполняются условия Падберга [7, с. 74], то задача имеет целочисленное решение, которое находится симплекс-методом.

Пример 1

Пусть

Г1 1 1 1 1 1 1

X =

0 1 0 1 0 1 0

0 0 1 0 0 0 0

0 1 1 1 0 0 1

1 0 0 0 0 0 0

0 1 0 1 0 1 1

1 0 0 0 1 0 0

0 ^ 0 0 1 0 1

0 У

Так как третий и пятый столбцы содержат ровно по одному ненулевому элементу (х33 = 1; х15 = 1), то в решении системы (1) а3 = а5 = 1, что подтверждает правило 3. Все элементы первого столбца равны единице, следовательно, по правилу 2, а1 = 0. По правилу 3, а4 = 0, т.к. х34 = 1. Все элементы второго, шестого и седьмого столбцов больше или равны соответствующим элементам восьмого столбца. Значит, по правилу 4, а2 = а6 = а7 = 0, а8 = 1. Полученное решение а3 = а5 = а8 = 1, а1 = а2 = а4 = а6 = а7 = 0 является целочисленным и совпадает с решением, полученным симплекс-методом.

Пример 2

Пусть

X =

Г 0 1 0 1 1 0 1 ^

0 0 1 0 1 0 1

1 0 1 0 1 0 1

0 0 1 1 0 1 1

0 0 0 0 0 0 1

0 1 1 0 0 0 0

V 0 1 0 0 1 1 0 У

Первый столбец содержит единственную единицу (х31 = 1), следовательно, по правилу 3, а1 = 1. В третьей строке, кроме первого столбца, единичные элементы находятся еще в третьем, пятом и седьмом столбцах. Следовательно, по правилу 3, а3 = а5 = а7 = 0. В оставшейся после исключения третьей строки первого, третьего, пятого и седьмого столбцов части матрицы содержится минор третьего порядка (подчеркнутые элементы исходной матрицы X), удовлетворяющей п—К свойству Падберга [7] для в= 2, к= 3. Поэтому задача целочисленного решения не имеет (правило 5). Симплекс-методом получено решение

а1 = 1; а2 = а4 = а6 = 1/2; а3 = а5 = а7 = 0.

Библиографический список

1. Гаврилкевич, М.В. Введение в нейроматематику / М.В. Гаврилкевич // Обозрение прикладной и промышленной математики. - Т. 1. - Вып. 3. -1994. - С. 377-388.

2. Комарцова, Л.Г. Нейрокомпьютеры / Л.Г. Комар-цова, А.В. Максимов. - М.: МГТУ им. Н.Э. Баумана, 2002 - 319 с.

3. Рыбников, К.К. Об оценках сложности решения задач настройки пороговых элементов / К.К. Рыбников // Обозрение прикладной и промышленной математики. - Т. 12. - Вып. 1. -2005. - С. 181-182.

4. Рыбников, К.К. Задача настройки формального нейрона с пороговой функцией входных сигналов / К.К. Рыбников // Обозрение прикладной и промышленной математики. - Т. 12. - Вып. 3. - 2005. - С. 766-767.

5. Емеличев, В. А. Многогранники. Графы. Оптимизация / В.А. Емеличев, М.М. Ковалев, М.К. Кравцов. - М.: Наука, 1981 - 344 с.

6. Рыбников, К. К. Об определении множества входных сигналов для системы формальных нейронов с одинаковыми пороговыми значениями и выходными параметрами / К.К. Рыбников, Е.А. Василевская, Н.Н. Пудикова // Обозрение прикладной и промышленной математики. - Т. 12. -Вып. 3. - 2005. - С. 767-768.

7. Ковалев, М.М. Дискретная оптимизация (целочисленное программирование) / М.М. Ковалев. -М.: Едиториал УРСС, 2003. - 192 с.