CC BY
38
УДК 517.96
ОБЛАСТЬ УСТОЙЧИВОСТИ В ПРОСТРАНСТВЕ ПАРАМЕТРОВ РЕКУРСИВНЫХ НЕЙРОННЫХ СЕТЕЙ С ТОПОЛОГИЕЙ МНОГОМЕРНОГО КУБА1
С.А. Иванов2
Получены критерии устойчивости дискретных нейронных сетей с топологией многомерного куба. Построены области устойчивости в пространстве параметров для таких сетей. Задача сводится к проблеме устойчивости матричных разностных уравнений высоких порядков с запаздыванием. Основным средством решения проблемы являются конусы устойчивости.
Ключевые слова: нейронные сети, разностные матричные уравнения, устойчивость разностных уравнений, многомерный куб.
Введение
Мы рассматриваем нейронные сети с топологией многомерного куба с одинаковыми запаздываниями во взаимодействии между нейронами в сети. Такие модели сетей используются при построении многопроцессорных вычислительных систем суперкомпьютеров [1].
Сеть с топологией п -мерного куба образуют нейроны с метками, являющимися п -мерными векторами компоненты, которых либо 0, либо 1. Два нейрона сети связаны тогда и только тогда, когда их метки отличаются только одной координатой. Связи для трехмерной сети изображены на рис. 1.
В результате линеаризации вокруг стационарного решения уравнений нейронной сети с топологией п -мерного куба получается линейное матричное разностное уравнение
х, =у1хз_1 + к, 5 = I2... , О)
где х5 - вектор сигналов нейронов в момент 5 . Вектор
2п
, характеризует отклонения сигналов
нейронов от стационарных, I - единичная 2п X 2п матрица, /(—1 <у< 1) - коэффициент затухания колебаний
нейронов, дп - матрица размера 2п X 2п , характеризующая взаимодействия между нейронами в сети, к - запаздывание во взаимодействии между нейронами.
Уравнение (1) принадлежит классу матричных разностных уравнений вида:
Х = Ах,—1 + Вх,—к , 5 = I2-.. , (2)
которые обладают важным для нас свойством: матрицы А, В могут быть приведены к треугольному виду одним преобразованием. Поэтому мы имеем возможность применить метод конуса устойчивости [7] для устойчивости этих уравнений.
Пусть и ^ - метки связанных между собой нейронов, и одна из координат равна 0, в то время как соответствующая координата метки ^ равна 1. Обозначим силу воздействия нейрона с меткой ^0 на нейрон с меткой ^ посредством а , а силу обратного воздействия посредством Ь . Тогда блочная 2п X 2п матрица дп в (1) определяется рекуррентно равенствами:
Рис. 1. Нейронная сеть с топологией трехмерного куба
Q1 =
f 0
(
Qn =
Qn—і ьі }
aI Qn—1
(З)
a
1 Работа поддержана грантом Министерства образования и науки 1.1711.2011 и грантом для аспирантов Челябинского государственного педагогического университета.
2 Иванов Сергей Александрович - аспирант, кафедра математического анализа, Челябинский государственный педагогический университет.
Краткие сообщения
Мы ставим задачу изучить область устойчивости системы (1) в пространстве параметров g, a, b, k при разных значениях n .
Конус устойчивости для диагностирования устойчивости нейронных сетей
В работах [Т, S] введены конусы устойчивости для диагностирования устойчивости систем вида (2) с матрицами A, B, одновременно приводимыми к треугольному виду. Аналогичные конусы устойчивости для дифференциальных уравнений введены в [9]. Для решения задачи устойчивости нейронных сетей с топологией связей n-мерного куба нам понадобится техника конусов устойчивости, которую мы здесь изложим.
Определение 1. Конусом устойчивости для уравнения вида (2) для данного k мы называем множество точек M = (u1, u2, u3) є R , такое что
u1 + iu2 = exp(ikw) — h exp(i(k — 1) w), u3 = h, (4)
где параметры h, ш связаны соотношениями:
sin kw p p
0 < h <---------,----<w< — . (5)
sin(k — 1)w k k
Теорема 1 [Т]. Пусть A,B,Sє R2 X2 и S_1 AS = AT,S_1BS = BT , где AT,BT - треугольные матрицы с диагональными элементами і, ,ц, соответственно (1 < j < 2n). Построим точки M = (u1,u2,u3)є R3 (1 < j < 2n) так, что
u1 j + iu2 j = mj exp(— ik arg 1 ), u3j = Ы . (6)
Тогда уравнение (2) асимптотически устойчиво, если и только если все точки M j лежат внутри конуса устойчивости (4), (6) для данного k . Если некоторая точка Mj лежит вне конуса устойчивости, то уравнение (2) неустойчиво.
Теорема 1 сводит задачу диагностирования устойчивости системы (2) порядка (2n X2n) к геометрической задаче в R3 : асимптотическая устойчивость системы равносильна условию, что все точки Mj (1 < j < 2n) лежат внутри конуса устойчивости (4), (6) для данного k .
Собственные значения матрицы Qn
Теорема 2. Собственные числа mnj (1 < j < 2n) матрицы Qn удовлетворяют рекуррентному соотношению
\ u, +4ab,еслиІ < j < 2n
Mn+i,j = \ Jr- n n+1, (Т)
ymnj —4ab, если2 +1 < j < 2
где m11 =4ab ,m12 = —4ab.
Доказательство. Очевидно, m11 =4ab , m12 = —4ab . Ввиду (3) характеристический многочлен /n (m) для (1) имеет вид
/n (m) = det((mI — Qn—1 )2 — abI). (S)
Из (Т), (S) следует
/n+1 (m) = det((mI — Qn )2 — abI) = det(Qn — I (m — 4ab)) det(Qn — I (m + 4ab)).
Ввиду (9) уравнение /n+1(m) = 0 распадается на два уравнения: /n (m — 4ab) = 0,
/n (m + \fab) = 0 . Теорема 2 доказана.
Диагностирование устойчивости сети с топологией многомерного куба
Определение 2. Овалом устойчивости для уравнений вида (2), для запаздывания k > 1 и параметра у мы называем кривую M(w) = (u1(w), u2(w)) такую, что
u1 (w) + iu2 (w) = exp(ikw) — j g exp(i(k — 1)w),
Иванов С.А.
Устойчивость рекурсивных нейронных сетей с топологией многомерного куба
где ає (—о, О), О - есть наименьший положительный корень уравнения
її sin ка
sin^ — 1)о
Овал устойчивости для данного запаздывания к и данного у - это сечение конуса устойчивости (см. определение 1) плоскостью u3 _|g . Овалы устойчивости при 0 <g< 1 рассматривала Е. Каслик [4]. Благодаря теоремам 1, 2 для диагностирования устойчивости уравнения (1) достаточно проверить одну точку M(u1, u2) _ u1 + iu2 _ njab . Поэтому имеют место следующие теоремы.
Теорема 3. Пусть даны произвольные п, к є Z+, к > 1. Пусть 0 <g< 1. Построим в R2 овал устойчивости (см. определение 2) для данных к, g. Построим точкуM _ (u1,u2)є R2 так, что
u1 + iu2 _ njab .
Если точка M лежит внутри овала устойчивости, то система (1) асимптотически устойчива. В противном случае система (1) неустойчива.
(
Теорема 4. Если 0 < ab <
1 — g
2
или 0 > ab > —
F (g)
n
sinw(g)
то
система (1) асимптотически устойчива. Здесь F (g) = - ,
cos(k - 1)w(g)
где w(g) есть наименьший неотрицательный корень уравнения i= sin кю cos(k - 1)ю
Если число ab находится вне границ указанных интервалов, то система (1) неустойчива.
Области устойчивости системы (1) отражены на рис. 2.
Рис. 2. Область устойчивости системы (1) в плоскости (а,Ь) при фиксированных у= 0,4,п = 3 и переменном запаздывании к
П
Литература
1. Gonzalez, A. Executing algorithms with hypercube topology on torus multicomputers / A. Gonzalez, M. Valero-Garcia, L. Diaz de Cerio // IEEE Transactions on parallel and distributed systems - 1995. - V. 6, № 8 - P. 803-814.
2. Yuan, Y. Stability and synchronization ring of identical cells with delayed coupling / Y. Yuan, S.A. Campbell // J. of Dynamics and Differential Equations. - 2004. - V. 16. - P. 709-744.
3. Kaslik, E. Dynamics of a discrete-time bidirectional ring of neurons with delay / E. Kaslik // Proceedings of Int. Joint Conf. on neural networks, Atlanta, Georgia, USA, June 14-19. - IEEE Computer society press, 2009. - P. 1539-1546.
4. Kaslik, E. Stability results for a class of difference systems with delay / E. Kaslik // Advances in Difference Equations. - 2009. - P. 1-13. article ID 938492.
5. Botelho, F. Global analysis of planar networks / F. Botelho, V. Gaiko // Nonlinear Analysis. -2006. - Vol. 64. - Issue 5. - P. 1002-1011.
6. Kokhlova, T.N. Stability of a ring and linear neural networks with a large number of neurons / T.N. Kokhlova, M.M. Kipnis // Applied Mathematics and Computation. - 2012. - P. 1-14.
7. Ivanov, S.A. The stability cone for a difference matrix equation with two delays / S.A. Ivanov, M.M. Kipnis, V.V. Malygina // ISRN J. Applied Mathematics. - 2011. - P. 1-19. article ID 910936.
8. Kipnis, M.M. The stability cone for a matrix delay difference equation / M.M. Kipnis, V.V. Malygina // International J. of Mathematics and Mathematical Sciences. - 2011. - P. 1-15. article ID 860326.
9. Kokhlova, T.N The stability cone for a delay differential matrix equation / T.N. Khokhlova, M.M. Kipnis, V.V. Malygina // Applied Math. Lett. - 2011 - V. 24 - P. 742-745.
Поступила в редакцию 7 мая 2012 г.
Краткие сообщения
THE STABILITY DOMAIN IN THE PARAMETERS SPACE OF RECURSIVE NEURAL NETWORKS WITH HYPERCUBE TOPOLOGY
S.A. Ivanov
The stability conditions are described for the discrete neural networks. The stability domains in the parameters space are constructed. The problem is reduced to the stability problem of finite-difference matrix equations of higher order with delay. The main method to solve the problem is the stability cone.
Keywords: neural networks, finite-difference matrix equations, finite-difference equations stability, hypercube.
References
1. Gonzalez A., Valero-Garcia M., Diaz de Cerio L. Executing algorithms with hypercube topology on torus multicomputers. IEEE Transactions on parallel and distributed systems. 1995. Vol. 6. no. 8. pp.803-814.
2. Yuan Y., Campbell S.A. Stability and synchronization ring of identical cells with delayed coupling. J. of Dynamics and Differential Equations. 2004. Vol. 16. pp. 709-744.
3. Kaslik E. Dynamics of a discrete-time bidirectional ring of neurons with delay. Proceedings of Int. Joint Conf on neural networks, Atlanta, Georgia, USA, June 14-19. IEEE Computer society press, 2009.pp.1539-1546.
4. Kaslik E. Stability results for a class of difference systems with delay. Advances in Difference Equations. 2009. pp. 1-13. Article ID 938492.
5. Botelho F., Gaiko V. Global analysis of planar networks. Nonlinear Analysis. 2006. Vol. 64. Issue 5. pp. 1002-1011.
6. Kokhlova T.N., Kipnis M.M. Stability of a ring and linear neural networks with a large number of neurons. Applied Mathematics and Computation. 2012. pp. 1-14.
7. Ivanov S.A., Kipnis M.M., Malygina V.V. The stabiliry cone for a difference matrix equation with two delays. ISRN J. Applied Mathematics. 2011. pp. 1-19. Article ID 910936.
8. Kipnis M.M., Malygina V.V. The stability cone for a matrix delay difference equation. International J. of Mathematics and Mathematical Sciences. 2011. pp. 1-15. Article ID 860326.
9. Khokhlova T.N., Kipnis M.M., Malygina V.V. The stability cone for a delay differential matrix equation. Applied Math. Lett. 2011. Vol. 24. pp. 742-745.
1 Ivanov Sergey Alexandrovich is Post-graduate Student, Mathematical Analysis Department, Chelyabinsk State Pedagogical University. ^-mail:[email protected]________________________________________________________________________________________
