CC BY
24
Дискретная математика и математическая кибернетика УДК 519.6 DOI: 10.14529/cmsel60305
ВЫЧИСЛЕНИЕ ОБЛАСТЕЙ УСТОЙЧИВОСТИ
ДИСКРЕТНЫХ МОДЕЛЕЙ БОЛЬШИХ НЕЙРОННЫХ СЕТЕЙ ТИПА SMALL WORLD
© 2016 г. С.А. Иванов
Южно-Уральский государственный университет (454080 Челябинск, пр. им. В.И. Ленина, д. 76) E-mail: [email protected] Поступила в редакцию: 11.07.2016
Представлено описание дискретных моделей нейронных сетей типа small world с большим числом нейронов с некоторым параметром р, изменяющимся от 0 до 1. При р = 0 имеем модель, регулярной нейронной сети, представляющей собой кольцевую сеть, в которой каждый нейрон взаимодействует с несколькими соседями по кольцу. В случае р = 1 имеем модель со случайно расположенными связями. При значениях р, не превосходящих 0,1, имеем сеть типа small world Ваттса—Строгаца. Подобные нейронные сети могут служить моделями различных нейронных структур в живых организмах, например, гипокамп мозга млекопитающих. Работа посвящена исследованию динамики изменения областей устойчивости таких нейронных сетей при 0 < р < 0, 1. Численные эксперименты показывают увеличение области устойчивости при переходе от регулярной сети к сети small world.
Ключевые слова: дискретные модели Ваттса—Стпрогаца, small world, устойчивость.
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Иванов С.А. Вычисление областей устойчивости дискретных моделей больших нейронных сетей типа small world // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2016. Т. 5, № 3. С. 69-75. DOI: 10.14529/cmsel60305.
Введение
Искусственная нейронная сеть — математическая модель, построенная по принципу организации и функционирования сетей нервных клеток живых организмов. В качестве нейронной сети можно рассматривать модель [1], которая содержит параметр р, отвечающий за вероятность перенаправления связи между нейронами. При р = 0 модель является регулярной, при р = 1 она представляет собой полностью случайный граф. В промежутке небольших значений р, близких к нулю, модель Ваттса—Строгаца представляет связи типа small world. Некоторые нейронные структуры внутри живых организмов организованы по типу small world [2, 3]. Моделирование отделов головного мозга с помощью нейронных сетей типа small world имеет применение в нейрохирургии [4]. Представленная в работе модель отличается от моделей [2, 3]. В [2] сила взаимодействия любых двух нейронов одинакова, поэтому анализ устойчивости основан только на анализе графа связей в сети. Такой подход не позволяет дать ответ об устойчивости сетей с несимметричными взаимодействиями между нейронами в сети. Автор статьи [3] исследует поведение нейронной сети, силы взаимодействия которой случайны и имеют Гауссово распределение. Кроме того, в обеих моделях [2, 3] отсутствует запаздывание.
Целыо дайной работы будет является изучение динамики изменения областей устойчивости больших нейронных сетей со структурой связей гипокампа человеческого мозга [5] при изменении параметра р. Такая модель относится к типу small world. Исследуемая мо-
дель нейронной сети имеет несимметричные взаимодействия между нейронами: сила действия одного нейрона на другой равна а, и не обязательно равна силе обратного воздействия, равного Ь. В исследуемой модели оказалось, что при ab < 0 области устойчивости как увеличиваются, так и уменьшаются в процессе роста параметра р. Численные эксперименты показали улучшение устойчивости нейронной сети при переходе от регулярной сети к сети типа small world.
Структура статьи такова. В разделе 1 дано описание модели нейронной сети. В разделе 2 дается описание численных экспериментов построения областей устойчивости, основанных на предыдущих работах автора, и формулируются выводы о динамике устойчивости сети при изменении параметра р. В заключении резюмируется проведенная работа и обозначаются направления будущих исследований.
1. Построение модели
1.1. Общее уравнение нейронной сети
Чтобы понять, что происходит между нейронами внутри сети, нужно разобрать строение «типичного» нейрона [6, 7]. Основная масса биологических нейронов схожа по строению и свойствам с двигательными нейронами спинного мозга млекопитающих. Из сомы (тела нейрона) исходит много ветвей, называемых дендритами; сома и дендриты образуют входную поверхность нейрона. Из аксониого бугра нейрона выходит длинное волокно, называемое «аксон», ветви которого образуют дерево. Концы ветвей аксона, называемые нервными окончаниями, встречаются с другими нейронами или эффекторами. Аксон может иметь большую длину. Например, тело нейрона, который контролирует большой палец ноги человека, лежит в спинном мозге, а его аксон проходит по всей длине ноги. Скорость передачи нервных импульсов по нервным волокнам человека варьируется от долей метра в секунду (сигналы по немиелинезированным волокнам) до 120 м/с (по быстропроводящим сенсорным волокнам). Еще меньше скорость нервных процессов простейших организмов (до 2 м/с). Эти свойства делают обоснованным ввод запаздывания в уравнения нейронных сетей.
Исследуемая модель дискретна и включает в себя запаздывающие взаимодействия. Для описания системы связей модель содержит специальную матрицу. В следующем разделе будет показано, как формируются связи в модели.
Положим, что нейронная сеть содержит п нейронов с номерами 1.2, ...,п. Состояние нейрона с индексом j (1 < j < п) в момент времени s (s = 1,2,...) характеризуется его сигналом хI. Состояние всей нейронной сети в момент времени s характеризуется вектором xs = ... ,х™)т. Если каждый нейрон будет изолирован, то динамика нейронной сети подчиняется уравнению xs = axs_r (—1 < а < 1), г G Поэтому при отсутствии связей между нейронами нулевое стационарное состояние нейронной сети является устойчивым. Коэффициент а назовем коэффициентом демпфирования собственных колебаний, число г - запаздыванием нейрона в реакции на свой собственный сигнал. В матрице взаимодействий нейронов В = значение ftj есть сила действия j-rо нейрона на г-й. Граф нейронной сети будет содержать вершины 1,2,... ,п и множество Е направленных дуг, такое что (iyj) Е Е тогда и только тогда, когда faj ф 0. Будем полагать, что взаимодействие между любыми двумя различными нейронами происходит с запаздыванием на m тактов s > m > г. Начальное состояние сети определяется силами взаимодействия между нейронами, реакцией нейрона на самого себя и запаздываниями в сети. В результате получаем
рекуррентное уравнение динамики нерйонной сети (см. [8, 9]).
Xs — & Xg—rp + В Xs—mi S — 1)2,..
(1)
1.2. Система связей в нейронной сети
В этом разделе дано описание системы связей в нейронной сети с параметром р (0 < р < 1) и к (к п). Величина р характеризует случайность связей в сети, величина к/п характеризует плотность связей.
Случай 1: р = 0. Вначале расположим все нейроны 1,2,... ,п по кругу и проведем направленные дуги от каждого нейрона к ближайшему к нему к нейронам по часовой стрелке. Каждую такую дугу снабдим весом Ь. Затем снабдим каждую дугу, направленной по часовой стрелке, дугой в противоположном направлении с весом а, и, таким образом, сформируем матрицу В в уравнении (1).
Случай 2: р ф 0. Первый шаг такой же, что в предыдущем случае: проведем направленные дуги от каждого нейрона в сети к ближайшим к нему к нейронам по часовой стрелке. Каждую такую дугу снабдим весом Ь. Затем проведем процесс переключения. Каждая дуга (hj) (1 < hj < ft) с вероятностью р заменим дугой (i,v) (1 < v < п). Причем требуем выполнения следующих условий: 1) дуги, построенные ранее, не должны повторяться; 2) все вершины, удовлетворяющие предыдущему пункту, для выбора вершины v равновероятны. После процесса переключения каждую дугу (i,j) дополняем дугой (j,i) с весом а, и, таким образом, формируется матрица В в уравнении (1).
При р = 0 сеть назовем регулярной. При р>0(0<р<0,1) сеть принадлежит к типу small world [2] и обладает высоким коэффициентом кластеризации и малой, по сравнению с регулярной сетыо, длиной кратчайшего пути в среднем [1]. На рис. 1 представлены регулярная нейронная сеть (р = 0) и случайная сеть (р = 1).
2. Исследование устойчивости нейронной сети
Линейное матричное уравнение (1) зависит от дискретного времени s. Уравнение (1) назовем устойчивым при любом s, если все его решения ограничены, и асимптотически
Рис. 1. Пример регулярной и случайной сети
устойчивым, если все его решения стремятся к нулю при $ —> ос. Уравнение
det(AmJ - aXm~rI - В) = 0 (2)
степени п хт является характеристическим для (1). В (2) I — единичная матрица размера п х п. Уравнение (1) является асимптотически устойчивым, если и только если все корни его характеристического уравнения лежат строго внутри единичного круга комплексной плоскости. Алгоритмы диагностирования устойчивости уравнения (1) с помощью метода конусов устойчивости изложены в работах [10, 11].
Важно знать, как в исследуемой модели устойчивости зависит от р (0 < р < 0,1). С помощью метода конусов устойчивости проведены численные эксперименты для определения областей устойчивости в пространстве параметров а, Ь.
2.1. Алгоритм нахождения границ области устойчивости
Для построения областей устойчивости в виде замкнутой линии в пространстве параметров а.Ь необходимо найти массив точек, являющихся границей между устойчивым и неустойчивым состоянием сети. Как показано в работе [8], областью устойчивости регулярной сети является замкнутая область. Так как нас интересуют нейронные сети, у которых параметр р, отвечающий за переключения сети, не превосходит 0.1, то будем полагать, что у сетей small world границей области устойчивости является замкнутая линия и область устойчивости находится внутри нее. Искать границу будем с точностью S. Применим следующий алгоритм.
ШАГ 1. Находим первую точку границы как точку пересечения границы с осыо 0а. Для этого нам потребуются точки внутри области и одна вне области. В качестве первой точки возьмем точку (0; 0) ввиду того, что она является асимптотически устойчивой точкой для уравнения (1). В качестве второй точки возьмем заведомо неустойчивую при любых параметрах сети. Такой точкой окажется (1;0). Проводим диагностирование точек принадлежности области устойчивости с помощью алгоритмов, описанных в работах [10, 11]. Уточнение граничной точки области устойчивости проводим методом дихотомии с точностью S.
ШАГ 2. Все остальные точки находятся следующим образом: 1. С помощью формул поворота осуществляем поворот луча 0а на заданный небольшой угол фо- 2. Ищем следующую точку, как показано в предыдущем шаге. Шаг 2 повторяем до тех пор, пока граница области не замкнется.
Похожий алгоритм поиска границы области устойчивости для непрерывных кольцевых моделей нейронных сетей с двумя соседями был приведен в [12].
2.2. Результаты численных экспериментов
Рассмотренные ранее алгоритмы построения областей устойчивости уравнения (1) были реализованы в среде MATLAB. Численные эксперименты проводились для определения динамики изменения областей устойчивости нейронной сети при изменении параметра р (0<р<0,1)и одинаковыми коэффициентами демпфирования а, запаздываниями в работе сети m,r и числом п нейронов в сети. В проведенных экспериментах согласно [5] число ближайших соседей составляет 2% от общего числа нейронов. Для каждого значения р с помощью алгоритмов, описанных в разделе 2.1, было построено 10 различных матриц В
и получены массивы точек на границах устойчивости нейронных сетей. Для визуализации результатов на рисунке области устойчивости являются усредненными для каждого р.
Рис. 2. Границы областей устойчивости нейронной сети при разных значенияхпараметра р
На рис. 2 представлены области устойчивости регулярной нейронной сети и сети с разным значением параметра р. В левой части рисунка представлены области устойчивости целиком. В правой части рисунка для понимания динамики изменения границ областей представлена часть областей устойчивости. Здесь п = 1500, к = 30, т = 3, г = 2, а = 0,4. В случае ab > 0 граница области устойчивости практически не изменилась при изменении параметра р. В случае аЬ < 0 область устойчивости при р = 0 является наименьшей из представленных. При значении параметра р = 0,1 область устойчивости больше, чем при р = 0, но меньше области устойчивости при р = 0,05. Полученные результаты не противоречат результатам для регулярных сетей [8].
Заключение
В рамках исследуемой модели рассмотрены два типа сетей: регулярные (р = 0) и сети small world (0 < р < 0,1). Нейронные сети типа small world имеют большую область устойчивости, чем регулярные. Для регулярной нейронной сети увеличение количества нейронов в сети незначительно влияет на изменение области устойчивости. Это известно из общих формул, задающих спектр матрицы В [8, 13]. Сохраняется ли подобная тенденция для нейронных сетей типа small world будет предметом отдельной статьи.
Работа выполнена при финансовой поддержке РФФИ в рамках научного проекта К9 16-31-00343.
Литература
1. Watts D., Strogatz S., Collective dynamics of «small-world» networks. Nature. 1998. Vol. 393. P. 440-442.
2. Gray R.T., Fung C.K.C., Robinson P.A. Stability of small-world networks of neural populations. Neurocomputing. 2009. Vol. 72(7-9). P. 1565-1574.
3. Sinha S. Complexity vs stability in small-world networks. Physica A. 2005. Vol. 346. P. 147-153.
4. Hart M.G., Ypma R.J.F., Romero-Garcia R., Price S.J., Suckling J. Graph theory analysis of complex brain networks: new concepts in brain maping aplied to neurosurgery. Journal of Neurosurgery. 2016. Vol. 124, No. 6. P. 1665-1678.
5. Netoff T.I., Clewley R., Arno S., Keck Т., John A. White Epilepsy in Small-World Networks. The Journal of Neuroscience. 2004. Vol. 24(37). P. 8075-8083.
6. Arbib M.A., Erdi P., Szentagothai J. Neural Organization: Structure, Function, and Dynamics. Cambridge. MA: MIT Press, 1998. 420 p.
7. Arbib M. The Handbook of Brain Theory and Neural Networks. Cambridge. MA: MIT Press, 2003. 1308 p.
8. Ivanov S.A., Kipnis M.M. Stability Analysis Discrete-time Neural Networks with Delayed interactions: Torus, Ring, Grid, Line. International Journal of Pure and Aplied Math. 2012. Vol. 78(5). P. 691-709.
9. Ivanov S.A., Kipnis M.M., Medina R. On the stability of the Cartesian product of a neural ring and an arbitrary neural network. Advances in Difference Equations. 2014. Vol. 2014. P. 1-7.
10. Kipnis M.M., Malygina V.V. The Stability Cone for a Matrix Delay Difference Equation. International Journal of Mathematics and Mathematical Sciences. 2011. Vol. 2011. P. 1-15.
11. Ivanov S.A., Kipnis M.M., Malygina V.V. The stability cone for a difference matrix equation with two delays. ISRN Aplied Math. 2011. Vol. 2011. P. 1-19.
12. Хохлова Т.Н. Построение областей устойчивости круговых нейронных сетей. Хроники ОФЭРНиО. 2012. Т. 1(32). С. 4-5.
13. Khokhlova T.N., Kipnis M.M. The breaking of a delayed ring neural network contributes to stability: The rule and exceptions. Neural Networks. 2013. Vol. 48. P. 148-152.
DOI: 10.14529/cmsel60305
CALCULATION OF STABILITY DOMAINS OF DISCRETE MODELS OF BIG SIZE SMALL WORLD NETWORKS
© 2016 S.A. Ivanov
South Ural State University (pr. Lenina 76, Chelyabinsk, 454080 Russia)
E-mail: [email protected] Received: 11.07.2016
The article is devoted to description of discrete models of small world networks with a large number of neurons with a certain parameter p varying from 0 to 1. For p = 0 have model, regular neural networks, which is a ring network in which each neuron interacts with several neighbors on the ring. In the case p = 1 have a model with randomly distributed connections. When the values of p not exceeding 0,1 have the Watts-Strogatz small world network. Such a neural network can be models of different neural structures in living organisms, for example, the hipocampus of the mammalian brain. This paper examines the dynamics of change areas of stability of such
74 Вестник ЮУрГУ. Серия «Вычислительная математика и информатика»
neural networks when 0 < р < 0,1. Numerical experiments show an increase in sustainability in the transition
from a regular network to small worlrl.
Ke. у words: Watts-Strogatz discrete, models, small -world, stability.
FOR CITATION
Ivanov S.A. Calculation of Stability Domains of Discrete Models of Big Size Small World
Networks, Bulletin of the South Ural State University. Series: Computational Mathematics and
Software Engineering. 2016. vol. 5, no. 3. pp. 69-75. (in Russian) DOI: 10.14529/cmsel60305.
References
1. Watts D., Strogatz S. Collective Dynamics of «Small-'World» Networks. Nature. 1998. vol. 393. pp. 440-442. DOf: 10.1038/30918.
2. Gray R.T., Fung C.K.C., Robinson P.A. Stability of Small-World Networks of Neural Populations. Neurocomputing. 2009. vol. 72(7-9). pp. 1565-1574. DOI: 10.1016/j.iieucom.2008.09.006.
3. Sinha S. Complexity vs Stability in Small-World Networks. Physica A. 2005. vol. 346. pp. 147153. DOI: 10.1016/j.phvsa.2004.08.062.
4. Hart, M.G., Ypma R.J.F., Rom его-Garcia R.. Price S.J., Suckling J. Graph Theory Analysis of Complex Brain Networks: New Concepts in Brain Maping Aplied to Neurosurgery. Journal of Neurosurgery. 2016. vol. 124, no. 6. pp. 1665-1678. DOI: 10.3171/2015.4.jns142683.
5. Netoff T.I., Clewley 11., Arno S., Keck Т., John A. White Epilepsy in Small-World Networks. The Journal of Neuroscwnce. 2004. vol. 24(37). pp. 8075-8083.
6. Arbib M.A., I.rdi P., Szentagothai J. Neural Organization: Structure. Function, and Dynamics. Cambridge. MA: MIT Press, 1998. 420 p.
7. Arbib M. The Handbook of Brain Theory and Neural Networks. Cambridge. MA: MIT Press, 2003. 1308 p.
8. Ivanov S.A., Kipnis M.M. Stability Analysis Discrete-Time Neural Networks with Delayed Interactions: Torus, Fting, Grid, Line. International Journal of Pure and Aplied Math. 2012. vol. 78(5). pp. 691-709.
9. Ivanov S.A., Kipnis M.M., Medina R. On the Stability of the Cartesian Product of a Neural Ring and an Arbitrary Neural Network. Advances in Difference Equations. 2014. vol. 2014. pp. 1-7. DOI: 10.1186/1687-1847-2014-176.
10. Kipnis M.M., Malygina V.V. The Stability Cone for a Matrix Delay Difference Equation. International Journal of Mathematics and Mathematical Sciences. 2011. vol. 2011. pp. 1-15.
11. Ivanov S.A., Kipnis M.M., Malygina V.V., The Stability Cone for a Dilference Matrix Equation with Two Delays. ISRN Aplied Math. 2011. vol. 2011. pp. 1 19. DOI: 10.5402/2011/910936.
12. Khokhlova T.N. Postroenie oblastey ustoychivosti krugovykh neyronnykh, setey. Khromki OFERNiO [The Construction of Regions of Stability of a Circular Neural Networks. Chronicles of OFERNiO). Moscow. 2012. vol. 1(32). pp. 4-5. (in Russian)
13. Khokhlova T.N., Kipnis M.M. The Breaking of a Delayed Ring Neural Network Contributes to Stability: The Rule and Exceptions. Neural Networks. 2013. vol. 48. pp. 148-152. DOI: 10-1016/j.neunet.2013.08.001,.
