Динамика изменения областей устойчивости дискретных моделей нейронных сетей типа small world при изменении числовых характеристик графа сети Текст научной статьи по специальности «Компьютерные и информационные науки»

Дискретная математика и математическая кибернетика

УДК 519.6 DOI: 10.14529/cmsel80202

ДИНАМИКА ИЗМЕНЕНИЯ ОБЛАСТЕЙ УСТОЙЧИВОСТИ ДИСКРЕТНЫХ МОДЕЛЕЙ НЕЙРОННЫХ СЕТЕЙ ТИПА SMALL WORLD ПРИ ИЗМЕНЕНИИ ЧИСЛОВЫХ ХАРАКТЕРИСТИК ГРАФА СЕТИ

© 2018 С.А. Иванов1, М.М. Кипнис2

1 Юмсно- Уральский государственный университет (454080 Челябинск, пр. им. В.И. Ленина, д. 76)

2Юмсно-Уральский государственный гуманитарно-педагогический университет (454O8O Челябинск, пр. им. В.И. Ленина, д. 69)

E-mail: [email protected], [email protected] Поступила в редакцию: 17.10.2017

В статье дано описание дискретных моделей нейронных сетей со связями типа small world с вероятностью перенаправления связей внутри сети р, изменяющейся от 0 до 1. При значении р = 0 получим модель регулярной нейронной сети. Регулярной нейронной сетью выступает кольцевая нейронная сеть, в которой каждый нейрон взаимодействует с несколькими соседями по кольцу. При значении р = 1 получим модель, нейроны которой случайным образом соединены с другими нейронами сети без образования изолированных нейронов. Рассматриваемые нейронные сети имеют широкое применение при моделировании различные нейронных структур в живых организмах, например, гипокамп мозга млекопитающих. В работе проведено исследование динамики изменения областей устойчивости рассматриваемых нейронных сетей в случае изменения вероятности перенаправления связей, коэффициента кластеризации и длины кратчайшего пути в среднем графа нейронной сети. В ходе численных экспериментов были построены области устойчивости исследуемых моделей нейронных сетей для различных параметров сети и сделан вывод об увеличении области устойчивости при одновременном уменьшении длины кратчайшего пути в среднем и коэффициента кластеризации графа сети.

Ключевые слова: дискретные модели Ваттса—Строгаца, small world, устойчивость.

ОБРАЗЕЦ ЦИТИРОВАНИЯ

Иванов С.А., Кипнис М.М. Динамика изменения областей устойчивости дискретных моделей нейронных сетей типа small world при изменении числовых характеристик графа сети // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2018. Т. 7, № 2. С. 22-31. DOI: 10.14529/cmsel80202.

Введение

Искусственная нейронная сеть — это математическая модель, построенная на основе организации и функционирования сетей нервных клеток живых организмов. В данной статье будет рассмотрена модель нейронной сети [1], в которой введена вероятность перенаправления связей между нейронами внутри сети р. В случае р = 0 модель является регулярной, в случае р = 1 нейронная сеть представляет собой полностью случайный граф без изолированных вершин. Связи типа small world могут быть представлены моделями нейронных сетей Ваттса—Строгаца при условии близких к нулю значений параметра р. Некоторые структуры внутри живых организмов можно представить в виде нейронных сетей типа small world [2, 3].

Использование моделей отделов головного мозга с использованием нейронных сетей типа small world находит свое применение в нейрохирургии [4]. В статье [2] сила воздействия нейрона на соседа и сила обратного воздействия любых двух нейронов в сети одинаковая. В связи с этим анализ устойчивости сети основан только на анализе графа связей в сети. Подобный анализ не дает ответ об устойчивости сетей с несимметричными силами воздействия нейронов между собой в сети. В статье [3] проведено исследование поведения нейронной сети со случайными силами взаимодействия, имеющими Гауссово распределение. Особо отметим отсутствие запаздывания в работах [2, 3]. На сегодняшний день проводится большое количество исследований, связанных с устойчивостью отделов головного мозга в целом и его частей [5, 6].

Гипокамп мозга млекопитающих играет важную роль в консолидации информации из кратковременной памяти в долговременную память, и в пространственной памяти, что позволяет осуществлять ориентацию в пространстве. Стремление мозга к устойчивому положению в ходе своей работы является необходимым требованием функционирования мозга. Таким образом возникает необходимость корректирования параметров нейронной сети для стремления всей сети к устойчивому положению.

Данная работа преследует целью построение областей устойчивости больших нейронных сетей, моделирующих структуру связей нейронов гипокампа человеческого мозга [7], и изучение динамики изменения этих областей при изменении числовых характеристик графа нейронной сети. Эту модель можно отнести к моделям нейронных сетей, построенных по типу small world. Рассматриваемая модель нейронной сети обладает несимметричными силами воздействия нейронов в сети: сила воздействия одного нейрона на другой равна а, а сила обратного воздействия равна Ь.

Интерпретацией знака коэффициентов а и b в исследуемой модели нейронной сети может служить возбуждающий или тормозящий сигнал идущий по нейрону. В исследуемой модели оказалось, что при одинаковом числе нейронов и общем числе связей в сети коэффициент кластеризации и длина кратчайшего пути в среднем графа оказывают влияние на область устойчивости сети. В ходе численных экспериментов было выявлено улучшение устойчивости нейронной сети при перенаправлении связей нейронной сети таким образом, чтобы полученный граф имел меньшую длину кратчайшего пути в среднем и меньший коэффициент кластеризации.

Статья имеет следующую структуру. Раздел 1 посвящен описанию исследуемой модели нейронной сети. В разделе 2 вводится уравнение и метод исследования устойчивости исследуемой нейронной сети. Вводятся определения числовых характеристик графа нейронной сети. Дано описание проведенных численных экспериментов диагностирования устойчивости модели, построенных областей устойчивости, основанных на алгоритмах и методах, ранее полученных автором, и формулируются выводы о динамике устойчивости сети при изменении числовых характеристик графа нейронной сети. В заключении резюмируется проведенная работа и обозначаются направления будущих исследований.

1. Построение модели

Большинство биологических нейронов имеют схожее строение и свойства с двигательными нейронами спинного мозга млекопитающих [8, 9]. Запаздывание в уравнение нейронной сети введено благодаря наличию разницы в скорости передачи нервных импульсов в зависимости от типа проводящих волокон.

Исследуемая модель дискретна и включает в себя запаздывание в реакции на соседних нейронов в сети. Модель имеет специальную матрицу, которая предназначена для описания системы связей внутри сети. В работе [10] показано, как формируются связи в модели.

Допустим, что каждому нейрону сети, состоящей из п нейронов, поставлен в соответствие номер 1,2,..., тг. Внутреннее состояние нейрона в сети с номером j (1 < j < п) в дискретный момент времени s (s = 1,2,...) описывается его

выходным сигналом xJs. Состояние всей нейронной сети в момент времени s можно представить в виде вектора xs = (хф..., х™)т. Если в нейронной сети каждый нейрон окажется изолированным, то динамику изменения состояния нейронной сети можно описать уравнением xs = axs-r ( — 1 < а < 1), г £ Z+. Это позволяет гарантировать устойчивость нулевого стационарного состояния сети при условии отсутствия связей между любыми нейронами сети.

Коэффициент а будем называть коэффициентом демпфирования собственных колебаний нейронов в сети, число г — запаздыванием в реакции нейрона на свой собственный сигнал. Введем обозначение матрицы В = (Pij)fj=i запаздывающих взаимодействий нейронов на соседей. Здесь значение /Зу это сила воздействия j-ro нейрона на i-й. Граф исследуемой нейронной сети состоит из вершин с номерами 1,2и множество Е составленное из направленных дуг, так что (i,j) £ Е если и только если /Зу ф

0. Мы считаем равными нулю все диагональные элементы матрицы В, что гарантирует отсутствие петель в представленном графе.

Пример 1. Приведем пример матрицы запаздывающих взаимодействий В для сети, состоящей из 6 нейронов, нулевой вероятности перенаправления связей (регулярной сети), каждый нейрон которой соединен с двумя соседями по часовой стрелке и с двумя - против.

/о Ъ Ъ 0 а а\

а 0 ь Ъ 0 а

а а 0 Ъ Ь 0

0 а а 0 Ъ Ь

Ь 0 а а 0 Ъ

\Ь Ъ 0 а а

Положим, что любые два нейрона взаимодействуют между собой с запаздыванием на m тактов s > m > г. Силы взаимодействия между нейронами сети, реакция нейрона на самого себя и запаздывания в реакции нейронов в сети будут определять начальное состояние всей сети. В результате получили рекуррентное уравнение динамики исследуемой нейронной сети (см. [11, 12]).

Х3 - СУ. Х3 — Г "Г В Xs—rtll $ - 1; 2, . . . (1)

2. Исследование устойчивости нейронной сети

Уравнение динамики нейронной сети представляет собой линейное матричное разностное уравнение (1), которое зависит от дискретного времени s. Данное уравнение назовем устойчивым при любом значении s, если любое его решения ограничено, и асимптотически устойчивым, если любое его решение стремится к нулю при s —> оо. Уравнение

det(AmI - a\m~rI - В) = 0

(2)

степени п х т является характеристическим для (1). В (2) I — единичная матрица размера п х п. Уравнение (1) назовем асимптотически устойчивым тогда и только тогда, когда все корни его характеристического уравнения лежат строго внутри единичного круга комплексной плоскости. Метод конусов устойчивости и алгоритмы определения устойчивости уравнения (1) представлены в работах [13, 14].

Важным вопросом является зависимость устойчивости исследуемой модели от параметров исследуемой модели р (0 < р < 1), длины кратчайшего пути в среднем и коэффициента кластеризации. Метод конусов устойчивости лежит в основе проведенных численных экспериментов для поиска границы области устойчивости в пространстве параметров а, Ь.

Построение областей устойчивости нейронной сети в виде замкнутой линии в пространстве параметров а, Ь потребует определить массив точек, которые лежат на границе между неустойчивым и устойчивым состояниями сети. В работе [11] показано, что область устойчивости регулярной сети является замкнутой. Алгоритм построения областей нейронных сетей типа small world приведен в [10].

2.1. Числовые характеристики графа нейронной сети

Длина кратчайшего пути в среднем L измеряет расстояние между двумя узлами. L определяется числом ребер в кратчайшем пути между двумя вершинами. Чтобы посчитать длину кратчайшего пути в среднем во всей сети, нужно просуммировать кратчайшие длины путей между всеми парами вершин, а полученную сумму разделить на произведение п{п — 1), где п — число вершин в сети. Длина кратчайшего пути в среднем вычисляется по формуле:

где п — число нейронов в сети, dij — расстояние от узла i до узла j.

Коэффициент кластеризации С определяет, насколько близки соседи вершины к состоянию клики, т.е. подмножество вершин графа, являющихся соседями данной вершины, таково, что каждые две вершины в нем соединены ребром. Коэффициент кластеризации определяется следующим образом: предположим что вершина v имеет

kv соседей. Тогда число ребер между ними меньше или равно (К(К-1)); равенство достигается, когда все соседи вершины v соединены между собой. Обозначим как Cv число ребер, которые реально существуют из возможных между соседями, т.е. коэффициент кластеризации для вершины равен отношению числа реально существующих ребер между ее соседями к числу всех возможных ребер между ними и вычисляется по формуле

Тогда общий коэффициент кластеризации определим как среднее между коэффициентами кластеризации всех вершин.

2.2. Результаты численных экспериментов

Для генерации матриц запаздывающих взаимодействий и расчета длины кратчайшего пути в среднем L и коэффициента кластеризации С использовался программный продукт, предназначенный для построения и вычисления свойств графов типа small

п(п — 1)

(3)

(kv{kv - 1)) '

(4)

world [15]. Данный программный продукт основан на алгоритме построения нейронных сетей со связями small world [1]. Данный программный продукт позволяет по заданным числу нейронов в сети п, числу ближайших соседей и вероятности перенаправления связей р генерировать матрицы смежности, инцидентности и матрицу запаздывающих взаимодействий для любого числа нейроннов в сети и производить расчет числовых характеристик графа нейронной сети. На основании полученных графов нейронных сетей для различных значений параметра р были записаны матрицы запаздывающих взаимодействий, в соответствии с рассматриваемой моделью нейронной сети, рассчитаны коэффициенты кластеризации С и длины кратчайшего пути в среднем L для каждой полученной матрицы В.

Алгоритмы построения областей устойчивости уравнения (1) были реализованы в математическом пакете MATLAB. При построении областей устойчивости предполагалось, что области являются замкнутыми и область, параметры которой обеспечивают устойчивость обязательно содержит точку (0,0) [11]. Были проведены численные эксперименты с целью определения динамики изменений областей устойчивости исследуемой нейронной сети в случае изменения коэффициента кластеризации и длины кратчайшего пути в среднем и зафиксированными параметрами сети: коэффициент

демпфирования а и запаздывания в работе сети т,г и число п нейронов в сети.

Для наглядности отображения результатов была выбрана сеть с параметрами п = 400, к = 40, т = 3, г = 2, а = 0,4. Заметим, что параметры С и L оказались неразрывно связаны с параметром р, отвечающим за вероятность перенаправления связей при построении сети. При р = 0 мы имеем регулярная сеть, для нее С = 0, 7308, L = 5, 4887. Для каждого значения р с помощью алгоритмов, описанных в [10], и программного продукта [15] было сгенерировано десять различных матриц запаздывающих взаимодействий В и получены массивы точек лежащих на границах устойчивости исследуемых нейронных сетей.

Для визуализации результатов на рисунке области устойчивости являются усредненными для каждого значения р. В результате построения матриц В были получены усредненные значения С и L для каждого значения р. При р = 0,1 имеем С = 0, 5436, L = 2, 2401, при р = 0, 5 имеем С = 0,154, L = 1, 92, в случае случайной сети р = 1 имеем С = 0, 0968, L = 1, 9128.

На рисунке представлены области устойчивости сети с разным значением параметров р, С и L и регулярной нейронной сети.

Левая часть рисунка представляет собой области устойчивости нейронной сети целиком. Правая часть рисунка представляет собой увеличенный фрагмент областей устойчивости нейронной сети для понимания динамики изменения границ областей. При ab > 0 границы областей устойчивости нейронной сети изменились незначительно при изменении параметров р, С и L. При ab < 0 область устойчивости нейронной сети при значении параметра р = 0 является наименьшей из представленных на рисунке. В случае р = 0,1 область устойчивости несколько больше, чем при р = 0, но меньше области устойчивости при р = 0, 5, которая, в свою очередь, меньше области при р = 1.

Численные эксперименты показывают, что наличие свободы в перенаправлении связей внутри сети без получения изолированных нейронов позволяет расширить область устойчивости сети в пространстве параметров а, Ь. Полученные результаты не противоречат полученным ранее результатам для регулярных сетей и сетей типа small world [10, 11, 16].

□ р=0,1 + р = 0,5 * р = 0 -Р-1

Границы областей устойчивости нейронной сети при разных значениях параметра р

Заключение

В рамках исследуемой модели рассмотрены нейронные сети типа со связями типа small world. Нейронные сети с большим значением коэффициента кластеризации и длины кратчайшего пути, соответствующие меньшим значениям параметра р, в среднем имеют меньшие области устойчивости по сравнениями с сетями с меньшими значениями параметров С и L, соответствующие большим значениям параметра р.

На основе результатов данной работы и предыдущих работ [10, 16] можно сделать следующий вывод. При аЪ > 0 изменения топологии нейронной сети не влечет

значительного прироста области устойчивости. При аЪ < 0 изменение топологии сети с целью уменьшения параметров С и L графа нейронной сети с сохранением основных свойств сетей типа small world позволяет расширить область устойчивости нейронной сети в пространстве параметров а, Ь.

Для нейронных сетей со связями типа small world имеется возможность перевода нейронной сети из неустойчивого состояния в устойчивое с помощью перенаправления связей с целью уменьшения параметров С и L графа нейронной сети с сохранением основных параметров нейронной сети. Особенно это эффективно при наличии разных знаков у сил запаздывающих взаимодействий а и Ь.

Открытым остается вопрос улучшения численных алгоритмов проверки устойчивости моделей нейронных сетей. На данный момент алгоритмы не предназначены для расчетов на графических укорителях. Изменения алгоритмов для возможности использования графических ускорителей позволило бы значительно ускорить время проверки устойчивости дискретных моделей нейронных сетей.

Данная статья завершает цикл работ по устойчивости нейронных сетей со связями small world. Дальнейшим направлением исследований станет исследование возможности применения метода конусов устойчивости при обучении искусственных нейронных сетей для ускорения процесса обучения.

Работа выполнена при финансовой поддержке РФФИ в рамках научного проекта № 16-31-00343. Статья выполнена при поддержке Правительства РФ (Постановление № 211 от 16.03.2013 г.), соглашение № 02.А03.21.0011.

Второй автор был поддержан грантом Южно-Уральского государственного гуманитарно-педагогического университета по теме «Моделирование в теории и практике математического образования».

Литература

1. Watts D., Strogatz S., Collective Dynamics of «Small-World» Networks // Nature. 1998. Vol. 393. P. 440-442.

2. Gray R.T., Fung C.K.C., Robinson P.A., Stability of Small-World Networks

of Neural Populations // Neurocomputing. 2009. Vol. 72(7-9). P. 1565-1574.

DOI: 10.1016/j.neucom.2008.09.006.

3. Sinha S. Complexity vs Stability in Small-World Networks // Physica A. 2005. Vol. 346. P. 147-153. DOI: 10.1016/j.physa.2004.08.062.

4. Hart M.G., Ypma R.J.F., Romero-Garcia R., Price S.J., Suckling J. Graph Theory Analysis of Complex Brain Networks: New Concepts in Brain Maping Aplied to Neurosurgery // Journal of Neurosurgery. 2016. Vol. 124, No. 6. P. 1665-1678. DOI: 10.3171/2015.4.jnsl42683.

5. Jobst B.M., Hindriks R., Laufs H., Tagliazucchi E., Hahn G., Ponce-Alvarez A.,

Stevner A.B.A., Kringelbach M.L., Deco G. Increased Stability and Breakdown of Brain Effective Connectivity During Slow-Wave Sleep: Mechanistic Insights from Whole-Brain Computational Modelling // Scientific Reports. 2017. Vol. 5, No 7(1). P. 1-16.

DOI: 10.1038/s41598-017-04522-x.

6. Takesian A.E., Hensch T.K. Chapter 1 — Balancing Plasticity/Stability Across

Brain Development / / Progress in Brain Research. 2013. Vol. 207. P. 3-34.

DOI: 10.1016/b978-0-444-63327-9.00001-1.

7. Netoff T.I., Clewley R., Arno S., Keck T., John A. White Epilepsy in Small-World

Networks // The Journal of Neuroscience. 2004. Vol. 24(37). P. 8075-8083.

DOI: 10.1523/jneurosci. 1509-04.2004.

8. Arbib M.A., Erdi P., Szentagothai J. Neural Organization: Structure, Function, and

Dynamics. Cambridge. MA: MIT Press. 1998. 420 p.

9. Arbib M. The Handbook of Brain Theory and Neural Networks. Cambridge. MA: MIT Press. 2003. 1308 p.

10. Иванов C.A. Вычисление областей устойчивости дискретных моделей больших

нейронных сетей типа small world // Вестник ЮУрГУ. Серия: Вычислительная

математика и информатика. 2016. Т. 5, № 3. С. 69-75. DOI: 10.14529/cmsel60305.

11. Ivanov S.A., Kipnis М.М. Stability Analysis Discrete-time Neural Networks with Delayed interactions: Torus, Ring, Grid, Line // International Journal of Pure and Aplied Math. 2012. Vol. 78(5). P. 691-709.

12. Ivanov S.A., Kipnis M.M., Medina R. On the Stability of the Cartesian Product of a Neural Ring and an Arbitrary Neural Network // Advances in Difference Equations. 2014. Vol. 2014. P. 1-7. DOI: 10.1186/1687-1847-2014-176.

13. Kipnis М.М., Malygina V.V. The Stability Cone for a Matrix Delay Difference Equation // International Journal of Mathematics and Mathematical Sciences. 2011. Vol. 2011. P. 1-15. DOI: 10.1155/2011/860326.

14. Ivanov S.A., Kipnis M.M., Malygina V.V. The Stability Cone for a Difference Matrix Equation with Two Delays // ISRN Aplied Math. 2011. Vol. 2011. P. 1-19. DOI: 10.5402/2011/910936.

15. Блеес И.И., Иванов С.А. Свидетельство Роспатента об официальной регистрации программы для ЭВМ «Small world graph generator» номер 2016662698 от 21.11.2016, правообладатель: ФГБОУ ВПО «ЮУрГУ (НИУ)».

16. Ivanov S., Kipnis М. On the Stability of a Neural Network with Links Based on the Watts-Strogatz Model // International Journal of Pure and Applied Mathematics. 2015. Vol. 105, No. 3. P. 431-438. DOI: 10.12732/ijpam.vl05i3.11.

Иванов Сергей Александрович, к.ф.-м.н., кафедра системного программирования, Южно-Уральский государственный университет (национальный исследовательский университет) (Челябинск, Российская Федерация)

Кипнис Михаил Маркович, д.ф.-м.н., профессор, кафедра математики и методики обучения математике, Южно-Уральский государственный гуманитарно-педагогический университет (Челябинск, Российская Федерация)

DOI: 10.14529/cmsel80202

DYNAMICS OF STABILITY REGIONS OF DISCRETE MODELS OF NEURAL NETWORKS OF SMALL WORLD TYPE WHEN THE NUMERIC CHARACTERISTICS OF THE NETWORK GRAPH CHANGE

© 2018 S.A. Ivanov1, M.M. Kipnis2

1 South Ural State University (pr. Lenina 16, Chelyabinsk, 454080 Russia),

2 South Ural State Humanitarian Pedagogical University (pr. Lenina 69, Chelyabinsk, 454080 Russia)

E-mail: [email protected], [email protected] Received: 17.10.2017

The article gives the description of the discrete models of neural networks with constraints of the type of small world with probability redirecting connections within the network p varying from 0 to 1. At the value p = 0 we obtain a model of a regular neural network. A regular neural network is a ring neural network, in which each neuron interacts with several neighbors along the ring. At p = 1, we obtain a model, the neurons of which are randomly connected to other neurons of the network without formation of isolated neurons. The neural networks are widely used in modeling various neural structures in living organisms, for example, mammalian brain hypocampus. The paper studies the dynamics of the stability regions of the neural networks in case of changes in the probability of redirecting links, clustering coefficient and the length of the shortest path in the average for the graph of neural network. In a series of numerical experiments, the regions of stability of the studied neural network models for various network parameters were constructed, and the conclusion about increasing the stability region while reducing the length of the shortest path on average and the clustering coefficient of the network graph was drawn.

Keywords: Watts-Strogatz discrete models, small world, stability.

FOR CITATION

Ivanov S.A., Kipnis M.M. Dynamics of Stability Regions of Discrete Models of Neural

Networks of Small World Type When the Numeric Characteristics of the Network Graph Change.

Bulletin of the South Ural State University. Series: Computational Mathematics and Software

Engineering. 2018. vol. 7, no. 2. pp. 22-31. (in Russian) DOI: 10.14529/cmsel80202.

This paper is distributed under the terms of the Creative Commons Attribution-Non

Commercial 3.0 License which permits non-commercial use, reproduction and distribution of

the work without further permission provided the original work is properly cited.

References

1. Watts D., Strogatz S. Collective Dynamics of "Small-World" Networks. Nature. 1998. vol. 393. pp. 440-442.

2. Gray R.T., Fung C.K.C., Robinson P.A. Stability of Small-World Networks of Neural Populations. Neurocomputing. 2009. vol. 72(7-9). pp. 1565-1574. DOI: 10.1016/j.neucom.2008.09.006.

3. Sinha S. Complexity vs Stability in Small-World Networks. Physica A. 2005. vol. 346. pp. 147-153. DOI: 10.1016/j.physa.2004.08.062.

4. Hart M.G., Ypma R.J.F., Romero-Garcia R., Price S.J., Suckling J. Graph Theory Analysis of Complex Brain Networks: New Concepts in Brain Maping Aplied to Neurosurgery. Journal of Neurosurgery. 2016. vol. 124, no. 6. pp. 1665-1678. DOI: 10.3171/2015.4.jnsl42683.

5. Jobst B.M., Hindriks R., Laufs H., Tagliazucchi E., Hahn G., Ponce-Alvarez A.,

Stevner A.B.A., Kringelbach M.L., Deco G. Increased Stability and Breakdown of Brain Effective Connectivity During Slow-Wave Sleep: Mechanistic Insights from

Whole-Brain Computational Modelling. Scientific Reports. 2017. vol. 5, no 7(1). pp. 1-16. DOI: 10.1038/s41598-017-04522-x.

6. Takesian A.E., Hensch T.K. Chapter 1 — Balancing Plasticity/Stability Across Brain Development. Progress in Brain Research. 2013. vol. 207. pp. 3-34. DOI: 10.1016/b978-0-444-63327-9.00001-1.

7. Netoff T.I., Clewley R., Arno S., Keck T., John A. White Epilepsy in Small-World Networks. The Journal of Neuroscience. 2004. vol. 24(37). pp. 8075-8083. DOI: 10.1523/jneurosci. 1509-04.2004.

8. Arbib M.A., Erdi P., Szentagothai J. Neural Organization: Structure, Function, and

Dynamics. Cambridge. MA: MIT Press. 1998. 420 p.

9. Arbib M. The Handbook of Brain Theory and Neural Networks. Cambridge. MA: MIT Press. 2003. 1308 p.

10. Ivanov S.A. Calculation of Stability Domains of Discrete Models of Big Size Small

World Networks. [Bulletin of the South Ural State University. Series: Computational

Mathematics and Software Engineering], 2016. vol. 5, no. 3. pp. 69-75. (in Russian) DOI: 10.14529/cmsel60305.

11. Ivanov S.A., Kipnis M.M. Stability Analysis Discrete-Time Neural Networks with Delayed Interactions: Torus, Ring, Grid, Line. International Journal of Pure and Aplied Math. 2012. vol. 78(5). pp. 691-709.

12. Ivanov S.A., Kipnis М.М., Medina R. On the Stability of the Cartesian Product of a Neural Ring and an Arbitrary Neural Network. Advances in Difference Equations. 2014. vol. 2014. pp. 1-7. DOI: 10.1186/1687-1847-2014-176.

13. Kipnis M.M., Malygina V.V. The Stability Cone for a Matrix Delay Difference Equation. International Journal of Mathematics and Mathematical Sciences. 2011. vol. 2011. pp. 1-15. DOI: 10.1155/2011/860326.

14. Ivanov S.A., Kipnis M.M., Malygina V.V., The Stability Cone for a Difference Matrix Equation with Two Delays. ISRN Aplied Math. 2011. vol. 2011. pp. 1-19. DOI: 10.5402/2011/910936.

15. Blees 1.1., Ivanov S.A. Svidetel’stvo Rospatenta ob ofitsial’noi registratsii programmy dlya EVM "Small world graph generator" [Certificate of Rospatent on official registration of computer programs "Small world graph generator"] number 2016662698 from 21.11.2016, right holder: FSBEIHE SUSU (NRU). (in Russian)

16. Ivanov S., Kipnis M. On the Stability of a Neural Network with Links Based on the Watts-Strogatz Model. International Journal of Pure and Applied Mathematics. 2015. vol. 105, no. 3. pp. 431-438. DOI: 10.12732/ijpam.vl05i3.11.