Исследование и анализ динамики импульсных рекуррентных нейронных сетей в контексте задачи распознавания образов Текст научной статьи по специальности «Компьютерные и информационные науки»

Интеллектуальные системы и технологии

DOI: 10.18721/JCSTCS.11410 УДК 004.8.032.26,681.513.8

ИССЛЕДОВАНИЕ И АНАЛИЗ ДИНАМИКИ ИМПУЛЬСНЫХ РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ В КОНТЕКСТЕ ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ

К.В. Никитин

Санкт-Петербургский политехнический университет Петра Великого,

Санкт-Петербург, Российская Федерация

Проведен анализ существующих моделей рекуррентных нейронных сетей (РНС) и подходов к их обучению. В рамках новой парадигмы — резервуарных вычислений рассмотрена модель на основе импульсной РНС в качестве резервуара. Приведены описание и анализ этой модели, построена иерархия и проведена классификация ее основных параметров. Выделен класс решаемых задач, введены показатели качества резервуара. Выполнено экспериментальное исследование влияния параметров на динамику РНС. Результаты этого исследования использованы в разрабатываемой методике синтеза импульсных РНС. Приведен пример успешного применения данной методики при решении задачи классификации динамических образов.

Ключевые слова: машина неустойчивых состояний, резервуарные вычисления, распознавание динамических образов, импульсная нейронная сеть, нейрон интегрирования и возбуждения, синаптическая пластичность.

Ссылка при цитировании: Никитин К.В. Исследование и анализ динамики импульсных рекуррентных нейронных сетей в контексте задачи распознавания образов // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2018. Т. 11. № 4. С. 130—150. БОТ: 10.18721/.1С8ТС8.11410

ANALYSIS OF SPIKING RECURRENT NEURAL NETWORKS DYNAMICS IN CONTEXT OF PATTERN RECOGNITION PROBLEM

K.V. Nikitin

Peter the Great St. Petersburg Polytechnic University, St. Petersburg, Russian Federation

The article presents the analysis of current models and learning algorithms of recurrent neural networks (RNN). The model of spiking RNN is consideredwithin the new paradigm of reservoir computing (RC). This model was first introduced in 2006 by Maass and is called the liquid state machine (LSM). The main idea of RC is to construct a random recurrent topology and train only a single linear readout layer. A spiking neural network consists of biologically realistic models of spiking neurons and chemical synapses. Analysis of mathematical model of RNN continues with building a hierarchy of its main parameters

and their classification by different groups. The main problem solved with the LSM is dynamic pattern recognition. Several measures of reservoir quality are introduced for solving this problem,. After that, an experimental study has been carried out to assess the influence of all parameters of model on the dynamics, behavior and properties of the RNN. Results of this study are used to build the procedure of synthesis of pulsed RNN for the problem of pattern recognition. The final part of the article demonstrates using the proposed procedure for solving a simple problem of dynamic pattern classification. It is shown that it can simplify synthesis and help to improve the quality of pattern recognition.

Keywords: iquid state machine, reservoir computing, dynamic pattern recognition, spiking neural network, integrate and fire neuron, spike time dependent plasticity.

Citation: Nikitin K.V. Analysis of spiking recurrent neural networks dynamics in context of pattern recognition problem. St. Petersburg State Polytechnical University Journal. Computer Science. Telecommunications and Control Systems, 2018, Vol. 11, No. 4, Pp. 130-150. DOI: 10.18721/JCSTCS.11410

Введение. Анализ существующих подходов к обучению РНС

Задача распознавания динамических или изменяющихся во времени образов в настоящий момент весьма актуальна и имеет большое количество различных приложений [1, 2]. Одним из наиболее перспективных средств для ее решения являются рекуррентные нейронные сети (РНС), характерная особенность которых — наличие обратных связей (ОС) [3, 4]. За счет ОС входная информация может бесконечно распространяться в динамике нейронных сетей (НС), что при соответствующем подборе параметров в результате процедуры обучения гарантирует универсальные вычислительные возможности РНС в рамках решения рассматриваемого класса задач [5, 6].

Исследования по РНС начались в 70-х — 80-х гг. XX века [7, 8], и на данный момент предложено большое количество вариантов как самих РНС [9, 10], так и подходов к их обучению [5, 11—13]. В наиболее упрощенном варианте все модели РНС можно разделить на два типа: с т. н. управляемой динамикой или аттракторные [9] и РНС общего вида [5].

Суть аттракторных НС [9] сводится к тому, что они функционируют в определенных динамических режимах и спустя некоторое время сходятся к состоянию равновесия — аттрактору. Простейший вариант аттрактора — точка в многомерном про-

странстве, которой сопоставляется некоторый образ, записываемый в НС [8]. При подаче на вход НС нового образа она соотносит его с одним из аттракторов и таким образом решает задачу ассоциативной памяти. Аттракторы могут иметь и более сложную форму: колебательную (предельный цикл, тор) [14] или хаотическую (странный аттрактор). РНС с такими аттракторами называют, соответственно, ос-цилляторными [15] и хаотическими [16]. Их характерной особенностью является эффект синхронизации отдельных групп нейронов, используемый часто при решении задач кластеризации [17] и сегментации [18].

РНС общего вида могут иметь произвольную динамику, поскольку основной принцип их построения заключается в том, чтобы сеть выдавала правильную выходную последовательность сигналов в ответ на входную. В этом смысле данные сети похожи на обычные нейронные сети прямого распространения (НСПР), поскольку на основе обучающей выборки они модифицируют свои весовые коэффициенты так, чтобы конечная функция стоимости была минимальной. В настоящее время разработано большое число алгоритмов обучения РНС [12]. Отдельно от всех остальных находится алгоритм обучения машины Больцмана [19]. Основную группу составляют градиентные алгоритмы [12, 13]:

• обычное обратное распространение ошибки (НС Элмана, НС Джордана, НС с контекстом);

• обратное распространение во времени (Back propagation through time — BPTT);

• рекуррентное обучение в реальном времени (Real-time recurrent learning — RTRL);

• быстрое прямое распространение (Fast forward propagation — FFP);

• использование функций Грина;

• рекуррентное обучение Аттия— Парлоса.

Помимо градиентных также получили распространение более усовершенствованные алгоритмы обучения [12]:

• усеченный алгоритм распространения во времени;

• сфокусированное обратное распространение;

• использование фильтров Калмана;

• модель длительной краткосрочной памяти (Long short term memory — LSTM) [10, 20];

• аппроксимация алгоритма Левенбер-га—Марквардта.

В ряде случаев помогает простое угадывание весов. Для определенных задач также разработаны специальные алгоритмы, такие, например, как адаптивная фрагментация последовательностей [12].

Если охарактеризовать представленные выше алгоритмы, то следует сказать об их высокой сложности, больших вычислительных и временных затратах, а также о проблемах, связанных со сходимостью обучения, и в частности, с обучением долгосрочным зависимостям [11]. В связи с этим параллельно разрабатывались и исследовались альтернативные подходы, которые со временем объединились в новое направление — резервуарные вычисления (РВ) [21—24].

Суть подхода на основе РВ заключается в том, что специальным образом синтезируется специальная РНС — резервуар, которая преобразует исходное пространство временных функций в пространство большей размерности таких же функций, т. е. РНС действует как некоторый нелинейный оператор [25]. При выполнении определенных требований РНС способна разде-

лять различные входные последовательности, что позволяет по состоянию РНС через некоторое время после подачи входного образа определить, какой образ был подан на вход. Предложено большое количество различных моделей РВ [22, 26—29]:

• сеть эхо-состояний (Echo state network — ESN);

• машина неустойчивых состояний (Liquid state machine — LSM) — РНС построена на импульсных нейронах;

• эволино (Evolino) — LSTM НС и эволюционное обучение;

• обратное распространение и декорре-ляция (Backpropagation-Decorrelation) — подход к обучению, обобщающий многие алгоритмы РВ и основанный на APRL;

• временные рекуррентные сети (Temporal recurrent networks) — моделируются кортикальные сети мозга c уклоном в вычислительную нейронауку, нейробиоло-гию;

• другие типы резервуаров с более сложными моделями элементов, возможно с аппаратной реализацией (электрические цепи, оптические, квантовые, физические компьютеры), из «живых» клеток (сеть генной регуляции из бактерий).

Модель МНС является примером эффективного синтеза биологически ориентированных моделей и методов машинного обучения для решения задач распознавания динамических образов [30—34]. Теоретически подтверждаются универсальные вычислительные возможности МНС при аппроксимации нелинейных систем с затухающей памятью [35]. При этом остается актуальной задача синтеза резервуара под конкретную задачу и тип данных [23, 36—40].

Далее приведено описание предварительных этапов перед построением методики синтеза резервуара импульсной РНС в составе МНС. Проводится анализ всех составляющих модели, строится иерархия параметров, описываются решаемые задачи и используемые критерии, после чего выполняются исследование и анализ влияния параметров на функционирование.

Описание модели машины неустойчивых состояний

МНС структурно состоит из двух составляющих [41]: резервуара в форме импульсной РНС и блока считывателей. РНС используется как резервуар с богатой динамикой и возможностями по различению входных сигналов. При этом РНС генерируется случайным образом в начале работы без дополнительного этапа обучения. При подаче на вход РНС временной последовательности она через какое-то время переходит в новое состояние. Выход РНС соединен с т. н. считывателями — устройствами, выделяющими из сигнала РНС полезную информацию, решая требуемую задачу. Общая схема МНС показана на рис. 1.

Импульсная РНС имеет случайную трехмерную структуру. Вероятность связи между двумя нейронами задается следующим законом [3]:

Р(а,Ь) = шт[1,С(а,Ь) • ехр(-((а,Ь) / А,)2) ,

где символами а и Ь обозначаются два нейрона; Л(а, Ь) — евклидово расстояние между этими нейронами; А — параметр, управляющий средним радиусом связи между нейронами; С(а, Ь) характеризует плотность связей и зависит от того, какой тип имеют нейроны: возбуждающий или подавляющий.

Рассмотрим далее более подробно каждую из составляющих МНС.

Импульсные НС [42, 43] состоят из импульсных нейронов, связанных химическими синапсами. На вход таких НС может поступать информация как в импульсной форме через химические синапсы, так и в аналоговой — через электрические синапсы. На вход каждого нейрона может также подаваться шум для того, чтобы НС находилась в слегка возбужденном состоянии.

Как правило, используются модели импульсных нейронов, описывающиеся дифференциальными уравнениями (ДУ) 1-2 порядка [44]. Наиболее простая и понятная модель интегрирования и возбуждения с утечкой (Leaky integrate and fire — LIF) описывается с помощью ДУ и условия сброса. ДУ записывается как [42]

где у.ея. — это потенциал покоя нейрона; Я — сопротивление резистора; — внешний входной сигнал.

Вторая часть модели отвечает за возбуждение: как только потенциал V достигает порогового значения 0, происходит генерация импульса, потенциал сбрасывается до значения у.ее, а сам нейрон переводится в состояние рефракторности на период Тгфас, в течение которого он не воспринимает никакие внешние сигналы.

О

о

о

Входные сигналы u(t)

Резервуар LM

XM(t) = (LMu)(t)

Считыватели fM

111

N

Состм°™ y(t) = fM(XM(t))

XM(t)

Входные сигналы y(t)

Рис. 1. Схема машины неустойчивых состояний Fig. 1. Machine diagram of unstable states

Модель нейрона Ижикевича [45] является аппроксимацией более сложных моделей типа Ходжкина—Хаксли и др. Она также состоит из двух частей — ДУ и уравнения, описывающего условие возбуждения и сброс нейрона. Оригинальная модель записывается в форме уравнений состояния

— = 0,04V2 + 5V +140 - и + ,

&

du dt

= a )bv - u)

и условием сброса нейрона при достижении порогового значения

если V > 30, то V = с, и = и + d, где V — потенциал нейрона, мВ; и — характеризует восстановление мембраны; — входной ток; t — время, мс; а, Ь, с, d — параметры модели.

Топология и размер импульсной РНС могут быть произвольными. Ограничения определяются только временем моделирования. Импульсные НС из более сложных нейронов, например, Ходжкина—Хаксли, имеют в среднем 10—100 нейронов, из нейронов Ижикевича — 1000 нейронов, из нейронов интегрирования и возбуждения — более 1000 нейронов [46].

В импульсных НС большая часть синапсов являются химическими [46]. Химические синапсы с точки зрения моделирования имеют две особенности:

активизация только в ответ на импульсы (ток, протекающий через нейрон-получатель в момент импульса, моделируется затухающей функцией);

ненулевая задержка при передаче импульса.

При моделировании химических синап-

сов постсинаптический ток /

posit

вызванный

импульсами, можно смоделировать с помощью убывающих экспоненциальных функций [42]:

post

() = Wchemh - ^delay )eXP

(

t -ti - T

Л

delay

d; = f (Par) + kipoSt (),

где мЛет — сила связи синапса; t¡ — время / импульса; хМау — задержка; — ^ — т^) — ступенчатая функция Хевисайда, переходящая из нуля в единицу в момент времени ti + т(е,^ау; ту — постоянная времени, характеризующая скорость убывания экспоненты.

В ряде случаев могут использоваться более сложные модели синапсов. Динамические синапсы [47] учитывают предысторию изменения сигналов на их входах и таким образом способны моделировать эффекты насыщения и восстановления. Синапсы с пластичностью [46] способны адаптировать свою пластичность по правилу Хэбба, тем самым усиливая передачу информации вдоль направлений с наибольшей активностью.

При подаче и съеме информации с импульсной РНС требуется применение специальных методов кодирования/декодирования из обычной непрерывной в импульсную и наоборот [42]. Наиболее распространенные методы [42] основаны на частотном подходе, кодировании по принципу да/нет, популяционном или пространственно-временном кодировании, а также на основе синхронизации [48].

Считыватели — устройства, предназначенные для анализа динамики резервуара и решения конкретных прикладных задач.

Иерархия параметров модели МНС

Перед выполнением экспериментально -го исследования влияния параметров импульсной РНС на ее свойства необходимо вначале определиться с набором подстраиваемых параметров и диапазоном их изменения. Параметры всей системы можно разделить на три большие группы: параметры входных данных (задачи); параметры резервуара — импульсной РНС; параметры считывателей.

Рассмотрим вкратце каждую из этих групп.

• Входные данные представлены входными образами из обучающих и тестовых примеров. Они характеризуются размерностью, длительностью, формой представления, форматом подачи на вход, алгоритмом нормали-

зации (во временном диапазоне), алгоритмами преобразования данных из одной формы в другую, скоростью и сложностью.

• Импульсная РНС (резервуар) задается структурой, типом элементов и типом связей.

Структура определяется количеством нейронов ппгп = пхпупг, средним радиусом

связности X, процентом связей от входов к РНС р„Л, плотностью связей С(а, Ь), силой (весами) внутренних ^„Ха, Ь) и внешних Ж^(а) связей, соотношением числа подавляющих/возбуждающих нейронов ры и уровнем шума ртее.

В качестве элементов могут использоваться простые модели типа нейрона интегрирования возбуждения (1аБ) и Ижикевича, а также детальные модели Ходжкина— Хаксли, Морриса—Лекара, Фитцху—Нагумо. Общими параметрами этих моделей являются сила шума ¿пЫее и начальные условия у0. Нейроны 1аБ могут быть с утечкой или без; их основные параметры — это постоянная времени т, период рефракторности Тефас, потенциалы покоя сброса уееее„ порог 0. Нейрон Ижикевича задается четверкой параметров а, Ь, с, ¿. В детальных моделях все параметры, как правило, фиксированы.

Связи между нейронами реализуются посредством электрических и химических синапсов. Их основными параметрами являются сила ^^¡„¡(а, Ь), Щ,к(а) и задержка т¿еЬу. У электрических синапсов задержка отсутствует (тае1ау = 0). У химических синапсов отдельно задается постоянная времени теуп затухания синаптического тока. Динамические синапсы со свойством кратковременной памяти задаются тройкой параметров и, Б, Р. Для синапсов с пластичностью необходимо задавать максимальную по модулю силу синапса ^тах, минимальное приращение силы синапса Дм>т;п и постоянную времени забывания приращения силы синапса ДТ/^.

При использовании синапсов с пластичностью происходит обучение без учителя, для которого также задается несколько параметров: период обучения Теаеп, функция обучения /ц(Д{) и ее параметры.

В качестве функции чаще всего используются три типа: экспоненциальная (параметры Хитр, Ттр, Тгд), пороговая (параметры ЛЬТР, ЛЬТВ, ДТтах, ДТт1п) и гауссоида (параметры С, р, ^ах, В, ДТтах, ДТт1п).

• Считыватели в зависимости от решаемой конечной задачи могут быть представлены по-разному. По выполняемой функции все считыватели могут выполнять задачи предобработки выходного сигнала РНС (сокращение размерности, преобразование информации из импульсной формы в непрерывную, нормализация), анализ выходного сигнала РНС (определение типа динамики, вычисление различных показателей) или решение конечной задачи (классификация, регрессия, кластеризация).

На основании рассмотренной выше группы параметров можно построить обобщенную иерархию параметров системы (рис. 2). На ней параметры сгруппированы по принципу принадлежности к той или иной группе по аналогии с тем, как это было рассмотрено выше. Стрелками показана зависимость параметров и групп параметров друг от друга.

Из рисунка видно, что для синтеза ре-зервуара-импульсной РНС требуется подобрать значения около 30 различных параметров на различных уровнях иерархии. Для этого целесообразно часть наименее значимых или зависимых параметров зафиксировать, а для наиболее значимых параметров задать диапазоны поиска наилучших значений этих параметров.

Анализ иерархии позволил выделить стратегии к поиску параметров. В частности, часть параметров взаимосвязана друг с другом, поэтому их изменение следует выполнять согласованно. Также все параметры были классифицированы с точки зрения их значимости и влияния на общую динамику, в результате чего они были разделены на несколько групп: важные параметры, которые необходимо варьировать в широких диапазонах, менее важные параметры, которые можно варьировать в небольших диапазонах, и фиксированные параметры. Результаты приведены в табл. 1.

Входные данные (задача)

Способ подачи

Начальные условия Аналоговый сигнал Импульсный сигнал

Преобразование

Алгоритм преобр. аналог/импульс Параметры алгоритма

Характер

Быстрые/медленные

случайные/ детерминированные

Сложность

Отсутствует Простые Сложные

Размерность

В пространстве (количество входов) Во времени (длительность представления)

Резервуар

Связность

Внутренняя Внешняя

X (средняя длина связи) С(плотность связей) ,г \¥и„ (сила связей) Ры, (процент подавляющих элементов) (ШуМ В сети) p,i, (процент связей вход-структура) Wri, (сила связей)

Тип

элементов

Модель

нейрона oise (уровень шума на входе)

Интегрирования-возбуждения

Утечка (есть/нет) Т (постоянная времени) Туе/гас (ПСрИОД рсфрЭКТ-ТИ)

vrest (потенциал покоя) Vreset (потенциал сброса) 0 (порог)

Г"

Ижикевича

а, Ь, с, d (четверка параметров, определяющая тип динамики)

Другие модели -Ходжкина-Хаксли, Мориса-Лекара, Фитцху-Нагумо

0( порог срабатывания)

Тип связей Модель синапса Tdelay (задержка) и> (сила связи)

Обучение Функция обучения

Tlearn - пер ПОД

Электрический

Нулевая задержка

Химический статический

Туп (пост, времени затухания)

Химический динамический

I (использование в покое)

1) (пост, времени восстановления) Р (пост времени разгрузки)

1

Химический с пластич ностью

Wmax(\iaKC сила)

Awml„ (мин. приращение) АТforgeI (пост, времени забывания)

Экспоненциальная

TlTPi TltD ~ пост, времени XoLTr< X/1LTD — макс, приращение

Пороговая

ATmax, ATmln -пороги Amax, Amn - макс приращения Гауссоида

С(центр) Р (ширина)

^тах(макс)

В (мин.) ATmax, ATmln -

пороги

Считыватель

Анализ динамики

Показатели динамики

Преобразование

Алгоритм преобразования и параметры алгоритма

Снижение размерности

Алгоритм (PCA, LDAy Параметры алгоритма (число компонент)

Классификация

Алгоритм (knn, Bayes) Параметры алгоритма (К)

Кластеризация

Алгоритм (kmeans, gmm) Параметры алгоритма

Рис. 2. Иерархия параметров МНС Fig. 2. MNN Parameter Hierarchy

Таблица 1

Классификация основных параметров по группам

Table 1

Classification of the main parameters by groups

1 группа (варьируемые) X ^ C ^ Wиt, Pinh (внутренная связность) Pvh, (внешняя связность) pnoise, inoise (шум) treadout (считыватель)

2 группа (настраиваемые) ппгп (число нейронов) т, Trefrec (1аР нейрон) a, Ь, c, d (нейрон Ижикевича, модели Я8, Б8, СН) т^ (синапсы), Teeam (обучение)

3 группа (фиксируемые) п^ (число входов) т^ау (задержка в синапсах) ^ D, F (динамические синапсы) Аwmin, А^тах, (синапсы с пластичностью) X0LTP, X0LTD, ALTP, ALTD, B, Fmax, TLTP, TLTD, АTmax, АTmin, C, Р

Таблица 2

Диапазоны значений основных параметров модели

Table 2

The ranges of the basic parameters of the model

Параметр или модель Диапазоны значений

Размерность nnm = nx ny nz > 100

Связность X с [1, 3], Су с [0, 100] %

Тип нейронов pM с [0, 100]

Сила связей, химические синапсы Wint, Wvh,chem с[0,05, 0,2] (IaF) Wint, WvKchem с [0,01, 0,2] (Ижикевича)

Сила связей, электрические синапсы WvKd, inoise с[0,01, 0,05] (IaF) Wvh.ei, inoise с[0,005, 0,05] (Ижикевича)

Шум pnose с [20,50] % плюс значения 0 и 100 %

Задержки Tdelay = 1 С

1аБ нейрон Утечка есть, vmst = vree = 0 6=15мВ Trefrac = 3 мс, x=30 мс

Нейрон Ижикевича модель RS: a=0,02, b=0,2, c=-65, d =8 модель FS: a=0,1, b=0,2, c=-65, d=2

Синапсы Xsyn = [3,10] мс

Динамические синапсы U = 0,5; D с [10,100] мс; F с [10,100] мс

Обучение Team с [0,5; 2] с

Синапсы с пластичностью ^max с [0,1; 0,5], A^min = 0,0001; AT^ с [1,10] с

Функции обучения ^0LTP, ^0LTD, Altp, ALTD с[0,0001; 0,001]; TLTP, TLTD, ^mi^ ATmax с[5;50] мс

Далее для каждого из параметров модели РНС были определены диапазоны их изменения или просто значения. Результаты представлены в табл. 2.

Задачи и показатели, используемые при синтезе РНС

Структура и параметры резервуара подбираются для улучшения качества решения задачи распознавания динамических образов, которая является частным случаем задачи распознавания образов. Ее суть сводится к тому, что на основании обучающих примеров система должна так настроить свои внутренние параметры, чтобы ошибка на тестовой выборке была минимальной. При

этом входной и выходной сигналы представлены последовательностями значений, а ошибка вычисляется как разность между желаемым и реальным выходными сигналами.

Предпочтительным является задание входных данных в импульсной форме. В случае задания данных в непрерывной форме необходимо выполнить преобразование этих данных в импульсную форму. Наилучшими возможностями обладает пространственно-временной алгоритм преобразования на основе рецептивных полей.

Сложность задачи является нечеткой мерой, и для ее характеристики могут использоваться разные показатели: различимость образов, компактность (разнесенность), ди-

намика (медленная или быстрая), корреляции [2]. В нашем случае чем сложнее динамический входной образ, тем сложнее и разнообразней должна быть структура РНС и используемые модели нейронов и синапсов.

Для настройки импульсной РНС используются различные качественные критерии [27, 38, 40].

Первый критерий основан на том принципе, что РНС обладает наибольшими вычислительными возможностями, если находится вблизи границы между хаосом и порядком. Поэтому параметры следует выбирать таким образом, чтобы динамика РНС в ответ на тестовые входные образы была более длительной, но все-таки затухающей.

Второй критерий основан на определении реакции РНС на различные входные динамические тестовые образы. Параметры РНС следует подбирать таким образом, чтобы она лучше разносила в своем состоянии различные входные образы. Показателем выбирается метрика различия состояний РНС в ответ на разные входные образы.

Исследование и анализ влияния параметров

Построенная иерархия позволила определить множество и диапазоны изменения варьируемых параметров и перейти к следующему этапу построения методики — экспериментальному исследованию. Суть экспериментального исследования в конечном счете свелась к перебору различных наборов значений параметров, формированию соответствующих моделей РНС, определению для них показателей качества и дальнейшему обобщению полученных данных. Была предложена и реализована следующая схема:

для выбранных показателей качества сгенерировали необходимые тестовые входные сигналы;

параметры проанализировали на предмет зависимости друг от друга, что позволило часть из них зафиксировать и не рассматривать в дальнейшем;

для оставшихся параметров задали диапазоны возможных значений;

после этого провели эксперименты по всем возможным сочетаниям параметров

резервуара и для них определили показатели качества;

если какой-то параметр слабо влиял на показатель качества, его перемещали в группу фиксированных параметров, и наоборот, если оказывалось, что изменением текущих варьируемых параметров не удавалось добиться существенного изменения динамики, часть фиксированных параметров могла перейти в статус изменяемых;

если для одного из показателей качества были получены все необходимые зависимости, выбирался следующий показатель качества, и процесс повторялся.

Описанная выше схема приведена на рис. 3.

Далее для упрощения будут использоваться следующие обозначения:

Wnt =

w w

w ■ w

C =

где нижние индексы содержат две буквы: i (inhibitory) — подавляющий, e (excitatory) — возбуждающий. Первая буква обозначает тип элемента-источника, а вторая — тип элемента-получателя. То есть wie обозначает силу химических синапсов от подавляющих к возбуждающим нейронам.

Wvh(chem) — матрица Wvh для химических — матрица Wvh для элек-

синапсов. Wvh(el)

трических синапсов: = ^^^ где

нижний индекс обозначает тип элемента-

получателя, то есть -1 обозначает силу

электрических синапсов от входов к подавляющим нейронам.

РНС из IaF нейронов. Вначале проводились исследования с РНС, состоящей из более простых 1аБ нейронов. Были заданы следующие начальные значения параметров: рм = 20 %, рех = 80 %, X = 3,

С = 0 0,5 , рл = 100 %, Ж* [0,01; 0,03], 0,5 0,5

Рпоее = 100 %, Упо^ее = Я-1пЫх = 0,0135, У = 0,0155.

В результате экспериментов была получена граница перехода динамики из затухающей в незатухающую для двух параметров (м>ее, м>ге). Она представлена на рис. 4.

wvh wveh ],

- разделимость различных образцов;

- динамический режим рядом с границей устойчивости

■ ненулевые н. у.;

■ запускающий импульс;

■ набор различных образцов

- тип нейронов, синапсов и их параметры;

- параметры самообучения

pvh = [10, 50, 100] % pmh = [0, 10, 20, 30, 50] % X = [1; 1,5;2; 3] P„o,Se = [0, 10, 50, 100] % C[j, j] = [0,1; 0,2; 0,5; 1; 2] Wlnt[i, j] = ...

1 Выбор показателей качества резервуара

2 Генерация тестовых входных сигналов

1

3 Выбор фиксированных параметров

4 Определение диапазонов изменения варьируемых параметров

1

5 Генерация резервуаров и проведение экспериментов

\

6 Анализ показателей качества, выдвижение гипотез

f

Рис. 3. Схема, иллюстрирующая этап построения методики синтеза импульсной РНС Fig. 3. Scheme illustrating the stage of building a method for synthesizing pulsed RNN

0,02

0,025

0,03

0,035

Рис. 4. Граница в плоскости двух параметров, разделяющая динамику на два типа Fig. 4. The boundary in the plane of the two parameters, dividing the dynamics into two types

( ^ граница устойчивости; (_._._.-) wee= wje,

w

ee

Все, что лежит ниже кривой, соответствует незатухающей памяти, а выше — затухающей. Уменьшение уровня шума ведет к сдвигу характеристики вниз, а увеличение — к сдвигу вверх. Экспериментально установлено, что данная граница качественно справедлива не только для текущей, но и для большинства остальных вариантов структур.

В среднем для различных структур при отсутствии подавления незатухающая память появляется при значениях ^ее в диапазоне от 0,02 до 0,025 (для X = 3, рш = 20 %, статических синапсах, рпЫее = 100 %, си = 0, се = сё = сее = 0,5). В результате обобщения полученных результатов построена таблица зависимости типа динамики от параметров (табл. 3).

В таблице для обозначения типа динамики используются следующие символы:

^^ — апериодически затухающая дина-

с От-

мика; ^ — колебательная затухающая

динамика; — колебательная незату-

хающая динамика.

С помощью этой таблицы могут быть выбраны сочетания параметров С, X и для нахождения импульсной РНС вблизи границы устойчивости.

РНС из нейронов Ижикевича. После исследования РНС из 1аБ нейронов было выполнено исследование РНС, состоящих из нейронов Ижикевича.

В отличие от 1аБ нейронов у нейронов Ижикевича важным является момент подачи входного образа. Дело в том, что в самом начале у нейронов Ижикевича идет переходный процесс, поэтому лучше подавать входные сигналы спустя 0,03 с, когда этот процесс закончится. В работе входные сигналы подавались спустя 0,1 с.

Зависимость динамики от параметров The dependence of the dynamics of the parameters

Таблица 3 Table 3

с Wee = 0,03 Wee = 0,04 We = 0,05 Wee = 0,06 Wee = 0,15

X = 2

0,7, 1 Ч/Ъ 4AJ ч/ъ Ч/Ъ

0,5 OAJ 4AJ OAJ

X = 1,5

0,8 t\r~ ч/ъ Ч/Ъ

X = 1

5, 10, 15 ч/ъ r\f\j 4Jb Ч/Ъ

3 о/ъ ч/ъ Ч/Ъ Ч/Ъ

2 v OAJ 4/b Ч/Ъ

0,5, 1 v v v_ Ч/Ъ

0,1

В начальных экспериментах с НС из нейронов Ижикевича исследовалась реакция НС на запускающий импульс, подающийся одновременно на все нейроны. При этом шум на вход НС не подавался, а начальные условия нейронов соответствовали точкам равновесия.

Первым рассматривается случай, при котором отсутствуют подавляющие нейроны (Р/и/ = 0). На динамику влияют три параметра: А, сее, м?ее. В зависимости от этих параметров динамика может быть различной. С увеличением параметров А, сее, время активности РНС также растет, что говорит об «усилении» динамики этими параметрами.

С ростом А увеличивается дальность связей, а с ростом сее — их плотность.

Можно выделить следующие особенности:

после подачи входного импульса нейроны генерируют импульс, потом уходят в молчание на 2 мс, после чего начинается основная динамика;

основная динамика характеризуется начальным нарастанием частот генерации импульсов с последующим их уменьшением;

нейроны заканчивают генерировать импульсы в порядке, зависящем от структуры РНС. Чаще всего общая динамика сужается в один-два затухающих кластера; кластеры формируются из соседних нейронов, имеющих связи друг с другом.

Влияние подавляющих нейронов. Введем следующие обозначения: [/и/ ^ /и/] — связи от подавляющих к подавляющим нейронам; [/и/ ^ ех] — связи от подавляющих к возбуждающим нейронам; [ех ^ /и/] — связи от возбуждающих к подавляющим нейронам; [ех ^ ех] — связи от возбуждающих к возбуждающим нейронам.

РНС, состоящая только из подавляющих нейронов, демонстрировала нулевую активность: нейроны лишь реагировали на начальный импульс. В случае, если РНС состояла из подавляющих и возбуждающих нейронов, то динамика определялась как

процентом возбуждающих (подавляющих) нейронов, так и плотностью С и силой Ж связей между нейронами.

С увеличением процента возбуждающих нейронов динамика НС усиливалась. На основании анализа множества экспериментов были сделаны следующие выводы.

1. Динамика возбуждающих нейронов при наличии связей [ех ^ /и/] провоцирует динамику подавляющих нейронов.

Начальный импульс вызывает две волны импульсов от возбуждающих и подавляющих нейронов. Возбуждающие нейроны не связаны друг с другом, поэтому их дальнейшая динамика отсутствует. Но они успевают возбудить подавляющие нейроны. Если убрать связи [/и/ ^ ех], то реакция будет уже другой.

Возбуждающие нейроны слабо возбуждают возбуждающие и сильно — подавляющие. Подавляющие нейроны пассивны. Поэтому реакцию можно интерпретировать как слабую динамику возбуждающих нейронов, активирующую динамику подавляющих нейронов.

2. Увеличение силы связей [/и/ ^ /и/] ускоряет процесс затухания реакции подавляющих нейронов.

3. При отсутствии связей [/и/ ^ ех] и [ех ^ /и/] активность НС распадается на активность возбуждающих и подавляющих нейронов. Подавляющие нейроны при этом ослабляют динамику возбуждающих нейронов лишь тем, что создают «пустоты» в структуре, не реагирующие на возбуждающие нейроны.

4. Эффективность подавления динамики зависит от двух типов связей: от возбуждающих к подавляющим [ех ^ /и/] и от подавляющих к возбуждающим [/и/ ^ ех]. В отсутствии связей [ех ^ /и/] (се/ = 0) подавляющие нейроны быстро «успокаиваются» и больше не «тревожат» возбуждающие нейроны. В отсутствии связей [/и/ ^ ех] (с/е = 0) динамика возбуждающих нейронов не ослабляется подавляющими нейронами. Вместе же связи [ех ^ /и/] и [/и/ ^ ех] ослабляют динамику.

Серия запускающих импульсов. Следующая серия экспериментов была направлена на изучение реакции НС в ответ на несколько запускающих импульсов. Вначале параметры были заданы следующими:

"0,02 0,02"

X = 3, C =

0 0,5 0,5 0,5

W■ =

rr int

0,02 0,02

При подаче импульсов в моменты времени 0,1 и 0,5 с реакция была как на рис. 5.

Можно говорить, что это две примерно идентичные реакции.

Анализ всех проведенных в данном подразделе экспериментов позволяет сформулировать следующие положения:

• реакция РНС на запускающий импульс — результат взаимодействия между подавляющими и возбуждающими нейронами;

• один или несколько возбуждающих импульсов способны запустить динамику РНС на некоторое время;

• чем сильнее и продолжительней возбуждение РНС, тем дольше последую -щее состояние неактивности, восстановления, и наоборот, чем короче возбуждение, тем быстрее восстановление;

• реакция РНС на второй импульс зависит от момента подачи этого импульса (если РНС возбудить в начальный момент восстановления, то реакция будет практически нулевая; если РНС возбудить ближе к концу момента восстановления, то реакция будет отличаться от

обычной реакции; если РНС возбудить после восстановления, то реакция будет похожа на первую реакцию);

• на появление незатухающей активности влияет как сила связей, так и пропорция между возбуждающими и подавляющими связями. При превалировании возбуждающих связей реакция, как правило, одиночная и длительная (при равной пропорции связей и нормальной силе реакция, как правило, в форме колебаний; при силе связей не больше 0,01 реакция на импульсы всегда затухающая; при силе связей на уровне 0,02 реакция становится более длительной и иногда колебательной; при силе связей на уровне 0,03 реакция в большинстве случаев колебательная);

• на реакцию влияет равномерность распределения связей (при появлении локализированных участков только с возбуждающими связями они могут функционировать независимо от РНС и подчинять себе ее динамику).

Эксперименты с шумом. Эксперименты с запускающими импульсами показали, как реакция НС зависит от пропорции подавляющих нейронов Рм, силы связи и плотности связей С. Следующим этапом исследования является подача на вход НС шума различной интенсивности.

При небольшой силе связи (равной 0,01) и сбалансированной плотности связей реакция НС представляет собой случайный процесс (рис. 6).

120

100

80

60

40

20

BE

»

i i >

f * **

H. • i

ь

vT"

n »4

1-1-r fe- / 1 1 I 1 ' 1 - ; ■ | I

0.1

0.2

0.3

0.4

0.5 Время, с

0.6

0.7

0.Э

Рис. 5. График активности импульсной РНС Fig. 5. Graph of the activity of pulsed RNN

Рис. 6. График активности импульсной РНС Fig. 6. Graph of the activity of pulsed RNS

Последующие эксперименты позволили сделать следующие выводы.

1. Реакция на шум по сути эквивалентна реакции на большое количество запускающих импульсов.

2. Небольшой, но постоянный уровень шума улучшает показатели импульсной РНС. Это можно объяснить тем, что за счет шума РНС находится в предвоз-бужденном состоянии, и ей проще реагировать на входные стимулы.

3. Существует граничное значение силы шума, превышая которое РНС не способна нормально реагировать на входные последовательности.

Применение полученных результатов

Анализ результатов экспериментального исследования позволил построить обобщенную методику синтеза импульсных РНС и встроить ее в схему решения задачи распознавания динамических образов. Соответствующая схема представлена на рис. 7.

В самом начале в зависимости от типа, сложности и размерности входных данных выбирается способ их нормализации, кодирования и подачи на вход РНС. Затем осуществляется выбор параметров импульсной РНС исходя из сложности решаемой задачи и используемых показателей качества резервуара. В соответствии с решаемой задачей синтезируются и обучаются считыватели. После этого выполняется

оценка качества распознавания, и при необходимости осуществляется возврат на один из предыдущих шагов.

Пример. Далее на простом примере покажем, как можно решать задачи с помощью рассматриваемой модели импульсной РНС в составе МНС.

В качестве простых данных возьмем два различных импульсных пространственно-временных образа. Эти образы представляют собой волны импульсов, распространяющиеся в дискретном пространстве размерности Ню = 8 в различных направлениях (рис. 8).

Задача ставится следующим образом: если на входе образ 1, то на выходе системы распознавания должен быть класс 1; если на входе образ 2, то на выходе — класс 2; если на входе что-то другое или ничего нет, то на выходе — класс 3. Общее число классов и^ = 3.

В качестве нейронов в соответствии с рекомендациями методики выберем нейроны типа 1аБ, в качестве синапсов — химические синапсы. Количество нейронов в резервуаре зададим равным иит = 125 (решетка 5x5x5). Параметр А = 2 означает, что каждый нейрон связан случайно с соседями в окрестности длины 2. Рм = 20 % нейронов выберем подавляющими, а рх = 80 % — возбуждающими. Матрицы С, равны соот-

"0,02 0,01"

ветственно С =

0,1 0,4 0,2 0,3

W =

"rnt

0,01 0,05

Рис. 7. Схема решения задачи распознавания образов с помощью МНС Fig. 7. Pattern of solving the problem of pattern recognition using MNN

й к о a

=s

04

-2

к -4 -&

о £

й к о a

=s

о К

О

К

0

-2

-4

-6

0,7

—Г"

0,8

—Г-

0,3

0,4

Рис. 8. Примеры классифицируемых образов Fig. 8. Examples of classified images

Каждый из ПуЬ = пп = 8 входов случайно связан с рЛ = 20 % нейронов, силы химических синапсов от входов к подавляющим и возбуждающим нейронам равны

4*^) = <11(е1,ет)= 0,03. Постоянная времени хеуп = 3 мс для всех химических синапсов, кроме синапсов от подавляющих нейронов — для них она равна теуп = 6 мс. Задержка во всех химических синапсах

одинакова и равна тМау = 1 мс. Электрические синапсы отсутствуют.

Для анализа импульсной динамики и преобразования импульсного сигнала в непрерывный подходит алгоритм на основе замены импульсов затухающими экспонентами. С учетом динамики входного сигнала постоянную времени экспонент зададим равной т^^ = = 5 мс.

1 образ

120

100 [ Н

I 60 !

20 О

►.ч ■

I'

2 образ

120

100 |. 80

t 60 I 40

щ Ь -V

• —

"г

Л- «к-.*-

г. т

г" * V*

0.3 1 0 4

43

20 40 GO 80 100 120 О 20 40 СО «I 100 130

J~L

«класс 2»

Реакция импульсной НС на два разных входных образа

ijiMJiiil i.ll £ .l1ij.II.i11

Считыватель-преобразователь импульс->аналог

Считыватель — РСА, 2 компоненты

Считыватель — наивный Байесовский класси фикатор

0,5

1,5

2,5

3,5

2

Время, с

Рис. 9. Процедура работы МНС при подаче на ее вход двух образов разных классов (сверху);

результаты классификации (снизу)

Fig. 9. The procedure of the MNN when submitting to its input two images of different classes (above);

classification results (below)

Для классификации в целях визуализации процесса используется сжатие по алгоритму РСА до двух главных компонент (п^ше* = 2) и наивный Байесовский классификатор.

На рис. 9 показана процедура работы МНС при подаче на ее вход двух образов разных классов. На разные образы импульсная РНС реагирует по-разному, что видно

из верхних графиков. Затем в момент считывания состояние РНС (125 сигналов) преобразуется из импульсного в непрерывное, выполняется сокращение размерности состояния до 2 и осуществляется классификация.

Для тестирования системы она обучалась на небольшом количестве пШп = 6 обучающих образов, а затем на ее вход бы-

ли поданы иш = 100 тестовых образов. На рис. 9 снизу крестиками помечены результаты классификации обучающих примеров, а ноликами — тестовых. Видно, что система правильно различает образы классов 1, 2, 3, т. е. система справилась с поставленной задачей без ошибок.

Анализ приведенных, а также аналогичных им результатов позволил сделать вывод о том, что разработанная методика может успешно применяться для решения самых разнообразных задач распознавания динамических образов (ЭКГ, речевых сигналов, диагностических сигналов и др.) с использованием МНС в качестве основного инструмента.

Заключение

Выделены все основные параметры МНС и определена их иерархия. Построенная декомпозиция параметров импульсной РНС и считывателей позволяет выделить группы взаимосвязанных параметров, разделить все параметры на классы в зависимости от их важности. Сформировано три класса параметров: варьируемые, настраиваемые и фиксированные. Для каждого из параметров определены рекомендуемые значения или диапазоны значений, в которых следует производить их поиск.

Определен класс задач распознавания, предъявлены требования к входным и выходным данным. Для решаемой задачи

распознавания динамических образов введено качественное определение сложности на основании различных эвристических характеристик. Выдвинута гипотеза о том, что сложность импульсной РНС должна соответствовать сложности решаемой задачи, после чего предложены несколько показателей, по которым можно оценивать сложность импульсной РНС.

Выполнен большой объем экспериментов, нацеленных на получение рекомендуемых значений параметров импульсной РНС с точки зрения достижения наилучших показателей качества при решении задачи распознавания динамических образов. Рассмотрены модели импульсных РНС с нейронами 1аБ и нейронами Ижикевича. Получены характеристики, связывающие показатели динамики импульсных РНС со значениями параметров, задающих структуру РНС, силы связей, тип нейронов, задержки и др. Выявлено и сформулировано множество системных закономерностей между значениями параметров РНС и ее динамическими режимами.

Полученные результаты позволяют в дальнейшем сформулировать формальную методику синтеза импульсных РНС в составе МНС для решения задачи распознавания динамических образов. Применение этой методики упрощает процесс решения аналогичных задач и обеспечивает увеличение показателей качества распознавания.

СПИСОК ЛИТЕРАТУРЫ

1. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: Data mining, inference, and prediction. 2nd ed. Spinger, 2016. 745 p.

2. Kuhn M. Applied predictive modeling. 2nd ed. Springer, 2016. 600 p.

3. De Mulder W., Bethard S., Moens M.-F. A survey on the application of recurrent neural networks to statistical language modeling // Computer Speech and Language. 2015. Vol. 30. No. 1. Pp. 61-98.

4. Бендерская Е.Н., Никитин К.В. Рекуррентная нейронная сеть как динамическая система и подходы к ее обучению // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2013. № 4. C. 29-40.

5. Haykin S. Neural networks and learning machines. 3rd ed. Pearson, 2011. 936 p.

6. Siegelmann H.T. Neural and super-turing computing // Minds and Machines. 2003. Vol. 13. Pp. 103-114.

7. Amari S.A. Dynamics of pattern formation in lateral-inhibition type neural fields // Biological Cybernetics. 1977. Vol. 27. Pp. 77-87.

8. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // PNAS. 1982. Vol. 79. Pp. 2554-2558.

9. Amit D.J. Modelling brain function. The world of attractor neural networks. Cambridge: Cambridge University Press, 1989. 504 p.

10. Greff K., Srivastava R., Koutnik J., Steunebrink B.R., Schmidhuber J. LSTM: A search space odyssey // IEEE Transactions on Neural Networks and Learning Systems. 2017. Vol. 28. No. 10.

11. Jaeger H. Tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the «echo state network» approach // GMD Report 159. German National Research Center for Information Technology, 2002. 48 p.

12. Atiya A.F., Parlos A.G. New results on recurrent network training-unifying the algorithms and accelerating Convergence // IEEE Transactions on Neural Networks. 2000. Vol. 11. No. 3. Pp. 697-709.

13. Hammer B., Schrauwen B., Steil J.J. Recent advances in efficient learning of recurrent networks // ESANN 2009. Bruges, 2009. Pp. 213-226.

14. Dmitriev A.S., Panas A.I., Starkov S.O. Storing and recognizing information based on stable cycles of one-dimensional maps // Physics Letters A. 1991. Vol. 155. No. 8, 9. Pp. 494-499.

15. Борисюк Г.Н., Борисюк Р.М., Казанович Я.Б., Лузянина Т.Б., Турова Т.С., Цымбалюк Г. Ос-цилляторные нейронные сети. Математические результаты и приложения // Математическое моделирование. 1992. Т. 4. № 1. С. 3-43.

16. Kaneko K. Clustering, coding, switching, hierarchical ordering and control in a network of chaotic elements // Physica D: Nonlinear Phenomena. 1990. Vol. 41. No. 2. Pp. 137-172.

17. Angelini L., Carlo F., Marangi C., Pellicoro M, Nardullia M., Stramaglia S. Clustering data by in-homogeneous chaotic map lattices // Physical Review Letters. 2000. Vol. 85. No. 3. Pp. 554-557.

18. Eckhorn R., Bauer R., Jordan W., Brosch M., Kruse W., Munk M., Reitboeck H.J. Coherent oscillations: a mechanism of feature linking in the visual cortex? // Biological Cybernetics. 1988. Vol. 60. Pp. 121-130.

19. Hinton G.E., Sejnowski T.J. Learning and relearning in Boltzmann machines // Parallel Distributed Processing. Cambridge: The MIT Press, 1986.

20. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. Vol. 9 (8). Pp. 1735-1780.

21. Buonomano D.V., Maass W. State -dependent computations spatiotemporal processing in cortical networks // Neuroscience. 2009. Vol. 10. Pp. 113-125.

22. Gallicchi C., Micheli A., Pedrelli L. Deep reservoir computing: A critical experimental analysis // Neurocomputing. 2017. Vol. 268. No. 13. Pp. 87-99.

23. Goudarzi A., Teuscher C. Reservoir computing: Quo Vadis? // Proc of the 3rd ACM Int. Conf on Nanoscale Computing and Communication. New York, NY, USA. 2016.

24. Maass W., Joshi P., Sontage E.D. Principles of real-time computing with feedback applied to cortical microcircuit models // Advances in Neural Information Processing Systems. 2006. Vol. 18. Pp. 835-842.

25. Walter F., Rohrbein F., Knoll A. Computation by time // Neural Processing Letters. 2016. Vol. 44. No. 1. Pp. 103-124.

26. Jaeger H. The «echo state» approach to analyzing and training recurrent neural networks // GMD report 148. German National Research Center for Information Technology. St. Augustin, 2001. 43 p.

27. Aoun M.A., Boukadoum M. Chaotic liquid state machine // Internat. J. of Cognitive Informatics and Natural Intelligence. 2015. Vol. 9. No. 4. Pp. 1-20.

28. Schrauwen B., Verstraeten D., Campenhout J.V.

An overview of reservoir computing theory, applications and implementations // Proc. of the 15 th European Symposium on ANN. 2007. Pp. 471-482.

29. Larger L., Baytyn-Fuentes A., Martinenghi R., Udaltsov V.S., Chembo Y.K., Jacquot M. Highspeed photonic reservoir computing using time-delay-based architecture: Million words per second classification // Phys. Rev. X. 2017. Vol. 7. Art. № 011015.

30. Najibi E., Rostami H. SCESN, SPESN, SWESN: Three recurrent neural echo state networks with clustered reservoirs for prediction of nonlinear and chaotic time series // Applied Intelligence. 2015. Vol. 43. No. 2. Pp.460-472.

31. Ortín S., Soriano M.C., Pesquera L., Brunner D., San-Marten D., Fischer I., Mirasso C.R., Gutiérrez J.M. A unified framework for reservoir computing and extreme learning machines based on a single time-delayed neuron // Scientific Reports. 2015. Vol. 5. Art. No. 14945.

32. Trentin E., Scherer S., Schwenker F. Emotion recognition from speech signals via a probabilistic echo-state network // Pattern Recognition Letters. 2015. Vol. 66. No. C. Pp. 4-12.

33. Zhang Y., Li P., Jin Y., Choe Y. A digital liquid state machine with biologically inspired learning and its application to speech recognition // IEEE Trans Neural Netw Learn Syst. 2015. Vol. 26(11). Pp. 2635-49.

34. Rosselty J.L., Alomar M.L., Morro A., Oliver A., Canals V. High-density liquid-state machine circuitry for time-series forecasting // Int. J. Neural Syst. 2016. Vol. 26 (5). Art. No. 1550036.

35. Charles A.S., Yin D., Rozell C.J. Distributed sequence memory of multidimensional inputs in recurrent networks // The Journal of Machine Learning Research. 2017. Vol. 18. No. 1. Pp. 181-217.

36. Jin Y., Li P. Performance and robustness of bio-inspired digital liquid state machines // Neurocomputing. 2017. Vol. 226. No. C. Pp. 145—160.

37. Lokse S., Bianchi F.M., Jessen R. Training echo state networks with regularization through dimensionality reduction // Cogn. Comput. 2017. Vol. 9. Art. No. 364.

38. Bourdoukan R., Deneve S. Enforcing balance allows local supervised learning in spiking recurrent networks // Proc. of the 28th Int. Conf. on NIPS. Montreal, Canada. 2015. Pp. 982—990.

39. Wang H., Yan X. Optimizing the echo state network with a binary particle swarm optimization algorithm // Knowledge-Based Systems. 2015. Vol. 86. No. C. Pp. 182—193.

40. Wojcik G.M., Wany M. Bray-Curtis metrics as measure of liquid state machine separation ability in function of connections density// Procedia Computer Science. 2015. Vol. 51. No. C. Pp. 2979—2983.

41. Бендерская Е.Н., Никитин К.В. Анализ модели импульсной рекуррентной нейронной сети в составе машины неустойчивых состояний // Нейрокомпьютеры: разработка, применение. 2014. № 1. С. 17—22.

42. Gerstner W., Kistler W.M., Naud R.,

Paninski L. Neuronal dynamics: From single neurons to networks and models of cognition. Cambridge University Press, 2014.

43. Kasabov N., Capecci E. Spiking neural network methodology for modelling, classification and understanding of EEG spatio-temporal data measuring cognitive processes // Information Sciences: an International Journal. 2015. Vol. 294. No. C. Pp. 565-575.

44. Izikevich E.M. Dynamical systems in neuroscience: the geometry of excitability and bursting. Cambridge: The MIT Press, 2007. 505 p.

45. Izhikevich E.M. Which model to use for cortical spiking neurons? // IEEE Trans on Neural Networks. 2004. Vol. 15. No. 5. Pp. 1063-1070.

46. Trappenberg T.P. Fundamentals of computational neuroscience. 2nd ed. Oxford University Press, 2010. 416 p.

47. Yousefi A., Dibazar A.A., Berger T.W. Syn-aptic dynamics: linear model and adaptation algorithm // Neural Netw. 2014. Vol. 56. Pp. 49-68.

48. Smith E., Lewicki M.S. Efficient coding of time-relative structure using spikes // Neural Computation. 2004. Vol. 17. Pp. 19-45.

Статья поступила в редакцию 04.10.2018.

REFERENCES

1. Hastie T., Tibshirani R., Friedman J. The elements ofstatistical learning: data mining, inference, and prediction, 2nd ed. Spinger, 2016. 745 p.

2. Kuhn M. Applied Predictive Modeling, 2nd ed. Springer, 2016. 600 p.

3. De Mulder W., Bethard S., Moens M.-F. A survey on the application of recurrent neural networks to statistical language modeling. Computer Speech and Language, 2015, Vol. 30, No. 1, Pp. 61-98.

4. Benderskaja E.N., Nikitin K.V. Recurrent neural network as dynamical system and approaches to its training. St. Petersburg State Polytechnical University Journal. Computer Science. Telecommunication and Control Systems, 2013, No. 4, Pp. 29-40. (rus)

5. Haykin S. Neural networks and learning machines, 3rd ed., Pearson, 2011, 936 p.

6. Siegelmann H.T. Neural and super-turing computing. Minds and Machines, 2003, Vol. 13, Pp. 103-114

7. Amari S.A. Dynamics of pattern formation in lateral-inhibition type neural fields. Biological Cybernetics, 1977, Vol. 27, Pp. 77-87.

8. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities, PNAS, 1982, Vol. 79, Pp. 2554-2558.

9. Amit D.J. Modelling brain function. The world of attractor neural networks. Cambridge: Cambridge University Press, 1989, 504 p.

10. Greff K., Srivastava R., Koutnik J., Steunebrink B.R., Schmidhuber J. LSTM: A search space odyssey. IEEE Transactions on Neural Networks and Learning Systems, 2017, Vol. 28, No. 10.

11. Jaeger H. Tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the «echo state network» approach. GMD Report 159, German National Research Center for Information Technology, 2002, 48 p.

12. Atiya A.F., Parlos A.G. New results on recurrent network training-unifying the algorithms and accelerating convergence. IEEE Transactions on Neural Networks, 2000, Vol. 11, No. 3, Pp. 697-709.

13. Hammer B., Schrauwen B., Steil J.J. Recent advances in efficient learning of recurrent networks. ESANN 2009, Bruges, 2009. Pp. 213-226.

14. Dmitriev A.S., Panas A.I., Starkov S.O. Storing and recognizing information based on stable cycles of one-dimensional maps. Physics Letters A, 1991, Vol. 155, No. 8, 9, Pp. 494-499.

15. Borisjuk G.N., Borisjuk R.M., Kaza-novich Ja.B., Luzjanina T.B., Turova T.S., Cym-

baljuk G. Oscillatory neural networks. Mathematics and applications. Matematicheskoe modelirovanie [Mathematical Models and Computer Simulations], 1992, Vol. 4, No. 1, Pp. 3-43. (rus)

16. Kaneko K. Clustering, coding, switching, hierarchical ordering and control in a network of chaotic elements. Physica D: Nonlinear Phenomena, 1990, Vol. 41, No. 2, Pp. 137-172.

17. Angelini L., Carlo F., Marangi C., Pellicoro M, Nardullia M., Stramaglia S. Clustering data by inhomogeneous chaotic map lattices. Physical Review Letters, 2000, Vol. 85, No. 3, Pp. 554-557.

18. Eckhorn R., Bauer R., Jordan W., Brosch M., Kruse W., Munk M., Reitboeck H.J. Coherent oscillations: a mechanism of feature linking in the visual cortex? Biological Cybernetics, 1988, Vol. 60, Pp. 121-130.

19. Hinton G.E., Sejnowski T.J. Learning and relearning in Boltzmann machines. Parallel Distributed Processing. Cambridge: The MIT Press, 1986.

20. Hochreiter S., Schmidhuber J. Long short-term memory. Neural Computation, 1997, Vol. 9 (8), Pp. 1735-1780.

21. Buonomano D.V., Maass W. State-dependent computations spatio-temporal processing in cortical networks. Neuroscience, 2009, Vol. 10, Pp. 113-125.

22. Gallicchi C., Micheli A., Pedrelli L. Deep reservoir computing: A critical experimental analysis. Neurocomputing, 2017, Vol. 268, No. 13, Pp. 87-99.

23. Goudarzi A., Teuscher C. Reservoir Computing: Quo Vadis? Proc. of the 3rd ACM Int. Conf. on Nanoscale Computing and Communication, New York, NY, USA, 2016.

24. Maass W., Joshi P., Sontage E.D. Principles of real-time computing with feedback applied to cortical microcircuit models. Advances in Neural Information Processing Systems, 2006, Vol. 18. Pp. 835-842.

25. Walter F., Rohrbein F., Knoll A. Computation by time. Neural Processing Letters, 2016, Vol. 44, No. 1, Pp. 103-124.

26. Jaeger H. The «echo state» approach to analyzing and training recurrent neural networks: GMD report 148. German National Research Center for Information Technology. St. Augustin, 2001, 43 p.

27. Aoun M.A., Boukadoum M. Chaotic liquid state machine. International Journal of Cognitive Informatics and Natural Intelligence, 2015, Vol. 9, No. 4, Pp. 1-20.

28. Schrauwen B., Verstraeten D., Campenhout J.V. An overview of reservoir computing theory, applications and implementations. Proc. of the 15th European Symposium on ANN, 2007, Pp. 471-482.

29. Larger L., Baytyn-Fuentes A., Martinenghi R., Udaltsov V.S., Chembo Y.K., Jacquot M. High-speed photonic reservoir computing using time-delay-based

architecture: Million words per second classification. Phys. Rev. X, 2017, Vol. 7, No. 011015.

30. Najibi E., Rostami H. SCESN, SPESN, SWESN: Three recurrent neural echo state networks with clustered reservoirs for prediction of nonlinear and chaotic time series. Applied Intelligence, 2015, Vol. 43, No. 2, Pp. 460-472.

31. Ortín S., Soriano M.C., Pesquera L., Brunner D., San-Marten D., Fischer I., Mirasso C.R., Gutiérrez J.M. A Unified framework for reservoir computing and extreme learning machines based on a single time-delayed neuron. Scientific Reports, 2015, Vol. 5, Art. No. 14945.

32. Trentin E., Scherer S., Schwenker F. Emotion recognition from speech signals via a probabilistic echo-state network. Pattern Recognition Letters, 2015, Vol. 66, No. C, Pp. 4-12.

33. Zhang Y., Li P., Jin Y., Choe Y. A digital liquid state machine with biologically inspired learning and its application to speech recognition. IEEE Trans Neural Netw Learn Syst, 2015, Vol. 26(11), Pp. 2635-49.

34. Rosselty J.L., Alomar M.L., Morro A., Oliver A., Canals V. High-density liquid-state machine circuitry for time-series forecasting. Int. J. Neural Syst, 2016, Vol. 26 (5), Art. No. 1550036.

35. Charles A.S., Yin D., Rozell C.J. Distributed sequence memory of multidimensional inputs in recurrent networks. The Journal of Machine Learning Research, 2017, Vol. 18, No. 1, Pp. 181-217.

36. Jin Y., Li P. Performance and robustness of bio-inspired digital liquid state machines. Neurocomputing, 2017, Vol. 226, No. C, Pp. 145-160.

37. Lokse S., Bianchi F.M., Jessen R. Training echo state networks with regularization through dimensionality reduction. Cogn. Comput., 2017, Vol. 9, Art. No. 364.

38. Bourdoukan R., Deneve S. Enforcing balance allows local supervised learning in spiking recurrent networks. Proc. of the 28th Internat. Conf. on NIPS, Montreal, Canada, 2015, Pp. 982-990.

39. Wang H., Yan X. Optimizing the echo state network with a binary particle swarm optimization algorithm. Knowledge-Based Systems, 2015, Vol. 86, No. C, Pp. 182-193.

40. Wojcik G.M., Wany M. Bray-Curtis metrics as measure of liquid state machine separation ability in function of connections density. Procedia Computer Science, 2015, Vol. 51, No. C, Pp. 2979-2983.

41. Benderskaya E.N., Nikitin K.V. Analysis of a spiking recurrent neural network as a part of the liquid state machine. Neurocomputers, 2014, No. 1, Pp. 17-22 (rus)

42. Gerstner W., Kistler W.M., Naud R.,

Paninski L. Neuronal dynamics: From single neurons to networks and models of cognition. Cambridge University Press, 2014.

43. Kasabov N., Capecci E. Spiking neural network methodology for modelling, classification and understanding of EEG spatio-temporal data measuring cognitive processes. Information Sciences: an International Journal, 2015, Vol. 294, No. C, Pp. 565-575.

44. Izikevich E.M. Dynamical systems in neuroscience: the geometry of excitability and bursting. Cambridge: The MIT Press, 2007, 505 p.

Received 04.10.2018.

45. Izikevich E.M. Which model to use for cortical spiking neurons? IEEE Trans on Neural Networks, 2004, Vol. 15, No. 5, Pp. 1063-1070.

46. Trappenberg T.P. Fundamentals of computational neuroscience, 2nd ed. Oxford University Press, 2010, 416 p.

47. Yousefi A., Dibazar A.A., Berger T.W. Syn-aptic dynamics: linear model and adaptation algorithm. Neural Netw., 2014, Vol. 56, Pp. 49-68.

48. Smith E., Lewicki M.S. Efficient coding of time-relative structure using spikes. Neural Computation, 2004, Vol. 17, Pp. 19-45.

СВЕДЕНИЯ ОБ АВТОРАХ / THE AUTHORS

НИКИТИН Кирилл Вячеславович NIKITIN KiriU V.

E-mail: execiter@mail.ru

© Санкт-Петербургский политехнический университет Петра Великого, 2018