CC BY
0
УДК 004.032.26
ПРИМЕНЕНИЕ МЕМРИСТИВНЫХ ТЕХНОЛОГИЙ В РАЗРАБОТКЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
© 2024 А. В. Юрков1, О. В. Яковлев2
1 студент 421 группы, 11.03.04 Электроника и наноэлектроника,
факультет ФМИ e-mail: AlexandrNewton @ yandex. ru 2кандидат технических наук, старший научный сотрудник e-mail: Teacher. Yacovlev@ yandex. ru
Курский государственный университет
В данной статье указаны области применения искусственных нейронных сетей (ИНС), в том числе спайковых нейронных сетей (СНС), основные различия ИНС и СНС, представлены основные понятия теории мемристоров, являющегося перспективным элементом электронной компонентной базы благодаря своим свойствам, а также рассмотрены разработки классических ИНС и СНС с применением мемристоров.
Ключевые слова: искусственные нейронные сети, искусственный нейрон, спайковые нейронные сети, спайковый нейрон, мемристор, резистивное переключение.
APPLICATION OF MEMRISTIVE TECHNOLOGIES IN THE DEVELOPMENT OF ARTIFICIAL NEURAL NETWORKS
© 2024 A. V. Yurkov1 , O. V. Yacovlev2
1 Student of 321 groups, 11.03.04 Electronics and Nanoelectronics, Faculty of FMI
e-mail: AlexandrNewton @yandex.ru 2 Candidate of Physical and Mathematical Sciences, Senior Researcher e-mail: [email protected]
Kursk State University
This article specifies the fields of application of artificial neural networks (ANN), including spiking neural networks (SNN), the main differences between ANN and SNN, presents the basic concepts of the theory of memristors, which is a promising element of electronic component base due to its properties, and also considers the development of classical ANN and SNN using memristors.
Keywords: artificial neural networks, artificial neuron, spiking neural networks, spiking neuron, memristor, resistive switching.
Искусственные нейронные сети (ИНС) являются математическими моделями, включающими программные и схемотехнические реализации, построенные по принципу организации и функционирования биологических нейронных сетей -сетей нервных клеток живого организма [3]. Благодаря своей структуре эти модели способны решать следующие типовые задачи: аппроксимация точек по набору образов (задача регрессии), классификация данных по заданному набору классов, кластеризация данных с выявлением заранее неизвестных классов-прототипов, сжатие
информации, восстановление утраченных данных, ассоциативная память, а также оптимизация и оптимальное управление.
Актуальность ИНС вызвана тем, что постановка указанных ранее нейросетевых типовых задач встречается во многих предметных областях, таких как экономика и бизнес, медицина, авионика, системы связи, интернет-технологии, автоматизация производства, политические технологии, системы безопасности, ввод и обработка информации, георазведка и компьютерное зрение [3].
Базовым вычислительным элементом, который образует структуру ИНС, является искусственных нейрон (ИН) - упрощённая модель биологического нейрона. Принцип работы ИН заключается в применении нелинейной функции к линейной комбинации входных сигналов. Правила вычисления выходных сигналов, согласно Каллену, определяются упомянутой нелинейной функцией, которая называется функцией активации [16]. На рисунке 1 изображена схема, иллюстрирующая принцип работы модели ИН.
W11
Рис. 1. Схема, иллюстрирующая принцип работы ИН [1]
На рисунке Pi, P2,...,Pr - вектор входных данных, wii, W12,..., wir - веса, b -смещение, n - сумма скалярного произведения входного вектора на вектор весов и смещения, которая является аргументом функции активации f, формирующей выходной сигнал.
Несмотря на то что ИНС способны решать множество задач, существуют проблемы, для решения которых разрабатывают новые реализации моделей биологических нейронных сетей. Проблемами современных ИНС является постоянно растущая сложность глубоких нейронных сетей, резкое увеличение объёмов входных данных, которые приводят к значительным энергетическим затратам в современных вычислительных платформах. Другой проблемой ИНС является значительное абстрагирование от биологического прототипа, что проявляется в отсутствии возможности реализовать временную динамику биологических нейронов. Указанные проблемы привели к созданию биологически более достоверной модели биологических нейронных сетей - спайковую нейронную сеть (СНС), которая вдохновлена способностью биологических нейронов обрабатывать дискретные пространственно-временные сигналы - спайки. Спайк представляет собой электрический импульс, который возникает в биологических нейронах и служит для передачи информации
между ними. Модель спайкового нейрона (СН) имеет состояние, которое называется мембранным потенциалом. Мембранный потенциал интегрирует входные сигналы, накапливая их с течением времени, и генерирует выходной спайк при достижении порога срабатывания [2] и сбрасывает значение потенциала.
Следует пояснить отличия СНС от ИНС. Входными и выходными сигналами ИНС являются вещественные числа, а в случае СНС - последовательности дискретных импульсов одинаковой амплитуды (спайков). В отличие от ИН СН имеет состояние -мембранный потенциал. Функция выхода в ИН дифференцируема, а у СН - нет. ИНС функционируют в дискретном времени, а СНС - в непрерывном времени. ИНС работают в синхронном режиме, то есть за один такт вычисляются функции активации всех нейронов, в то время как СНС работают в асинхронном режиме, это проявляется в том, что при формировании спайков обновляются только состояния генерирующих нейронов. За счёт этих отличий и особенностей работы СНС обладают над ИНС такими преимуществами, как энергоэффективность, масштабируемость, возможность взаимодействия с динамической асинхронной средой [1].
СНС ещё не догнали формальные ИНС, если сравнивать их в производительности решения типовых задач машинного обучения. Однако в этом направлении уже есть прогресс. Известно, что СНС могут быть применены в области компьютерного зрения, в системах искусственного управления транспортными средствами, анализе данных, робототехнике и специализированном нейроморфном оборудовании [Там же].
На данный момент в схемотехнической реализации ИНС присутствует проблема увеличения разрешения и уменьшения размеров структурных элементов обработки и связующих элементов, решение которой способствует более качественному выполнению поставленными перед ИНС задачами. Для достижения этой цели могут использоваться мемристоры [5].
Мемристор является пассивным нелинейным элементом, первая концепция которого была предложена в 1971 г. Леоном Чуа и основана на соображениях симметрии соотношений между тремя идеальными элементами электрических схем: конденсатором, резистором и катушкой индуктивности [4]. Идеальный конденсатор определяется однозначным отношением между зарядом д(1:) и напряжением у(1) через ёу = dq/C(q). Аналогично идеальный резистор определяется однозначным отношением между током 1(1) и напряжением у(1) через ёу = Я(1) а идеальная катушка индуктивности определяется однозначным соотношением между магнитным потоком ф(0 и током 1(1:) через ёф = Ь(1) Указанные определения вместе с определением силы тока 1 = dq/dt и закона Ленца у = дают пять соотношений между четырьмя
фундаментальными составляющими теории цепей, а именно: зарядом q, током 1, напряжением у и магнитным потоком ф (поток определён таким образом, чтобы знак в законе Ленца был положительным). Чуа предположил, что существует элемент, который в последствии был назван мемристором, связывающий заряд q(t) и магнитный поток ф(1) следующим соотношением: ёф = М^) dq. На рисунке 2 представлены соотношения между четыремя переменными теории электрических цепей.
d/dt
d(j)
dv
M
R
de,
d/dt
di
Рис. 2. Пассивные электрические элементы (резистор, конденсатор, катушка индуктивности, мемристор) и связывающие их соотношения [6]
Экспериментальная реализация первоначально описанного элемента затруднительна. Первая реализация мемристора была выполнена в 2008 г. [11], она была основана на физической модели, где мемристор эквивалентен резистору с переменным сопротивлением, которое линейно пропорционально количеству заряда, прошедшему через него ранее. Из работы выясняется, что мемристивность - главная характеристика мемристора измеряется в омах, ровно как и сопротивление резисторов. Представленная модель являлась тонкой плёнкой, размещённой между двумя электродами и состоящей из двух слоёв диоксида титана, одна из которых была богата легированными кислородными вакансиями, а другая бедна ими. Схема данной модели представлена, как два последовательно соединённых резистора общей длиной Э: легированная область размером w и нелегированная область размером (рис. 3). Эффективное сопротивление устройства определяется следующим выражением:
где Яоп - сопротивление мемристора в случае, если вся его структура легирована, а ^о// - сопротивление, если структура полностью нелегирована. При наличии напряжения сила тока определяется из закона напряжения Кирхгофа. Мемристивное поведение определяется временной зависимостью легированной области w(t). Теоретические вольтамперные характеристики этого мемристора (рис. 4) представляют собой кривые гистерезиса, что объясняется переключением между высоко легированным и низко легированным состояниями.
M(w)=^Ron + (l-^Roff ,
1)
Рис. 3. Схема мемристора длины Б в виде двух последовательно соединенных резисторов, иллюстрирующая его принцип работы [6]
Рис. 4. Теоретические вольт-амперные характеристики мемристора при различных по частоте приложенных гармонических напряжениях [6]
Данная модель устройства и базовых идеальных электрических схем с ним: последовательное и параллельное соединение мемристоров, соединение с конденсатором (МС-цепь), с катушкой индуктивности (ЬС-цепь) по отдельности и соединение с конденсатором и катушкой вместе (МСЬ-цепь) - описаны в работе [6].
Ключевая особенность мемристоров - это их способность к резистивному переключению (РП). РП - это свойство материалов циклически изменять своё удельное электрическое сопротивление между различными стабильными уровнями при воздействии электрических напряжений. Мемристоры состоят, как правило, из 2 электродов и материала, расположенного между ними, в качестве которого могут быть использованы оксиды переходных металлов, халькогениды, полимеры
и некоторые 2Э-материалы, в которых может наблюдаться явление РП. Как правило, переключение осуществляется между двумя стабильными уровнями: высокое резистивное состояние HRS и низкое LRS. Вольтамперные характеристики, представляющие собой петли гистерезиса, могут отличаться. В зависимости от этого различают следующие типы РП: биполярное, при которым процесс переключения управляется изменением напряжения противоположной полярности; полярное, когда управление осуществляется изменением напряжения одной полярности; неполярное, когда управление осуществляется изменением напряжения любой полярности; пороговое, при котором состояние LRS нестабильно, а процесс сброса сопротивления на высокий уровень происходит автоматически при выключении напряжения; комплементарное, которое возникает при последовательном соединении двух устройств с биполярным РП. За РП ответственны атомные перегруппировки в материале, в зависимости от занимаемого пространства различают филаментное и распределённое РП. При филаментном РП, что атомные перегруппировки, индуцирующие переключения, образуют небольшие (меньше 100 нм2) пятна в среде материала. Этот тип характеризуется высокой скоростью переключения, большим отношением токов при LRS и HRS и способностью к интеграции, а также более высоким энергопотреблением и сложным управлением. Распределённое РП -однородное явление, происходящее во многих участках среды. Преимущество распределённого РП - в низком энергопотреблении, недостаток - в более низких скорости переключения между состояниями и отношении токов [7].
В зависимости от механизмов РП различают следующие мемристоры: полимерные (ионные), резонансно-туннельные, спинтронные, мемристоры на основе эффекта гигантского магнетосопротивления [9]. Также стоит отметить, что одной из ключевых характеристик мемристоров является стабильность - максимальное количество циклов переключения между резистивными состояниями, при котором сохраняется на достаточном уровне соотношение между высоким и низким сопротивлением. При превышении данного количества с мемристором может произйти нежелательное в эксплуатации явление - деградация мемристивных свойств.
К полезным свойствам мемристоров относят: энергонезависимость, двоичность, множественные состояния памяти, нанометровую геометрию. Поскольку его проводимость может изменяться в ответ на приложенное напряжение или ток, как в биологическом синапсе, мемристор может быть использован в нейроморфных приложениях для снижения энергопотребления, увеличения разрешения, замены сложных схем для умножения на весовые коэффициенты в ИНС [5].
Рассмотрим некоторые варианты применения мемристоров в разработке искусственных нейронных систем. Была изготовлена гибкая сегнетоэлектрическая гетероструктура на слюдяной подложке [12], её преимущество заключается в высоких показателях поляризации среди аналогов и стабильности. Благодаря своим свойствам при помощи этой структуры была эмулирована пластичность, зависящая от времени спайка, а моделирование ИНС показало точность распознавания рукописных цифр около 90%, что указывает на перспективность применения данной технологии в разработке ИНС. В разработке глубоких нейронных сетей (ГНС) мемристоры могут быть применены для ускорения работы и снижения энергопотребления. Так, был разработан массив мемристоров в форме перемычки, который был применён в унифицированной и систематизированной системе, учитывающей как структурированную обрезку веса, так и квантование веса путём включения метода множителей переменного направление в обучение. Полученная структура проверялась на разных сетях, показывая снижение энергопотребления, площади и высокую точность [14]. Были созданы высокопроизводительные однородные мемристорные
массивы для реализации свёрточной нейронной сети - одной из главных моделей ГНС для распознавания изображений и видео [13]. Данная реализация демонстрирует точность выше 96% при распознавания изображений из набора данных MNIST и является примером полностью аппаратно-реализованной мемристорной ИНС. Свёрточная нейронная сеть также была построена на основе концепции 3Э-схемы из 8 слоёв монолитно интегрированных мемристивных устройств [8]. Мемристивные технологии смогли быть эффективно применены в разработке клеточной нелинейной нейронной сети [5]: мемристивный мост в качестве элемента синоптической схемы послужил заменой сложных схем умножения, которые традиционно применяются в данных нейронных сетях. Помимо указанных применений, ведутся разработки СНС с использованием мемристивных технологий. Так, спроектированные по методике [10] мемристоры, соединённые с КМОП, практически невосприимчивы к изменчивости, они использовались как синапсы в СНС, выполняющей неконтролируемое обучение. Моделирование этой системы демонстрирует производительность, сравнимую с традиционными сетями с контролируемым обучением аналогичной сложности. Система устойчива к изменениям параметров мемристоров и может адаптироваться, подстраиваясь под стимулы. Другая СНС демонстрирует высокую эффективность обучения при сопоставимой точности, чем поспособствовало применение мемристоров в качестве ингибиторных синапсов, реализующих механизмы латерального торможения и гомеостаза, что упрощает аппаратную реализацию СНС [15].
Таким образом, в данной статье представлены актуальность и различия ИНС и СНС, указаны основные понятия о мемристорах, изготовление которых является перспективным благодаря свойствам этих элементов. Рассмотрены работы, посвящённые разработкам различных видов ИНС, в том числе СНС, с использованием мемристоров. Созданные системы демонстрируют высокую точность и низкое энергопотребление, что подтверждает актуальность разработок и применения мемристивных технологий.
Библиографический список
1. Антонов, А. М. Модели спайковых нейронных сетей и области их применения / А. М. Антонов, С. А. Щаников // Методы и устройства передачи и обработки информации. - 2024. - №. 25. - С. 43-52.
2. Евграфов, В. А. Спайковые нейронные сети / В. А. Евграфов, Е. А. Ильюшин // International Journal of Open Information Technologies. - 2021. - Т. 9. - №. 7. - С. 21-31.
3. Ростовцев, В. С. Искусственные нейронные сети: учебник / В. С. Ростовцев. - Киров: Изд-во ВятГУ, 2014. - 208 с. - Э4743
4. Chua, L. Memristor-the missing circuit element / Chua L. // IEEE Transactions on circuit theory. - 1971. - Т. 18. - №. 5. - С. 507-519.
5. Duan, S. Memristor-based cellular nonlinear/neural network: design, analysis, and applications / S. Duan et al. // IEEE transactions on neural networks and learning systems. -2014. - Т. 26. - №. 6. - С. 1202-1213.
6. Joglekar, Y. N. The elusive memristor: properties of basic electrical circuits / Y. N. Joglekar, S. J. Wolf // European Journal of physics. - 2009. - Т. 30. - №. 4. - С. 661.
7. Lanza, M. Recommended methods to study resistive switching devices / M. Lanza et al. // Advanced Electronic Materials. - 2019. - Т. 5. - №. 1. - С. 1800143.
8. Lin, P. Three-dimensional memristor circuits as complex neural networks / P. Lin et al. // Nature Electronics. - 2020. - Т. 3. - №. 4. - С. 225-232.
9. Mohanty, S. P. Memristor: from basics to deployment / S. P. Mohanty // IEEE Potentials. - 2013. - Т. 32. - №. 3. - С. 34-39.
10. Querlioz, D. Simulation of a memristor-based spiking neural network immune to device variations / D. Querlioz, O. Bichler, C. Gamrat // The 2011 International Joint Conference on Neural Networks. - IEEE, 2011. - C. 1775-1781.
11. Strukov, D. B. The missing memristor found / D. B. Strukov et al. // Nature. -2008. - T. 453. - №. 7191. - C. 80-83.
12. Sun, H. BiFeO3-based flexible ferroelectric memristors for neuromorphic pattern recognition / H. Sun et al. // ACS Applied Electronic Materials. - 2020. - T. 2. - №. 4. -C. 1081-1089.
13. Yao, P. Fully hardware-implemented memristor convolutional neural network / P. Yao et al. // Nature. - 2020. - T. 577. - №. 7792. - C. 641-646.
14. Yuan, G. An ultra-efficient memristor-based dnn framework with structured weight pruning and quantization using admm / G. Yuan et al. // IEEE. ACM International Symposium on Low Power Electronics and Design (ISLPED). - 2019. - C. 1-6.
15. Zhao, Z. A memristor-based spiking neural network with high scalability and learning efficiency / Z. Zhao et al. // IEEE Transactions on Circuits and Systems II: Express Briefs. - 2020. - T. 67. - №. 5. - C. 931-935.
16. Zhou, Z. H. Rule extraction: Using neural networks or for neural networks? / Z. H. Zhou // Journal of Computer Science and Technology. - 2004. - T. 19. - №. 2. -C. 249-253.
