CC BY
66
УДК 681.3
КМОП-РЕАЛИЗАЦИЯ ОБУЧАЕМОГО ПОРОГОВОГО
ЛОГИЧЕСКОГО ЭЛЕМЕНТА
Часть 1: Проектирование и схема обучения
В. Б. Мараховскийа, доктор техн. наук, профессор аСанкт-Петербургский государственный политехнический университет
Цель: показать возможность реализации в КМОП-технологии, использующей современные проектные нормы, аналого-цифрового искусственного нейрона на примере построения логического порогового элемента, обучаемого сложным пороговым логическим функциям. Методы: представление нейрона МакКаллока — Питтса в виде отношения суммы взвешенных входов к порогу и разработка методики построения обучаемого порогового элемента, состоящего из синапсов, проводимость которых определяется входными переменными и их приведенными к порогу функции весами, накапливаемыми в процессе обучения на элементах аналоговой памяти; высокочувствительного компаратора, сравнивающего суммарную проводимость синапсов с проводимостью р-канальной части компаратора, представляющей наибольшее возможное значение порога; трех выходных усилителей с разными значениями порогов срабатывания. Результаты: показано, что реализуемость такого обучаемого порогового элемента зависит только от величины порога и не зависит от суммы весов входов и их числа. Элемент может быть обучен реализации произвольных пороговых логических функций, порог которых не превосходит некоторой заданной величины. Рассматриваемая в статье схема элемента ориентирована на максимальное значение порога, равное 89, и может реализовать любую пороговую функцию 10 переменных. Предложена схема обучения порогового элемента, которая осуществляет параллельное формирование весов активных входов и автоматический выбор величины шага обучения. Все практические результаты в работе получены с использованием ЭРЮЕ-моделирования схем, построенных в КМОП-технологии 0,18 мкм. Практическая значимость: существенно расширены функциональные возможности обучаемого порогового элемента, который может быть использован в системах логического распознавания образов, а также при создании нового поколения нейрочипов.
Ключевые слова — искусственный нейрон, синапс, обучаемый пороговый логический элемент, алгоритм обучения, шаг обучения, КМОП-технология, пороговая логическая функция.
Введение
Аппаратная реализация искусственного нейрона имеет ряд известных преимуществ по сравнению с программной реализацией [1-5]. По этой причине еще 25 лет назад промышленность начала выпускать нейрочипы, ориентированные на решение определенного круга задач. В этих нейрочипах нейроны реализованы в виде программируемых контроллеров. Однако можно себе представить и другой тип аппаратной реализации нейрона — в виде аналоговой или цифро-аналоговой схемы (устройства). Каждый тип реализаций имеет свои преимущества, недостатки и области применения.
Аналоговые и цифро-аналоговые реализации имеют преимущество очень высокой производительности, однако их аналоговая часть накладывает жесткие ограничения на класс реализуемых пороговых функций в силу аналоговой природы. Этот недостаток значительно уменьшает функциональные возможности нейронных сетей, которые имеют фиксированное количество нейронов.
Функциональная мощность нейрочипа в равной степени зависит как от числа нейронов, которые могут быть размещены на одной СБИС, так и от функциональных возможностей одного нейрона. К сожалению, влияние этих параметров на функциональную мощность нейрочипа еще не изучено.
Очевидно, что при разработке новых нейро-чипов следует уменьшать площадь, занимаемую как самим нейроном, так и его синапсами, число которых может быть достаточно большим, а также расширять функциональные возможности нейрона. В этой связи имеет смысл рассмотреть вариант использования цифро-аналоговых нейронов, требующих несравнимо меньшего числа транзисторов, чем программируемые контроллеры.
Известны попытки построения искусственного нейрона как импульсного, так и потенциального типов в виде аналоговой схемы из операционных суммирующих усилителей или схемы суммирования токов на токовых ключах. Типичные исследования этого вопроса описаны в работах [6-8]. Рассматриваемые в них модели нейронов предназначены для решения достаточно простых частных задач и имеют малое число входов с фиксированными весами. Существуют работы, например [9], в которых предложены варианты сети из искусственных нейронов аналогового типа, допускающих формирование весов входов в процессе обучения.
Более интересными являются цифро-аналоговые реализации искусственного нейрона на основе МОП-технологии. К таким реализациям относятся так называемые neuron-MOSFET схемы [3-5, 10, 11], построенные из транзисторов с плавающими затворами, соединенными через конденсаторы с входами. Веса входов представлены
напряжениями на конденсаторах. В этих работах рассматривается возможность реализации простейших пороговых булевых функций и возможность обучения путем изменения напряжений на конденсаторах.
Далее будем рассматривать только простейший вариант нейрона — обучаемый логический пороговый элемент, который может быть реализован в КПОМ-технологии. На входы такого нейрона подаются не аналоговые, а двоичные переменные.
Профессором В. И. Варшавским был предложен [12] новый тип порогового элемента p-DTE (P-driven threshold element - p-управляемый пороговый элемент), которому необходим один транзистор на логический вход. Этот элемент использует специальное представление пороговой функции в форме отношения, которое может быть реализовано путем сравнения проводимостей p-и и-канальной подсхем элемента. Отношение про-водимостей этих частей зависит от отношений крутизны характеристик p- и и-транзисторов, которая обычно обозначается как P. По этой причине элемент и назван p-управляемым. Такой пороговый элемент может очень экономично реализовать любые пороговые функции, но не более чем трех (от силы четырех) переменных из-за возможного разброса технологических параметров транзисторов.
Принимая во внимание, что разброс технологических параметров транзисторов может быть компенсирован только в процессе обучения, В. И. Варшавский с целью увеличить логические возможности порогового элемента предложил [13, 14] схему искусственного нейрона, построенную на основе P-DTE, которая обучается пороговым логическим функциям. Эта схема состоит из синапсов, p-компаратора и выходного усилителя. Обучаемый синапс содержит пять транзисторов и один конденсатор. Такой нейрон обладает одним замечательным свойством: его реализуемость зависит только от величины порога и не зависит от количества логических входов и их весов, в то время как реализуемость схем, использующих другие подходы, зависит от суммы весов входов и порога, за исключением, быть может, neuron-MOSFET подхода. Этот факт в сочетании с относительно низкой сложностью делает нейрон на основе P-DTE очень привлекательным для использования в следующем поколении цифро-аналоговых нейрочипов.
Искусственный нейрон, предназначенный для реализации логических пороговых функций, правильнее называть обучаемым пороговым элементом (trainee threshold element - TTE). Во время обучения это устройство создает аналоговые веса для двоичных (цифровых) входных переменных. Очевидно, что искусственный нейрон с аналоговыми входами может быть построен на основе TTE.
В дальнейших работах В. И. Варшавского совместно с автором этой статьи [15-19] была доказана принципиальная возможность реализации ТТЕ в КМОП-технологии, построенного на основе р^ТЕ и обучаемого произвольным пороговым булевым функциям вплоть до 12 переменных. Был предложен эффективный способ обучения таких элементов, решена проблема поддержания обученного состояния, исследованы предельные функциональные возможности элементов, а также вопросы устойчивости полученных решений относительно изменений внешних факторов. Все эксперименты проводились с использованием ЯРГСЕ-моделирования для технологии 0,8 мкм при напряжении питания 5 В.
Известно, что с уменьшением размеров транзисторов ухудшаются их характеристики и уменьшается напряжение питания, что является немаловажным фактором при разработке аналоговой части устройств. Представляет интерес ответ на вопрос, до каких пределов допускается уменьшение размеров транзисторов при построении цифро-аналоговых устройств?
Данная статья преследует две цели. С одной стороны, необходимо ответить на вопрос, допустима ли реализация ТТЕ при использовании современных технологических норм? В данном случае переход на другую технологию не может быть решен на основе масштабирования ранее разработанных схем и является достаточно сложной проблемой. В статье показано, что использование технологии 0,18 мкм и переход на напряжение питания, равное 3 В, вполне допустимы. По-видимому, для ТТЕ дальнейшее уменьшение размеров транзисторов и напряжения питания является нецелесообразным, так как это ведет к существенному снижению его функциональных возможностей.
Вторая цель заключается в том, что указанные выше публикации являются англоязычными, поэтому представляется целесообразным повторить некоторые изложенные в них результаты для русскоязычного читателя. К сожалению, без этого первая цель не может быть достигнута.
Пороговый элемент с управляемыми входными весами
Математическая модель нейрона, появившаяся в работах МакКаллока и Питтса [20], является пороговой функцией:
F = sign
sign( A) =
Еwixi- T; ¡=1
0, если A < 0
1, если A > 0 '
(1)
где wj — вес j-го входа; T — пороговое значение.
Из представления пороговой функции в виде (1) следует, что пороговый элемент традиционно реализуется в виде структуры, показанной на рис. 1.
Для построения порогового элемента с регулируемыми входными весами введена [13, 14] так называемая сокращенная форма отношения
F = sign
Е wixi- T ¡=1
= sign
En
j=1WiXi
-1
= Rt
Е aixi ¡=1
Rt( A) =
1, если A > 1
0, если A < 1 a; = Wi /T, (2)
что приводит к схеме р-компаратора, показанной
на рис. 2, где Юур = рп]; рп = ; рр = р.
Напряжение у^ на выходе р-компаратора определяется отношением крутизны (Рп и Рр) вольт-амперных характеристик п- и р-цепей. По этой причине пороговый элемент называется р-управляемым. Крутизна рп характеристики п-цепи формируется путем параллельного соединения транзисторов соответствующей ширины, определяющей веса входов х£.
Схема, эквивалентная схеме на рис. 2, а, показана на рис. 2, б. Выходное напряжение р-компаратора определяется значением а = Рп/Рр следующим образом:
Vout =
> ^dd / 2, если а < 1 < Fdd / 2, если а > 1
F
■ Рис. 1. Общая структура модели порогового нейрона
a) 1 ^dd
Рр
д
б) 1 Fdd
Рр
Х1
Ш1
Х2
Fout Fout
■ Рис. 2. p-компаратор: a — КМОП-реализация; б — схема замещения
Если выходное напряжение КМОП-пары (см. рис. 2, б) у^ » Уы/2, это означает, что оба транзистора находятся в ненасыщенном режиме, поскольку они оба удовлетворяют условию
Уш < ^ < Уеа - Уеа = Уаа. (Здесь для пр°сто-
ты принято, что пороговое напряжение У^ для обоих транзисторов одинаковое.) Следовательно:
In = Р„
Vdd - Vth )Vout -
Vut
IP=-p p
(Vdd -Vth )(Vdd -Vout ) -
(Vdd - Vout Г
In + Ip = 0.
(3)
Из этих уравнений, положив а = Рл/Р^, Fdd = 3 В, Fth » 0,5 В (для транзисторов 0,18 мкм), путем несложных преобразований можно получить
aFout (5 - Fout ) - (3 - Fout )(2 + Fout ) = 0;
dVo
out
voUt - 5Vo
out
da
5a -1- 2 Vout (a -1)
Легко видеть, что при a = 1 в точке Fout = Vdd/2
d^out
da
;-1,3B, т. е. предложенная схема компа-
ратора имеет чувствительность, приблизительно равную 1,3 В в этой точке. Следовательно, на уровне порога переключения выходного инвертора (У,^ = Уаа/2) реакция р-компаратора на минимально возможное изменение (единичное) суммы весов входов имеет вид АУ0^ » |-1,3/Т | В, т. е. линейно уменьшается с ростом порога функции. Например, если Т = 100, единичное изменение суммы весов входов приводит к скачку напряжения, равному 13 мВ, в районе У0и = Уаа/2 = 1,5 В, что явно недостаточно для надежного срабатывания выходного усилителя (инвертора).
Анализ [12] устойчивости р^ТЕ к изменению параметров показал, что с помощью р^ТЕ можно реализовать пороговые функции только с низкими значениями порога (три, максимум четыре). Однако искусственный нейрон — это обучаемый объект, и вариации нескольких параметров (например, технологических) могут быть компенсированы во время обучения.
Обучаемый ТТЕ, построенный на основе р^ТЕ, имеет достаточно простое управление входным весом (рис. 3): управляющее напряжение УС1 изменяет эквивалентную крутизну р£ ¿-го синапса с входом х£. Поскольку синапс может быть в одном из двух состояний — проводящем или непроводящем, — выходное напряжение р-компаратора формируется только синапсами, которые проводят ток в данный момент.
n
Т
dd
Х1
>
ГГ
V
С1
х2 хп
1 Ч ...
Ус2 Усп
I
Л
1
■ Рис. 3. р-управляемый ТТЕ
Очевидно, что после достижения выходным напряжением р-компаратора порогового значения добавление новых синапсов не изменяет состояние выхода ТТЕ. Из этого можно заключить, что реализуемость р-ОТЕ и, следовательно, ТТЕ на его основе зависит только от порогового значения и не зависит от количества входов и суммы их весов [12]. Важным аспектом является чувствительность р-компаратора к изменениям тока через него в районе пороговой точки. Поскольку диапазон изменения выходного напряжения р-компаратора находится в пределах единственным способом увеличения крутизны характеристики р-компаратора в пороговой точке является увеличение нелинейности зависимости выходного напряжения р-компаратора от отношения а = рп/р^.
Итак, при больших значениях порога функции помехоустойчивость ТТЕ становится особенно важной. Она определяется наименьшим изменением выходного напряжения (штД^Ои) р-компаратора при достижении порогового значения. Скачок напряжения на выходе р-компаратора, равный ттЛУ^, может возникнуть при подключении к р-компаратору, находящемуся в предпороговом состоянии, синапса с минимальным весом входного сигнала, т. е. определяется минимальным током синапса. Помехоустойчивость и, следовательно, реализуемость заданных логических функций ТТЕ зависит не только от величины ттЛУ^, но и от положения порога характеристики р-компаратора относительно порога выходного усилителя.
Далее будет рассмотрен метод обучения ТТЕ заданной логической функции. Этот метод не только позволяет автоматическое позиционирование порога усилителя относительно середины скачка напряжения ттДУ^, но также увеличивает ттД7ои£ до максимально возможного значения, т. е. тах(ттДУои£), которое достигается при нахождении минимального порога функции и определяется крутизной характеристики р-компаратора. Этот метод использует три выходных усилителя с различными пороговыми
значениями, которые обеспечивают необходимую ширину гистерезиса порога. Ширина этого гистерезиса определяет значение тах(ттДУои£), достижимое при обучении.
Увеличение чувствительности р-компаратора
Для повышения чувствительности р-компа-ратора его транзисторы должны быть в насыщенном режиме, когда выходное напряжение компаратора находится в зоне порога переключения выходного усилителя. Это может быть продемонстрировано на примере эквивалентной схемы компаратора (см. рис. 2, б).
Пусть на затворы обоих транзисторов подается не заземление и источник напряжения, а напряжения между затвором и истоком У|8 и У^ такие, что оба транзистора находятся в режиме насыщения, когда Уои1. = ^^^/2. Для простоты предположим, что уР = У^ = , VI = VI = % и 0 < Уз - У^и < ^^^/2 (здесь — напряжение источника питания, а У^ — порог транзистора). Тогда уравнения для тока, протекающего через транзисторы, могут быть представлены в виде
1п = рл (у* - V* )2 (1+^Уо^);
1р =-рР(Угз -У*)211 + ХР(Уаа -Уout)|;
1п + 1р = 0,
(4)
где параметры Хп и Хр отражают небольшое увеличение тока транзистора, которое происходит при увеличении напряжения между стоком и истоком У^. Из этих уравнений находим
1- а + Х РУаа Уо^ =' а = р„ / рр; (5)
out
Х р + Хп а
Хп + Х р + Хп Х рУ<м
йа
(X р + Хп а)
(6)
Пусть Хп = 0,03 — и Xр = 0,11 — (значения В В
этих параметров были взяты из существующих моделей транзистора). Для Уои1. = У^ы/2 легко вычислить из (5), что а = 1,15. Параметр а Ф 1 при таком значении Уш^, так как значения Хп и Хр раз-
^^ = -7,8 В. йа
ные. Когда У^ = 3 В и а = 1,15,
Таким образом, чувствительность р-компаратора увеличилась в 6 раз. Чем меньше значения Хп и Хр, тем больше чувствительность.
В ТТЕ-схеме (см. рис. 3) каждый синапс состоит из двух транзисторов. На затвор одного транзистора подается входная переменная х,
а на затвор другого — напряжение Ус, которое управляет переменным весом (током в у-м синапсе).
Рассмотрим сначала нижнюю часть ТТЕ р-компаратора, где токи синапсов суммируются, и заместим пары транзисторов, которые образуют синапсы, эквивалентными транзисторами с характеристиками, показанными на рис. 4. Эти характеристики были получены с использованием ЯРГСЕ-моделирования.
Слева от линии переключения режимов транзисторы находятся в ненасыщенном режиме, справа — в насыщенном режиме. Из этих характеристик легко увидеть, что когда У0^ = 1,5 В, эквивалентные транзисторы находятся в насыщенном режиме, если управляющее напряжение Ус < 1,5 В, и в ненасыщенном режиме при Ус > 1,5 В.
Таким образом, условие насыщенного режима ограничивает диапазон изменения напряжения управления (0-1,5 В). Нарушение этого условия приводит к уменьшению выходного сигнала р-компаратора, поскольку в этом случае токи через синапсы могут перераспределяться при подключении тока дополнительного синапса. Действительно, пусть наименьший вес соответствует току синапса 1т1п и добавление этого тока к общему току других синапсов должно вызвать переключение ТТЕ. Однако это переключение может не произойти, так как если синапс с наибольшим током не насыщен, то, несмотря на общее увеличение тока, ток через этот синапс может уменьшиться за счет перераспределения токов в синапсах. Ток других ненасыщенных синапсов также уменьшается. В результате общий ток увеличивается на величину, которая значительно меньше 1тщ. Это приводит к уменьшению выходного сигнала р-компаратора.
Диапазон изменения управляющих напряжений синапсов может быть расширен путем включения дополнительного п-канального транзистора М3 в схему (рис. 5). На затвор этого транзистора подается напряжение Уге^ такое, что при токе, обеспечивающем Уо^ » УАА/2, транзистор насыщается под действием напряжения
Уё8 = УгеП - УЕ.
I, мкА 250 200 150 100 50 0
2,5 2
1,5
Линия переключения режимов 1
0,5
0,5 1,0 1,5 2,0 2,5 У, В
■ Рис. 4. Характеристики транзисторов, эквивалентных транзисторной паре
Увеличение общего тока через синапсы путем добавления синапса с наименьшим током ведет к некоторому уменьшению УЕ. При этом транзистора М3 увеличивается на ту же величину и дополнительный транзистор М3 приоткрывается, компенсируя изменение УЕ.
Таким образом, из-за отрицательной обратной связи дополнительный транзистор стабилизирует УЕ и, следовательно, стабилизирует токи через синапсы.
Транзисторы синапсов имеют минимальную ширину 0,27 мкм, ширина транзистора М3 — 6 мкм, транзистора М^ — 5,4 мкм, транзистора М2 — 6 мкм (см. рис. 5). Пусть управляющее напряжение одного из синапсов равно наибольшему возможному значению (Ус = 3 В), а управляющие напряжения других синапсов равны нулю. Тогда ток будет протекать только через один синапс. Временно отсоединим р-канальную часть схемы, соединим сток транзистора М3 с источником напряжения У0^ и снимем зависимость тока синапса от напряжения Уои^ показанную на рис. 6.
Она похожа на характеристику одного транзистора и имеет две зоны — линейную и насыщения.
У^2
М1
Уаа Уам1
У
Х1
Ус1
■ Рис. 5. Модифицированный р-компаратор
I, мкА 250 200 150 100 50 0
0 0,5 1,0 1,5 2,0 2,5 УоиЪ В ■ Рис. 6. Зависимость тока синапса от Уо^ при Ус = 3 В
Легко видеть, что при Уои£ » 1,5 В синапс находится в режиме насыщения.
Уменьшение напряжения Угед ведет к снижению тока синапса и, следовательно, к уменьшению диапазона изменения этого тока в зависимости от значения управляющего напряжения УС. При увеличении напряжения Угед растет ток синапса и расширяется линейная зона характеристики, что может привести к потере стабилизации тока в рабочей точке р-компаратора. Таким образом, существует оптимальное значение напряжения смещения Угед. Во всех экспериментах Уге11 = 2,1 В.
Теперь рассмотрим р-канальную часть схемы модифицированного р-компаратора (см. рис. 5). В рабочей точке (Уои^ » Усм/2) она должна обеспечить ток, соответствующий наибольшему значению порога реализуемых функций. Для достижения этой цели может быть использован один р-канальный транзистор с напряжением смещения Уге^ на его затворе, которое обеспечивает насыщение транзистора в рабочей точке. Однако в этом случае крутизна характеристики У^(/) в рабочей точке будет недостаточной для хорошей стабилизации порогового значения тока. По этой причине схема модифицированного р-компаратора имеет два последовательно соединенных р-канальных транзистора М1 и М2, на затворы которых подаются опорные напряжения Уге^2 и Уге^з соответственно (прием, используемый в каскодных усилителях [21, с. 287]). Эти опорные напряжения выбираются таким образом, что с ростом тока компаратора сначала насыщается транзистор М^ а затем с большей скоростью насыщается транзистор М2. В дальнейших экспериментах Уге^2 = 2,1 В, Уге^з = 1,5 В.
Зависимость напряжения У^М1 на стоке транзистора М^ от тока показана на рис. 7.
При вхождении транзистора М1 в зону насыщения напряжение У^ на затворе транзистора М2 начинает изменяться с большей скоростью,
■ Рис. 7. Экспериментально полученные зависимости: 1 — Уои#); 2 — Уш1(Ъ 3 -
■ Рис. 8. Характеристики р-компаратора для старой (1) и новой (2) схемы
так как У^ = Уге^з - Ум! Падение напряжения на транзисторе М2 стремительно возрастает, увеличивая крутизну характеристики У^СО (кривая 1 на рис. 7). Кривая 3 демонстрирует удовлетворительную стабилизацию падения напряжения У^(1) на синапсе.
Для сравнений на рис. 8 представлены экспериментальные характеристики старого и нового р-компаратора, рассчитанного на максимальное значение порога функций, равного 89.
При проведении этого эксперимента к р-ком-паратору последовательно подключались синапсы, на управляющие входы которых подавалось напряжение ттУс, соответствующее наименьшему весу входных переменных, а на информационные входы — х = Vdd, т. е. синапсы с минимальным током. Как видно из рисунка, для старой схемы р-компаратора (кривая 1) скачок напряжения почти везде одинаков и в районе порога выходного усилителя равен »15 мВ. Модифицированный р-компаратор при добавлении 89-го синапса дает максимальный скачок напряжения тахДУои = 428 мВ на своем выходе Уои£ (кривая 2). Естественно выбрать пороговое напряжение выходного усилителя в середине этого скачка на уровне 1,75 В. Легко видеть, что ТТЕ с таким р-компаратором и 89 синапсами может реализовать пороговую функцию И на 89 входов. Причина, по которой выбрано это странное число 89, будет ясна из дальнейшего изложения.
Схемы для экспериментов и метод обучения ТТЕ
Схема TTE
Схемы, которые используются для создания управляющих напряжений, определяющих веса входных переменных ТТЕ, практически не зависят от способа реализации синапсов. Некоторые из них были опубликованы (например, [9]), и все они имеют похожую структуру. Основное различие заключается в выборе типа элемента памяти
(конденсатор или транзистор с плавающим затвором) и способа представления значений входных двоичных переменных ({0, 1} или {-1, +1}).
На полной схеме ТТЕ, используемой в экспериментах (рис. 9), напряжения смещения транзисторов р-компаратора (1,5 и 2,1 В) формируются с помощью делителей напряжения, выполненных по схеме токового зеркала. Каждый из синапсов ТТЕ содержит пять транзисторов, один диод (транзистор в диодном включении) и конденсатор. Два из пяти транзисторов образуют одну из параллельных ветвей р-компаратора. Входная переменная подается на затвор нижнего транзистора этой пары, а управляющее напряжение, снимаемое с конденсатора, — на затвор верхнего транзистора. Такой порядок соединения транзисторов делает зависимость тока синапса от управляющего напряжения более линейной (за счет отрицательной обратной связи) и сокращает в несколько раз влияние переключения значения входной переменной на управляющее напряжение (через паразитную емкость). Все транзисторы синапса имеют минимальную ширину (0,27 мкм). Емкость конденсатора выбрана равной 1 пФ.
Транзистор в диодном включении в схеме синапса, в принципе, может быть опущен. Он предназначен для того, чтобы при обучении ТТЕ сигналы decr могли разрядить конденсатор лишь до величины напряжения, равного напряжению порога диода, которое несколько ниже напряжения, устанавливающего минимальный ток синапса. Такое ограничение существенно умень-
V
dd
Decr Incr
■ Рис. 9. Схема ТТЕ
шает время обучения. Кроме того, включение диода уменьшает влияние через паразитные емкости изменения значений входной переменной на сохранение заряда конденсатора, когда цепь его разряда не работает.
Во время обучения напряжение, управляющее током синапса (весом переменной), аккумулируется на конденсаторе. Изменение заряда конденсатора допускается только в случае, когда синапс активен, т. е. когда входная переменная принимает значение «лог.1». До тех пор, пока p-компаратор TTE не выйдет в рабочую точку, заряд конденсатора может увеличиваться не непрерывно, а дискретно приблизительно равными порциями (квантами), определяющими максимальный шаг обучения. При достижении p-компаратором рабочей точки конденсатор синапса может как заряжаться, так и разряжаться на шаг обучения, который формируется автоматически от максимально возможного до минимальной величины, обусловленной задержкой срабатывания TTE. Максимальная величина шага обучения выбирается исходя из требуемой точности установки управляющих напряжений синапсов и определяется амплитудой сигналов Incr (increment — увеличение) и Decr (decrement — уменьшение) и их длительностью.
При обучении TTE сложным пороговым функциям (с большим значением суммы весов входов и порога) максимальный шаг обучения должен быть небольшим. Алгоритмы обучения обычно строятся таким образом, что как только выходной сигнал TTE начинает совпадать со значением обучающей функции, обучение прекращается. Из-за маленького шага обучения в случае, когда TTE правильно сработает после того, как переменная с наименьшим весом изменит свое значение, скачок напряжения на выходе p-компаратора может лишь незначительно превысить минимально допустимую величину, достаточную для срабатывания выходного усилителя.
Для того чтобы расширить границы надежного сохранения состояния TTE после обучения, его схема содержит три выходных усилителя с различными порогами срабатывания: высоким, средним и низким. В обученном TTE значение пороговой функции снимается с выхода Fmid усилителя со средним порогом. Выходные сигналы ^high and усилителей с высоким и низким порогами соответственно используются лишь во время обучения TTE. После обучения такого TTE скачок напряжения AVout на выходе p-компаратора, который вызывает переключение выхода Fmid среднего усилителя, должен быть не меньше, чем разность пороговых напряжений срабатывания двух других усилителей.
Итак, управляющие напряжения синапсов, сформированные в процессе обучения, сохраня-
ются на конденсаторах и, следовательно, могут изменяться благодаря паразитным сопротивлениям утечки. В связи с этим необходимо организовать процедуру обновления емкостной памяти. Три выходных усилителя с различными порогами чувствительности позволяют решить и эту проблему, например, путем организации автокоррекции управляющих напряжений, используя выходной сигнал Fmid TTE в качестве обучающей последовательности значений функции.
Общая схема для экспериментов
Общая структурная схема, используемая при моделировании процесса обучения TTE заданной пороговой логической функции, показана на рис. 10.
Генератор входных сигналов вырабатывает периодически повторяемые последовательности наборов значений входных переменных Xj, x2, ..., xn и последовательность значений логической функции Y на этих наборах, а также стробирую-щие сигналы t и однократный сигнал, управляющий переключением режима обучения на режим обновления.
Переключатель обучение/обновление направляет на его выход F либо сигнал Y (при обучении), либо выходной сигнал Fmid ТТЕ (при обновлении).
Компаратор в обоих режимах вырабатывает сигналы Incr и Decr, максимальная длительность которых определяется длительностью стробирующего сигнала t. Логические функции этих сигналов имеют вид Incr = F V Flow V t и Decr = F ■ Fhigh ■ t. Активными значениями сигналов Incr и Decr являются соответственно «лог.0» и «лог.1». Физически эти сигналы реализуются с ограниченной амплитудой напряжения такой, чтобы в цепях заряда и разряда конденсаторов синапсов создавался ток, равный 0,2 мкА. Для ограничения амплитуды сигналов используются
1. Mead C. Analog VLSI and Neural Systems. — Addi-son-Wesley, 1989. — 371 p.
2. Fakhraie S. M., Smith K. C. VLSI-Compatible Implementations for Artificial Neural Networks. — Kluw-er, Boston-Dordrecht-London, 1997. — 194 p.
3. Shibata T., Ohmi T. Neuron MOS Binary-logic Integrated Circuits. Part 1: Design Fundamentals and Soft-hardware Logic Circuit Implementation // IEEE Transactions on Electron Devices. 1993. Vol. 40. N 5. P. 974-979.
4. Ohmi T., Shibata T., Kotani K. Four-Terminal Device Concept for Intelligence Soft Computing on Silicon Integrated Circuits // Proc. of IIZUKA'96. 1996. P. 49-59.
Incr
■ Рис. 10. Общая схема для экспериментов
делители напряжения. При длительности строба t, равной 100 нс, и емкости конденсаторов 1 пФ максимальный шаг обучения составляет 20 мВ. Сокращение шага обучения в рабочей точке TTE происходит при совпадении значений сигналов .Flow или Fhigh со значением сигнала F . В результате шаг обучения может изменяться от 20 мВ до 0, что дает возможность устанавливать напряжения на конденсаторах синапсов с точностью до 1 мВ. Выбор значения максимального шага обучения зависит от сложности обучаемой функции, вернее, от числа переменных функции, которые одновременно могут принимать значение «лог.1» в формируемых наборах.
Продолжение статьи, в котором обосновывается выбор обучающих пороговых функций для моделирования процесса обучения ТТЕ, приводятся результаты SPICE моделирования с использованием моделей транзисторов MOSIS 0,18 мкм, определяются ограничения на реализуемость ТТЕ и доказывается возможность его обучения произвольным логическим функциям, зависящим от не более чем 11 переменных, будет представлено в следующем номере журнала.
5. Ohmi T. VLSI Reliability through Ultra Clean Processing // Proc. of the IEEE. 1993. Vol. 81. N 5. P. 716-729.
6. Lazzaro J. P. Low-Power Silicon Spiking Neurons and Axons // IEEE Intern. Symp. on Circuits and Systems, San Diego, CF, 1992. P. 2220-2224.
7. Varrientos J. E., Sanchez-Sinencio E., Ramires-An-gulo J. F. Current-Mode Cellular Neural Network Implementation // IEEE Transaction on Circuit and Systems. 1993. Vol. 40. N 3. P. 147-153.
8. Herrera A., Quintana S., Perez J. L., Hernandez G. Electronic Implementation and Analysis of a Small Neural Network // Instrumentation and Development. 1997. Vol. 3. N 7. P. 25-33.
9. Montalvo A., Gyurcsik R., Paulos J. Toward a General-Purpose Analog VLSI Neural Network with On-
Chip Learning// IEEE Transactions on Neural Networks. Mar. 1997. Vol. 8. N 2. P. 413-423.
10. Lashevsky R., Takahara K., Souma M. Neuron MOSFET as a Way to Design the Threshold Gates with the Threshold and Inputs Weights Alterable in Real Time// Proc. of the IEEE Asia-Pacific Conf. on Circuits and Systems, Chiangmai, Thailand, Nov. 24-27, 1998. P. 263-266.
11. Lashevsky R., Takahara K., Souma M. The Efficiency of Neuron-MOS Transistors in Threshold Logic // Proc. of Conf. «Soft Computing 3». Springer-Verlag, 1999. P. 20-29.
12. Varshavsky V. Beta-Driven Threshold Elements// Proc. of the 8th Great Lakes Symp. on VLSI. IEEE Computer Society, Feb. 19-21, 1998. P. 52-58.
13. Varshavsky V. Simple CMOS Learnable Threshold Element// Intern. ICSC/IFAC Symp. on Neural Computation, Vienna, Austria, Sept. 23-25, 1998.
14. Varshavsky V. CMOS Artificial Neuron on the Base of Beta-Driven Threshold Elements// IEEE Intern. Conf. on Systems, Man and Cybernetics, San Diego, CA, Oct. 11-14, 1998. P. 1857-1861.
15. Varshavsky V., Marakhovsky V. Beta-CMOS Implementation of Artificial Neuron// SPIE's 13th Annual Intern. Symp. on Aerospace/Defense Sensing, Simulation, and Controls. Applications and Science of Computational Intelligence II, Orlando, Florida, Apr. 5-8, 1999. P. 210-221.
16. Varshavsky V., Marakhovsky V. Beta-CMOS Artificial Neuron and Implementability Limits// Lecture Notes in Computer Science 1607/ Ed. Jose Mira and Juan V. Sanchez-Andves/ Engineering Applications of Bio-Inspired Artificial Neural Networks. Springier, 1999. Vol. 11. P. 117-128.
17. Varshavsky V., Marakhovsky V. The Simple Neuron CMOS Implementation Learnable to Logical Threshold Functions// Proc. of Intern. Workshop on Soft Computing in Industry (IWSCI'99), June 16-18, 1999, Hokkaido, Japan. IEEE Press, 1999. P. 463-468.
18. Varshavsky V., Marakhovsky V. Implementability Restrictions of the Beta-CMOS Artificial Neuron// The Sixth Intern. Conf. on Electronics, Circuits and Systems (ICECS'99), Pafos, Cyprus, Sept. 5-8. IEEE Press, 1999. P. 401-405.
19. Varshavsky V., Marakhovsky V., Saito H. CMOS Implementation of an Artificial Neuron Training on Logical Threshold Functions// WSEAS Transaction on Circuits and Systems. Apr. 2009. Iss. 4. Vol. 8. P. 370-391.
20. McCulloch S., Pitts W. A Logical Calculus of the Ideas Imminent in Nervous Activity// Bulletin of Mathematical Biophysics. 1943. N 5. P. 115-133.
21. Allen F. E., Holberg D. R. CMOS Analog Circuit Design. — Oxford University Press, 1987. — 784 p.
UDC 681.3
CMOS Implementation of the Trainee's Threshold Logical Element. Part I. Design and Training Diagram
Marakhovsky V. B.a, Dr. Sc., Tech., Professor, vbmarak@gmail.com
aSaint-Petersburg State Politechnical University, 29, Polytechnicheskaia St., 195251, Saint-Petersburg, Russian Federation
Purpose: The objective is to show a possibility of implementation an analog-digital artificial neuron on the example of building a logical threshold element learning complex logical threshold functions in CMOS technology which uses modern design standards. Methods: representation of McCulloch — Pitts neuron in the form of relation of the total of weighted inputs to the threshold and development of a methodology of designing a threshold logical learning element consisting of synopses which conductivity depends on input variables and their threshold weights reduced to function which are accumulated during a learning process in analog memory elements; a high sensitive comparator which compares total conductivity of synapses with conductivity of its p-channel part represents the highest function threshold value; and three output amplifiers with different firing thresholds. Results: It has been shown that implementability of a threshold learning element depends only on a function threshold value and does not depend on the total of input weights and their number. The element can be trained to implement an arbitrary threshold function which threshold does not exceed a given value. The element circuit considered in the paper is oriented towards the maximum threshold value equal to 89 and is capable to implement any threshold function of 10 variables. There has been proposed a training diagram which provides parallel forming of weights for active inputs and makes an automatic choice a value of a learning step. All practical results are received using PSPICE simulation of circuits constructed in CMOS technology of 0.18 micron. Practical relevance: There have been considerably extended functional possibilities of the proposed threshold learning element. It can be applied in logical systems of image recognition and for creation a new generation of neuron chips.
Keywords — Artificial Neuron, Synapse, Threshold Logical Learning Element, Training Algorithm, Learning Step, CMOS Technology, Threshold Logical Function
References
1. Mead C. Analog VLSI and Neural Systems. Addison-Wesley, 1989. 371 p.
2. Fakhraie S. M., Smith K. C. VLSI-Compatible Implementations for Artificial Neural Networks. Kluwer, Boston-Dordrecht-London, 1997. 194 p.
3. Shibata T., Ohmi T. Neuron MOS Binary-Logic Integrated Circuits. Part 1. Design Fundamentals and Soft-Hardware Logic Circuit Implementation. IEEE Transaction on Electron Devices, 1993, vol. 40, no. 5, pp. 974-979.
4. Ohmi T., Shibata T., Kotani K. Four-Terminal Device Concept for Intelligence Soft Computing on Silicon Integrated Circuits. Proc. of IIZUKA'96, 1996, pp. 49-59.
5. Ohmi T. VLSI Reliability through Ultra Clean Processing. Proc. of the IEEE, 1993, vol. 81, no. 5, pp. 716-729.
6. Lazzaro J. P. Low-Power Silicon Spiking Neurons and Axons. IEEE Intern. Symp. on Circuits and Systems, San Diego, CF, 1992, pp. 2220-2224.
7. Varrientos J. E., Sanchez-Sinencio E., Ramires-Angulo J. F. Current-Mode Cellular Neural Network Implementation.
IEEE Transaction on Circuit and Systems, 1993, vol. 40, no. 3, pp. 147-153.
8. Herrera A., Quintana S., Perez J. L., Hernandez G. Electronic Implementation and Analysis of a Small Neural Network. Instrumentation and Development, 1997, vol. 3, no. 7, pp. 25-33.
9. Montalvo A., Gyurcsik R., Paulos J. Toward a General-Purpose Analog VLSI Neural Network with On-Chip Learning. IEEE Transactions on Neural Networks, 1997, vol. 8, no. 2, pp. 413-423.
10. Lashevsky R., Takahara K., Souma M. Neuron MOSFET as a Way to Design the Threshold Gates with the Threshold and Inputs Weights Alterable in Real Time. Proc. of the IEEE Asia-Pacific Conf. on Circuits and Systems, Chiang-mai, Thailand, Nov. 24-27, 1998, pp. 263-266.
11. Lashevsky R., Takahara K., Souma M. The Efficiency of Neuron-MOS Transistors in Threshold Logic. Proc. Conf. "Soft Computing 3". Springer-Verlag, 1999, pp. 20-29.
12. Varshavsky V. Beta-Driven Threshold Elements. Proc. of the 8th Great Lakes Symp. on VLSI. IEEE Computer Society, Feb. 19-21, 1998, pp. 52-58.
13. Varshavsky V. Simple CMOS Learnable Threshold Element. Intern. ICSC/IFAC Symp. on Neural Computation, Vienna, Austria, Sept. 23-25, 1998.
14. Varshavsky V. CMOS Artificial Neuron on the Base of Beta-Driven Threshold Elements. IEEE Intern. Conf. on Systems, Man and Cybernetics, San Diego, CA, Oct. 11-14, 1998, pp. 1857-1861.
15. Varshavsky V., Marakhovsky V. Beta-CMOS Implementation of Artificial Neuron. SPIE's 13th Annual Intern. Symp. on Aerospace/Defense Sensing, Simulation, and Controls. Applications and Science of Computational Intelligence II, Orlando, Florida, Apr. 5-8, 1999, pp. 210-221.
16. Varshavsky V., Marakhovsky V. Beta-CMOS Artificial Neuron and Implementability Limits. Lecture Notes in Computer Science 1607, Ed. Jose Mira and Juan V. Sanchez-Andves, Engineering Applications of Bio-Inspired Artificial Neural Networks. Springier, 1999, vol. 11, pp. 117-128.
17. Varshavsky V., Marakhovsky V. The Simple Neuron CMOS Implementation Learnable to Logical Threshold Functions. Proc. of Intern. Workshop on Soft Computing in Industry (IWSCI'99), June 16-18, 1999, Hokkaido, Japan, IEEE Press, 1999, pp. 463-468.
18. Varshavsky V., Marakhovsky V. Implementability Restrictions of the Beta-CMOS Artificial Neuron. The Sixth Intern. Conf. on Electronics, Circuits and Systems (ICECS'99), Cyprus, Sept. 5-8, 1999, IEEE Press, pp. 401-405.
19. Varshavsky V., Marakhovsky V., Saito H. CMOS Implementation of an Artificial Neuron Training on Logical Threshold Functions. WSEAS Transaction on Circuits and Systems, Apr. 2009, iss. 4, vol. 8, pp. 370-391.
20. McCulloch S., Pitts W. A Logical Calculus of the Ideas Imminent in Nervous Activity. Bulletin of Mathematical Biophysics, 1943, no. 5, pp. 115-133.
21. Allen F. E., Holberg D. R. CMOS Analog Circuit Design. Oxford University Press, 1987. 784 p.
Уважаемые подписчики!
Полнотекстовые версии журнала за 2002-2013 гг. в свободном доступе на сайте журнала (http://www.i-us.ru), НЭБ (http://www.elibrary.ru) и Киберленинки (http://cyberleninka.ru/journal/n/informatsionno-upravlyayuschie-sistemy). Печатную версию архивных выпусков журнала за 2003-2013 гг. Вы можете заказать в редакции по льготной цене.
Журнал «Информационно-управляющие системы» выходит каждые два месяца. Стоимость годовой подписки (6 номеров) для подписчиков России — 4200 рублей, для подписчиков стран СНГ — 4800 рублей, включая НДС 18 %, почтовые и таможенные расходы.
На электронную версию нашего журнала (все выпуски, годовая подписка, один выпуск, одна статья) вы можете подписаться на сайте РУНЭБ (http://www.elibrary.ru).
Подписку на печатную версию журнала можно оформить в любом отделении связи по каталогу: «Роспечать»: № 48060 — годовой индекс, № 15385 — полугодовой индекс, а также через посредство подписных агентств: «Северо-Западное агентство „Прессинформ"»
Санкт-Петербург, тел.: (812) 335-97-51, 337-23-05, эл. почта: press@crp.spb.ru, zajavka@crp.spb.ru, сайт: http://www.pinform.spb.ru «МК-Периодика» (РФ + 90 стран)
Москва, тел.: (495) 681-91-37, 681-87-47, эл. почта: export@periodicals.ru, сайт: http://www.periodicals.ru «Информнаука» (РФ + ближнее и дальнее зарубежье)
Москва, тел.: (495) 787-38-73, эл. почта: Alfimov@viniti.ru, сайт: http://www.informnauka.com «Гал»
Москва, тел.: (495) 500-00-60, 580-95-80, эл. почта: interpochta@interpochta.ru, сайт: http://www.interpochta.ru Краснодар, тел.: (861) 210-90-00, 210-90-01, 210-90-55, 210-90-56, эл. почта: krasnodar@interpochta.ru Новороссийск, тел.: (8617) 670-474
«Деловая пресса»
Москва, тел.: (495) 962-11-11, эл. почта: podpiska@delpress.ru, сайт: http://delpress.ru/contacts.html «Коммерсант-Курьер»
Казань, тел.: (843) 291-09-99, 291-09-47, эл. почта: kazan@komcur.ru, сайт: http://www.komcur.ru/contacts/kazan/
«Урал-Пресс» (филиалы в 40 городах РФ)
Сайт: http://www.ural-press.ru
«Идея» (Украина)
Сайт: http://idea.com.ua
«БТЬ» (Узбекистан)
Сайт: http://btl.sk.uz/ru/cat17.html
и др.
