Метод контроля состояния подсистемы (объекта) при неполной измерительной информации о совокупности параметров, определяющих ее динамику. I. анализ структуры нейронной сети, приспособленной к динамическому характеру анализируемой информации Текст научной статьи по специальности «Компьютерные и информационные науки»

ISSNG868-5886

НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2GG4, том 14, № 1, с. 72-84

ОРИГИНАЛЬНЫЕ СТАТЬИ =

УДК 681.51; 621.391

© Г. Ф. Малыхина, А. В. Меркушева

МЕТОД КОНТРОЛЯ СОСТОЯНИЯ ПОДСИСТЕМЫ (ОБЪЕКТА) ПРИ НЕПОЛНОЙ ИЗМЕРИТЕЛЬНОЙ ИНФОРМАЦИИ О СОВОКУПНОСТИ ПАРАМЕТРОВ, ОПРЕДЕЛЯЮЩИХ ЕЕ ДИНАМИКУ.

I. АНАЛИЗ СТРУКТУРЫ НЕЙРОННОЙ СЕТИ, ПРИСПОСОБЛЕННОЙ К ДИНАМИЧЕСКОМУ ХАРАКТЕРУ АНАЛИЗИРУЕМОЙ ИНФОРМАЦИИ

Ограниченность концепции локальной стационарности сигналов в информационно-измерительных системах (ИИС) и информационно-управляющих системах (ИУС), отражающих состояние контролируемого объекта (подсистемы), требует использования более совершенных методов анализа и обработки сигналов — время-частотных преобразований и алгоритмов для нейронных сетей (НС). Существенной является проблема, когда контроль состояния подсистемы (объекта) ведется в условиях отсутствия воздействия некоторых параметров состояния на датчики измерительной системы, т. е. при неполной информации. Решение этой проблемы получено на основе анализа уравнений динамики системы объект—ИИС (в пространстве параметров состояния) и использования алгоритмов темпоральных нейронных сетей. Первая (из 3) часть статьи рассматривает особенности структуры и алгоритмов обучения НС, которые могут адекватно отражать динамику данных и контролируемого процесса. Структуры нейронных сетей анализируются на основе понятия нейронного фильтра, а обучение — на основе время-зависимого алгоритма обратного распространения.

ВВЕДЕНИЕ

Достаточно часто концепция стационарности (и даже локальной стационарности) анализируемого объекта (подсистемы) расширяется за пределы адекватного соответствия форме динамики процессов, которые отражают состояние объекта. Вследствие этого поток не вполне достоверных данных может использоваться средствами информационно-измерительной системы (ИИС) или служить исходной информацией для информаци-онно-управляющей системы (ИУС) и, возможно, для выработки решений высокого уровня значимости. Развитие компьютерных технологий и постепенная интеллектуализация ИИС и ИУС позволяют использовать нетрадиционные методы анализа и обработки нестационарных сигналов — группу время-частотных и время-масштабных преобразований и алгоритмы нейронных сетей (НС).

Метод контроля совокупности параметров подсистемы (объекта) при отсутствии измерения части из этих параметров основан на теории описания динамической системы в форме уравнений для переменных пространства состояний и на адаптации этих уравнений к виду, приспособленному для ис-

пользования нейросетевого алгоритма. В связи с этим в статье в первой части рассмотрены элементы прикладной теории — структура и метод обучения нейронной сети, ориентированной на обработку динамической информации.

Возможность следить за статистическими изменениями нестационарных процессов НС приобретает за счет организации алгоритма контроля ее зависимости от времени. Это может осуществляться с помощью явного или неявного представления времени в алгоритме. Для большинства приложений основное значение имеет неявное представление, т. к. оно путем некоторого структурного дополнения "статической" НС превращает ее в динамическую сеть.

Динамическое свойство НС приобретает при наличии у нее памяти. Память, трактуемая как долговременная, обеспечивается, в частности, при супервизорном ("с учителем") обучении сети. В этом случае информация, содержащаяся в обучающих данных, накапливается (и хранится) в синаптических весах НС. Более важный вид сетей, имеющих тип функционирования, зависящего от времени, составляют темпоральные нейронные сети (ТНС). Структура ТНС включает кратковременную память (КВП). Обычная реализация этой

Блок І

Входной сигнал

Блок 2

Блок p

Выходы линии из p элементов (блоков) временной задержки -------------- і і ------------------------------------------

Рис. 1. Обобщенная форма линии элементов временных задержек. в(г) — передаточная функция отдельного элемента ЛВЗ

формы ТНС — это использование временных задержек (ВЗ), которые осуществляются либо на уровне синаптических связей, либо на уровне входного слоя НС. Идеи кратковременной памяти как основы, порождающей темпоральное свойство НС, восходят к нейробиологическим исследованиям Р. Миллера [1].

Именно таким включением КВП в структуру НС можно сделать выход "статического" персеп-трона динамическим. Описанный способ создания нелинейных динамических систем является основным, в нем "статическая" сеть по-прежнему отражает нелинейность, а память отражает фактор времени.

Структуру КВП представляет линия элементов (блоков) временной задержки (ЛЭВЗ) — рис. 1. ЛЭВЗ описывается уравнением (1)

У(п) = Хh(n - k)x(k),

(І)

k=0

которое определяет динамику линейной системы (дискретного времени) с выходом у(п), входным воздействием {х(к)}к =1,2,... и импульсной переходной функцией {й(/')}г- =12,.. (1) легко представляется с помощью 2-преобразования в форме У(г) = = Н(г)Х(г), где Х(г), У(г) и Н(г) — 2-образы функций х, у и г соответственно 1).

К характеристикам КВП относятся:

• число элементов в ЛЭВЗ — ее порядок (р);

• импульсная переходная функция (ИПФ) каждого элемента — порождающее ядро, равное обратному преобразованию Z-1 от G(z): g(n) = = Z1 [G(z)];

• общая ИПФ gp(n) — р-кратная свертка g(n): gp(n)= Z-1{[G(z)]p};

• глубина D =X n ■ gp (n) кратковременной

n=1

памяти — показатель длительности (в прошлое) хранения информации;

• разрешение R — число элементов ЛЭВЗ на единицу времени; КВП с высоким разрешением способно хранить детальную информацию о входном потоке {x(k)}k =u,...; напротив, уменьшение разрешения ведет к загрублению деталей хранимой информации.

В приложениях чаще всего используются ЛЭВЗ с G(z) = z - 1: g(n) = 5(n - 1) (где 5 — дельта-функция, 5(n) = 0 при n Ф 0, 5(0) = 1) 2). Такая КВП называется памятью на линии временных задержек с отводами (или tapped delay line — по английской терминологии), и для нее ядро g(n)= 5(n - 1), общая ПФ gp(n) = 5(n - p), глубина D = p, разрешение R = 1.

1 Линейная система дискретного времени с импульсной передаточной функцией (ИПФ) {й(/)}; =1>2>..., которая дает отклик у(п) на входное воздействие {х(к)}к =12,. в форме свертки по уравнению (1), при 7-

преобразовании видаХ(г) = £ х(п)г ~п (г- — опера-

П=—ж

тор задержки на единицу времени) описывается соотношением 7(г) = Н(Ї)Х(Ї), т. е. свертка заменяется произведением 7-образов [2, 3]. В эквивалентном виде этого соотношения — И(і)=У(і)! Х(г) — функцию Н(г), 7-образ ИПФ, называют передаточной функцией системы, или просто передаточной функцией (ПФ).

2) Для организации КВП применяются ЛЭВЗ и с более сложной формой элемента временной задержки, например гамма-память [4], где

G( z)=-

-і

м

1 - (1 -м)z 1 z - (1 -м)

0<p<2; ядро

g(n) = Р(1 - Р-Т , n > 1 и

gp (n) = c^:1мp (і -м)n-p,

n > p , причем gp(n) как функция от n/p имеет вид Г -функции.

Временные задержки Iа, 2~2,... на 1, 2 и т.д. единиц времени. Всего их 1243

Временной срез спектрограммы ——

О

О

О

Блок из 4 выходных нейронов (всего их 4 х 6).

Каждый нейрон связан со всеми скрытыми нейронами

Блок из 8 скрытых нейронов (всего их 8*10).

Каждый связан с входными узлами

16 входных узлов

/

Рис. 2. Логика работы нейронной сети с временными задержками: задержанное повторное предъявление частотного спектра временного среза спектрограммы на входные узлы и задержанное предъявление каждого выхода входных нейронов на нейроны скрытого слоя (со связями по принципу "каждый с каждым")

НЕЙРОННЫЕ СЕТИ С ВРЕМЕННОЙ ЗАДЕРЖКОЙ

Нейронная сеть с временной задержкой представляет многослойную сеть с распространением вперед, у которой скрытые и выходные нейроны получают повторяющиеся (с различной задержкой) копии входного сигнала, который может быть векторным [5]. Одна из реализаций НС, осуществляющая этот метод, создана для распознавания фонем (минимальных структурных элементов речи) с использованием спектрограммы — квадрата модуля кратковременного преобразования Фурье [6]. Входной слой этой НС_ВЗ состоит из 192 уз-

лов (в соответствии с вводимой информацией о спектрограмме — 16 узлов по частоте х 12 по времени); скрытый слой — из 10 копий по 8 скрытых нейронов; выходной слой содержит 6 копий по 4 выходных нейрона (рис. 2) [7].

Приведенный вариант НС_ВЗ давал 93 % правильного распознавания фонем. Затем путем введения двух скрытых слоев получена величина 98.5 %.

Нейронные сети с локализованной структурой временных задержек

Если "статические" НС (многослойный персеп-трон или НС с радиальными базисными функциями)

Рис. 3. Нелинейный фильтр, построенный на основе "статической" НС

хорошо выполняют структурное распознавание образов, то зависящее от времени (темпоральное) распознавание образов требует обработки информации, охватывающей некоторый временной интервал. При этом отклик НС должен использовать не только текущие входные данные, но и часть прошлых значений. Выполнение такой функции достигается введением КВП. В частности, за счет введения КВП "статическая" НС может быть преобразована в нелинейный фильтр (рис. 3) [8].

Входное воздействие на НС идет через КВП и поступает в виде набора {х(п), ..., х(п-р)} текущего и р предшествующих значений х, которые имеются в ЛЭВЗ, образующей КВП порядка р. Для настройки параметров сети служит минимизация критерия в форме среднеквадратичной ошибки, определяемой как разность между выходом у(п) НС и желаемым откликом. Такой фильтр может быть выполнен с использованием одного нейрона или некоторой сети (рис. 4).

Блок темпоральной обработки состоит из памяти на линии задержки с промежуточными отводами, которые связаны с синапсами нейронов. ЛЭВЗ получает во временном контексте информацию, содержащуюся во входном сигнале, и обеспечивает возможность сосредоточить ее в наборе значений синаптических весов.

Выход нейронного фильтра (рис. 4, а) опреде-

ляется соотношением

(

2 w] (I) х(п -1) + Ь}-

Л

I=0

(2)

где ф() — функция активации нейрона;

^](!)}1 =1,2,... — его синаптические веса; Ь — смещение [9, 10].

В нелинейном фильтре на НС рис. 4, б используется многослойный персептрон и ЛЭВЗ р-порядка. Входной вектор х(п) = [х(п), х(п-1),..., х(п-р)]т может трактоваться как параметр состояния фильтра в момент п. Эквивалентом стадии обучения здесь служит набор состояний (образцов), число которых определяет порядок р ЛЭВЗ и размер обучающей выборки N.

Для многослойного персептрона (МСП) с одним скрытым слоем выход фильтра определяется выражением

ГП 1

У(п) = 2 w]У] (п) =

т1

(3)

2 W]^ 2 W] (I)х(п -1) + Ь}.

1 =1

I =0

+ Ь0.

При этом выходной нейрон полагается линейным; его веса — ^-}у =1,2,..., т1 (т1 — размер скрытого слоя); смещение — Ь0.

Естественным обобщением рассмотренного нелинейного фильтра с НС_ВЗ служит структура (рис. 5), которая включает банк (параллельно работающих) линейных фильтров с импульсными передаточными функциями {й;};- =1,., ь и блок

СНС, представляющий "статическую" нелинейную НС без памяти (например, МСП).

р

Выход,

кие веса

Выход,

У(п)

Рис. 4. Нелинейные фильтры, построенные на нейронных структурах с применением кратковременной памяти ЛЭВЗ: а — на одном нейроне; б — на нейронной сети

Рис. 5. Общая структура нейронной сети с системой (банком) линейных фильтров

x,(n)

xi(n-l) x,-(n-2) xi(n-p+1)

xi(n-p)

wji(0)

Z

•—►

Z-

Z-

w]i(1) wji(2) Wji(p-Y) W]i(p)

а

Sj(n)= Е wji (k)xi (n - k)

J k=0

Вход

xi(n

Смещение

bi

КИХ- s,(n) ) v,(n) ^ ф()

фильтр / w

> y,(n)

б

Функция

активации

Рис. 6. Сигнально-потоковый граф обычного фильтра с конечной импульсной характеристикой (КИХ-фильтра) (а). Эквивалентная блок-схема преобразований для нейронного фильтра как нелинейного КИХ-фильтра (б)

Эта структура обеспечивает универсальное проксимировать любое отображение, инвариант-

динамическое отображение, которое, согласно ное к сдвигу [11]. Такое же утверждение справед-

Сандбергу (Sandberg I.A.), может однородно ап- ливо также при КВП на ЛЭВЗ с гамма-ядром [12].

Полезное свойство структуры — это возможность раздельного требования устойчивости фильтров блока (банка) входной КВП и (отдельно) самой нейронной сети.

Пространственно-темпоральная модель нейрона

Если рассматривать комбинацию элементов (в составе ЛЭВЗ) в виде и связанных с ними синаптических весов, то получается новая интерпретация этой КВП как фильтра р-порядка (рис. 6) [13].

Таким образом, локализованный нейронный фильтр эквивалентен обычному нелинейному фильтру с импульсной передаточной функцией (ИПФ) [м>1(к)}к = од,.., р, где м>у(к) — вес к-го синапса нейрона у.

Применяя это представление, можно увеличить вычислительные возможности нейронного фильтра путем использования многомерного входа, т. е. входного сигнала с многими компонентами, где каждая компонента вектора снабжена собственным фильтром (рис. 7).

В силу распределенности компонент вектора входа такую структуру называют темпоральной моделью нейронного фильтра с множественным входом. В этой модели нейрон имеет т0 первичных синапсов, каждый из которых состоит из ли-

нейного фильтра дискретного времени, выполненного в виде КИХ-фильтра р-порядка. Эти синапсы отвечают за "пространственное измерение" обработки сигнала. Каждый первичный синапс имеет (р + 1) вторичных, которые связаны с входом и отводами КИХ-фильтра, отвечая тем самым за

"темпоральное измерение" обработки сигнала. Таким образом, структура синапсов имеет древовидный характер (рис. 8).

Математическая форма описания пространственно-темпоральной обработки, выполняемой нейронным фильтром (рис. 7), определяется выражением:

Уу =ф

т0 р

Е Е ™}1 (к) хг (п - к) + Ь

i=0 к=0

V

(4)

где Wji(k) — вес к-го вторичного синапса, принадлежащего ^му первичному синапсу; хг(к) — вход, приложенный к ^му первичному синапсу в момент времени к; Ьу — смещение нейрона у.

Индуцированный потенциал нейрона у (т. е. аргумент активационной функции) может считаться дискретной аппроксимацией формулы непрерывного времени

т0 *

Уу (*) = Е I(Я)х (*- Я)аЯ. (5)

Sjl(n)

Многомерный

вход

Рис. 7. Нейронный фильтр с многомерным входом: т0 компонент входного вектора и т0 КИХ-фильтров (у — индекс нейрона в нейронной сети)

К отводам памяти-1 (включая вход)

К отводам памяти-2 (включая вход)

К отводам памяти-т0 (включая вход)

Рис. 8. Древовидное представление структуры синапсов нейронного фильтра с многокомпонентным входом

Выражение (5) — это свертка непрерывного сигнала х() и ИПФ НрО, характеризующая линейный фильтр непрерывного времени, который представляет синапс i.

Нейронные сети с распределенным временным запаздыванием

Общий алгоритм, относящийся к НС с локализованной ЛЭВЗ (для краткости — НС_ЛВЗ), ограничен случаем инвариантности отображения к сдвигу. Это ограничение алгоритма НС_ЛВЗ делает такие сети приспособленными только к стационарной (инвариантной ко времени) среде. Ограничение преодолевается при использовании структуры НС с распределенным временем запаздывания (НС_РВЗ), в которой влияние времени на функционирование НС не локализовано на входе сети. Конструкция такой сети основана на нейронном фильтре как пространственно-темпоральной модели нейрона.

Согласно модели, сигнал Sji(n) на выходе ^го синапса нейрона у определяется соотношением

5 р (п)=Е (к) х(п - к), (6)

к=0

где Wji — вес, связывающий к-й отвод КИХ-филь-тра, моделирующего синапс, который соединяет выход нейрона i и нейрон р.

Использование обозначений для вектора со-

стояния хг(п) и вектора веса Wji синапса i

хi (п) = [х (п), хх (п - 1),..., хх (п - р)]т,

W р = Хрг (0), wjг (1),..., wjг (Р)]Т

позволяет привести выражение (6) к эквивалентной форме

(п) = (w р )Т • хi (n),

где {х^п)} =12,., т0 — набор входных векторов, компоненты каждого из которых это копии входов {х^п)} =1,2,.., т0 с серией задержек.

Вектор х^п) представляет "состояние" i-го сигнала в момент п; суммирование вклада всего набора сигналов (в модели нейрона на рис. 6) дает выход Уу(п) нейрона у:

т0 т0

(п)=Е (п)+Ьп = Е w А •х i(п)+Ьп, (7)

i=1 i =1

Ур (п) = ф(ур (п)), (8)

где у(п) — индуцированный потенциал нейрона у; Ьр — его смещение.

Темпоральный алгоритм обратного распространения

Супервизорное обучение НС с распределенными временными задержками (НС_РВЗ) осуществ-

ляется с помощью алгоритма, который основан на текущем сравнении выхода нейронов слоя с желаемым значением 3). Для этого используется критерий минимизации функции стоимости (ФС), в качестве которой принимается суммарная квадратичная ошибка -Еобщ.:

Еобщ.=Е Е (п), Е (п) = 2 Е е2 (п), (9)

п ] где Е(п) — сумма квадратов ошибок еп(п) всех нейронов выходного слоя НС,

ер (п) = йр (п) - ур (п); у(п), йДп) — фактические

и желаемые выходы сети.

Алгоритм реализует оценку таких значений компонент вектора весов НС, которые определяют минимум ФС, и использует для этой цели аппроксимацию метода крутого спуска [14, 15]. Математическая форма темпорального алгоритма обратного распространения ошибки (ТА_ОРО) получается путем дифференцирования функции стоимости по компонентам вектора веса Wji

дE,

общ.

дw

дE (n) дw

(10)

общ.

дw

др

Е общ

дv,(n)

дv/ (n) дw

(11)

Для корректировки вектора весов темпоральной НС по процедуре Вана используется обычный

3) Термин "супервизорное" обучение эквивалентен обучению "с учителем".

метод градиентного спуска:

w ,г (n + 1) = w ,г (n) -П

_ дEoбщ. bvj (n)

J'y ' "J’y ’ 'дvJ (n) дw Ji (n)

Согласно (1), для любого нейрона j справедливо соотношение

дv j(n) дw г (n)

(13)

Введение нового определения локального градиента нейрона у с помощью выражения

д¥

5 , (n) = -- общ

дv j (n)

(14)

Для получения мгновенного градиента может быть применен метод развертывания НС во времени. Метод состоит в удалении элементов временной задержки (ЭВЗ) из НС_РВЗ путем разложения ее в эквивалентную "статическую" сеть большего размера и в последующем использовании простого (не темпорального) алгоритма обратного распространения ошибки для вычисления мгновенного градиента ФС [7, 10]. Однако этот метод имеет ряд недостатков: потеря симметрии фаз прямого и обратного распространения; отсутствие удобного рекурсивного соотношения для процедуры обратного распространения ошибки; необходимость хранения результатов всех промежуточных преобразований алгоритма.

В связи с трудностью практического использования описанного метода для получения мгновенного градиента в ТФ_ОРО применяется процедура Вана (Wan E.A.) [16, 17]. Процедура основана на том, что в качестве основного аргумента в ФС рассматриваются потенциалы возбуждения нейронов и, следовательно, имеет место соотношение

позволяет упростить соотношение (12) и свести его к выражению (15):

™л (п + 1) = '№і (и) + п • (и)хі (и). (15)

Вид локального градиента 4(и), как и в алгоритме ОРО, определяется в зависимости от того, находится нейрон ] в выходном слое или в скрытом слое.

■ Нейрону в выходном слое:

дк

5, (n) = - общ

дE (n) дv,(n) дv,(n)

= е, (n)p'(v, (n)), (Іб)

где Є](п) — ошибка сигнала, измеренного на выходе нейрона у; ф'(Уу (и))— производная активационной функции ф по своему аргументу.

■ Нейрон] в скрытом слое:

5 j (n)= -

ЕЕ

общ.

дE (n)

дvj(n) дvj(n)

дEoбщ. дVr (к)

ТҐАк дVr (к) дv j (n)’

(11)

где А - множество нейронов, на чьи входы подается выход нейрона у; уг(п) — индуцированный потенциал нейрона г.

С учетом (14) (с заменой индекса у на г) выражение (17) принимает вид

5j(n) = -ЕЕ 5r(n)

reA к

дvr (к)

дУ. (n)’

(18)

где yj(n) — выход нейтрона j.

Поскольку

ду j (n)

дVj(n) рона, то (18) дает

= Ф (v j (n)) для любого ней-

8] (и) = -ф'(Vу (и))ЕЕ8г (и) • ^ (к) . (19)

гєЛ і

дУу (и)

Имея в виду, что vг(n) — это потенциал возбуждения нейрона г за счет сигнала выхода нейрона у, с помощью (6) и (7 ) можно получить выражение для vг(k):

т0 р

vг(к)=ЕЕ (і) У](к -1^

у=0 і =0

(20)

где ^ у при у = 0 соответствует потенциалу смещения в нейроне:

wг0(1) = Ьг, у0(и -і) = 1 для всех і и и . (21)

Здесь можно напомнить, что р — это порядок синаптического фильтра нейрона г (и каждого другого нейрона); т0 — общее число синапсов, принадлежащих нейрону г.

Выражение (20) как свертка может быть преобразовано к эквивалентному виду

т0 р

(к)=ЕЕУу (іК (к -1).

у =0 і =0

(22)

8у (и) = ф'(уу (и))Е АТ (и) • г

(26)

гєА

где Ат (и) • w у — скалярное произведение векто-

ров Аг (и) и w гу с размерностью р+1.

Выражение (26) представляет окончательную форму локального градиента 8 у (и) в скрытом

слое НС_РВЗ.

Таким образом, процедура обновления весов в алгоритме обратного распространения по Вану выполняется на основе соотношений:

w у, (и + 1) = w і (и) + п • 8 у (и) • X і (и), (27)

8 у (и) =

Су (и)ф'(V, (и)

(а),

при

ф'(у} (и)Е А Т(и) • Wу (и) при (Ь),

(28)

гєА

гу

Дифференцирование (22) дает выражение для

дУг(к) :

дУу(и) '

д Уг (к) = 1^. (к -1) при и < к < и + р, д У у (и) [ 0, если иначе.

Использование для нейронов скрытого слоя выражений (23) и (19) приводит к соотношению, определяющему величину локального градиента на нейронах скрытого слоя:

п+р

8 у (и)=ф ' (уу (и))ЕЕ8г (к )^- (к -1)=

гєА к=п

р

= ф' (Уу (и))Е Е 8г (и + ік)w,7■ (и). (24)

гєА і=0

Определение нового вектора А г (и):

А г (и) = [8 г (и), 8 г (и + 1), ..., 8 г (и + р) ] (25)

и использование ранее введенного векторного обозначения w^г■(n) позволяет получить выражение (24) в более компактном виде:

где условие (а) — нейрон у в выходном слое; условие (Ь) — нейрон у в скрытом слое.

Этот алгоритм является векторным обобщением обычного алгоритма ОРО. При замене хг(и), wг]■ и Аг своими скалярными аналогами темпоральный алгоритм ОРО (ТА_ОРО) переходит в "стандартную" форму алгоритма обратного распространения ошибки.

При практическом выполнении ТА_ОРО для вычисления 8 у (и) нейрона у в скрытом слое с помощью (26) проводится "распространение" градиентов из следующего слоя назад через те синаптические веса, возбуждение которых происходит за счет нейрона у. Схема процедуры обратного распространения может быть условно изображена сигнально-потоковым графом (рис. 9), который показывает, что локальный градиент 8 у (и) образуется не простым взвешиванием, а с помощью обратной фильтрации через каждый синапс.

В частности, для каждого нового набора векторов входа и желаемого выхода прямая фильтрация выполняется за один временной шаг и темпоральное обратное фильтрование выполняется тоже за один шаг.

Преимуществом ТА_ОРО является сохранение симметрии процедур прямого и обратного распространения, однократное использование весов (коэффициентов ИПФ) синаптических фильтров при расчете локального градиента, т. е. отсутствие их избыточного использования (которое было бы характерно в методе развертывания НС во времени без применения процедуры Вана).

ЗАКЛЮЧЕНИЕ

Описаны два класса нейронных сетей с распространением вперед, отличающиеся местом формирования временных задержек (служащих источником

V

Ai(w)

Рис. 9. Сигнально-потоковый граф процедуры обратного распространения через НС_РВЗ при получении локального градиента функции стоимости (ФС)

кратковременной памяти), которые локализованы либо на входных узлах НС, либо распределены по структуре сети. Обучение НС первого класса осуществляется по алгоритму обратного распространения ошибки (алгоритм ОРО), обучение НС второго класса проводится с помощью темпорального алгоритма ОРО 4). Последний алгоритм требует больших вычислительных затрат.

Согласно теоретическим результатам Сандберга (Sandberg I.A.) [12], существует аппроксимация произвольного отображения (с неизвестной явной формой) на основе последовательно соединенных двух блоков: банка (параллельной группы) фильтров и "статической" нейронной сети. Такая структура может быть выполнена путем использования пространственно-темпоральной модели нейрона, т. е. с помощью нейронного фильтра со многими входами (НФ_МФ). Так что в соответствии с [13] НФ_МВ — это функциональный блок с большими возможностями, реализуемыми его собственной пространственно-темпоральной организацией, который может служить основой построения класса темпоральных сетей.

Отличительная черта НС_РВЗ — это способ, которым неявное представление временных задержек распределено в структуре сети, и связанная с этим возможность реагировать на нестацио-

4) Другой тип архитектуры НС, приспособленной для темпоральной обработки, составляют так называемые рекуррентные нейронные сети. Их предполагается рассмотреть в следующей части статьи.

нарную среду внешнего воздействия.

В качестве краткого резюме можно отметить следующие положения.

Рассмотрены элементы структуры и модели сетей с функционированием, зависящим от времени, так называемых темпоральных нейронных сетей (ТНС): модели и структуры памяти, две формы структуры сети. Проанализированы:

• ТНС с локализованными (на входе НС) временными задержками — ТНС_ЛВЗ;.

• ТНС с распределенными временными задержками (ТНС_РВЗ);

• пространственно-темпоральная модель

нейрона, являющаяся основой ТНС_ЛВЗ

и ТНС_РВЗ;

• темпоральная форма обучающего алгоритма обратного распространения для супервизорно-го ("с учителем") обучения ТНС_РВЗ.

НС с распределенными временными задержками представляет более сложную структуру, чем НС с локализованными ВЗ, и требует больше вычислительных затрат. Выбор одного из этих алгоритмов определяется тем, относится ли задача темпоральной обработки к стационарным или нестационарным исходным данным.

Необходимость темпоральной (динамической) обработки возникает во многих приложениях:

• предсказание и моделирование временных рядов [18];

• снижение уровня шума методом, в котором используется как первичный датчик (микрофон),

дающий смесь сигнала и шума, так и опорный датчик, измеряющий коррелированные шумы [14];

• адаптивное выравнивание каналов связи с неизвестной характеристикой (задача адаптивной эквализации) [19, 20];

• адаптивное управление [21];

• идентификация систем [22].

СПИСОК ЛИТЕРАТУРЫ

1. Miller R. Representation of brief temporal patterns, Hebbian synapses, and the left-hemisphere dominance for phoneme recognition // Psychobiology. 1987. V. 15. P. 241-247.

2. Смит Д.М. Математическое и цифровое моделирование для инженеров и исследователей. М.: Машиностроение, 1980. 271 с.

3. Рабинер Л., Голд Б. Теория и применение цифровой обработки сигналов. Пер. с английского. М.: Мир, 1978. 848 с.

4. De Vries B., Principe J.C. The Gamma-model — a new neural model for temporal processing // Neural networks. 1992. V. 5. P. 565-576.

5. Waibel A., Hanazawa T., Hinton G., Shikano K., Lang K.J. Phoneme recognition using time-delay neural networks // IEEE Transactions on Acoustic, Speech and Signal Processing. V. ASSP-37. P. 328-339.

6. Меркушева А. В. Классы преобразований нестационарных сигналов в информационноизмерительных системах. II. Время-частотные преобразования // Научное приборостроение. 2002. T. 12, № 2. C. 59-70.

7. Haykin S. Neural networks. NY.: Prentice Hall, 1999. 842 p.

8. Mozer M. C. Neural net architectures for temporal sequence processing // Time series prediction: forecasting the future and understanding the past / Eds. Weigend A.S., Gershenfeld N.A. Readig, MA.: Addison-Wesley, 1994. P. 243-264.

9. Уоссерман Ф. Нейрокомпьютер и его применение / Пер. с англ. под редакцией А.И. Галушкина. М.: Мир, 1992. 236 с.

10. Меркушева А.В. Применение нейронных сетей

для текущего анализа нестационарного сигнала (речи), представленного его вейвлет-отображением. I. Основные принципы // Научное приборостроение. 2003. T. 13, № 1. C. 6471.

11. Sandberg I.A., Xu L. Uniform approximation of multidimensional myopic maps // IEEE Transactions on Circuits and Systems. 1997. V. 44. P. 477-485.

12. Sandberg I.A., Xu L. Uniform approximation and gamma-networks // Neural Networks. 1997. V. 10. P.781-784.

13. Haykin S., Van Veen B. Signals and Systems. NY.: Willey, 1998. 440 p.

14. Уидроу Б., Стирнз С. Адаптивная обработка сигналов. М.: Радио и связь, 1989. 439с.

15. Химмельблау Р. Прикладное нелинейное программирование. М.: Мир, 1975. 534с.

16. Wan E.A. Temporal back-propagation for FIR neural networks // IEEE Intern. Joint Conference on Neural Networks (San Diego, CA.). 1990. V. 1. P. 557-580.

17. Wan E.A., Beaufays F. Diagramming derivation of gradient algorithm for neural networks // Neural Computation. 1996. V. 8. P. 182-201.

18. Бендат Дж., Пирсол А. Прикладной анализ случайных данных. М.: Мир, 1989. 540 с.

19. Proakis J.G. Digital communication. NY.: Mc Grow-Hill, 1989. 560 p.

20. Haykin S. Adaptive filtering theory. NY.: Willey, 1996.693 p.

21. Narendra K.S., Parthasarathy K. Identification and control of dynamic systems using neural nets // IEEE Transactions on Neural Networks. 1990. V. 1. P. 4-27.

22. Льюнг Л. Идентификация систем. М.: Наука, 1991. 431 с.

Санкт-Петербург

Материал поступил в редакцию 11.11.2003.

PLANT (SUBSYSTEM) STATE CONTROL AT INCOMPLETE MEASUREMENT INFORMATION ON THE PARAMETER SET DETERMINING ITS DYNAMICS.

I. STRUCTURE ANALYSIS OF A NEURAL NETWORK ADAPTED TO THE ANALYZED INFORMATION DYNAMICS

G. F. Malykhina, A. V. Merkusheva

Saint-Petersburg

The limitedness of the signal local-stationarity concept in information measurement and information control systems (ICS) reflecting the state of the controlled plant (subsystem) demands the use of more perfect analysis and processing methods, time-frequency transformations and algorithms for neural networks (NN). Significant problems occur when the plant (subsystem) state control is implemented in conditions where some parameters have no effect on the measuring system sensors, i.e. in conditions of incomplete information. The solution of this problem is obtained based on the analysis of plant-ICS system dynamics equations (in the state parameter space) and on the use of temporal NN algorithms. The first (of three) paper parts discusses the NN structure and learning algorithms that may adequately represent the data and controlled process dynamics. NN structures are analyzed on the basis of a neural filter concept and learning — on the basis of a time-dependent back-propagation algorithm.