Сеть с симметричной функцией преобразования нейронов на основе статистик высокого порядка для снижения шума нестационарного сигнала Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

ISSN 0868-5886

НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2008, том 18, № 4, c. 129-136

-МАТЕМАТИЧЕСКИЕ МОДЕЛИ =

УДК 621.391; 519.21; 519.245 © Г. Ф. Малыхина, А. В. Меркушева

СЕТЬ С СИММЕТРИЧНОЙ ФУНКЦИЕЙ ПРЕОБРАЗОВАНИЯ НЕЙРОНОВ НА ОСНОВЕ СТАТИСТИК ВЫСОКОГО ПОРЯДКА ДЛЯ СНИЖЕНИЯ ШУМА НЕСТАЦИОНАРНОГО СИГНАЛА

Проанализирован метод создания сети с симметричной функцией преобразования нейронов, построенный на основе статистик высокого порядка (СВП). Показано, что такая сеть обеспечивает снижение шума нестационарного сигнала. При этом в информационно-измерительной системе хорошо подавляются шумы с распределением Гаусса и шумы с негауссовым, но симметричным распределением. Показана структура сети на основе СВП, сравнение ее с базовой структурой сети с симметричной функцией преобразования нейронов и алгоритмом обучения, использующим критерий МНК.

ВВЕДЕНИЕ

В информационно-измерительных системах (ИИС) для улучшения отношения сигнала к шуму достаточно часто применяются методы адаптивной фильтрации [1-3], однако использование линейных фильтров не обеспечивает желаемой эффективности подавления шума для нелинейных сигналов. Для таких условий лучшие результаты обеспечиваются применением нейронных сетей [4-6]. Опыт использования многослойного пер-септрона показал, что для аппроксимации нелинейного сигнала он имеет преимущество по числу параметров и сравнительно небольшому количеству обучаемых данных [5, 7]. Однако алгоритм обучения персептрона построен на использовании нелинейной формы оценки параметров; он имеет медленную сходимость, что затрудняет его применение при временном дефиците. Кроме того, чтобы исключить получение локального (а не общего) минимума критерия оптимизации, приходится обучение проводить несколько раз с различными начальными значениями параметров и выбирать наилучшее значение критерия. Более эффективным является использование сети с симметричной функцией преобразования нейронов (СФПН)1), применявшейся для кластеризации, выравнивания каналов связи и снижения шума [9].

Следующим этапом развития методов применения нейронных сетей для подавления шума, сопутствующего информационно значимому сигналу, является использование статистик высокого порядка (СВП)2). Это направление связано с рабо-

1) Общая методология сетей с СФПН, включая особенности их структуры, рассмотрены в [8].

2) Сравнительно недавно используемые СВП связаны с введением распределения группы вероятностных ("случайных") сигналов, построением их совместной харак-

тами Шалдера, Гианакиса и Ли (Shadier, Giannakis, Li [10]), Мо и Шафея (Mo, Shafai [11]), Никиаса и Менделя (Nikias, Mendel [12]). Преимуществом СВП является их непропускание (подавление) гауссова шума и обнаружение шума, имеющего асимметричное или негауссово распределение.

Ниже будет проанализирована структура сети с СФПН на основе СВП и метод ее использования для снижения уровня шума в сигнале, или так называемого "усиления" сигнала в смысле повышения его эффективного отношения сигнал/шум. Важным элементом такой сети является опорный сигнал, образуемый из наращиваемой задержки основного анализируемого сигнала, т. е. из зашум-ленного информационного сигнала. При этом непропускание на выход блока, формирующего СВП, как гауссова шума, так и симметрично распределенного негауссова шума, снижает влияние этих компонент на кластеризацию, которая входит в алгоритм обучения сети при оценке ее весовых параметров. Анализ сети с СФПН на основе СВП будет проведен в три этапа: оценка характерной структуры и формализма описания простой сети с СФПН; способ образования СВП и структура сети с СФПН, включающая блок формирования СВП; алгоритм обучения сети и формирования весов — свободных параметров сети.

СФПН ДЛЯ УМЕНЬШЕНИЯ ШУМА В СИГНАЛЕ

Если измеряемый сигнал d(t) представить как сумму информационно-значимого сигнала s(t)

теристической функции и последующим вычислением по общему алгоритму формирования хорошо знакомых первых двух моментов (статистик) — среднего и дисперсии. Формализованное описание СВП дано в следующем разделе.

Рис. 1. Сеть с СФПН и элементы алгоритма для снижения шума сигнала. Штриховые стрелки символизируют адаптивную подстраиваемость элементов сети

и некоррелированного с ним гауссова шума п(): = +«ДО, то простейшая форма сети с СФПН может быть представлена структурой, показанной на рис. 1. Опорный сигнал г(0 равен - А) и на каждый следующий узел входного слоя сети поступает с дополнительной задержкой А, где в качестве А, глубины предсказания, принимается интервал отсчетов (дискретизации) сигнала. Оценка ) сигнала s(t) получается в этой структуре по логике адаптивной фильтрации [1].

Для сети с N узлами входного слоя, N узлами скрытого слоя и с одним выходным узлом (с линейной ФПН) на выходе сети оценка ) опреде-

ляется соотношением

§(Г) = 8(? )т ),

(1)

ёк ^) = ехр

|г(Г) - Ук(Г)|| 2р2^)

2 Л

(2)

где Vк (?) — центр к-го скрытого узла; г(0 = = [г(?),г(? -1),...,г(?-N0 +1) ]т— входной вектор сети; || • ||— эвклидова (Ь2) норма. Величина р(() — полуширина (аналог а) СФПН определяется среднеквадратичным рассеянием входного вектора се-

ти:

í N0 -1

р2(()=— N0

Е [г(( -1) - Г (()]

(3)

где w(t) — вектор связи, идущей от узлов скрытого слоя к выходному узлу сети; ) =

= [^ (^), 62 (¿),..., ^ )]т — вектор сигналов выхода

узлов скрытого слоя. Выход к-го скрытого узла для сети с СФПН "гауссова типа" определяется выражением

где г (^) — среднее значение компонент вектора

г а).

Центры Vк (?) могут быть получены "самоорганизующейся процедурой обучения" с помощью алгоритма кластеризации по к средним [9]:

vk (t +1) = Vk (t) + Я [x(t) - Vk (t)] при

k = argmin[|| x(t) - V} (t )||,1 < j < NJ;

(4)

Vk (t + 1) = Vk (t)

при 1 < i < N1 и i Ф к,

где /HV — скорость обучения для весов сети.

Поскольку опорный сигнал r(t) содержит шум ns(t), то на центры, полученные по алгоритму к средних, тоже влияет ns(t), особенно в случае, когда отношение сигнал/шум у входного сигнала имеет небольшую величину.

Весовой вектор w (t) при обучении сети адаптируется по алгоритму МНК [3], в котором средний квадрат ошибки d(t) — s(t) определяется соответствующим критерием. Нормализованный вариант алгоритма МНК выражается соотношением

w(t +1) = = w(t) +

--^-- 8(t) -(d (t) — s(t)), (5)

(1 + 8(t )T 8(t) )wlw y,h (5)

где ¡И^ — параметр скорости обучения для вектора весов.

Однако шум на выходе сети также коррелирован с «ДО, поскольку

e(t) = d (t) — s(t) = f (t) + ns (t) — s(t).

(6)

Поэтому из (6) следует, что в (5) присутствует зависимость от п(), увеличенная за счет коэффициента /ищ . Это можно трактовать как возрастание шума градиента, и использование алгоритма МНК при низких значениях отношения сигнал/шум становится неэффективным.

СЕТЬ С СФПН НА ОСНОВЕ СТАТИСТИК ВЫСОКОГО ПОРЯДКА

Статистики высокого порядка формализованно определяются как коэффициенты разложения в ряд Тейлора совместной характеристической функции произвольного набора вероятностных переменных, в том числе — временных отсчетов стационарного (по крайней мере локально) случайного сигнала [12]. Так, для набора переменных {2Х,г2,...,} их кумулянта к-го порядка

(к = к1 + к2 +... + кп ) определяется соотношением

Кум.[z*,z2\...,z" ]-= (_ j )k дкИЦ,®2,..,®п )

Э^1 дz22 ...ЭZk

=^2 =... = &" =0

(7)

где щ(т[,т2,...,Юп) = Е[ ] • 22 +...+юпгп)\ —

характеристическая функция и Е — символ математического ожидания. Для набора п вероятностных (случайных) стационарных переменных

(1)} I=1 2 п кросс-кумулянта (С) «-го порядка представляется в виде:

C

(T1,T2,...,Tn—1) =

=Кум.[[), 22(Х + т), Zз(í + т),..., (1 + ТпЧ)]. (8)

Два основных свойства кросс-кумулянты, которые существенны для анализа сети с СФПН на основе СВП, следующие.

1. Если случайные переменные {zi (1)} ■=1 2 п

могут быть разделены на две статистически независимые группы переменных, то

С^ (Т1,Т2,...,Тп-1)=0.

2. Если набор случайных переменных {21 (1)} I=1 2 п соответствует гауссову сигналу, тогда все их кросс-кумулянты порядка более чем 2 равны нулю.

Поскольку s(t) и п() независимы, то (в предположении, что у опорного сигнала г(1) существует кумулянта п-го порядка) эта кумулянта может быть представлена в виде:

Сгг...г (Т1,Т2,...,Тп-1) = . (Т1,Т2,...,Тп-1) +

+ Сп3п3...п3 (Т1,Т2,...,Тп-1). (9)

Поэтому кумулянты высокого порядка (КВП) опорного сигнала будут фактически близки к кумулянтам сигнала .(1). Это и служит основной идеей построения структуры сети с СФПН на основе СВП. Такая структура, включающая кумулянты, показана на рис. 2.

Кумулянты высокого порядка опорного сигнала г(1) используются как вход сети на основе СВП, для того чтобы снизить влияние шума п.(1) на кластеризацию, обеспечивающую правильный выбор центров СФПН по (4). Выход 3() к-го узла скрытого слоя в такой структуре может быть представлен выражением:

Sk (t) = exp

-(t) — V k (t )|

2[p(t)]

(10)

где полуширина р(1) СФПН определяется среднеквадратичным рассеянием компонент Сгг г (1) аналогично формуле (з).

Рис. 2. Схема основной структуры сети с СФПН на основе статистик высокого порядка

АЛГОРИТМ ОБУЧЕНИЯ СЕТИ С СФПН НА ОСНОВЕ СТАТИК ВЫСОКОГО ПОРЯДКА

В алгоритме обучения анализируемой сети на основе СВП в качестве критерия (£) используется среднеквадратичная разность ("ошибка") двух кумулянт высокого порядка — для сигналов и ) — с целью снизить влияние шума п() на адаптацию весовых параметров сети. Критерий £ с использованием приведенных выше определений и обозначений КВП может быть представлен в следующем виде:

£=ЕЕ-Е 2 [с гг...г (тт-Лч ]2=

Т Т2 т«-12

1 2 =Е- Е - Е2(Т -А,т -А,...,ти-1 - А)-С,„...,(т -А,т -А,...,ти-1 -А)] =

(т1,Т2,...,тг-1 )еГ

= Е Е ... Е 2 [^Агг...г (Т1,Т2,...,Т„-1) - Сёгг...г (Т1,Т2,...,Т,-1^2

(11)

Соотношение (11) может быть представлено в матричной форме в виде

|Э = 2 [С5гг...^ Сйгг...г ] ,

(12)

где С5гг г — матрица размера ИГ х И1 и вектор Сйгг г размера NГ х1; ИГ обозначает число точек в наборе Г.

Для того чтобы минимизировать критерий используется метод градиентного спуска. Градиент £ определяется выражением

"¿(О - С5гг...^ ] • (13)

Общее соотношение, которое отражает алгоритм обучения и определяет подстройку — адаптацию весов нейронной сети, имеет вид:

1. Начальные условия:

Т =-щ,(-щ+1),...,(т1 -1),щ ; Т> =1,2,...,т2; Сг,Гг (0;ТТ) = 0, 1 = 1,2,..., N0; С^,, (0;тт) = 0, 1 = 1,2,..., N1; С^ТТ) = 0;

Набор случайных значений для ук (0) при к = = 1,2,..., N..

2. Вычисления:

w (х +1) = w (х )■

Ма

(1 + * ((_))

V w (х). (14)

Из выражения (11) следует, что при хорошей аппроксимации £(х) для s(х) критерий обучения £ становится близким к оптимальному значению. Кроме того, (11) показывает, что влияние пДх) на СЛгг г может быть ослаблено. Поэтому в алгоритме обучения, основанном на статистиках высокого порядка, градиентное усиление шума эффективно снижается.

Полное представление об алгоритме обучения сети с СФПН на основе СВП дает формализованная сводка его этапов, которая для большей компактности (не уменьшая общности) представлена в форме, ограниченной статистиками третьего порядка. В сводке приведены обозначения переменных, правило инициализации статистик (кросс-кумулянт) и последовательность вычислительных процедур. Процедуры включают вычисление £(х), обновление центров СФПН, оценку кумулят, образование вектора С^гг и матриц Сггг и СЛгг, а также обновление весов нейронной сети.

Сводка этапов алгоритма обучения сети с СФПН на основе статистик третьего порядка

Определения:

N0 — число входных узлов; N1 — число узлов скрытого слоя; X — фактор "забывания"; ^ — параметр скорости обучения для весов; ¡иу — параметр скорости обучения для центров СФПН; w(х) — вектор весов; ук — центр к-й СФПН в скрытом слое; р — полуширина гауссиана СФПН.

х=1,2,...; ¿(0=[адло-А«]• w(o,

где

5к (х) = ехр

( \\СГГГ (х) - у к!!2 ^ " 2Р

2.1. Обновление центров:

' у к (х +1) = у к (х) + я [Сггг (х) - у к ],

к = агвшт [\\С_ (х) - у , \\2,1 < ] < N1 ];

у. (х +1) = у.(х), 1 < 1 < N1 и 1 Ф к.

2.2. Оценка кумулянт третьего порядка:

Для т =-т1,(-т1+1),...,(т1 -1), щ; Т> = 1,2,..., т2

^ГПТ^ =

= ЯСйгг (х - 1;т, Т2) + (1 - Х)4 (х )г (х + Т )г (х + т + т). Для т =-т1,(-т1+1),...,(т1 -1), т^

Т2 = 1,2,..., т2; 1 = 1,2,..., N0

Сггг(хтТ = ЛСГ ГГ(х - 1;т,т2) + +(1 - Я)г(х -1 +1)г(х + Т)г(х + Т + т2).

Для т =-т1,(-т1+1),...,(т1 -1), т^

Тк = 1,2,..., т2; 1 = 1,2,..., N1

С5гг (х;Т1,Т2)=ЯС5гг(х - 1;Т1,Т2)+

+(1 -Я)5(х )г (х + т)г (х + т +т2).

2.3. Построение Сагг(г), Сагг(0 и Сггг(1):

Сагг(1)=[С-т1,0),Сагг(1;-«1,1),...,Сагг(1;«1,т2 - йСт1,т2)] ;

Сггг (1;т1,т2) =

С1ГГ (1; - «1,0) СГ1ГГ (1;-«1,1) С гг (Г,- «1,0) £ гг (,; - «1,1)

С гг (1; «^ «2) СГ2 гг (1; ml, т2)

Сг„гг(1;-«1,0) ^^г.гг(1;-«1,1) .... Сг.гг(1;«^«2)

Сагг (1;Т1,Т2) =

а(1;-«1,0) С;гг(1;-«1,1) ССа, гг(1; - «1,0) ССл, гг (1; - «1,1)

СящггС;-«1,0) аС;-«1,1)

Сагг(1; «l, «2)

ССа. гг (1; «1, «2)

... Сз,1,гг(1;«l,«2)

2.4. Обновление весов:

К

W (1 + 1) = (1)

V w (1) - дд^ = -са гг (1) • [С,г (1) - Сагг (1) • w (1) ];

А,

гг

[Са гг (1 )Сагг (1)]

V д (1).

СРАВНЕНИЕ АЛГОРИТМОВ НА ОСНОВЕ СВП И НА ОСНОВЕ МНК ДЛЯ СЕТИ С СФПН

Сравнение показателей функционирования сети с СФПН при использовании для обучения двух критериев — критерия на основе статистик высокого порядка и обычно применяемого нормализованного критерия наименьших квадратов (МНК) полезно проследить на сравнительно несложном нестационарном сигнале. В качестве него принят сигнал электрокардиограммы (ЭКГ), имеющий хорошо знакомую форму с квазипериодическим чередованием Q-R-S-T-комплексов, с небольшой вариацией амплитуд Q-R-S-T-пиков, со спектром в пределах 150 Гц, а также с удобным и наглядным способом внесения различных уровней зашумленности.

Сравнение показателей функционирования проводилось на сети (при одинаковых значениях параметра ), обученной по критерию МНК и критерию СВП, включающему статистики 3-го порядка (с «1 =10 и «2 =3). При внесении гауссова шума и обычном определении отношения сиг-

нал/шум (ОСШ)3) алгоритмом на основе СВП удается снизить шум в 1.5 раза более, чем с помощью алгоритма на основе МНК, т. е. на 30 и на 20 дБ соответственно. Кроме того, алгоритм на основе СВП значительно меньше зависит от величины /ид — параметра скорости обучения. Особенно значительно преимущество алгоритма на основе СВП при очень низких значениях ОСШ. Так в диапазоне ОСШ от -10 до -20 дБ СВП обеспечивают в 3-7 раз более низкую среднеквадратичную ошибку получаемого сигнала на выходе сети с СФПН.

Примерно такое же преимущество алгоритм на основе СВП имеет перед алгоритмом с критерием МНК для случая, когда сигналу сопутствует нестационарный гауссов шум, у которого может со временем изменяться как величина, так и текущее значение средней частоты. Для низких значений ОСШ до -10 дБ алгоритм на СВП (сравнительно с МНК) обеспечивает вдвое меньшую среднеквадратичную ошибку сигнала.

Следует отметить большую вычислительную нагрузку, которая требуется для выполнения алгоритма на СВП. Поэтому при не слишком малых уровнях ОСШ, где достигаются почти эквивалентные показатели функционирования обоих алгоритмов, предпочтение может быть отдано более

3)

ОСШ по амплитуде, в децибелах (дБ):

^ Аси ^

ОСШ = 20к^

10

Лшу]

дБ, где Лсигн. И Л

соответ-

V ^у™ у

ственно амплитуды сигнала и шума.

простому из них, т. е. нормализованному МНК [3].

ЗАКЛЮЧЕНИЕ

Рассмотрен метод применения статистик высокого порядка (СВП), так называемых кумулянт, при обучении нейронной сети с симметричной функцией преобразования нейронов (сети с СФПН) и применение такой сети для увеличения информационно-значимого сигнала на основе подавления шума, т. е. повышения величины отношения сигнал/шум (ОСШ) в тракте измерительной или управляющей системы.

СВП являются сравнительно новой статистической концепцией4"1, нашедшей применение в области обработки сигналов [12, 17]. Развитие свойств СВП и методов применения выполнено Белоучрани, Мераим и Джеан-Франкоис (Belouch-rani, Meraim, Jean-Francois) [18], Инойе и Хирано (Inouye, Hirano) [19], Йеунг и Яау (Yeung, Yau) [20], причем в двух последних работах получен ряд основополагающих теоретических положений, расширяющих возможности применения СВП для анализа смеси сигналов и снижения уровня шума у нестационарных сигналов.

• В статье проанализирован метод создания сети с СФПН, показана ее структура, обеспечивающая снижение шума нестационарного сигнала, и критерий обучения, построенный на основе СВП.

• Показано формализованное определение СВП (совместных кумулянт группы стохастических переменных), их основные свойства и способ формирования из временных отсчетов компонент вектор-сигнала в ИИС.

• Приведен алгоритм обучения сети с СФПН на основе СВП, где в качестве целевого критерия обучения использована среднеквадратичная разность двух СВП, и дана подробная сводка всех вычислительных этапов алгоритма.

• Дано сравнение показателей функционирования сети с СФПН при использовании для обучения двух критериев — критерия на основе статистик высокого порядка и обычно применяемого нормализованного критерия наименьших квадратов (МНК).

• Показано, что сети с СФПН на основе СВП обеспечивают большее снижение компоненты шума в информационно-значимом сигнале, и это преимущество сети особенно усиливается при низкой величине отношения сигнал/шум.

• С помощью описанной структуры сети с СФПН и алгоритма на основе СВП осуществляет-

4) Методология СВП и даже упоминание о них отсутствуют в авторитетных монографиях по статистике и теории вероятностей [13-16].

ся подавление аддитивного гауссова шума как

стационарного, так и нестационарного.

СПИСОК ЛИТЕРАТУРЫ

1. Уидроу Б., Стирнз С. Адаптивная обработка сигналов. М.: Радио и связь, 1989. 439 с.

2. Zeidler J.R. Performance Analysis of LMS Adaptive Prediction Filters // Proceedings of IEEE. 1990. V. 78, N 12. P. 1781-1806.

3. Haykin S. Adaptive Filter Theory. Englewood Cliffs, N.J.: Prentice Hall, 1991. 560 p.

4. Michalopoulou Z., Nolte L., Alexandrou D. Performance Evaluation of Multilayer Perceptron in Signal Detection and Classification // Neural Networks. 1995. V. 6, N 2 (March). P. 381-386.

5. Gandhi P.P., Ramamurti V. Neural Networks for Signal Detection in Non-Gaussian Noise // IEEE Transactions on Signal Processing. 1997. V. 45, N 11. P. 2846-2851.

6. Cha I., Kassam S.A. Interference Cancellation Using Radial Basis Function Networks // Signal Processimg. 1995. V. 47. P. 247-268.

7. Watterson J. W. Optimum Multilayer Perceptron Neural Receiver for Signal Detection // IEEE Transactions on Neural Networks. 1990. V. 1, N 4 (December). P. 298-300.

8. Меркушева А.В., Малыхина Г.Ф. Методология сетей с симметричными функциями преобразования нейронов // Научное приборостроение, 2006. Т. 16, № 2. С. 34-45.

9. Chen S., Mulgrew B., Grant P.M. A Clustering Technique for Digital Equalization Using Radial Basis Function Networks // IEEE Transactions on Neural Networks. 1993. V. 4, N 4. P. 570-578.

10. Shadler B.M., Giannakis G.B., Li K.-S. Estimation and Detection in Non-Gaussian Noise Using Higher Order Statistics // IEEE Transactions on Signal Processing. 1994. V. 42, N 10. P. 27292741.

11. Mop S., Shafai B. Blind Equalization Using Higher Order Statistics and Neural Network // IEEE Transactions on Signal Processing. 1994. V.42,N 11. P.3209-3217.

12. Nikias C.L., Mendel J.M. Signal Processing with Higher Order Spectra // IEEE Signal Processing Magazine. 1993. V. 10, N 3 (July). P. 10-37.

13. Гнеденко Б.В. Курс теории вероятности. М.: Изд. Физ.-мат. литературы, 1961. 406 с.

14. Кендалл М.Дж., Стюарт А. Многомерный статистический анализ и временные ряды. М.: Изд. Наука, 1976. 736 с.

15. Справочник по теории вероятостей и математической статистике / Под ред. акад. В. С. Ко-ролюка. Киев: Наукова думка, 1978. 582 с.

16. Хастингс Н., Пикок Дж. Справочник по статистическим распределениям. М.: Статистика,

1980. 94 c.

17. Nikias C.L., Petropulu A.P. Higher Order Spectral Analysis: A Nonlinear Signal Processing Framework. Englewood Cliffs, N.Y.: Prentice Hall, 1993. 140 p.

18. Belouchrani A., Meraim K.A. A Blind Source Separation Technique Using Second-Order Statistics // IEEE Transactions on Signal Processing. 1997. V. 45, N 2. P. 434-443.

19. Inouye Y., Hirano K. Cumulant-Based Blind Identification of Linear Multi-Input-Multy-Output Systems Driven by Colored Inputs // IEEE Transactions on Signal Processing. 1997. V. 45, N 6.

P.1543-1552. 20. Yeung K.L., Yau S.F. A Cumulant-Based Super-Exponential Algorithm for Blind Deconvolution of Multi-Input-Multi-Output Systems // Signal Processing. 1998. P. 141-162.

Санкт-Петербург

Материал поступил в редакцию 5.09.2008.

NETWORK WITH SYMMETRICAL NEURONS TRANSFORMATION FUNCTION BASED ON HIGHER-ORDER STATISTICS FOR LOWERING THE NOISE OF UNSTATIONARY SIGNAL

G. F. Malychina, A. V. Merkusheva

Saint-Petersburg

The method for network designing with symmetrical neurons transformation functions (SNTF) based on higher-order statistics (HOS) was analyzed. This network was shown to provide noise lowering for un-stationary signal. In the information-measurement systems noises with Gauss distribution and noises with non-Gauss but symmetric distribution are well suppressed. The structure of the network based on HOS is shown, and is compared with the network structure (having SNTF) and common learning LMS algorithm.