Использование нейронных сетей для прогнозирования деградации выходных параметров ТТЛ ИС в системе Matlab / Simulink Текст научной статьи по специальности «Компьютерные и информационные науки»

154

www.finestreet.ru

технологии I надежность компонентов

Андрей СТРОГОНОВ, к. т. н.

[email protected]

Использование нейронных сетей

для прогнозирования деградации выходных параметров ТТЛ ИС в системе MATLAB/Simulink

В данной работе рассматривается прогнозирование деградации параметров ТТЛ ИС с использованием нейронных сетей и системы МАТЬАВ/ЗітиІіпк (на примере деградации наихудших значений параметра выходного напряжения низкого уровня и(Я_ по результатам испытаний на долговечность в течение 150 тыс. ч выборки из 20 ТТЛ ИС типа 133ЛА8 и выборки из 20 ТТЛ ИС типа 133ЛР3) как альтернатива прогнозированию с использованием методов теории цифровых фильтров, идентификации систем и временных рядов (АРПСС-модели) [1—3].

Методы нейронных сетей (НС) получают все большее распространение в самых различных областях, начиная от фундаментальных исследований и заканчивая задачами добычи данных, прогнозирования в бизнесе, управления рисками, инженерными приложениями и т. д. НС широко используются при прогнозирование финансовых временных рядов с помощью многослойных персептронов, при прогнозирование хаотических временных рядов [4-6].

НС используется тогда, когда неизвестен точный вид связей между входами и выходами объекта — если бы он был известен, то связь можно было бы моделировать непосредственно. Если сеть обучена хорошо, она приобретает способность моделировать функцию, связывающую значения входных и выходных переменных, и впоследствии такую сеть можно использовать для прогнозирования в ситуации, когда выходные значения неизвестны [4-6].

Задачи прогнозирования можно разбить на два основных класса: классификация и регрессия. В задачах классификации требуется определить, к какому из нескольких заданных классов принадлежит данный входной набор. В задачах регрессии требуется предсказать значение переменной, принимающей непрерывные числовые значения. НС может решать одновременно несколько задач регрессии и классификации, однако обычно в каждый момент решается только одна задача. Таким образом, в большинстве случаев НС будет иметь всего одну выходную переменную; в случае задач классификации со многими состояниями для этого может потребоваться несколько выходных элементов. Многочисленные опыты с сетями

показали, что для задач регрессии рекомендуется использовать многослойный персеп-трон, сеть с радиальными базисными элементами, обобщенно-регрессионную сеть и линейную сеть [4-6].

Нейрон — это составная часть нейронной сети. В состав нейрона входят умножители, сумматор и нелинейный преобразователь. Первые умножают входной сигнал (вектор-строка) р на веса (матрица-вектор) '. Второй выполняет сложение сигналов. Последний реализует нелинейную функцию выхода сумматора. Эта функция называется «функция активации». Математически модель нейрона записывается в виде [4-6]:

п = w1 ірі+м12р2+—+'М'і иРя+Ь = 'р+Ь, а = f(n) = / ('р+ Ь),

где п — результат суммирования (X); Р1, р2,...рк — компоненты входного вектора (входной сигнал); К — число входов нейрона; w11, w12,..., м1К — веса (матрица-вектор); Ь — смещение (скаляр); а — выходной сигнал нейрона; f— нелинейное преобразование (функция активации).

Модель нейрона имеет сходство с адаптивным линейным сумматором, на базе которого могут быть построены адаптивные транс-версальные фильтры (адаптивный линейный сумматор с элементами задержки). Нарис. 1а показан адаптивный линейный сумматор для многих входов. Модель нейрона показана нарис. 1б. Адаптивный трансверсальный фильтр является временной формой нерекурсивного адаптивного фильтра и широко применяется при адаптивном моделировании и адаптивной обработке сигналов. Типичный

пример — адаптивное устройство предсказания (адаптивный фильтр Калмана) [7-9]. Пример использования адаптивного фильтра Калмана для прогнозирования процесса деградации выходных параметров ТТЛ ИС показан в работе [2].

Для адаптивного линейного сумматора с одним входом Хк (вектор отсчетов) и с весовыми коэффициентами 'к выражение для выходного сигнала адаптивного трансвер-сального фильтра [7] имеет вид: і

или в матричном виде:

/к = ЦЩ.

Сигнал ошибки адаптивного сумматора єк с индексом к (где к — отсчеты):

Ч = йк - Ук или Єк = йк - хк'к •

СКО (среднеквадратическая ошибка) адаптивного линейного сумматора:

\ = Е[єк] = Е[42]+'тК'-2Рт',

Р = £[4Хк] = Е[4кХок й^ік... d}xLk]T, где и — корреляционная матрица:

Я = Е[ХкХтк\ =

*0* -*Ь**[* *0**2* ••• *0**1*

ЪЛк 4 *і**2 к ...

= Е

*1К*Ь* *1**1 к *1**2* ... ХЬк

надежность компонентов технологии

155

Нейрон полностью описывается весами W (матрица-вектор в сокращенном обозначении) и передаточной функцией f. На входной сигнал нелинейный преобразователь отвечает выходным сигналом f (п), который представляет выход нейрона. Наиболее распространенные функции активации: пороговая, линейная, сигмоидальная. Предположим, что сеть состоит из трех персептронов (пороговая функция активации — если сумма больше заданного порогового значения, выход равен 1, в противном случае — 0). Математически это записывается в виде:

«;=/fZ№

\*=1 ,

V =

aw

8Е, дЪ, dk

dwQ dwl dwL

W

k+1

-Wk - 1/2R-1Vk = Wk -HR-1Vk

Сигнал

полезного

отклика

x0k

Xlk

*2k

*Lk

Ук

,4ai

WLk

Выходной

сигнал

Сигнал

ошибки

/

Н

I а = f(Wp+b)

И

Рис. 1. Адаптивный линейный сумматор (а) и модель нейрона (б)

Очень много схожего и в алгоритмах поиска весовых коэффициентов адаптивного линейного сумматора и НС [7]. Поиск вектора весовых коэффициентов, соответствующего минимуму рабочей функции, в обоих случаях может быть осуществлен градиентными методами [7]:

Щк+1 = Щ + и(-^к)-

Здесь к — номер итерации; ц — константа, от которой зависит устойчивость и скорость сходимости. В частности, градиент функции СКО получается дифференцированием функции Ё, (градиент ошибки):

СКО для адаптивного сумматора с одним входом:

V = 2RW - 2P.

Если предположить, что вектор весовых коэффициентов W равен оптимальному W*, то V = 2RW* - 2P = 0 и W* = R-1P.

Для случая со многими весовыми коэффициентами (много входов адаптивного линейного сумматора) метод Ньютона имеет вид [7]:

И адаптивный фильтр Калмана, в основе которого лежит общая линейная модель (ОЛМ) с дискретным временем, описывающая состояние системы в фазовом пространстве Х+ = ґ(Х( + гі, где Х(- (пх1) — вектор фазовых переменных состояния системы;

- (пхп) — матрица перехода; в( - (пх1) — вектор шума системы, объекта или ошибки модели, и НС обладают способностью к прогнозированию [4, 5, 9].

Прогноз в момент Ґ состояния системы в момент £+1 в терминах калмановской фильтрации может быть представлен в виде [9]:

X

t+111 '

Ошибка прогноза Xt+U t может быть найдена из соотношения Xt+1|t = Ft-^nt+ et, а ковариационная матрица ошибки прогноза из соотношения [9]: Pt+1|t = FtP(|tFjr+Q, где Q — ковариационная матрица et.

Однако фильтр Калмана и другие адаптивные фильтры, в основе которых лежит уравнение КИХ-фильтра с адаптивными коэффициентами (например, алгоритм LMS, основанный на минимизации СКО, и алгоритм RMS по критерию наименьших квадратов), способны выступать в роли следящих фильтров или строить одношаговый прогноз [7]. В то время как НС обученные и настроенные способны решать задачи регрессии. В этом смысле они способны составить конкуренцию другим методам прогнозирования, например, с использованием АРПСС-моделей (моделей авторегрессии проинтегрированного скользящего среднего). Примеры прогнозирования процесса деградации выходных параметров ТТЛ ИС с использованием АРПСС-моделей приведены в работе [3]. Следует заметить, что параметры АРПСС-моделей все так же эффективно могут быть оценены нелинейным методом наименьших квадратов (МНК), например демпфированным методом Гаусса-Ньютона. Наиболее хорошо зарекомендовал себя на практике метод Левенбер-га-Марквардта. Он же широко используется и для обучения НС (функция TRAINLM обеспечивает наиболее быстрое обучение). Для обучения НС в настоящее время используется большое множество разновидностей градиентного метода. Например, алгоритм обратного распространения — это итеративный градиентный алгоритм обучения, который используется для минимизации среднеквадратичного отклонения текущего выхода и желаемого выхода многослойных нейронных сетей [10, 11].

Подытоживая, можем заключить, что адаптивные фильтры, АРПСС-модели и НС базируются на общем математическом аппарате — нелинейном методе наименьших квадратов — для отыскания весовых коэффициентов или параметров АРПСС-моде-лей. Хотя существуют и другие методы, например метод максимума правдоподобия (ММП-оценки). Как показывает практика, ММП-оценки и МНК-оценки во многих

случаях дают примерно одинаковые результаты [9, 11]. Следовательно, результаты прогнозирования с использованием НС и АРПСС-моделей на краткосрочный период должны быть примерно одинаковы.

Адаптивные фильтры, в том числе и КИХ-фильтры, способны строить одношаговый прогноз и не пригодны для экстраполяции [7-9]. Справедливости ради следует заметить, что цифровые фильтры (они разрабатывались для обработки сигналов) имеют связь с линейными моделями временных рядов посредством рациональных передаточных функций. Так, АРПСС-модель — это фильтр общего вида, содержащий рекурсивную (БИХ-фильтр) и нерекурсивную ветви (КИХ-фильтр) [12, 13].

Цель данной работы — показать, насколько правдоподобными оказываются прогнозы НС и АРПСС-моделей, а также оценить адекватность различных сетевых парадигм, которые хорошо зарекомендовали себя в задачах регрессии, и адекватность АРПСС-мо-делей по результатам их прогнозов.

В качестве объекта исследования возьмем ряды деградации наихудших значений параметра и01 ИС типа 133ЛА8 и 133ЛРЗ, имеющих наибольшую фактическую наработку 150 тыс. ч при испытаниях на долговечность без единого отказа.

Пример. Использование различных НС в задачах прогнозирования процесса деградации параметра иа1 ИС типа 133ЛА8.

Предъявим входной вектор Р (Р = [1,5 2,5

3.5 4,5 5,5 6,5 7,5 8,5 9,5 10,5 11,5 12,5 13,5 14,5

15.5 16,5 17,5 18,5 19,5 20,5 21,5 22,5 23,5 24,5

25.5 26,5 27,5 28,5 29,5 30,5 31,5 32,5 33,5 34,5

35.5 36,5 37,5 38,5 39,5 40,5 41,5 42,5 43,5 44,5

45.5 46,5 47,5 48,5 49,5 50,5 51,5 52,5 53,5 54,5 55,5]) и построим прогнозы НС с 45,5 до 55,5. Рассмотрим работу однонаправленной многослойной сети (newff) и сети с радиальными базисными элементами (newrbe) с точки зрения экстраполяции (прогнозирование неизвестных значений путем продолжения функций за границы области известных значений) (рис. 2). Тенденции прогнозов сетей newrbe и сети newff разные. У сети newff прогноз резко падает до нуля и уходит в область отрицательных значений параметра и01. К тому же сеть newff с новыми значениями вектора Р неадекватно

156

технологии надежность компонентов

---- Исх. данные

---- Полином

10-й степени

---- newrbe

---- newff

---- newgmn

newlind

Рис. 2. Прогноз однонаправленной многослойной сети (newff), сети с радиальными базисными элементами (г^^), обобщенно-регрессионной сети (newgrnn), линейной сети (newlind) и аппроксимация ряда полиномом 10-й степени

описывает ряд деградации. Поэтому прогнозы сети newff исключим из рассмотрения. У сети newrbe прогноз кажется более правдоподобным и сеть более адекватна при предъявлении нового вектора Р, тем не менее в некоторых точках значения сети превышают пороговый уровень параметрического отказа по ТУ. Рассмотрим работу обобщенно-регрессионной сети (newgrnn), являющейся разновидностью НС с радиальными базисными элементами. Сеть хорошо описывает ряд деградации. Следовательно, ее прогнозы должны быть правдоподобными. Работа линейной сети (newlind) и ее прогноз подобны линейной регрессии. НС хорошо выявляет общую тенденцию ряда. Прогнозы всех четырех сетей показывают

отсутствие параметрических отказов в выборке.

На рис. 2 также показана аппроксимация ряда полиномом 10-й степени. Однако экстраполяция резко срывается вверх. Использование моделей НС в системе МАТЬАВ/8іти1іпк позволяет найти среднее значение работы этих сетей. Так, НС newrbe дает среднее 0,283 В, НС newgrnn — 0,289 В, НС newff — 0,273 В, НС new1ind — 0,3364 В. Среднее значение всех четырех НС — 0,295 В. Последнее значение наблюдаемого ряда — 0,248 В. На рис. 3 показана реализация моделей НС в системе МАТЬАВ/8іти1іпк.

Представляет интерес сравнить прогнозы НС, построенных в системе МАТЬАВ/вітиІтк, с прогнозами АРПСС-моделей, построенны-

р<1>

р{1> У<1)

Newrbe

0.3482І

Display

р<1> у{1}

0.2894І

Displayl

р{1} у{1>

I —0.8735І

Меап2

Display2

р{1} у{1>

Newgmn

Newgmn

Horiz Cat

ODD

Matrix Concatenation 1

m

User

Vector

Scope

Newgmn >

0.2481

МеапЗ

Display3

Рис. 3. Модели НС в системе МАТЬАВ/Б^Штк (сверху вниз): сеть с радиальными базисными элементами, линейная сеть, однонаправленная многослойная сеть, обобщенно-регрессионная сеть

ми как к части, так и к целому ряду деградации параметра UOL, с использованием статистического пакета программ Statistica for Windows.

На рис. 4 показано сравнение прогноза, построенного к части ряда процесса деградации параметра UOL ИС типа 133ЛР3 (с 30 до 45 замеров), с использованием модели АРПСС(2,0,0) (Zt- 0,536Zt-1 - 0,452Zt-2 - at, где Zt — ряд деградации, at — белый шум, параметры модели вычислены точным методом максимального правдоподобия с использованием системы Statistica for Windows), построенной по 45 замерам (целый ряд) с прогнозом НС newgrnn с 30 до 45 замеров, обученной на 30 замерах (урезанный ряд). Приводится прогноз модели АРПСС(2,0,0) и прогнозы НС newgrnn и newrbe за пределы ряда деградации (с 45 до 55 замеров), построенные по 45 замерам.

На рис. 5 показано сравнение прогноза АРПСС(2,0,0) модели процесса деградации параметра UOL ИС типа 133ЛА8 с прогнозами сети newgrnn и newrbe. Глубина прогнозов ограничивается 10 замерами (около 33 тыс. ч). Во всех случаях имеет место пересечение прогнозов АРПСС-модели с прогнозами НС newgrnn и newrbe. После пересечения значения прогнозов начинают быстро расходиться. Прогнозы сетей newgrnn и newrbe укладываются в доверительные интервалы 90% моделей АРПСС. В целом НС newlind, newgrnn и newrbe дают прогнозные значения, находящиеся в согласии с прогнозами АРПСС-моделей.

Если не произойдет смена направления процесса деградации, проявляющаяся в скачкообразном изменении хода кривой (означающем или смену действующего механизма деградации, или значительное накопление изменений, ведущее к качественному скачку в состоянии объекта, что может быть зафиксировано как отказ), то прогнозы АРПСС-моделей и НС можно признать удовлетворительными.

К недостаткам НС следует добавить проблему переобучения или слишком близкой подгонки. Подобное явление возникает при аппроксимации посредством полиномов. Графики полиномов могут иметь различную форму: чем выше степень многочлена, тем более сложной может быть эта форма. Предположим, что требуется подогнать к данным полиномиальную кривую (модель) и получить объяснение для имеющейся зависимости. Данные могут быть зашумлены, поэтому нельзя считать, что самая лучшая модель задается кривой, которая в точности проходит через все имеющиеся точки. Полином низкого порядка может быть недостаточно гибким средством для аппроксимации данных, в то время как полином высокого порядка может оказаться чересчур гибким и будет точно следовать данным, принимая при этом замысловатую форму, не имеющую никакого отношения

надежность компонентов технологии

157

Время, условные единицы

Рис. 4. Сравнение прогноза (с ЗО до 45 замеров) модели АРПСС(2,0,0) процесса деградации параметра UqL ИС типа 1ЗЗЛРЗ, построенной по 45 замерам, с прогнозом сети newgrnn с ЗО до 45 замеров, построенной по ЗО замерам, и работой НС newgrnn и newrbe по 45 замерам. Также показано сравнение прогноза (с 45 до 55 замеров) модели АРПСС(2,О,О) с прогнозами НС newgrnn и newrbe

подтвердить гарантийную наработку 200 тыс. ч в облегченном режиме по параметру и01.

Отталкиваясь от реальных накопленных статистических данных о процессе деградации выходных параметров ТТЛ ИС и используя систему МАТЬАВ/8ти1тк и САПР программируемых логических ИС (ПЛИС), например, Мах+Р1ш II, адаптивные фильтры и НС могут быть перенесены в ПЛИС с архитектурой программируемых пользователем вентильных матриц (ППВМ, FPGA) в качестве адаптивных следящих фильтров за процессом деградации электрических параметров ТТЛ ИС в составе радиоэлектронной аппаратуры с длительным сроком активного существования. Для этого могут быть также использованы отечественные специализированные процессоры цифровой обработки сигналов 1892ВМ3Т (МС-12) и 1892ВМ2Т (МС-24) с отладочными комплектами НТЦ «Модуль» [14]. ■

Работа выполнена по программе гранта РФФИ 05-08-01225-а.

0,5

0,4 L А К ІФ *Iу

0,3 А^Уш\Д^2

0,2 Ряддегр. Прогноз АРПСС(2,0,0) 90% дов. инт Работа и прогноз сети newrbe \ Работа и прогноз сети newgrnn \

0,1 \

Рис. 5. Сравнение прогноза АРПСС(2,О,О) модели процесса деградации параметра Uql ИС типа 1ЗЗЛА8 с прогнозами сетей newgrnn и newrbe

к форме настоящей зависимости. НС сталкивается с точно такой же проблемой. Сети с большим числом весов моделируют более сложные функции и, следовательно, склонны к переобучению. Сеть же с небольшим числом весов может оказаться недостаточно гибкой, чтобы смоделировать имеющуюся зависимость.

С практической точки зрения, от пользователя НС не требуется высокого уровня математической подготовки, как это потребовалось бы, если необходимо провести прогнозирование с использованием методов теории временных рядов (АРПСС-моделей). От пользователя требуется набор эвристических знаний о том, как следует отбирать и подготавливать данные, выбирать нужную архитектуру сети и интерпретировать результаты.

Метод прогнозирования деградации выходных параметров ТТЛ ИС с использованием НС может выступать как альтернатива прогнози-

рованию с использованием методов теории цифровых фильтров, идентификации систем и временных рядов, когда не удается установить вид моделей динамических систем, К недостаткам следует добавить проблему переобучения или слишком близкой подгонки и плохие экстраполирующие возможности для некоторых видов НС. При практической работе с НС приходится экспериментировать с большим числом различных сетей, обучая каждую из них по несколько раз и сравнивая полученные результаты,

Использование прогнозов НС позволяет повысить достоверность прогнозов АРПСС-моделей. Точечные прогнозы НС и АРПСС-моделей показывают «не ухудшение» параметра Uol ИС типа 133ЛАЗ и 133ЛР3 еще по крайней мере в течение 35 тыс. ч. Общая наработка с учетом прогнозных значений составит 1З5 тыс. ч,

Полученные результаты прогнозов с использованием НС и АРПСС-моделей позволяют

Литература

1. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть I // Компоненты и технологии. 2005. № 8.

2. Строгонов А. В. Использование цифровых фильтров для моделирования деградации выходных параметров ТТЛ ИС в системе MATLAB/ Simulink // Компоненты и технологии. 2005. № 8.

3. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть II // Компоненты и технологии. 2005. № 9.

4. Электронный учебник по промышленной статистике. М.: StatSoft. 2001. http://www.statsoft.ru/ home/portal/textbook_ind/defaulthtm

5. Дьяконов В. П., Абраменкова И. В., Круглов В. В. MATLAB 5.3.1 с пакетами расширений. М.: Нолидж. 2001.

6. Demuth H., Beale M. Neural Network Toolbox For Use with MATLAB.

7. Уидроу Б., Стирнз С. Адаптивная обработка сигналов: Пер. с англ. М.: Радио и связь. 1989.

8. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ. М.: Наука. Гл. ред. физ.-мат. лит. 1991.

9. Справочник по прикладной статистике. В 2-х т. Т. 2: Пер. с англ. М.: Финансы и статистика. 1990.

10. Боровиков В. П., Ивченко Г. И. Прогнозирование в системе STATISTICA в среде Windows. Основы теории и интенсивная практика на компьютере: Учеб. пособие. М.: Финансы и статистика. 1999.

11. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир. 1974.

12. Сверхбольшие интегральные схемы и современная обработка сигналов: Пер. с англ. М.: Радио и связь. 1989.

13. Цифровая обработка сигналов / Сост. А. Б. Сер-гиенко. СПб.: Питер Пресс. 2003.

14. Реализация искусственных нейронных сетей в НТЦ «Модуль» // Компоненты и технологии. 2005. № 4.