Предобработка данных для нейросети при классификации процесса сварки Текст научной статьи по специальности «Математика»

ИЗЫСКАНИЕ, ПРОЕКТИРОВАНИЕ, ^ СТРОИТЕЛЬСТВО И МОНТАЖ

ТЕХНОЛОГИЧЕСКОГО ОБОРУДОВАНИЯ АЭС

УДК 519.2:53.089.6

ПРЕДОБРАБОТКА ДАННЫХ ДЛЯ НЕЙРОСЕТИ ПРИ КЛАССИФИКАЦИИ ПРОЦЕССА СВАРКИ

© 2013 г. М.Ю. Виниченко, В.В. Кривин, Е.А. Андреева, Л.А. Дроговозова, А.В. Шарапа

Волгодонский инженерно-технический институт - филиал Национального исследовательского ядерного

университета «МИФИ», Волгодонск, Ростовская обл.

Поступила в редакцию 07.08.2013 г.

В статье показано, что неравномерность данных, полученных при идентификации процесса сварки уменьшает их энтропию, а значит и информативность. Поэтому их непосредственное использование в качестве входных данных нейросетевой модели приводит к ошибкам при обучении и классификации. Предложено масштабирующее преобразование, которое обеспечивает для каждого малого интервала значений масштаб, пропорциональный вероятности попадания значения в этот интервал. Показано, что за счет увеличения энтропии эффективность обучения нейросети повышается.

Ключевые слова: масштабирование, энтропия, максимизация, дуговая сварка, идентификация.

Нарушение стабильности производственного процесса сварки, связанное с такими возмущениями, как ограниченная надежность оборудования, случайный характер поступления основного и сварочного материалов, длительность технологического цикла, неопределенность, связанная с квалификацией оператора сварщика, приводит к нестабильности характеристик качества. Снижению показателей качества способствует низкая информативность средств контроля и измерения. Отсюда вытекает необходимость комплексного решения проблемы функционирования сварочной производственной системы на единой информационной, технической и организационной основе [1].

В результате проведения промышленных экспериментов [2], после специализированной обработки данных получается множество численных данных (идентификационных характеристик), чувствительных к состоянию процесса и при последующей нормировке все входные и выходные переменные отображаются в единичном кубе. Эти данные образуют множество входных векторов хг нейросетевой модели классификатора. Однако значения этих данных, полученных в эксперименте и после обработки, часто бывают распределены существенно неоднородно. Например, на рисунке 1 показана гистограмма совместного распределения напряжения на дуге и тока сварки, построенная в равномерном масштабе. Из рисунка видно, что много значений параметров оказываются изображенными в узкой полосе.

В такой ситуации для повышения равномерности распределения данных применяют масштабирующие преобразования. Стандартным масштабирующим преобразованием является, например, логарифмическое. Оно позволяет "растянуть" область малых значений и "сжать" область больших.

©Издательство Национального исследовательского ядерного университета «МИФИ», 2013

и(В)

100 90 80 70 60 50 40 30 20 10

1(А)

20 40 60 80 100 120 140 160 180 200

Рис. 1. График совместной плотности распределения тока и напряжения, выполненный в равномерном масштабе. Разной яркостью отображено количество точек, попавших в данную область (темнее - больше)

Задача нейросетевого моделирования - найти статистически достоверные зависимости между входными и выходными переменными. Единственным источником информации для статистического моделирования являются примеры из обучающей выборки. Чем больше бит информации принесет каждый пример, тем лучше используются имеющиеся в нашем распоряжении данные.

Рассмотрим произвольную компоненту нормированных (предобработанных) данных: ~ . Среднее количество информации, приносимой каждым примером х" , равно энтропии распределения значений этой компоненты Н(х). Если эти значения

сосредоточены в относительно небольшой области единичного интервала, информационное содержание такой компоненты мало. В пределе нулевой энтропии, когда все значения переменной совпадают, эта переменная не несет никакой информации. Напротив, если значения переменной х" равномерно распределены в

единичном интервале, информация такой переменной максимальна.

Таким образом, общий принцип предобработки данных для обучения состоит в максимизации энтропии входов и выходов [3].

Поставим вопрос об «идеальном» в этом смысле преобразовании, т.е. о преобразовании, которое обеспечивает для каждого малого интервала значений масштаб, пропорциональный вероятности попадания значения в этот интервал.

Это требование означает, что преобразованная величина должна быть равномерно распределена в области ее изменения.

Назовем такое преобразование преобразованием естественного масштабирования или ЕМ-преобразованием (далее ЕМ-п).

Дадим точное определение:

Пусть Р с Ш - область изменения измеряемого параметра;

¡: Р х Р ^ Ш - вероятностная мера на Р.

Необходимо определить функцию ЕМ: Р ^ Ш, такую, что

Ух е Р: Нт ЕМ (Х + ^) ~ ЕМ (Х) = *

Ах^0

¡([ х, х + Ах ])

где к - произвольная константа Преобразуя, получаем

„ ЕМ (х + Ах) - ЕМ (х) Ах

Vx е P: lim-------= k

Ах j([ х, х + Ах])

Для непрерывного распределения имеем:

Vx е P : ЕМ'(х) = k Р(х) ,

где рх) - плотность распределения Р в точке х.

Vx е P : ЕМ'х(х) = k - р(х)

Vx е P : ЕМ(х ) = k - J р(х )dx

Таким образом, в качестве ЕМ-преобразования для непрерывного распределения может быть выбрана функция распределения, т.е. ЕМ(х0) = j({x | х < х0})

В случае неизвестной функции распределения (как обычно и бывает для реальных данных) вместо нее можно было бы использовать эмпирическую функцию распределения, т.е.

{х, 1 х < х}

ЕМ (xi)

N

где |Х| - мощность множества X,

N - количество измеренных значений параметра.

Однако такое естественное решение вызывает определенные трудности, т.к. эмпирическая функция распределения всегда дискретна из-за конечной точности дискретизации сигнала. В результате вероятность совпадения значений становится ненулевой, и функция распределения преобразованной величины будет иметь пик в соответствующей точке. Иными словами, в этом случае невозможно обеспечить равномерность распределения преобразованной величины.

Этот эффект можно преодолеть одним из двух приемов:

1) Выполнить сглаживание измеренных данных. Если вычисления вести с высокой точностью (на порядок-два выше точности измерения) и для сглаживания использовать несколько соседних отсчетов, то вероятность совпадения сглаженных значений будет мала. Недостаток такого способа в том, что он требует дополнительных вычислений для сглаживания. Кроме того, если в измеренных данных есть реальные «плато» - участки постоянных данных, то этот способ просто неприменим.

2) Сопоставить одинаковым измеренным значениям параметра разные преобразованные значения, разделив их по формальному признаку, например по времени измерения. Этот прием приводит к следующему эффективному алгоритму «естественного» масштабирования:

- Отсортировать измеренные данные по возрастанию значений. При использовании подходящего алгоритма сортировки равные значения сохранят взаимный порядок, т.е. будут отсортированы по времени.

к

- Если хк - к-е значение в списке отсортированных, то ЕМ(хк ) = — .

Более строго:

Пусть

N - количество измеренных данных;

X={xi |ie[1,N]}e^N- вектор измеренных данных. Построим следующие последовательности индексов k и множеств х : ki=min{ j | Xj = тт{хг-|/е[1,^]}}. Xi = {ki}

k„+i=min{ j £Xn | Xj = min{x; |ie [1,NW ^Xn}}

%n+1=%n^{kn+l}

Очевидно, процесс построения продолжается, пока есть i e[1,N] л1£Хп. Хп+1 содержит на один элемент больше, чем хп. Значит, множеств будет построено N и xN = [1,N]. Определим преобразование ЕМХ как

i

ЕМх: [1,N]^[1,N] : ЕМх(к) = N . (1)

По построению последовательность {к} содержит все индексы из [1,N], значит ЕМХ определено для всех ie[1,N]. ЕМ здесь определяется как зависимое от номера элемента, а не от его значения, поскольку одинаковым значениям хг могут соответствовать разные значения EMX(i).

Покажем, что эти определения для непрерывного распределения асимптотически эквивалентны, т.е.

EMX (i

x (Xo)) ^ EM(Xo) при N^ <х>

i (X )

где X v 0 ' - индекс значения xo в векторе X,

EM(x) - ЕМ-преобразование по определению ЕМ1, EMx(i) - ЕМ-преобразование по определению ЕМ2.

В самом деле: Лемма 1.

I X I =i.

Доказательство:

I Х1 I =1.

I Хг + 1 I =I Xi I +1.

Что и доказывает лемму (по индукции). Лемма 2.

Для непрерывного распределения

хг = UI xj ^ xkr}

Доказательство:

Для непрерывного распределения вероятность получения двух одинаковых значений равна 0. Поэтому в конечной выборке все значения различны с вероятностью 1. Следовательно, минимум из любого множества единственен. Для п=1:

k1=min{ j I Xj = min{XiIie[1,N]}}. X1={k1}.

Из-за единственности минимума Х1={ j | xj = min{xi|ie[1,N]}. Х1={ j | jx }.

Xi^> Xj при i>j по построению

Xn+1 =Хп ^ { j | Xj = min{x;|ie[1,NW£Xn}}

Следовательно, в выражении кп+1=шт{ у^Хя | х] = тт{хг|/е[1Д]л/£Хп}} множество индексов / состоит из единственного элемента. Поэтому если /=кп+1, то х/ < х при При этом условии определение (1) вырождается в такое:

емх (гх (х0 )) = | {хг е х| хг < х0 }|

В тех случаях, когда это не вызывает неоднозначностей, будем использовать обозначение ЕМ(хг) вместо ЕМХ{г) для /-го элемента ЕМ-масштабированного вектора. Для удобства дальнейшего изложения введем обозначение :Хг={я | хя^ х^ } Перечислим некоторые свойства определенного таким образом ЕМ-преобразования. Свойство 1.

ЕМХ : [1Д]^[1Д] - изоморфизм, т.е.

У/е[1,ДО 3!/е[1,^: ЕМх(/)=/ Доказательство: По построению У/е[1,ДО 3!]=к{. ЕМх(/)=/ Свойство 2.

Все ЕМ-масштабированные значения различны, т.е.

тФя^ЕМ(хт)фЕМ(хп)

Это следствие свойства 1.

Свойство 3.

Количество ЕМ-масштабированных точек в любом интервале, вложенном в область изменения ЕМ-преобразования, примерно равно длине этого интервала (т.е. масштабированная величина распределена приблизительно равномерно). Равенство становится точным, если брать полуоткрытый интервал, начало и конец которого равны каким-либо масштабированным значениям. Доказательство:

Пусть /1, /2 - произвольные индексы из [1^], такие, что ЕМХ(к/1)<ЕМХ(к/2).

Обозначая через X мощность множества X имеем:

\{ЕМх(Щ ЕМх(кц)<ЕМх(к1)<ЕМх(к12)}|=

=1{ЕМх(к) / 1<ЕМх(кг)</2} |=

=\{ЕМХ(к1)1 /1</</2}|=|{/| /1</</2}|=/2-/1.

Свойство доказано.

Свойство 4.

ЕМ-преобразование является монотонно возрастающим, т.е. участки подъема и спуска на графиках сохраняются. Доказательство: Пусть

хкт <хкп

По построению

кп=тт{/ёХя-1 | х/ = тт{хг|/е[1Д]л/£Хп-1}}

кт ^Хп-1

т <я-1 т <п

ЕМх(кт) <ЕМх(кп) Свойство 5.

"Плато", т.е. последовательности равных значений, будут заменены

возрастающими последовательностями. Доказательство: Пусть

хкп хкт л кп>кт

По построению

кп=ш1п{ 7^Хп-1 | X = шт(хг|/е[1,^]л/£Хп-1}}

кте%п-1

т <п-1 т <п

ЕМх(кт) <ЕМх(кп)

Наиболее интересны свойства графиков зависимости двух величин (х-у графики). Свойство 6.

Х-7-график двух независимых величин выглядит как равномерно заполненный квадрат.

Доказательство: Пусть

- независимые непрерывные случайные величины с мерами и

плотностями рр, а х0, у0, р0, 40 таковы, что Р0=Л;(^<х0) 40= ¡\(\<У0) Тогда

Рем ем(po,чо ) =

д ¡ЕМ(4),ЕМ(\) ( Po, Чо)

дродЧо

= д>\({ЕМ^(х) < Ро,ЕМ\(у) < Чо}) =

дРодЧо

по определению ЕМ

= д< х) < Ро,Л\(\ < у) < Чо}) = дРо дЧо

по определению х0,у0

_ д(#< хо),Л\(\< Уо)}) _ дРодЧо

по независимости

= д2(^(^< хо) (\< Уо)) = дРо дЧо

по определению х0,у0

= д 2 Ро • Чо =1 дРо дЧо

Свойство 7.

ЕМ-масштабированный график любой монотонной зависимости является прямой линией.

Доказательство: Пусть

- монотонно возрастающая функция, определенная на интервале [¿0,го]. Тогда

ЖЕС^СО)-&ЕЕ (F) й¥ (г) _ Жц({х < F}) й¥ (г) _ Жг dF Жг Ж

= Рр (F) • dFС£) = ±. =!

Отметим неформально следующие особенности ЕМ-масштабированных графиков:

- Точки с равными значениями параметров располагаются в интервалах по соответствующим осям, длина которых пропорциональна количеству этих точек.

Точки, соответствующие фиксированным значениям обоих параметров Х Хо'У Уо, располагаются в соответствующем прямоугольнике по его диагонали. Это создает на «растянутых» участках графика тонкую структуру, состоящую из линий. Хотя эти линии являются артефактом, они позволяют визуально оценивать по расстоянию между ними реальную точность измеренных данных в различных участках графика.

- ЕМ-преобразование различно для разных наборов данных. Это необходимо учитывать при сравнении графиков, построенных по различным наборам. Размер прямоугольника на графике отражает количество точек в нем, а не амплитудные характеристики сигнала.

- Поскольку ЕМ-преобразование «сжимает» области с малой плотностью данных, то оно имеет тенденцию превращать размытые границы на графике в четкие. Поэтому графики часто выглядят, как множество визуально отделенных друг от друга прямоугольников, каждый из которых представляет особое состояние процесса. Это повышает наглядность графиков.

В то же время надо учитывать, что некоторые особенности графиков могут быть потеряны, например, резкие пики в случае, если промежуточные значения в данных редко встречаются.

Разработанная система идентификации технологических состояний сварочного процесса содержит средства для наглядного отображения совместных распределений различных технологических параметров. Их применение позволяет визуально исследовать структуру фазового пространства процесса, в том числе для размерностей выше двух. Применение преобразования естественного масштабирования позволяет добиться еще большей наглядности. Совместное применение этих средств в некоторых случаях обеспечивает возможность визуального распознавания технологических состояний. Проиллюстрируем это на экспериментальных данных.

На рисунке 1 довольно четко различимы 3 отдельные группы точек (кластеры). Они помечены цифрами 1, 2 и 3. Им можно сопоставить состояния процесса:

1) Холостой ход.

2) Дуга.

3) Короткие замыкания и процесс капельного переноса металла. namef=gf,inprn(namef); i=i./mean(i).*110;u=u./mean(u).*30;

У=Ь/Щ

w=i.*u;

fi=filtup(i,2);

fy=filtup(y,8); fw=filtup(w,8); di=diff(fl);di=[di(1);di]; du=diff(fu);du=[du(1);du];

dil=level(di); dul=level(du);

[ul,us]=level(u); [il,is]=level(i);

[yl,ys]=level(y); [wl,ws]=level(w); namef,save([namef '.mat']);

namef =

D:\matlab\dat\8_01_99\Kpu10l.prn

['load([''' namef '.mat'']);']

load(['D:\matlab\dat\8_01_99\Kpu10!.prn.mat']);

Группа точек 4 различима значительно слабее. В области 5 не видно никакого «уплотнения».

На рисунке 2 приведен ЕМ-масштабированный график.

На масштабированном графике шкала оставлена равномерной, но деления шкалы соединены отдельными линиями с соответствующими местами осей.

Результат: состояния выделились в виде четких прямоугольников. В кластере 2 проявилась внутренняя структура: сгущение вдоль диагонали (означает наличие корреляции в этой группе - на исходном графике это не было заметно) и заметное сгущение к концам диагонали, т.е. разделение на отдельные состояния. Любопытна группа 5 - на исходном графике здесь нет никакого сгущения! Это состояние было выделено только с помощью ЕМ-масштабирования.

0 50 100 150 200

Рис. 2. График совместной плотности распределения тока и напряжения, выполненный в естественном масштабе.

После кластеризации полученного фазового портрета процесса (рис.2.) и последующего вычисления статистик в каждом кластере мы получаем множество численных идентификационных характеристик чувствительных к состоянию процесса. А благодаря примененному ЕМ-масштабированию исходных данных на вход нейросетевой модели классификатору поступают равномерно распределенные данные, тем самым доставляя максимум энтропии входным данным.

СПИСОК ЛИТЕРАТУРЫ

1. Чернов, А.В. Обработка информации в системах контроля и управления сварочным производством [Текст] / А.В. Чернов. - Новочеркасск: НГТУ, 1995. - 180 с.

2. Кривин, В.В. и др. Получение идентификационных характеристик процесса РДС методом сегментации фазового пространства [Текст] / В.В. Кривин, М.Ю. Виниченко // Изв. вузов Сев.-Кав. регион. Техн. науки. - 2000. - №1.

3. Галушкин, А.И. Теория нейронных сетей [Текст] / А.И. Галушкин. - М.: ИПРЖР, 2000. - 415 с.

Neironetwork Data Preprocessing in Classifying the Welding Process

M.Y. Vinichenko, V.V. Krivin, E.A. Andreeva, L.A. Drogovozova, A.V. Sharapa

Volgodonsk Engineering Technical Institute the branch of National Research Nuclear University «MEPhI», 73/94 Lenin St., Volgodonsk, Rostov region, Russia 347360 e-mail: [email protected]

Abstract - The article describes that the irregularity of data obtained in the welding process identification reduces their entropy and their informtiveness. It is stressed that their direct usage in the capacity of entering data of neironetwork model leads to the mistakes in training and classification. The authors suggest large-scale transformation which provides for every small value interval the scale which is proportional to probability of value hitting in this interval. It is specially noted that the effectiveness of neironetwork training is increased at the expense of entropy rise.

Keywords: large-scaling, entropy, maximization, arc welding, identification.