CC BY
92
Оригинальная статья / Original article
УДК 004.94 : 681.5.015.42 : 519.23
DOI: http://dx.doi.org/10.21285/1814-3520-2018-10-67-77
ФИЛЬТРАЦИЯ ВЫБРОСОВ В ЗАДАЧАХ СТАТИЧЕСКОЙ И ДИНАМИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ В ЭТАЛОНАХ ВРЕМЕНИ И ЧАСТОТЫ
© И.А. Серышева1
Иркутский национальный исследовательский технический университет, 664074, Российская Федерация, г. Иркутск, ул. Лермонтова, 83.
РЕЗЮМЕ. ЦЕЛЬ. Фильтрация аномальных измерений (выбросов) значений частоты водородных стандартов, входящих в состав групповых эталонов времени и частоты, позволит уменьшить алгоритмическую погрешность оценивания вектора состояния групповых эталонов. МЕТОДЫ. Использованы методы помехоустойчивого оценивания в режиме статической и динамической обработки данных. РЕЗУЛЬТАТЫ. Для фильтрации выбросов в статическом режиме предложено использовать а-усеченные оценки с неизвестным процентом выбросов. При динамической обработке данных выбросы отбраковываются при выходе получаемых на данном такте оценок за доверительные интервалы. Доверительные интервалы вычисляются на основе прогнозирующих моделей процессов изменения частоты, построенных на этапе статической обработки данных. Предложенные алгоритмы реализованы в Mathcad 15.0. Работоспособность предлагаемых методов проверена статистическим моделированием и подтверждена при обработке реальных данных, полученных в результате функционирования вторичного эталона ВЭТ 1 -5. ВЫВОДЫ. Полученные результаты являются важным этапом при разработке формализованной методики оценивания состояния группового эталона времени и частоты в статическом и динамическом режимах, основанной на применении прогнозирующих моделей.
Ключевые слова: модели временных рядов, групповые эталоны, аномальные измерения, критерии обнаружения выбросов, аддитивные выбросы.
Информация о статье. Дата поступления 03 августа 2018 г.; дата принятия к печати 28 сентября 2018 г.; дата онлайн-размещения 31 октября 2018 г.
Формат цитирования: Серышева И.А. Фильтрация выбросов в задачах статической и динамической обработки данных в эталонах времени и частоты // Вестник Иркутского государственного технического университета. 2018. Т. 22. № 10. С. 67-77. DOI: 10.21285/1814-3520-2018-10-67-77
OUTLIER FILTRATION IN PROBLEMS OF STATIC AND DYNAMIC DATA PROCESSING IN TIME AND FREQUENCY STANDARDS
I.A. Serysheva
Irkutsk National Research Technical University, 83, Lermontov St., Irkutsk, 664074, Russian Federation
ABSTRACT. PURPOSE. Filtration of anomalous measurements (outliers) of frequency values of hydrogen standards which form a part of the group standards of time and frequency will allow to reduce an algorithmic estimation error of the state vector of group standards. METHODS. The study employs the methods of noise-immunity estimation in the mode of static and dynamic data processing. RESULTS. It is proposed to use a-trimmed estimates with an unknown percentage of outliers to filter the outliers in the static mode. In the case of dynamic data processing, the outliers are rejected if the estimates obtained at this stage go beyond the confidence intervals. The latter are calculated on the basis of the predictive models of frequency variation constructed at the stage of static processing of data. The proposed algorithms are implemented in Mathcad 15.0. The efficiency of the proposed methods has been verified by statistical modeling and confirmed by the processing of real data obtained as a result of VET 1-5 secondary standard operation. CONCLUSIONS. The received results form an important development stage of a formalized estimation procedure of the state vector of the time and frequency group standard in static and dynamic modes based on the use of predictive models.
Юерышева Ирина Анатольевна, старший преподаватель кафедры автоматизированных систем, e-mail: [email protected]
Irina A. Serysheva, Senior Lecturer of the Department of Automated Systems, e-mail: [email protected]
Keywords: time series models, group standards, anomalous measurements, outlier detection criteria, additive outliers
Information about the article. Received August 03, 2018; accepted for publication September 28, 2018; available online October 31, 2018.
For citation: Serysheva I.A. Outlier filtration in problems of static and dynamic data processing in time and frequency standards. Vestnik Irkutskogo gosudarstvennogo tehnicheskogo universiteta = Proceedings of Irkutsk State Technical University. 2018, vol. 22, no. 10, pp. 67-77. DOI: 10.21285/1814-3520-2018-10-67-77. (In Russian).
Введение
В задачах оценивания состояния технических систем по результатам измерений обычно рассматривают два режима обработки данных: статическая обработка, когда считается, что все результаты измерений, выполненные до текущего такта, имеются в распоряжении исследователя (т.е. ведется обработка данных в режиме их накопления) и режим динамической обработки, когда в распоряжении исследователя имеются только данные, полученные на этом такте (т.е. ведется обработка данных в темпе их поступления) [1, 2]. Задачами статической обработки являются:
• отбраковка аномальных измерений или выбросов;
• получение начальных оценок измеримых величин;
• идентификация структуры процессов (если речь идет об оценивании состояния динамических систем);
• построение математической модели системы.
При динамической обработке решается задача параметрической оптимизации, т.е. задача получения оптимальных оценок вектора состояния динамической модели на основе ранее построенной ее математической модели [3].
Эталоны времени и частоты можно рассматривать как динамические стохастические системы и задачу обработки измерительной информации, получаемой в процессе «внутренних сличений» групповых эталонов, когда измеряются разности относительных отклонений частоты
s
опорного генератора y1 и генератора с номером / где s - номер такта, n - число генераторов (водородных стандартов), входящих в состав группового эталона, как задачу оценивания состояния динамических стохастических систем. При этом результат измерения на такте s можно
записать как zS = yS -yS.
Для решения вышеперечисленных задач необходимо иметь первоначальные оценки значений частот водородных стандартов, входящих в состав группового эталона. В качестве таких оценок, как правило, используются оценки метода наименьших квадратов (МНК), вычис-
Л 1 ^
ленные на такте s как среднее арифметическое результатов измерений [2] y1 = —> zi. Данная
П i=2
оценка, как и вообще все МНК-оценки, не является помехоустойчивой и может содержать выбросы, т.е. результаты измерений, значительно превышающие по модулю все остальные элементы анализируемой выборки [4]. По данным ряда исследователей «наличие в результатах измерений от 5 до 20 процентов выбросов скорее правило, а не исключение» [5-7].
Анализ результатов внутренних сличений, выполненных во вторичном эталоне ВЭТ 1 -5 ВНИИФТРИ (г. Иркутск), показал, что данные, полученные на суточных интервалах за 90 суток, содержат 6% выбросов (анализ причин, порождающих выбросы, не проводился, скорее всего, одна из причин связана с корректировкой рабочей шкалы эталона, вызванная требованиями технического задания).
Наличие выбросов, как и всех нестационарных составляющих процессов изменения частоты водородных генераторов, не позволяет строить прогнозирующие модели для этих процессов (динамические стохастические модели - модели авторегрессии-скользящего среднего
(АРСС)), которые используются при динамической обработке данных.
Для фильтрации аномальных измерений и уменьшении смещенности получаемых МНК -оценок авторами была предложена методика первичной обработки данных, основанная на использовании альфа-усеченных джекнайф оценок, которая показала по результатам статистического моделирования высокую эффективность даже при значительном числе выбросов (до 20%) [8]. Существенным ограничением применения указанных оценок является необходимость использования в составе группового эталона не менее 5 генераторов. На практике в настоящее время это требование не выполняется, поэтому использовать данный метод не представляется возможным.
Целью настоящей работы является разработка методов эффективной фильтрации выбросов при малом числе генераторов, входящих в состав эталона, как в статическом, так и в динамическом режимах.
Методологические основы алгоритмов для отсеивания аномальных результатов измерений представлены в работах [4, 5, 7, 9-17]. Наиболее полный обзор методов приведен в работах В.И. Марчука, С.В. Токаревой [10], J. Han, M. Kamber, J. Pei [13], C.C. Aggarwal [4, 14], А.И. Кобзарь [12], А.Ф. Фомина, О.Н. Новоселова, А.В. Плющева [15].
Наиболее простой способ фильтрации выбросов в процессе статической обработки данных - вычисление выборочной дисперсии а2 с последующей заменой данных, у которых отклонение среднего превышает Ка2 на помехоустойчивую оценку математического ожидания [4, 12, 10]. Анализ реальных данных показал, что достаточно хороший результат получен при К большем 10. Недостатком такого подхода является необходимость нахождения предварительной оценки величины К по эмпирической выборке, которую можно в этом случае рассматривать как обучающую.
Более общий подход к отбраковке выбросов в процессе статической обработки данных заключается в использовании помехоустойчивых оценок и процедуры проверки статистических гипотез [4, 12].
Альфа - усеченная оценка математического ожидания рассчитывается по формуле [5]:
где а - доля выбросов, N - длина временного ряда, у - у -й член ряда.
Алгоритм вычисления этих оценок заключается в выполнении следующих этапов:
1. Выборка, состоящая из результатов измерений с выбросами, упорядочивается по возрастанию.
2. Отбрасывается (а) 100% данных, принадлежащих к минимальному и максимальному, по модулю значениям выборки.
3. По оставшимся элементам выборки находится оценка метода наименьших квадратов параметра сдвига (математического ожидания).
Поскольку величина а на практике неизвестна, предлагается следующий итерационный алгоритм фильтрации аномальных измерений:
1. По выборке вычисляется оценка среднего квадратического отклонения в1.
2. Отбрасываются минимальное и максимальное значения выборки.
3. Вычисляется оценка среднего квадратического отклонения в2 по оставшимся членам выборки.
4. Проверяется гипотеза Но: различие между оценками в1 и в2 статистически незначимо.
Фильтрация выбросов в статическом режиме
Если гипотеза не отвергается, процедура отбраковки выбросов прекращается (предварительная оценка Si полагается равной оценке, вычисленной по «усеченной» выборке). В противном случае переходим к шагу 1.
Очевидно, что после удаления всех выбросов («сверху» и «снизу» выборки) оставшаяся часть выборки будет однородной.
Экспериментальная проверка алгоритма фильтрации в статическом режиме
Проиллюстрируем работоспособность предлагаемого алгоритма следующими имитационными экспериментами:
1. Генерировались ряды, имитирующие изменения частоты четырех генераторов (n = 4) на основе процессов авторегрессии первого порядка с параметрами, описанными в табл. 1.
2. Чтобы избежать влияния переходных процессов на временные ряды в процессе их генерации, генерировались временные ряды, содержащие 200 точек, обработка данных начиналась с 101 такта. Таким образом, были получены стационарные составляющие временных рядов из 100 точек.
3. Полученные ряды использовались для вычисления рядов измерений zt, i = 1(1)n (z = y -y = 0 - фиктивное измерение).
4. Вычислялись предварительные МНК-оценки частот всех генераторов по сымитированным рядам измерений.
5. Построенные таким образом ряды МНК-оценок соответствуют моделям, отличающимся от исходных. Параметры полученных моделей временных рядов (МНК-оценок) уточнялись с помощью ППП STATISTICA. Параметры построенных прогнозирующих моделей приведены в табл. 1.
Таблица 1
Параметры моделей, соответствующих «истинным» рядам и рядам
предварительных МНК-оценок
Table 1
Parameters of models corresponding to "true" series and series
of prel iminary least-squares estimates
Характеристика Номер ряда
1 2 3 4
Исходная модель АРСС(1, О) АРСС(1, О) АРСС(1, О) АРСС(1, О)
Коэффициент авторегрессии ф1 = 0.3 ф1 = 0.6 ф1 = -0.4 ф1 = 0.8
исходной модели
Среднеквадратическое псевдо- 0.1 0.2 0.3 0.4
случайного шума исходной мо-
дели
Модель ряда МНК-оценок АРСС(1, О) АРСС(1, О) АРСС(1, О) АРСС(1, О)
Коэффициент авторегрессии модели ряда МНК-оценок ф1 = 0.720340 ф1 = 0.691338 ф1 = 0.342108 ф1 = 0.870343
Оценка остаточной дисперсии 0.02604 0.03991 0.08314 0.08720
Математическое ожидание ря- 0.096826 -0.043606 -0.010062 0.118963
дов оценок
Дисперсия 0.206261 0.243149 0.306613 0.674040
6. Проверялась эффективность алгоритмов оценивания состояния эталона времени и частоты, опирающихся на использование прогнозирующих моделей. Для сравнения эффективности алгоритмов, опирающихся на использование прогнозирующих моделей, по сравнению с алгоритмами метода наименьших квадратов, использовалась сумма квадратов отклонений рядов оценок от «истинных» рядов (т.е. сгенерированных рядов), обозначенная как б1 . Для опорного генератора алгоритма метода наименьших квадратов получено е1 = 5.421, а для алгоритма с учетом прогнозов, ^ = 1.601, т.е. примерно в 3,5 раза лучше, чем у альтернативного
алгоритма. Что подтверждает эффективность использования прогнозирующих моделей при оценке состояния эталонов (при работе со стационарными составляющими процессов изменения частоты).
В теории временных рядов наиболее распространено три модели погрешностей наблюдений: 1) аддитивная; 2) замещающая; 3) инновационная [14, 17]. В [6] показано, что для обработки частотно-временной информации наиболее подходящей является аддитивная модель, используемая в данной работе для имитации рядов измерений с выбросами.
Экспериментальная проверка алгоритма при наличии выбросов проводилась следующим образом:
1. В ряды измерений z, полученные способом, описанным выше, вносились аддитивные выбросы, момент возникновения и амплитуда которых определялись случайным образом.
2. Процент выбросов задавался исследователем и изменялся в диапазоне от 2 до 20%.
3. При моделировании генерировалось два типа потоков выбросов: 1 - ординарные потоки (на одном такте возможен выброс только в одном из рядов измерений), 2 - неординарные потоки (в один и тот же момент возможно возникновение нескольких выбросов).
На рис. 1 а представлены ряды измерений с 15%-ми ординарными выбросами, на рис. 1 Ь - соответствующие этим рядам измерений ряды МНК-оценок для опорного и второго генераторов.
Рис. 1. Ряды с 15% ординарными выбросами: a - ряды измерений; b - ряды МНК-оценок частот опорного (кривая 1) и второго (кривая 2) генераторов Fig. 1. Series with 15% ordinary outliers: a - series of measurements; b -series of least square estimates of frequencies of reference (curve 1) and second (curve 2) generators
Сводные результаты имитационных экспериментов приведены в табл. 2. На рис. 2 a приведены ряды измерений после работы алгоритма фильтрации аномальных измерений в статическом режиме для случая 15%-х ординарных выбросов. Графики зависимостей суммы квадратов отклонений рядов оценок, полученных с учетом прогнозов и с использованием предложенного алгоритма фильтрации, от «истинных» рядов для опорного генератора от процентов ординарных и неординарных выбросов приведены на рис. 2 b. Поскольку предлагаемый алгоритм
Таблица 2
Результаты фильтрации выбросов в статическом режиме
Table 2
Results of outlier filtration in the static mode
Неординарные выбросы Ординарные выбросы
в о s¡ - сумма квадратов отклонений s¡ - сумма квадратов отклонений
с о д к р (погрешность оценки) (погрешность оценки)
Ю _o Без фильтра- Выбросы отфильтро- Без фильтра- Выбросы
в S ции ваны ции отфильтрованы
MНK MНK На основе прогнозов MНK MНK На основе прогнозов
2 1 2.8106 6.486 1.69 1.923 1 О6 6.366 1.646
2 3.033 106 6.646 1.81 2.588 1 О6 6.629 1.869
3 2.502 106 6.702 2.889 1.663 106 6.746 1.907
4 2.8106 6.486 1.69 1.986 1 О6 6.682 1.672
6 1 1.447 1 О6 6.008 1.639 1.224 1 О6 6.716 1.684
2 5.641■106 6.488 1.994 3.187106 6.63 1.824
3 3.034 106 6.784 2.337 1.729 1 О6 6.204 2.262
4 7.816-1О6 16.496 12.874 8.55106 6.737 2.287
10 1 1.393-1О6 6.616 1.792 1.583 1 О6 6.914 2.316
2 4.359 1 О6 6.832 2.212 5.227 1 О6 6.804 2.623
3 6.896 1 О6 7.667 3.817 4.003 1 О6 7.064 3.931
4 4.О72■ 106 7.142 3.386 8.174106 10.188 7.062
16 1 2.563 1 О6 4.868 1.627 2.477 1 О6 6.696 1.966
2 7.085 106 6.968 2.6 8.433 1 О6 6.016 2.139
3 9.922■ 106 6.113 3.038 1.308 1 О7 9.641 4.986
4 8.4О2■106 10.926 6.662 5.74106 7.088 4.783
20 1 3.141 106 5.247 1 О6 2.205 1 О6 3.138106 6.734 2.062
2 1.1671 О7 2.342 1 О7 9.225 1 О6 1.625 1 О7 6.784 2.981
3 3.14106 1.786■ 107 2.205 1 О6 9.515106 7.419 4.617
4 1.801■ 107 2.646 1 О7 2.445 1 О7 8.76106 14.092 10.963
Рис. 2. Результаты фильтрации в статическом режиме: a - ряды измерений; b - зависимость погрешности оценивания от процента выбросов в рядах измерений
Fig. 2. Filtration results in the static mode: a - series of measurements; b - dependence of the estimation error on the outlier percentage in the series of measurements
теряет фильтрующую способность при 20% неординарных выбросов, соответствующее значение на графике не выводилось.
Приведенные результаты показывают, что эффективность предложенного алгоритма фильтрации в статическом режиме зависит от процента выбросов: алгоритм фильтрует ординарные и неординарные выбросы, не превышающие 18%. Погрешность оценки (сумма квадратов отклонений) частоты опорного генератора при отсутствии выбросов равна 1.601, а при наличии выбросов в диапазоне до 18% соответствующая величина не превышает 2. Однако алгоритм теряет фильтрующую способность, если аномальные значения составляют 20 и более процентов от длины ряда. На практике данное ограничение несущественно, поскольку возможность одновременного возникновения выбросов в таком количестве маловероятна.
Отметим, что вычисление МНК-оценок для рядов, содержащих выбросы, практически не имеет смысла, а МНК-оценки, вычисленные по рядам измерений, полученным в результате работы предлагаемого алгоритма фильтрации аномальных измерений, имеют погрешность (оцениваемую суммой квадратов отклонений полученных оценок от «истинных» значений) выше, чем у соответствующих оценок, полученных в результате работы алгоритма с применением прогнозирующих моделей.
После отбраковки «выбросов», идентификации ступенчатых функций, описывающих скачки частоты, идентификации полиномиальных трендов и их удаления из эмпирических рядов для рядов у*, являющихся реализациями стационарных составляющих процессов изменения
частоты водородных стандартов, могут быть построены соответствующие математические модели, используемые затем при вычислении оценок частоты опорного генератора в процессе динамической обработки.
Фильтрация выбросов в динамическом режиме
При динамической обработке данных оценка частоты опорного генератора вычисляется по формуле [2]:
n
У1 = Х sI ( Z + У s (1)),
i=1
1 1 2 где = - вес /-го измерения, < - остаточная дисперсия, вычисляемая при под-
' < / ¡=1 <
гонке параметров /-й прогнозирующей модели; у* (1) - прогноз частоты /-го генератора, вычисленный на предыдущем такте, полученный на основе математических моделей, построенных на этапе статической обработке данных; I - индикатор для генератора с номером /.
Задача фильтрации выбросов решена на основе применения процедуры проверки гипотез. При этом сравнивается текущее значение оценки частоты /-го генератора c максимально допустимым отклонением частоты от прогноза, вычисленного на предыдущем такте. То есть проверяется гипотеза: не выходит ли оценка частоты за пределы доверительных интервалов. Доверительные интервалы определяются оценкой дисперсии, полученной на стадии статической обработки данных. Доверительный интервал вычисляется по формуле:
~ у 1 ----' >
где < - оценка среднеквадратического отклонения ряда у, К - коэффициент, определяющий
уровень значимости, находится на этапе статической обработки данных.
Таким образом, возможность отбраковки выбросов при обработке данных в темпе поступления обусловлена тем, что на предыдущем такте вычисляется не только прогноз каждого
из генераторов на один такт вперед, но и его доверительные интервалы. Если в результате /-го измерения имели место выброс, оценка частоты, вычисленная на такте 5, выйдет за границы доверительного интервала. Следовательно, результаты этого измерения не должны учитываться при вычислении оценки опорного генератора. Вначале при обработке данных на такте 5 все индикаторы I устанавливаются в единицу, затем, при обнаружении выброса в значениях частоты у какого-либо из генераторов, соответствующий индикатор устанавливается в ноль. Если аномальные измерения имеют место в нескольких результатах г*, в ноль сбрасывается
тот индикатор, выход оценки которого за доверительные границы максимален. При обнаружении выброса полученная оценка частоты заменяется ее прогнозом. После этого вновь находится оценка опорного (исключая отброшенное измерение и прогноз соответствующего генератора) и оставшихся генераторов. Процедура повторяется до тех пор, пока не будут отброшены все результаты измерений, содержащие выбросы. Если из обработки будут исключены все измерения, то это будет идентифицироваться как выброс частоты в опорном генераторе, в этом случае оценки всех генераторов будут заменены их прогнозами.
Все вышеописанное может быть представлено в виде следующего алгоритма:
1. На текущем такте обработки устанавливаются индикаторы для всех генераторов в единицу.
2. Вычисляются оценки частот всех генераторов на текущем такте обработки с учетом значений индикаторов.
3. Вычисляются доверительные интервалы для значений частот генераторов, включенных в обработку на данном такте.
4. Проверяются гипотезы о наличии выбросов. Если гипотеза о наличии выброса хотя бы в одном измерении не отклоняется, определяется номер генератора, частота которого имеет максимальный выход за доверительный интервал.
5. Заменяется прогнозом оценка генератора, содержащего максимальный выброс, и устанавливается соответствующий индикатор в ноль.
6. Переход к шагу 2.
Экспериментальная проверка алгоритма фильтрации в динамическом режиме
Экспериментальная проверка алгоритма при наличии выбросов проводилась следующим образом:
1. Проводилась динамическая обработка временных рядов, полученных в ходе статической обработки данных и описанных в табл. 1. В ходе имитации обработки данных в темпе поступления для сравнения эффективности алгоритмов, опирающихся на использование прогнозирующих моделей, по сравнению с алгоритмами метода наименьших квадратов использовалась сумма квадратов отклонений рядов оценок от «истинных» рядов (т.е. сгенерированных рядов). Результирующие значения сумм квадратов отклонений полностью совпадают с аналогичными значениями, полученными при обработке этих рядов в режиме накопления (5.421 и 1.601), что подтверждает корректность работы алгоритмов в динамическом режиме.
2. Аналогично моделированию погрешностей в статическом режиме в ряды измерений г вносились аддитивные выбросы, момент возникновения и амплитуда которых определялись случайным образом.
3. Процент выбросов задавался исследователем и изменялся в диапазоне от 5 до 30 процентов, исследовалось влияние ординарных и неординарных выбросов. Сводные результаты имитационных экспериментов приведены в табл. 3.
Графики зависимости от процента ординарных и неординарных выбросов суммы квадратов отклонений рядов оценок, полученных с учетом прогнозов и с использованием предложенного алгоритма фильтрации, от «истинных» рядов для опорного генератора приведены на рис. 3.
Таблица 3
Результаты фильтрации выбросов в динамическом режиме
Table 3
_Results of outlier filtration in the dynamic mode_
Неординарные выбросы Ординарные выбросы
m о о го б1 - сумма квадратов отклонений (по- S - сумма квадратов отклонений
о р ю ч я о грешность оценки) (погрешность оценки)
ы в Ol МНК оценки без фильтрации Выбросы отфильтрованы, оценки на ос- МНК оценки без филь- Выбросы отфильтрованы, оценки на ос-
нове прогнозов трации нове прогнозов
1 3.783 103 2.289 1.164■ 103 2.219
б 2 7.053 103 2.348 4.313103 2.642
3 2.196104 2.616 2.929 103 2.381
4 1.237-104 2.61 5.477 103 6.79
1 5.301 103 2.204 7.185103 2.42
10 2 3.604 104 3.011 3.965 104 3.174
3 1.839-104 2.252 1.745 104 2.649
4 8.762 103 9.724 2.144104 7.388
1 5.282 ■ 103 2.302 5.258 103 2.162
15 2 3.895 104 2.787 1.595 104 2.393
3 2.48104 2.497 1.306 104 2.659
4 2.249 104 15.259 2.889 104 14.127
1 1.234 104 2.216 6.429 103 2.485
20 2 4.468 104 2.347 3.865 104 2.599
3 2.439 104 2.959 1.323 104 2.789
4 4.265 104 16.631 1.982 104 8.343
1 1.368 104 2.275 9.716103 2.323
30 2 6.449 104 2.759 4.042 104 2.789
3 5.243 104 3.84 4.26104 3.121
4 7.736 104 22.713 2.368 104 6.031
0 5 10 15 20 25 30 %
—О— неординарные выбросы / non-ordinary outliers Ф ординарные выбросы / ordinary outliers
Рис. 3. Зависимость погрешности оценивания частоты опорного генератора от процента выбросов в рядах измерений в динамическом режиме Fig. 3. Dependence of the estimation error of reference generator frequency on the outlier percentage in the
series of measurements in the dynamic mode
Полученные результаты подтверждают работоспособность предложенного алгоритма фильтрации выбросов. Приведенные результаты показывают, что эффективность алгоритма фильтрации практически не зависит от процента выбросов, а погрешность оценки (сумма квадратов отклонений) частоты опорного генератора при отсутствии выбросов равна 1.601, а при наличии выбросов в исследуемом диапазоне соответствующая величина не превышает 2.5.
Заключение
Рассмотренные в статье методы фильтрации аномальных измерений позволяют устранить влияние выбросов на результаты получаемых оценок значений частот водородных стандартов, входящих в состав группового эталона времени и частоты.
Для фильтрации выбросов в статическом режиме предложено использовать »-усеченные оценки с неизвестным процентом аномальных измерений. Традиционная процедура отбраковки выбросов дополнена введением на каждом такте процедуры проверки гипотезы: значимо ли уменьшилась дисперсия оставшейся части выборки после удаления очередной пары предполагаемых выбросов. Процесс прекращается, если выборочная дисперсия практически не меняется (все выбросы отфильтрованы).
При динамической обработке данных выбросы отбраковываются при выходе получаемых на данном такте оценок частот за доверительные интервалы, вычисляемые на основе прогнозирующих моделей процессов изменения частоты, построенных на этапе статической обработки данных.
Предложенные в работе алгоритмы фильтрации в статическом и динамическом режимах апробированы методом статистического моделирования и, частично, на реальных данных, полученных в процессе эксплуатации государственного вторичного эталона ВЭТ 1 -5. В целом полученные результаты подтверждают работоспособность предложенных алгоритмов.
Полученные результаты создают возможность построения математических моделей процессов изменения частоты водородных стандартов, входящих в состав группового эталона, что позволит повысить точность оценивания вектора состояния эталона времени и частоты.
Предлагаемые методы фильтрации являются необходимым этапом при разработке формализованной методики оценивания состояния группового эталона времени и частоты в статическом и динамическом режимах, основанной на применении прогнозирующих моделей.
Библиографический список
1. Гамм А.З. Статистические методы оценивания состояния электро-энергетических систем. М.: Наука, 1976. 220 с.
2. Хрусталёв Ю.П. Статическая и динамическая обработка данных, получаемых в процессе ведения эталонов времени частоты // Измерительная техника. 2004. № 6. С. 20-23.
3. Острем К.Ю. Введение в стохастическую теорию управления / пер. с англ. М.: Мир, 1973. 321 с.
4. Charu C. Aggarwal. Outlier Analysis. 2nd Edition. NY: Springer International Publishing AG, 2017. 481 p.
5. Хогг Р.В. Введение в помехоустойчивое оценивание / В кн.: Устойчивые статистические методы оценки данных. М.: Машиностроение, 1984. С. 86-105.
6. Патюков В.Г. Основы частотно-временных измерений. Красноярск: Сиб. федер. ун-т, 2014. 166 с.
7. Додонов В.А. Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации // Реестра^я, збер^ання i обробка даних. 2008. Т. 10. № 2. С. 101-120.
8. Khrustalev Yu.P., Serysheva I.A. Increasing of robustness of estimators of the state of time and frequency standards // Measurement Techniques. 2014. Vol. 57. No. 5. P. 519-525.
9. Горяинов В.Б., Горяинова Е.Р. Влияние аномальных наблюдений на оценку наименьших квадратов параметра авторегрессионного уравнения со случайным коэффициентом // Вестник МГТУ им. Баумана. Серия: Естественные науки. 2016. № 2. С. 16-24. DOI: 10.18698/1812-3368-2016-2-16-24
10. Марчук В.И., Токарева С.В. Способы обнаружения аномальных значений при анализе нестационарных случайных процессов. Шахты: ЮРГУЭС, 2009. 210 с.
11. Попукайло В.С. Обнаружение аномальных измерений при обработке данных малого объема // Технология и конструирование в электронной аппаратуре. 2016. № 4-5. С. 42-46. DOI: 10.15222/TKEA2016.4-5.42
12. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. М.: ФИЗМАТЛИТ,
2006. 816 с.
13. Han J., Kamber M., Pei J. Data Mining Concepts and Techniques. Third Edition. Waltham, MA, USA : Morgan Kaufmann Publishers is an imprint of Elsevier. 2012. 703 p.
14. Aggarwal C.C., Gao J., Gupta M., Han J. Outlier detection for temporal data. New York: Morgan & Claypool Publishers. 2014. 131 p.
15. Фомин А.Ф., Новоселов О.Н., Плющев А.В. Отбраковка аномальных результатов измерений. М.: Энергоатом-издат, 1985. 200 с.
16. Lemeshko B.Yu., Lemeshko S.B. Extending the Application of Grubbs-Type Tests in Rejecting Anomalous Measurements // Measurement Techniques. 2005. Vol. 48. No. 6. P. 536-547.
17. Maronna R.A., Martin D., Yohai V. Robust Statistics: Theory and Methods. Chichester: Wiley. 2006. 403 p.
References
1. Gamm A.Z. Statisticheskie metody ocenivaniya sostoyaniya elektro-energeticheskih system [Statistical assessment methods of electrical energy system states]. Moscow: Nauka Publ., 1976, 220 р.
2. Hrustalyov Yu.P. Static and dynamic processing of data obtained while maintaining time and frequency standards. Iz-meritel'naya tekhnika [Measurement Techniques], 2004, no. 6, рр. 20-23.
3. Ostrem K.Yu. Vvedenie v stohasticheskuyu teoriyu upravleniya / per. s angl. [Introduction to stochastic control theory]. M.: Mir, 1973. 321 р.
4. Charu C. Aggarwal. Outlier Analysis. 2nd Edition. NY: Springer International Publishing AG, 2017, 481 p.
5. Hogg R.V. Vvedenie v pomekhoustojchivoe ocenivanie [Introduction to noise-resistant estimation]. Ustojchivye statisticheskie metody ocenki dannyh [Sustainable statistical methods for data evaluation]. Moscow: Mashinostroenie Publ., 1984, рр. 86-105.
6. Patyukov V.G. Osnovy chastotno-vremennyh izmerenij [Basics of time-frequency measurements]. Krasnoyarsk: Siberian federal University Publ., 2014, 166 р.
7. Dodonov V.A. Application of methods of noise-free estimation in the problems of measurement information analysis. Reestraciya, zberigannya i obrobka danih [Registration, storage and processing of data], 2008, vol. 10, no. 2, рр. 101-120.
8. Khrustalev Yu.P., Serysheva I.A. Increasing of robustness of estimators of the state of time and frequency standards // Measurement Techniques, 2014, vol. 57, no. 5, рр. 519-525.
9. Goryainov V.B., Goryainova E.R. The influence of anomalous observations on the least squares estimate of the parameter of the autoregressive equation with a random coefficient. Vestnik MGTU im. Baumana. Seriya: Estestvennye nauki [Herald of the Bauman Moscow State Technical University. Series Natural Sciences], 2016, no. 2, рр. 16-24. DOI: 10.18698/1812-3368-2016-2-16-24
10. Marchuk V.I., Tokareva S.V. Sposoby obnaruzheniya anomal'nyh znachenijpri analize nestacionarnyh sluchajnyh pro-cessov [Detection methods of anomalous values in the analysis of nonstationary random processes]. Shahty: YuRGUES Publ., 2009, 210 р.
11. Popukajlo V.S. Detection of outliers in processing of small size data. Tekhnologiya i konstruirovanie v elektronnoj apparature [Technology and design in electronic equipment], 2016, no. 4-5, рр. 42-46. DOI: 10.15222/TKEA2016.4-5.42
12. Kobzar' A.I. Prikladnaya matematicheskaya statistika. Dlya inzhenerov i nauchnyh rabotnikov [Applied mathematical statistics. For engineers and scientists]. Moscow: FIZMATLIT Publ., 2006, 816 р.
13. Han J., Kamber M., Pei J. Data Mining Concepts and Techniques. Third Edition. Waltham, MA, USA: Morgan Kaufmann Publishers is an imprint of Elsevier, 2012, 703 p.
14. Aggarwal C.C., Gao J., Gupta M., Han J. Outlier detection for temporal data. New York: Morgan & Claypool Publishers, 2014, 131 p.
15. Fomin A.F., Novoselov O.N., Plyushchev A.V. Otbrakovka anomal'nyh rezul'tatov izmerenij [Rejection of anomalous measurements]. Moscow: Energoatomizdat Publ., 1985, 200 р.
16. Lemeshko B.Yu., Lemeshko S.B. Extending the Application of Grubbs-Type Tests in Rejecting Anomalous Measurements. Measurement Techniques, 2005, vol. 48, no. 6, рр. 536-547.
17. Maronna R.A., Martin D., Yohai V. Robust Statistics: Theory and Methods. Chichester: Wiley, 2006, 403 p.
Критерии авторства
Серышева И.А. провела исследование, подготовила рукопись и несет ответственность за плагиат.
Authorship criteria
Serysheva I.A. conducted a study, prepared the manuscript for publication and is responsible for plagiarism.
Конфликт интересов
Автор заявляет об отсутствии конфликта интересов.
Conflict of interests
The author declares that there is no conflict of interests regarding the publication of this article.
