CC BY
33
УДК 519.688
КОМПЛЕКС ПРОГРАММ ДЛЯ ВОССТАНОВЛЕНИЯ ПЛОТНОСТИ ВЕРОЯТНОСТИ СТОХАСТИЧЕСКОЙ ФУНКЦИИ ПРИНАДЛЕЖНОСТИ ПО МАЛОЙ ВЫБОРКЕ ПРИ МНОГОФАКТОРНОМ ВЛИЯНИИ
М.М. Зимин, инженер (Торонто, Канада, [email protected])
Описан комплекс программ для восстановления плотности вероятности стохастической функции принадлежности, позволяющий дополнять нечеткий анализ стохастическим, улучшая тем самым точность оценки различных сложных ситуаций, обусловленных опасными или нежелательными социально-экономическими, природными и техногенными процессами. Принимается во внимание тот факт, что на развитие этих процессов обычно влияет большое количество случайных факторов. Разработанное ПО требует около 2,2 Мб памяти и выполняет вычисления за незначительное время. Получаемые плотности вероятности могут использоваться в различных вероятностных расчетах, например, для анализа лавинной или селевой опасности и обеспечения безопасности работ в малоизученных горных районах. Приводятся примеры оценивания их параметров по малым выборкам.
Ключевые слова: функция принадлежности, плотность вероятности, программа, восстановление, выборка.
A SOFTWARE SYSTEM TO RECONSTRUCT PROBABILITY DENSITY OF STOCHASTIC MEMBERSHIP FUNCTION BY USING THE SMALL SAMPLE UNDER MULTIFACTOR INFLUENCE
Zimin М.М., engineer (Toronto, Canada, [email protected]) Abstract. The paper describes software to recover probability density of stochastic membership function, allowing supplementing fuzzy analysis with stochastic calculations. This improves the assessment accuracy of various complex situations caused by dangerous or undesirable socio-economic, natural and man-made processes. These processes development usually depends on many random factors. The developed software requires about 2,2 MB of memory and performs computations in a short time. The resulting probability density can be used in various probabilistic calculations, for example, to analyze the avalanche or sill risk and to provide operational safety in the understudied mountain regions. The examples of estimating the probabilities densities parameters with small samples are given.
Keywords: membership function, probability density, software, reconstruction, sample.
Теория нечетких множеств широко применяется для решения разнообразных задач. Однако случайные изменения функций принадлежности до сих пор не рассмотрены, хотя некоторые из них имеют стохастический характер. Их можно определить как функции принадлежности, значения которых являются случайными величинами.
Прогнозирование лавинной опасности с помощью этой теории описано, например, в работах [1, 2]. Вычисляются функции принадлежности заданной ситуации к различным ее уровням. В то же время для конкретной даты в известном районе величины этих функций меняются случайным образом для различных лет, что обусловлено стохастическим изменением метеоусловий и сейсмической обстановки в разные годы. Кроме того, реально доступной является только малая выборка, так как время наблюдения за лавинными очагами, как правило, ограничено.
Таким образом, информация о случайной изменчивости указанных функций очень важна для обеспечения безопасности работ в горах, как и для оценки других опасных или нежелательных ситуаций, связанных с природными, социально-экономическими или производственными процессами. Поэтому разработка соответствующего ПО представляет значительный научно-практический интерес.
При проектировании, в частности, различных сооружений и дорог в горной местности требуется
оценить возможность появления лавинной опасности различного уровня. За известный период наблюдений лавины могут не возникнуть, но функции принадлежности ситуаций к лавиноопасным вычисляемы. Тогда, зная математическое ожидание и среднее квадратичное отклонение функций принадлежности, можно оценить риск с помощью правила трех сигм [3] или правила шести сигм [4, 5]. Однако все это требует применения стохастических функций принадлежности.
Кроме того, если плотность вероятности функции принадлежности ситуации к какому-либо опасному или нежелательному состоянию известна, можно выполнять и более сложные вероятностные расчеты. Например, на каждой реализации метода Монте-Карло вычислить отношение нагрузки от снеговоздушной волны к допускаемой (тоже стохастической) нагрузке на сооружение, затем построить соответствующую плотность вероятности и определить вероятность разрушения.
Классические методы восстановления зависимостей эффективны только при использовании выборок достаточно большого объема [6]. Если выборка невелика, лучшие результаты получаются при применении метода структурной минимизации риска [6, 7], идея которого состоит в следующем. Если на допустимом множестве решений задать структуру, то наряду с минимизацией эмпирического риска внутри ее элементов появляется дополнительная возможность оптимизации каче-
ства оценки по элементам структуры, что позволяет найти решение, дающее более глубокий гарантируемый минимум среднему риску, чем решение, доставляющее минимум эмпирическому риску на всем допустимом множестве [6].
Тем не менее при достаточно малой выборке метод структурной минимизации риска обычно выбирает наиболее простую зависимость. Действительно, верхняя граница среднего риска при восстановлении плотности вероятности оценивается по формуле
1 т
[у - F(а)]т Я [у - F(а)]
(1)
J (k) =-
N
1 -
¡(к +1)[1 + 1пN - 1п(к +1)] - 1пц
N
где N - объем выборки; k - степень аппроксимирующего полинома; [у] - вектор значений эмпирической функции распределения; [Р(а)] - вектор значений аппроксимирующего полинома в экспериментальных точках; а, - коэффициенты аппроксимирующего полинома; Я - обратная ковариационная матрица вектора [у]; 1-п - вероятность, с которой справедлива оценка (1).
При £=1, N=10, п=0,95 знаменатель (3) равен 0,274, а при £=2, N=10, п=0,95 он составляет 0,184, то есть его уменьшение происходит очень быстро.
Кроме того, на развитие опасных социально-экономических, природных и техногенных процессов обычно влияет большое количество случайных факторов. Так, согласно [1], возникновение снежных лавин зависит от суммы осадков, их интенсивности, температуры воздуха и т.д. Поэтому здесь вполне может быть использована центральная предельная теорема, согласно которой достаточно большая сумма сравнительно малых случайных величин распределена приближенно по нормальному закону [8].
Случайная величина, распределенная таким образом, изменяется от -да до да. Поскольку область изменения функций принадлежности обычно представляет собой интервал [0; 1], плотность вероятности отыскивается в виде
( х-а)1
p(x) = -
b
(2)
о\/2л
где а - математическое ожидание случайной величины; о - среднее квадратичное отклонение случайной величины; Ь - коэффициент, который всегда больше единицы.
Математическое ожидание и среднее квадратичное отклонение вычисляются (см. [3]) по формулам:
а =
i=i
о =
Е (a - x )2
i=1
n-1
(3)
(4)
Величина коэффициента Ь должна быть такой,
1
чтобы выполнялось условие | р( х) = 1.
0
1
Тогда b = -
У
П
_ (х-а)
_ 2a2 dx
(5)
Плотность вероятности типа (2) иллюстрируется рисунком.
После заполнения таблицы Initial Data необходимо нажать кнопку Reconstructing. Далее в таблице Results of Analysis будут напечатаны результаты вычислений.
В качестве контрольного примера можно привести восстановление плотности вероятности по случайной выборке, приведенной в столбце 2 таблицы. Эта выборка получена с помощью датчика случайных чисел программного комплекса ANSYS. Задавались математическое ожидание 0,5 и среднее квадратичное отклонение 0,05. В результате расчета было получено: а=0,507, о=0,041, b=1. Действительно, случайные числа, распределенные по этому закону, практически всегда будут находиться в интервале [0; 1], поэтому коэффициент b должен быть равен единице.
Элементы выборки для восстановления плотности вероятности
Номер элемента выборки Значение элемента
первой выборки второй выборки третьей выборки
1 0,5373 0,42 0,46
2 0,5069 0,67 0,08
3 0,4972 0,86 0,56
4 0,5429 0,40 0,49
5 0,5491 0,05 0,07
6 0,4407 0,35 0,39
7 0,5352
8 0,5282
9 0,5115
10 0,4241
Другим примером является восстановление плотности вероятности случайной величины х по выборке из 6 элементов, приведенных в столбце 3 таблицы. В этом случае а=0,458, о=0,195, Ь=1,056.
0
n
п
n
И еще один пример - восстановление плотности вероятности случайной величины х по выборке из 6 элементов, приведенных в столбце 4 таблицы. Плотность вероятности, восстановленная по ним, имеет следующие параметры: а=0,342, g=0,255, b=1,042.
Таким образом, разработанный комплекс программ позволяет дополнять нечеткий анализ стохастическим, улучшая тем самым точность оценки различных сложных ситуаций, обусловленных опасными или нежелательными социально-экономическими, природными и техногенными процессами. Он требует около 2,2 Мб памяти и выполняет вычисления за незначительное время.
Литература
1. Зимин М.И. Прогнозирование лавинной опасности. СПб: Гидрометеоиздат, 2000. 16 с.
2. Зимин М.И. Прогнозирование опасных процессов на основе бионического подхода и его использование в системах автоматизации проектирования // Естественные и технические науки. 2011. № 3. C. 405-412.
3. Пискунов Н.С. Дифференциальное и интегральное исчисление. М.: Наука, 1976. Т. 2. 576 с.
4. Зорин А.А. Время шести сигм // Методы менеджмента качества. 2006. № 4. С. 32-36.
5. Nanda V., Robinson J.A., Six Sigma Software Quality Improvement. Success Stories from Leaders in the High Tech Industry, NY, McGraw Hill, 2011, 611 p.
6. Вапник В.Н., Глазкова Т.Г., Кощеев В.А., Михальский А.И., Червоненкис А.Я. Алгоритмы и программы восстановления зависимостей. М.: Наука, 1984. 816 с.
7. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 220 с.
8. Колемаев В.А. Теория вероятностей в примерах и задачах. М.: Гос. ун-т управления, 2001. 87 с.
References
1. Zimin M.I., Prognozirovanie lavinnoy opasnosti [Forecasting danger of avalanches], St. Petersburg, Gydrometeoizdat, 2000.
2. Zimin M.I., Estestvennye i tekhnicheskie nauki [Natural and engineering sciences], 2011, no. 3, pp. 405-412.
3. Piskunov N.S., Differentsialnoe i integralnoe ischislenie [Differential and integral calculus], Vol. 2, Мoscow, Nauka, 1976.
4. Zorin A.A., Metody menegmenta kachestva [Quality management methods], 2006, no. 4, pp. 32-36.
5. Nanda V., Robinson J.A., Six Sigma Software Quality Improvement (Success Stories from Leaders in the High Tech Industry), NY, McGraw Hill, 2011.
6. Vapnik V.N., Glazkova T.G., Koshcheev V.A., Mikhalsky A.I., Chervonenkis A.Ya., Algoritmy i programmy vosstanovleniya zavisimostey [Dependencies recovery algorithms and programs], Мoscow, Nauka, 1984.
7. Vapnik V.N., Vosstanovlenie zavisimostey po empiricheskim dannym [Dependencies recovery with empirical data], Мoscow, Nauka, 1979.
8. Kolemaev V.A., Teoriya veroyatnostey v primerakh i zadachakh [The theory of probability in examples and exercises], Мoscow, State Univ. of Management Publ., 2001.
УДК 004(418+451.42)
ПРОТОТИП СИСТЕМЫ АНАЛИЗА СОСТОЯНИЯ ВЫЧИСЛИТЕЛЬНОГО КЛАСТЕРА НА ОСНОВЕ МЕТОДА ОПОРНЫХ ВЕКТОРОВ
С.С. Конюхов, инженер; А.А. Московский, к.х.н., генеральный директор (Группа компаний РСК, Кутузовский просп., 36, г. Москва, 1211 70, Россия, [email protected], [email protected]); Е.А. Рябинкин, к.ф.-м.н., начальник отдела; В.Е. Велихов, к.ф.-м.н., зам. директора (НИЦ «Курчатовский институт», пл. Академика Курчатова, 1, г. Москва, 123182, Россия,
rae@kiae. ru, veliko vve@kiae. ru)
С ростом сложности вычислительных кластеров для обеспечения их эффективной работы на первый план выходит проблема отказоустойчивости. Ее решение в настоящее время является одной из самых активно развивающихся областей, связанной с высокопроизводительными вычислениями. В данной работе рассмотрена задача построения автоматизированной системы классификации состояний вычислительного кластера с целью прогнозирования и своевременного выявления нештатных ситуаций в его работе. Для ее решения был предложен алгоритм, использующий методы машинного обучения на основе подхода опорных векторов (SVM/SVR). Отличительной особенностью используемого алгоритма является его модульный характер, допускающий выбор наиболее эффективных методов для решения подзадач всего алгоритма обработки входных данных. На примере анализа данных мониторинга, собранных с реально действующих вычислительных кластеров, была показана принципиальная применимость предложенного алгоритма для обнаружения новых состояний вычислительного кластера: при правильном выборе параметров используемых методов удается осуществлять прогнозирование возможных будущих состояний с точностью 6-16 % и фиксировать критическое изменение контролирующих величин в пределах 3-5 шагов прогноза. При малом числе показаний сенсорных датчиков, содержащих выпадающие значения (5-10 %), наблюдается устойчивость системы к сбоям в показаниях сенсорных датчиков. Возможное дальнейшее развитие автоматизированной системы связано с использованием опНпе-алгоритмов SVM/SVR и методов выявления сложных типов аномального поведения вычислительных кластеров.
