CC BY
42
Актуальные проблемы авиации и космонавтики - 2014. Информационные технологии
УДК 519.6:519.21
В. В. Браништи Научный руководитель - А. В. Медведев Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск
ОПТИМИЗАЦИЯ АЛГОРИТМОВ РАСЧЕТА КОЭФФИЦИЕНТА РАЗМЫТОСТИ ДЛЯ НЕПАРАМЕТРИЧЕСКИХ ОЦЕНОК
Рассматривается метод настройки коэффициента размытости для оценки Розенблатта-Парзена функции плотности вероятности. Предлагается упрощение выражения для функционала качества, а также сравнивается несколько алгоритмов по скорости оптимизации.
В различных областях науки и техники часто встречается задача оценивания неизвестной функции плотности вероятности непрерывной случайной величины. Функция плотности вероятности используется при проверке статистических гипотез, при решении различных задач классификации, распознавания образов, восстановления зависимостей и др. Одним из наиболее распространённых подходов, позволяющим по выборке значений случайной величины восстановить её функцию плотности вероятности fx), является использование непараметрических оценок Розенблатта-Парзена [1; 2]:
' " ' ^- * ' (1)
1 п 1
/( x) = IX h Ф
n = h
h
4 (i -'2)
< i,
(2)
z > 1.
W (h) =
1
-УУ fo
n2 h1 i=1 j=1 -L
ф
dx -
-УУф
n( n -1)h
i=1 j=1, j*i
гxJ-xl ^ h
(3)
нивается эффективность известных алгоритмов оптимизации в применении к функционалу (3).
С учётом оптимальной формы ядра (2) функционал (3) принимает вид
К(И) =А +77^ I (2 - ^ )3 (( + 6г + 4)-
1< 2ц < 2
У (4)
5nh
80n2h,
п(п - 1)h
У (1 -2)•
x, - x,
где zj =-
h
суммирование ведётся по обоим ин-
где XI, х2, ..., хп - выборка значений случайной величины; ф(г) - ядерная функция; И - коэффициент размытости. Оптимизация функционала качества данной оценки в виде усреднённой глобальной квадратичной ошибки аппроксимации
Q = [ М {(х) - / (х) )2 jdx
-да
по форме ядра даёт оптимальную функцию в виде усечённой параболы [3]:
' 3,
ф( г) = '
дексам /, у, удовлетворяющим соответствующему условию. Выражение (4) не содержит операторов интегрирования и позволяет существенно ускорить процесс минимизации.
Для минимизации функционала (4) рассмотрено 5 алгоритмов локальной оптимизации (см. табл. 1). Метод кубической интерполяции использует аналитическое выражение для производной оптимизируемой функции, а метод Ньютона - второй производной. Из (4) непосредственно выводится:
(И) =
dn
На качество оптимизации существенно влияет коэффициент размытости h. Однако его оптимальное значение выражается через вторую производную функции fx) [3], следовательно, неприменимо на практике. В работе [4] предлагается методика расчёта коэффициента размытости h по выборке значений случайной величины без использования функции fx). Данная методика сводится к минимизации функционала
-— +
1
5п 80п
У (-80z3 +120z2-32)-
1
п(п - 1)0<,<1
У (2 -1)
(5)
d dh
■W (h) =
г i_
5п
40п2
У ( -200z3 + 240Z2 -32) +
У К -1)
(6)
по И. Однако в данном функционале присутствует оператор интегрирования, что делает его вычисление затратным, а процесс минимизации - медленным. В работе предлагается упрощение выражения (3) с целью повышения скорости оптимизации, а также срав-
п(п -1)0<% <1
\ у /
Для каждого алгоритма оценивалось время минимизации функции (4) по h с точностью до 0,001, усредненное по 900 запускам для различных выборок случайной величины объёма п = 100. Погрешность оценивалась по правилу «3 с». Результаты представлены в таблице. Для получения результатов использовался процессор Intel® Core™ i3-2330M.
Численные эксперименты показали, что наиболее эффективным по скорости работы при минимизации функции (4) является метод Пауэлла. Таким образом, в приложениях при расчёте коэффициента размыто-
3
2
h
3
3
h
Секция «Математические методы моделирования, управления и анализа данных»
сти для непараметрической оценки функции плотности вероятности предлагается минимизировать критерий качества в виде (4) методом Пауэлла.
Время работы алгоритмов оптимизации
Метод минимизации Время минимизации, с
Метод золотого сечения [5] 4,11±0,05
Метод Пауэлла [5] 0,91 ±0,02
Метод кубической интерполяции [6] 0,99±0,04
Метод Ньютона [7] 6,0±0,4
Конечно-разностная аппроксимация метода Ньютона [7] 6,3±0,2
Библиографические ссылки
1. Rosenblatt M. Remarks on some nonparametric estimates of a density function // The Annals of Mathematical Statistics. 1956. Vol. 27. № 3. P. 832-837.
2. Parzen E. On estimation of a probability density function and mode // The Annals of Mathematical Statistics. 1962. Vol. 35. № 3. P. 1065-1076.
3. Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятностей и её применения. 1969. Т. 14. № 1. С. 156-161.
4. Лапко А. В., Медведев А. В., Тишина Е. А. К оптимизации некоторых непараметрических оценок // Применение вычислительных машин в системах управления непрерывным производством. Фрунзе : Илим, 1975. С. 93-107.
5. Рубан А. И. Методы анализа данных : учеб. пособие. 2-е изд., исправл. и доп. Красноярск : ИПЦ КГТУ, 2004. 319 с.
6. Пантелеев А. В., Летова Т. А. Методы оптимизации в примерах и задачах : учеб. пособие. 2-е изд., испр. М. : Высш. шк., 2005. 544 с.
7. Калиткин Н. Н. Численные методы / под ред. А. А. Самарского. М. : Наука, 1978. 512 с.
© Браништи В. В., 2014
УДК 519.68
С. С. Волкова Научный руководитель - Л. В. Липинский Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск
ОТБОР ИНФОРМАТИВНЫХ ПРИЗНАКОВ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ
Рассматривается алгоритм отбора информативных признаков, основанный на использовании нейронной сети, представляются результаты применения метода к практической задаче.
В настоящее время на практике трудно найти задачи регрессии или классификации, которые не требовали предварительной работы с данными, а также снижение размерности признакового пространства задачи. Задача эта не нова, но продолжает оставаться актуальной, так как существующие методы не всегда удовлетворяют запросам исследователей. В этой работе рассматривается снижение размерности признакового пространства за счет отбора информативных признаков, который осуществляется с помощью нейронных сетей. Информативность признака рассматривается относительно конкретной выходной переменной.
Благодаря отсутствию строгих требований к решаемой задаче (целевой функции) нейронные сети широко применяются к настоящему моменту [1], а также ищутся новые пути использования этого простого, но мощного инструмента анализа данных. В настоящей работе рассматривается метод оценки информативности (значимости) признаков путем последовательной фиксации их значений [2]. Идея этого метода основывается на следующем предположении: если признак является избыточным для построения регрессии или осуществлении классификации, то фиксация входа, соответствующего этому признаку, не приведет к существенному ухудшению значения целевой функции обученной нейронной сети по сравнению со значением целевой функции, полученном на
исходной выборке. Эта идея реализуется по следующему алгоритму: (1) Обучение нейронной сети; (2) Тестирование нейронной сети на экзаменующей выборке; (3) Вычисление среднего значения для каждой входной переменной; (4) Вычисления значения целевой функции при фиксировании каждого входа тестовой выборки по очереди; (5) Анализ значений целевой функции, отбор наиболее информативных признаков. Стоит отметить, что в такой формулировке пункта (3) содержится ограничение на применение метода: только для задач с ве щественными входными переменными, но для качественных переменных возможна замена среднего значения на наиболее часто встречаемое значение переменной.
Для исследования описанного метода была взята практическая задача, в которой необходимо оценить нагрузки на отопление и кондиционирование в зависимости от параметров строения: (1) относительная компактность, (2) площадь поверхности, (3) площадь стен, (4) площадь крыши, (5) высота, (6) ориентация, (7) площадь остекления, (8) расположение остекления. Объем выборки 768 объектов, на обучающую и тестовую выборка делилась случайным образом (доля обучающей 0,6), среднее значение признаков рассчитывалось по полной выборке. Для оценки эффективности метода в признаковое пространство вводился еще один признак, значение которого были сгенери-
