Отбор информативных признаков с помощью нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

Секция «Математические методы моделирования, управления и анализа данных»

сти для непараметрической оценки функции плотности вероятности предлагается минимизировать критерий качества в виде (4) методом Пауэлла.

Время работы алгоритмов оптимизации

Метод минимизации Время минимизации, с

Метод золотого сечения [5] 4,11±0,05

Метод Пауэлла [5] 0,91 ±0,02

Метод кубической интерполяции [6] 0,99±0,04

Метод Ньютона [7] 6,0±0,4

Конечно-разностная аппроксимация метода Ньютона [7] 6,3±0,2

Библиографические ссылки

1. Rosenblatt M. Remarks on some nonparametric estimates of a density function // The Annals of Mathematical Statistics. 1956. Vol. 27. № 3. P. 832-837.

2. Parzen E. On estimation of a probability density function and mode // The Annals of Mathematical Statistics. 1962. Vol. 35. № 3. P. 1065-1076.

3. Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятностей и её применения. 1969. Т. 14. № 1. С. 156-161.

4. Лапко А. В., Медведев А. В., Тишина Е. А. К оптимизации некоторых непараметрических оценок // Применение вычислительных машин в системах управления непрерывным производством. Фрунзе : Илим, 1975. С. 93-107.

5. Рубан А. И. Методы анализа данных : учеб. пособие. 2-е изд., исправл. и доп. Красноярск : ИПЦ КГТУ, 2004. 319 с.

6. Пантелеев А. В., Летова Т. А. Методы оптимизации в примерах и задачах : учеб. пособие. 2-е изд., испр. М. : Высш. шк., 2005. 544 с.

7. Калиткин Н. Н. Численные методы / под ред. А. А. Самарского. М. : Наука, 1978. 512 с.

© Браништи В. В., 2014

УДК 519.68

С. С. Волкова Научный руководитель - Л. В. Липинский Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск

ОТБОР ИНФОРМАТИВНЫХ ПРИЗНАКОВ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ

Рассматривается алгоритм отбора информативных признаков, основанный на использовании нейронной сети, представляются результаты применения метода к практической задаче.

В настоящее время на практике трудно найти задачи регрессии или классификации, которые не требовали предварительной работы с данными, а также снижение размерности признакового пространства задачи. Задача эта не нова, но продолжает оставаться актуальной, так как существующие методы не всегда удовлетворяют запросам исследователей. В этой работе рассматривается снижение размерности признакового пространства за счет отбора информативных признаков, который осуществляется с помощью нейронных сетей. Информативность признака рассматривается относительно конкретной выходной переменной.

Благодаря отсутствию строгих требований к решаемой задаче (целевой функции) нейронные сети широко применяются к настоящему моменту [1], а также ищутся новые пути использования этого простого, но мощного инструмента анализа данных. В настоящей работе рассматривается метод оценки информативности (значимости) признаков путем последовательной фиксации их значений [2]. Идея этого метода основывается на следующем предположении: если признак является избыточным для построения регрессии или осуществлении классификации, то фиксация входа, соответствующего этому признаку, не приведет к существенному ухудшению значения целевой функции обученной нейронной сети по сравнению со значением целевой функции, полученном на

исходной выборке. Эта идея реализуется по следующему алгоритму: (1) Обучение нейронной сети; (2) Тестирование нейронной сети на экзаменующей выборке; (3) Вычисление среднего значения для каждой входной переменной; (4) Вычисления значения целевой функции при фиксировании каждого входа тестовой выборки по очереди; (5) Анализ значений целевой функции, отбор наиболее информативных признаков. Стоит отметить, что в такой формулировке пункта (3) содержится ограничение на применение метода: только для задач с ве щественными входными переменными, но для качественных переменных возможна замена среднего значения на наиболее часто встречаемое значение переменной.

Для исследования описанного метода была взята практическая задача, в которой необходимо оценить нагрузки на отопление и кондиционирование в зависимости от параметров строения: (1) относительная компактность, (2) площадь поверхности, (3) площадь стен, (4) площадь крыши, (5) высота, (6) ориентация, (7) площадь остекления, (8) расположение остекления. Объем выборки 768 объектов, на обучающую и тестовую выборка делилась случайным образом (доля обучающей 0,6), среднее значение признаков рассчитывалось по полной выборке. Для оценки эффективности метода в признаковое пространство вводился еще один признак, значение которого были сгенери-

Актуальные проблемы авиации и космонавтики - 2014. Информационные технологии

рованы случайным образом по равномерному закону распределения.

На рис. 1, 2 приведены значения среднеквадрати-ческой ошибки при усреднении каждой входной переменной, а также показан уровень среднеквадрати-ческой ошибки без усреднения каких-то либо признаков. Очевидно, что метод одним из наименее информативных признаков «назвал» случайно сгенерированный, что показывает эффективность рассматриваемого метода. Также стоит отметить, что метод дает

некоторое ранжирование признаков по информативности для конкретной выходной переменной.

Руководствуясь полученными для каждой входной переменной рангами, были произведены последовательное исключение признаков, обучение нейронной сети на уменьшенной выборке и её тестирование. На рис. 2 приведены результаты: среднеквадратическая ошибка нейронной сети на тестовой выборке без указанных переменных.

Рис. 1. Среднеквадратическая ошибка при усреднении признаков для выходных переменных «Нагрузка на отопление» (слева) и «Нагрузка на кондиционирование» (справа)

Рис. 2. Среднеквадратическая ошибка при последовательном удалении признаков для выходных переменных «Нагрузка на отопление» (слева) и «Нагрузка на кондиционирование» (справа)

Очевидно, что удаление трех наименее информативных признаков по оценке рассматриваемого метода не привело к существенному увеличению ошибки (а в одном случае даже к ее уменьшению), что говорит об успешном применении метода для данной практической задачи. Также можно отметить, что значение целевой функции при усреднении случайной переменной, может служить некоторым порогом для отбора информативных признаков. В дальнейших работах планируется применить рассмотренный метод к задачам с категориальными переменными.

Библиографические ссылки

1. Оссовский С. Нейронные сети для обработки информации / пер. с польского И. Д. Рудинского. М. : Финансы и статистика, 2002. 344 с.: ил.

2. Дубровин В. И., Субботин С. А. Оценка значимости признаков на основе многослойных нейронных сетей в задачах диагностики и распознавания // Техническая диагностика. 2002. № 1(3). С. 66-72.

© Волкова С. С., 2014