Анализ информативных признаков в задачах обнаружения аномалий трафика статистическими методами Текст научной статьи по специальности «Компьютерные и информационные науки»

Анализ информативных признаков в задачах обнаружения аномалий трафика статистическими методами

Для решения задачи поиска сетевых аномалий предложена методика формирования набора информативных признаков, формализующих нормальное и аномальное поведение системы, и определены критерии, позволяющие обнаружить и идентифицировать различные типы сетевых аномалий. Как правило, сетевой трафик содержит большие объемы данных, что вместе с необходимостью проведения анализа реальном времени предъявляет жесткие требования к эффективности методов поиска и обнаружения сетевых аномалий. В этой связи статистический анализ сетевого трафика и поиск информативных признаков, формализующих его нормальное и аномальное поведение является важной задачей. Проведен анализ различных наборов данных, представляющих собой сетевой трафик, содержащий аномалии различного типа, такие как ICMP flooding, UDP storm, Fraggle, Smurf, Synflooding, Flashcrowd attack. Суммарная длительность анализируемого трафика более одного часа, шаг дискретизации от 0,01 -0,1 с. Показано, что для всех рассмотренных типов аномалий трафика, представленный набор статистических фильтров содержит более одного признака, позволяющего обнаружить аномалию трафика. Результат применения предложенных фильтров на всем протяжении аномалии носит не сингулярный характер, а квазистационарный характер. Например, для аномалии типа Smurf характерно сингулярное возникновение высокочастотной составляющей в трассе при возникновении аномалии. ВЧ составляющая квазистационарна на всем протяжении регистрации аномалии и также резко исчезает при прекращении данного типа аномалии. Для аномалии типа ICMP-flooding характерным примером явля-Ключевые слова: сетевой трафик, ется резкая смена формы и вида распредений, сохраняющаяся на всем протяжении аномалии и такая

статистический анализ, аномалия, методы же резкая смена характеристик ПРВ по завершении аномалии. Предложенная суперпозиция статисти-

обнаружения,информативные признаки. ческих критериев позволяет диагностировать различные типы аномалий трафика.

Шелухин О.И.,

д.т.н., профессор Зав. кафедрой

"Информационная безопасность и автоматизация", МТУСИ, sheluhin@mail.ru

Судариков РА,

аспирант кафедры "Информационная безопасность и автоматизация", МТУСИ roman.sudankov@gmail.com

Постановка задачи

Наиболее распространенным применением методов обнаружения аномалий трафика является выявление неизвестных атак и вторжений [1]. Существует два не исключающих друг друга подхода к выявлению сетевых атак: анализ сетевого графика и анализ контента. В первом случае анализируются только заголовки сетевых пакетов, во втором - их содержимое.

Как класс статистический анализ относится к поведенческим методам определения нарушений в сети и основан на сопоставлении текущего состояния сетевой инфраструктуры с некими определенными заранее признаками, характеризующими штатное функционирование сетевой инфраструктуры. Методы статистического анализа имеют различные интерпретации, основанные на различных динамических характеристиках сетевого трафика, однако базовые принципы практически у всех идентичны. Неоспоримым преимуществом применения методов статистического анализа является возможность определения впервые реализовываемых методов негативного воздействия на объект атаки со стороны злоумышленника.

Применение методов статистического анализа является наиболее распространенным видом реализации технологии обнаружения аномального поведения [1,2]. Статистические датчики собирают различную информацию о типичном поведении объекта и формируют ее в виде профиля. Профиль в данном случае — это набор параметров характеризующих типичное поведение объекта. Существует период начального формирования профиля. Профиль формируется на основе статистики объекта, и для этого могут применяться стандартные методы математической статистики, например метод скользящих окон и метод взвешенных сумм.

Статистические методы универсальны, поскольку для проведения анализа не требуется априорной информации о причинах и источниках возникновения аномалий сетевого трафика. Они основаны на изменениях некоторых статистических характеристик потока пакетов.

В контексте анализа трафика, практический интерес представляют методы фиксации изменений для обнаружения аномалий трафика. Предполагается, что причинами аномалий трафика является существенное изменение некоторых характеристик трафика. Однако качество результатов обнаружения зависит не только от выбранного метода обнаружения изменений. Еще более важным является выбор показателей рассматриваемого трафика, которые наиболее чувствительны к событиям, имеющим отношение к операции и администрированию сети, такие как: сетевые сбои, атаки вредного трафика. С другой стороны, показатели должны быть достаточно чувствительны к изменению трафика и неисправностям, вызванных законным и безвредным графиком. В противном случае, можно получить большое число ложных тревог.

Системы, применяющие статистические методы, обладают целым рядом достоинств. Они не требуют постоянного

обновления базы сигнатур атак, что значительно облегчает задачу сопровождения данных систем. Могут обнаруживать неизвестные атаки, сигнатуры для которых еще не написаны, что позволяет им являться своеобразным сдерживающим буфером, пока не будет разработан соответствующий шаблон для экспертных систем. Позволяют обнаруживать более сложные атаки, чем другие методы. В частности, могут обнаруживать атаки, распределенные во времени или по объектам нападения, адаптироваться к изменению поведения пользователя и поэтому являются более чувствительными к попыткам вторжения, чем люди.

Обнаружение зависит от того, как хорошо метод обнаружения приспособлен к специфическим изменениям наблюдаемых статистических свойств наблюдаемых реализаций трафика [3].

Как правило, сетевой трафик содержит большие объёмы данных, что вместе с необходимостью проведения анализа реальном времени предъявляет жесткие требования к эффективности методов поиска и обнаружения сетевых аномалий. В этой связи статистический анализ сетевого трафика и поиск информативных признаков, формализующих его нормальное и аномальное поведение является важной задачей.

Анализ статистических характеристик

аномальных выбросов

В качестве примера аномальных выбросов сетевого трафика рассмотрим распространенные типы сетевых атак, представленные на рис. 1

.„5

• to* s icoo i4o noo noо a)

і

-~jL ІІ.... 1* И It *1 *1- lui. - I*. 1 k- L-Il Li L

б)

:JuiMUk

в)

‘ . -L. ll ii.lll 1-1 і

№s

j 1

L. La. і J 1 J 1 -I fc -ll- .i t» ..U d di^ii k > 1-Л -*■ ■ -

• Ш s HOB IMO JQOD noo Д)

_Ul

■ijLL lljl L.

■JL. I

t

e)

Рис. 1. Примеры сетевых атак: a) Flash-crowd; б) Fraggle; в) Icmpflooding; г) Smurf; д) Synflooding; e) udpstorm

Для оценки текущих статистических характеристик сетевого трафика будем использовать «скользящие окна» длительностью п выборок, позволяющие «просмотреть» сетевой трафик в режиме «он-лайн», как это показано на рисунке 2.

И

20

0«

..... . . ftfACV wAtttf*

А4,"Л

600 602 604 606 608 610 612 6X4 616 611 6»

Рис. 2. Сетевой трафик, разбитый на окна наблюдения

Статистический анализ, проведенный в границах каждого окна, может быть положен в основу построения пространства информативных признаков и определения критериев выявления сетевых аномалий. Анализ предполагает вычисление для каждого окна следующих статистических характеристик [3]:

Выборочное среднее: ^ _ -£‘+пу Здесь Б; - выборочное значение интенсивности трафика в момент Выборочная дисперсия: и2= 1 — ^)2-

n(s —т)3

Коэффициент асимметрии у >=‘k 1 °

опреде-

ляющии степень асимметричности плотности вероятности относительно оси, проходящей через ее центр тяжести.

¿у1+п,_ гй-44

= п ! = 1 1 1) _35

Коэффициент эксцесса у._

показы ваю-

щии, насколько острую вершину имеет плотность вероятности по сравнению с нормальным распределением. Если коэффициент эксцесса больше нуля, то распределение имеет более острую вершину, чем распределение Гаусса, если меньше нуля, то более плоскую показывает, насколько острую вершину имеет плотность вероятности по сравнению с нормальным распределением.

Для исследования спектральных свойств трафика при отсутствии и наличии аномальных выбросов используется корреляционный анализ, включающий вычисление корреляционной функции, коэффициента корреляции и интервала корреляции. Вычисление корреляционной функции осуществляется в соответствии с соотношением:

п+1-к

i=i

где к - лаг (временной сдвиг исходного ряда).

Под коэффициентом корреляции гЦк) будем понимать нормированное значение корреляционной функции г ¡(к) = Ri(k)/Ri( 0).

Под интервалом корреляции Ткор будем понимать значение аргумента, при котором автокорреляционная функция для каждого окна первый раз меняет знак.

Поскольку наиболее полной статистической характеристикой независимых случайных величин является плотность распределения вероятностей (ПРВ) \v(x) или тесно связанная с ней функция вероятности (ФР) F(x), проводимый статистический анализ должен также включать оценку ПРВ для различного положения окна наблюдения.

Примеры статистического анализа

аномальных выбросов

Образцы сетевого трафика, включающие аномалии можно найти на сайтах [4,5].

У

гк

У

гк

Литература

женных фильтров на всем протяжении аномалии носит не сингулярный характер, а квазистационарный характер. Например, для аномалии типа Smurf характерно сингулярное возникновение высокочастотной составляющей в трассе при возникновении аномалии. ВЧ составляющая квазиста-ционарна на всем протяжении регистрации аномалии и так же резко исчезает при прекращении данного типа аномалии. Для аномалии типа ICMP-flooding характерным примером является резкая смена формы и вида ПРВ, сохраняющаяся на всем протяжении аномалии и такая же резкая смена характеристик ПРВ по завершении аномалии.

Предложенная суперпозиция статистических критериев позволяет диагностировать различные типы аномалий трафика.

1. Шелухин О.И., Сакалема Д.Ж.. Филипова А.С. Обнаружение вторжений в компьютерные сети. Сетевые аномалии. - М.: Горячая линия - телеком, 2013. -220 с.

2. Нестеренко В.А. Статистические методы обнаружения нарушений безопасности в сети // Информационные процессы, 2006. -Т.6, №3. - С.208-217.

3. Шелухин О.И. Моделирование информационных систем. - М: Горячая линия - Телеком, 2011. - 536 с.

4. http://www.ll.mit.edu/rnission/conimunications/ist/corpora/ideval/ data/index, html.

5. DARPA Intrusion Detection Evaluation. Intrusion Detection Attacks Database - http://www.ll.mit.edu/mission/communications/ ist/corpora/ideval/docs/attackDB.html.

Analysis of diagnostic criteria for statistical network anomaly detection

Oleg I. Sheluhin, professor, Department of Information Security Moscow Technical Univ. of Communication & Informatics, Moscow, Russia, sheluhin@mail.ru

Roman A.Sudarikov, aspirant, Department of Information Security Moscow Technical Univ. of Communication & Informatics, Moscow, Russia,

roman.sudarikov@gmail.com

Abstract

A key element of any network system performance monitoring is online anomaly detection, which is to understand whether a system network data is close to the normal pattern or significantly deviates from expected and requires further investigation and diagnosis. This paper presents statistical techniques based on applying thresholds to individual data points and involving measuring the changes in distribution by windowing the data and using that to determine anomalies. Realtime network anomaly detection requires 'lightweight* techniques that provide sufficient accuracy for subsequent diagnosis and management actions. There are several challenges in designing effective solutions for such online anomaly detection under conditions of huge amount of data. One of the critical performance aspects of any anomaly detection algorithm is the speed with which it can detect the anomaly. Another aspect is scale, for which the anomaly detection methods must be 'lightweight*, both in terms of the number of metrics they require to run (the volume of monitoring data continuously captured and used), and in terms of their run-time complexity for executing the detection methods. Anomaly detection is important because it must be done continuously, as long as a system is running and at scale of entire amount of network data. We have experimented the proposed algorithms using network data with dif-ferent injected performance and configuration network anomalies such as ICMP flooding, UDP storm, Fraggle, Smurf, Synflooding, Flashcrowd attack. It is shown that for all the types of traffic anomalies, submitted a set of statistical filter contains more than one feature, which allows detecting anomaly traffic. Furthermore, it should be noted that the result of applying the proposed filters throughout anomaly is not singular but quasistationary. For example, the Smurf type anomaly specific is occurrence of high-frequency component which singularly appears with the anomaly, remains within and disappears with the anomaly. The ICMP-flooding type anomaly specific is singularly changing of the probability density functions characteristic. It's shown the proposed superposition of statistical criteria allows diagnosing different type of anomalies.

Keywords anomalies the network traffic; detection methods; wavelet decomposi-tion; coefficients detailed and approximation.

References

1. Shelukhin O.I., Sakalema DZ, Filinova AS. Intrusion detection in computer networks. Network anomalies. Moscow, 2013. 220 p.

2. Nesterenko VA Statistical methods of detecting violations of network security / Information Processes, 2006. Vol.6, No3. pp.208-217.

3. Shelukhin O.I. Modeling of information systems. Moscow, 2011. 536 p.

4. Http://www.ll.mit.edu/mission/communications/isl/corpora/ideval/data/index.html.

5. DARPA Intrusion Detection Evaluation. Intrusion Detection At-tacks Database. http://www.ll.mit.edu/mission/communications/ist/corpora / ideval /docs / attackDB.html.