CC BY
96
X ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ
УДК 004.932
doi:10.15217/issn1684-8853.2016.5.15
ПРИМЕНЕНИЕ НЕЧЕТКОГО ЭВОЛЮЦИОННОГО КЛАССИФИКАТОРА ТАКАГИ - СУГЕНО ДЛЯ ЗАДАЧ ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ НА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ
В. В. Буряченкоа, канд. техн. наук, старший преподаватель М. Н. Фаворскаяа, доктор техн. наук, профессор А. И. Томилинаа, аспирант
аСибирский государственный аэрокосмический университет им. академика М. Ф. Решетнёва, Красноярск, РФ
Постановка проблемы: обнаружение и сопровождение объектов на видеопоследовательности является неотъемлемой функцией систем видеонаблюдения. Несмотря на то, что объекты интереса, как правило, известны заранее, их вариативность относительно форм, местоположений, характера движения и взаимодействия с другими объектами сцены является значительной, что не позволяет применять жесткие классификационные схемы. В последнее время все большее распространение получают интеллектуальные методы, в частности, методы, основанные на нечеткой логике. Цель: построение эволюционного классификатора на основе нечеткой модели Такаги — Сугено для обнаружения и сопровождения объектов интереса в сложных условиях видеонаблюдения. Результаты: разработан нечеткий эволюционный классификатор, разделяющий блоки пикселов на фон и объекты интереса (объекты переднего плана) и предсказывающий положение движущихся объектов интереса. Эволюционный классификатор на основе нечеткой модели Такаги — Сугено применен для анализа сцен со стационарной и перемещающейся видеокамерой при наличии артефактов съемки, вызывающих нестабильность получаемых видеоматериалов. Алгоритм протестирован с использованием общедоступных данных SVW (Sports Videos for Wild), которые содержат большое число видеопоследовательностей, отснятых движущейся видеокамерой. Практическая значимость: применение нечеткой модели позволяет достичь высокой точности 80-95 % обнаружения и сопровождения объектов в сложных условиях видеонаблюдения.
Ключевые слова — нечеткий эволюционный классификатор, нечеткая логика, модель Такаги — Сугено, детектирование фона, компенсация движения.
Введение
В настоящее время задачи видеонаблюдения и видеоаналитики тесно связаны с проблемами обнаружения людей и других объектов и могут применяться как для создания коммерческих систем, например для поиска постоянных клиентов в магазинах или на автозаправках, так и в городских системах безопасности для обнаружения аварий, оставленных предметов и детектирования сложных ситуаций на дорогах. В большинстве таких задач необходимо выполнять детектирование значимых объектов переднего плана, их сопровождение и анализ видов движения. При этом в непростых условиях видеонаблюдения, таких как изменение освещения, смещение положения камеры, перекрытие значимого объекта различными элементами переднего плана, сложно применять обычные методы детектирования и отслеживания объектов [1, 2].
В последнее время исследования, направленные на разработку методов обнаружения и сопровождения объектов, проводятся с использованием предсказательных алгоритмов. Одним из наиболее известных способов обнаружения объектов на видеопоследовательностях является метод вычитания фона. При этом детектирова-
ние объектов переднего плана осуществляется по значительным отличиям их цветояркост-ных характеристик от построенной на основе большого количества кадров модели фона [3, 4]. Главным его недостатком является необходимость наличия статической сцены, так как используются несколько десятков кадров для построения стабильной модели фона. При этом некоторые изменения в освещенности или незначительные изменения, такие как листва деревьев, вода в реке, могут существенно ухудшить точность обнаружения объектов. Другим недостатком подобных методов является необходимость обработки большого количества кадров при определении положения объекта интереса в сцене.
Анализ методов обнаружения объектов
Метод детектирования и сопровождения объектов с применением фильтра Калмана [5] предсказывает положение объектов, опираясь на гауссово распределение, и предполагает линейную модель движения, которая не всегда применима в реальных условиях.
Широко известен метод, основанный на построении модели фона путем оценки плотности
ядра (Kernel Density Estimation — KDE [3]) по линейной зависимости
p((W)t ) = N % ПКст ((^) - z(UU, (!)
r=1l=1
где z(i, j) — набор особенностей, например цветовых характеристик (H, S, V; R, G, B — оттенок, насыщенность, яркость; красный, зеленый, синий); Кст — функция ядра с пропускной способностью ст; n — количество характеристик; N — количество кадров; i, j — координаты пиксела; r и t — индексы предыдущего и текущего кадров соответственно.
При использовании гауссова распределения модель принадлежности пиксела фону определяется функцией
{ , ч ч 1 N -% ()-z(ii)ri)2
p(z(i,i)t )=—ГТ % e l=1 ■ (2)
NV2лст2 r =1
Пусть имеется видеопоток, содержащий информацию о статичной сцене. Тогда можно оценить плотность ядраp(z(-)) для каждого пиксела, после чего на основе заданного порога определить, является ли этот пиксел фоном или принадлежит некоторому новому объекту переднего плана [3, 4]. Данный метод считается точным, но дорогостоящим подходом с точки зрения вычислительных затрат. К тому же необходимо подбирать пороговое значение экспериментально [4, 6]. Решение о принадлежности пиксела фону или объектам переднего плана принимается на основе следующего правила:
R: ЕСЛИ (p(z(i, i)t ) < Порог)
ТО (p (z(i, i)t ) Область Интереса)
ИНАЧЕ (p(z(i, i)t ) Фон)■ (3)
В данной работе предложен алгоритм, позволяющий совместить способ оценки ядра с предсказательными способностями эволюционных алгоритмов и нечетких моделей. Нечеткие системы успешно применяются к большому набору задач, таких как принятие решений, распознавание образов и интеллектуальная обработка изображений [7-9]. В дальнейшем развитие алгоритмов и нечетких классификаторов, основанных на искусственных нейронных сетях, стало эффективным решением для построения универсальных классификаторов, в том числе в задачах аппроксимации [10, 11]. Также стоит отметить, что результаты классификации систем, основанных на нечеткой логике, проще интерпретировать и обосновывать, чем результаты работы нейронных и эволюционных алгоритмов.
Эволюционная модель нечеткого классификатора имеет ряд достоинств по сравнению с обыч-
ными моделями. Для такой модели следует задавать только вид правил, основанных на экспертных знаниях. Параметры же нечетких правил и их количество классификатор подстраивает в зависимости от ситуации. Это улучшает точность классификации, при этом влияние пользовательских оценок снижается [12].
Эволюционная нечеткая модель Такаги — Су-гено (эТС) рассматривалась в работах для решения задач обнаружения объектов [13] и является одной из быстро работающих систем с возможностью предсказания и интерактивной подстройки правил и параметров модели. Предложенный в работе алгоритм позволяет производить оценку положения и траектории объекта в интерактивном режиме однопроходным способом, так как вычисления выполняются с использованием рекурсивных расчетов. К тому же алгоритм не использует пороги, подобранные вручную, что исключает влияние пользовательских оценок на результат работы.
Описание работы эволюционного классификатора
Эволюционная нечеткая модель Такаги — Сугено состоит из набора нечетких правил, количество и параметры которых не являются заранее заданными, а могут подстраиваться в процессе работы. Она является интерактивной самообучающейся версией широко известной нечеткой модели Такаги — Сугено [14], в которой комбинируются нечеткие правила, состоящие из частей ЕСЛИ (антецедент — условие, которое может иметь линейный и нелинейный вид), ТО (консек-вент — заключение). Модель обучается на основе набора данных, которые подаются последовательно, и не требует экспертных знаний при создании системы. В данной работе под исходными данными понимается информация о движении и цветовых параметрах объектов, получаемая из кадров видеопотока. Классификация образцов в процессе работы системы состоит из двух этапов:
1) кластеризации данных — положение и характеристики пространства пикселов на текущем и предыдущих кадрах разделяются на локальные подмножества;
2) подстройки параметров нечетких правил в области заключений в соответствии с ранее поданными на вход модели образами и результатами кластеризации на предыдущих этапах.
Во время первого этапа работы значения классов неизвестны и должны быть предсказаны. На втором этапе выполняется обновление информации и подстройка параметров классификатора, в том числе количество нечетких правил (рис. 1).
Алгоритм кластеризации пикселов на принадлежность к фону или объектам переднего плана состоит из трех основных этапов: вычисления
Исходные кадры
Обучение нечеткого классификатора
Формирование правил Ri для классификатора
Разбиение
блоков на кластеры фона и объекта
Подача кадра t + 1
Изменение возраста age правил
Объединение векторов в кластер фона
Уточнение границ классификатора
Результат классификации
■ Рис. 1. Схема работы алгоритма кластеризации пикселов на фон и объекты переднего плана при помощи нечеткого классификатора
значений входных параметров модели, формирования нечетких правил для классификатора и обучения классификатора, состоящего в уточнении параметров правил. При успешном обнаружении значимого объекта алгоритм выполняет предсказание его положения на следующем кадре.
Вычисление входных параметров для нечеткой модели
Оценка векторов движения у для каждого блока изображения г выполняется на основе вычисления среднеквадратичного отклонения для блоков пикселов между кадрами г - 1 и г [15]. Набор локальных векторов для всего кадра г позволяет вычислить вектор глобального движения кадра gmvt в соответствии с аффинной моделью движения, который показывает смещение камеры между двумя соседними кадрами.
Вычисление значения оттенка и интенсивности ИЬ для пиксела с координатами (¿, у) производится по формуле
HL(i, j)t =yJ(H(i, j)t ) ~{L(i, j)t)2.
(4)
Показатель среднего значения для данного блока вычисляется на основе суммы квадратов разности И и Ь для текущего блока изображения размером ц?/10, Л/10:
HL(b, m)t =
Ht + Ht_i
Lt + Lt_l
(5)
где Ь, т — номер блока изображения г, соответствующий текущему положению пикселов (¿, у); w, Л — ширина и высота изображения.
Формирование правил для классификатора
Эволюционная модель Такаги — Сугено используется для выполнения кластеризации пикселов на принадлежность фону изображения или обла-
сти, которая может относиться к объектам переднего плана. Достоинством модели является автоматическая подстройка параметров в зависимости от изменяющихся условий на различных кадрах: освещенности, уровня движения, наличия или отсутствия движущихся объектов переднего плана. Также следует отметить, что в связи с реалистичной природой видеопоследовательностей, а именно нелинейным движением камеры, становится невозможным использовать классические методы детектирования фона и объектов в кадре [3, 4].
Эволюционная модель Такаги — Сугено представляется в виде набора правил, который формируется самостоятельно в процессе обучения модели при подаче новых образцов (кадров) в интерактивном режиме. При этом число правил может быть различным в зависимости от количества необходимых состояний модели.
Дополнительно вводится ограничение «возраста» каждого правила, которое позволяет выполнять постепенное обновление состояний модели с целью уменьшить влияние тех правил, которые не применялись за последние t кадров.
При формировании нового правила ему присваивается значение ager = 1. Далее коэффициент возраста каждого правила изменяется при подаче нового образца в зависимости от общего числа правил, возраста правила и того, применялось ли данное правило r на последней итерации. Коэффициент возраста age правила r вычисляется по формуле
ager framer
ager = ager + Usedr
R t(t _ framer)
(6)
где Я — общее число активных правил в модели на данный момент; ^атвг — номер кадра, в котором было сформировано правило г; г — номер текущего кадра; Ше^ принимает значение 1 или -1 в зависимости от того, было ли использовано правило г на последней итерации.
Эволюционная модель Такаги — Сугено имеет еще одно достоинство: формируемые правила могут быть представлены в виде легкоинтерпре-тируемых лингвистических выражений следующего вида:
И: ЕСЛИоколо ) И (ИЬ(Ь, около ИЬ(Ъ, ) ТО (р(1, ]') Область Интереса) ИНАЧЕ (р(;, ]) Фон). (7)
Эволюционная нечеткая модель Такаги — Сугено также позволяет предсказать значения вычисляемых параметров на следующем кадре, что дает возможность задать границы параметров, отвечающих за выполнение кластеризации блоков пикселов изображения:
И: ЕСЛИ (I ши(1, ]')(около gmvt)
И (ИЬ(Ь, j)t около ИЬ(Ъ, m)t)
^ gmvt+l = а0 + allmvt + а2ИЦ ^ . И!^+1 = Ъо + Ъllmvt + Ъ2ИЦ
ТО
(8)
где а0, а1, а2, Ъ0, Ъ1, Ь2 — настраиваемые в процессе обучения коэффициенты модели Сугено.
Обучение классификатора
В процессе работы алгоритма выполняется интерактивная подача новых изображений видеопоследовательности, и классификатор эволюционной модели Такаги — Сугено постепенно обучается более точно выполнять разделение на объекты переднего плана и фон изображения. Для различных блоков пикселов подбираются разные показатели ИЬ1 и ¡ши^ так как цветовые характеристики изображения различны на разных участках. Поэтому формируются различные правила для участков изображения, характеризующих появление объектов переднего плана в соседних блоках пикселов изображения.
При подаче большего числа кадров увеличивается точность оценки принадлежности пиксела одному из классов. Для каждого блока пикселов обучение производится на правилах вида
И: ЕСЛИ (и около х1* )
И.. .И (хп около Х* ) ТО И = ХТ©), (9)
где X = [1, Х1, Х2,..., хп ]Т описывает п + 1 расширенных векторов особенностей; у1 — выход модели. Значения вектора X формируются на основе входных данных ИЬг и 1то„ и этот вектор соответствует сумме квадратов нормализованных параметров для каждого блока:
V; =
£ ^ gmv;j2
иц 2
I=01=0 gmvmed ИЦшв4
(10)
Выходные значения каждого правила можно нормализовать таким образом, что сумма значений всех правил будет равна 1:
' N
= У; £ У; ■
(11)
;=1
Нормализованные значения у1 могут быть интерпретированы как вероятность принадлежности данного блока изображения к определенному классу: 0 как не относящегося к этому классу и 1 как принадлежащего данному классу. В этом отношении данный подход имеет сходство с так называемым матричным классификатором [16], который используется при наличии знаний обо всех доступных образцах. Подобная схема может применяться не только для разделения исходных данных на два класса, но и в более общих случаях.
Общий выход модели формируется как взвешенная сумма нормированных выходов каждого правила по методу центра тяжести:
N ( I N \
У=£
;=1
У;,
(12)
где 81 — степень доверия ¿-го нечеткого правила, которое определяется как произведение (логическая операция И) значений функции принадлежности ]-й особенности цу, ] = [1, п], нечеткого множества (х| около ху ):
8; =П5У (XI), у = [1, п]. 1=1
(13)
Данная схема вывода соответствует известному правилу эволюционных алгоритмов «Победитель забирает все» [17].
Значение выхода у используется для определения принадлежности набора входных данных к одному из двух классов. Разделение на классы выполняется на основе порога, в этом случае все значения, которые находятся ниже порога, относятся к классу 1, а значения выше порога принадлежат к классу 2. Значение порога 1г модифицируется в процессе обучения классификатором, на первом шаге оно задано как 1г = 0,5. Подобная модель может быть применена для решения различных задач классификации входных данных, причем не только на два различных класса [6]:
ЕСЛИ (у > ^)
ТО (Класс 1) ИНАЧЕ (Класс 2).
(14)
В данной работе выполняется классификация на принадлежность фону или значимым объектам переднего плана, которые, как правило, имеют отличные от фона параметры движения
и цветояркостные характеристики. Таким образом, все блоки пикселов, исходные значения которых находятся выше порога принадлежат объектам переднего плана; пикселы, показатели которых ниже порога, принадлежат фону изображения.
Результаты классификации блоков изображения на два класса (фон и объекты переднего плана) после 100 и 200 образцов (кадров) представлены на рис. 2. Сформированы четыре нечетких правила, которые показаны на двумерном изображении для двух своих признаков. Нелинейная классификация поверхности выводится как значение у, которое равно 0,47 (рис. 2, а), и 0,33 (рис. 2, б). На рис. 2 показан процесс эволюции классификатора для различных кадров одной и той же видеопоследовательности, что свидетельствует о необходимости интерактивной классификации для решения данной и других задач.
В процессе обучения нечеткий классификатор выполняет подстройку своих параметров: число нечетких правил, изменение возраста правила, при котором влияние каждого из правил изменяется, подстройка порога классификации и другие
а) 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1
0
б) 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1
0
y = 0,47
0
0
0,4
класс 1
0,6 0,8
■ — класс 2
■ Рис. 2. Эволюция границ классификатора на 100-м кадре (а) и 200-м кадре (б); видеопоследовательность Ъа8ке№а111.шр4, база данных SVW [18]
< Изменение сцены
и видеопоследо-
i 100 Формирование 4-го правила вательности
Возраст 1-3-го правил > 100
201 241 281 Номер кадра t
■ Рис. 3. Оценка достоверности работы классификатора при обучении в зависимости от формирования правил, изменения их актуальности и изменения сцены видеопотока; видеопоследовательность gymnastic_5 511. шр4, база данных SVW [18]
параметры. При этом достоверность классификации после подачи 50-100 образцов (кадров видеопоследовательности) доходит до высоких значений порядка 80-95 % (рис. 3).
Классификатор применялся для задач определения фона и значимых объектов переднего плана на видеопоследовательностях. Отметим, что в зависимости от частоты изменения сцены может потребоваться переобучение классификатора.
Результаты экспериментов
Эксперименты проводились с применением видеопоследовательностей, представленных в табл. 1. В общей сложности проанализировано 50 видеопоследовательностей из базы данных SVW (Sports Videos in the Wild) [18], включающей более 500 видеопоследовательностей, для которых известен ряд параметров, а именно: принадлежность к определенному виду спорта, наличие движения и дрожания камеры, определены границы движущихся объектов и разрешение видеопоследовательности.
Результаты тестирования набора данных SVW по скорости и достоверности работы предложенного классификатора по сравнению с другими известными алгоритмами эволюционного обучения и разделения изображения на фон и объекты переднего плана приведены в табл. 2.
Также были проведены эксперименты, позволяющие оценить возможность отслеживать движущиеся объекты на основе выделения значимых объектов переднего плана. Данная задача имеет свои особенности в зависимости от наличия движущейся камеры. Один из наиболее часто применяемых методов в задачах отслеживания объектов основан на методе вычитания фона [4]. Однако в случае движения оператора он становится неприменим. Алгоритм показал
■ Таблица 1. Описание исходных данных экспериментов
Название
Пример кадра
Разрешение, пикс
Количество кадров
Виды движения
Объекты переднего плана
Априорная информация о границах движения
Ъа8ке1Ъа11_
10191.тр4
(SVW)
270x480
120
Статичная сцена, неравномерное движение объектов
Несколько объектов
Есть границы движения для каждого из кадров
gymnastic_
5511.тр4
(SVW)
360x480
300
Нестабильная съемка, движение значимого объекта в кадре
Один объект интереса
То же
diving_4140 .тр4 (SVW)
270x480
180
Один движущийся объект, быстрое смещение камеры
Один объект интереса
vo11ey_1010
0153.тр4
(SVW)
270x480
480
Несколько движущихся объектов, статичная сцена
Несколько объектов небольшого размера
diving_1104 .тр4 (SVW)
270x480
180
Один движущийся объект, быстрое смещение камеры
Один объект интереса
running_546 .тр4 (SVW)
270x480
210
Один движущийся объект, быстрое смещение камеры
Один объект интереса
sam_1.avi (Grundmann, [19])
630x360
330
Нестабильная съемка, неравномерное движение объекта в кадре
Один объект интереса
Маска движения для тестовых кадров
Г1
Т1
Т1
Т1
■ Таблица 2. Сравнение эффективности работы эТС-классификатора с другими алгоритмами
Название алгоритма Время обработки одного кадра, мс Время обработки 300 кадров (с учетом дополнительных операций), мс Достоверность классификации, % Вычислительные затраты
эТС-модель 2,11 452,16 82,0 0,315
KNN [12] 2,52 652,10 83,4 0,45
С45 [12] 8,39 2411,67 75,5 6,48
RDE [6] 1,27 271,32 75,1 0,41
еС^1 [12] 1,98 591,00 84,5 0,2480
высокую надежность работы при отслеживании положения движущихся объектов (более 85 %), однако точность отслеживания объекта можно повысить, если от блочного способа выделения объекта перейти к цветояркостным компонентам (рис. 4).
Третий метод тестирования предназначался для оценки качества компенсации движения на видеопоследовательности [20]. В задачах стабилизации видеопоследовательности одним из этапов работы является оценка вектора глобального движения кадра [21], при этом на точность оценки может оказать негативное влияние наличие объектов переднего плана, движение кото-
рых отлично от движения камеры. Необходимо устранить непреднамеренное движение камеры, сохранив реальное движение, например панорамирование или поворот камеры. Поэтому целесообразно выполнять оценку сглаживающего вектора движения только на основе фона изображения.
Эволюционная модель Такаги — Сугено применялась для классификации кадров видеопоследовательности на фон и объекты переднего плана, после чего была проведена оценка сглаживающего вектора на основе всех имеющихся векторов движения и векторов [22], относящихся к фону изображения (рис. 5).
■ Рис. 4. Использование эТС-классификатора для отслеживания движущихся объектов в сложных условиях: а — оригинальные кадры видеопоследовательности; б — применение классификатора для обнаружения значимых объектов; в — выделение объекта при отслеживании движения; видеопоследовательность gymnastic_5511.mp4 [18]
-■■ — оценка движения на блоках, найденных эТС-моделью — — сглаживающий вектор движения
■ Рис. 5. Использование эТС-классификатора для повышения качества оценки сглаживающего вектора движения для видеопоследовательности diving_4140.mp4 [16]
Результаты работы алгоритма показали увеличение достоверности оценки сглаживающего вектора на 10-20 %.
Заключение
В работе представлено описание эволюционного нечеткого классификатора на основе модели Такаги — Сугено, отличительной чертой которого является возможность изменять собственные правила и настраивать параметры модели. Для классификатора изначально задан вид правил и набор исходных данных. В процессе обучения подаются экземпляры данных — модуль и направление векторов движения и цве-то-яркостные характеристики пикселов. В дальнейшем выполняется их сравнение с входными данными соседних блоков в целях кластеризации параметров на два класса: принадлежность к значимым объектам переднего плана или фону изображения. Эволюционный нечеткий классификатор показал высокую надежность при детектировании и сопровождении объектов переднего плана, сравнимую с другими известными
1. Foresti G., et al. Active Video-Based Surveillance System: the Low-Level Image and Video Processing Techniques Needed for Implementation/ G. Foresti, C. Micheloni, L. Snidaro, P. Remagnino, T. Elis // IEEE Signal Process Magazine. 2005. Vol. 22. N 2. P. 25-27.
2. Pavlidis I., et al. Urban Surveillance Systems: from the Laboratory to the Commercial World/ I. Pavlidis, V. Morellas, P. Tsiamyrtzis, S. Harp // Proc. of the IEEE. 2001. Vol. 89. N 10. P. 1478-1497.
3. Elgammal A., et al. Background and Foreground Modeling Using Non-Parametric Kernel Density Es-
алгоритмами. Следует отметить, что эффективность алгоритма при выделении объектов переднего плана значительно превосходит аналоги, в которых используются только пространственные характеристики, такие как яркость, контраст, цвет, но не учитывается движение самих объектов.
Производительность алгоритма была протестирована с использованием известных баз данных, содержащих большое количество видеопоследовательностей движущихся объектов при смещении и непреднамеренном движении камеры. Разработанный алгоритм эволюционного нечеткого классификатора Такаги — Сугено может быть использован в задачах сопровождения объектов, выделения нежелательных объектов на видеопоследовательности, а также в тех алгоритмах, для которых необходимо выполнять сглаживание движения, например для удаления глобального движения или стабилизации видеопоследовательностей в сложных сценах.
Работа выполнена при поддержке Российского фонда фундаментальных исследований, проект 16-07-00121 А.
timation for Visual Surveillance / A. Elgammal, R. Duraiswami, D. Harwood, L. Davis // Proc. of the IEEE. 2002. Vol. 90. N 7. P. 1151-1163.
4. Cheung S.-C. S., Kamath C. Robust Techniques for Background Subtraction in Urban Traffic Video // EURASIP Journal on Applied Signal Processing. 2005. Vol. 2005. P. 2330-2340.
5. Kalman R. E. A New Approach to Linear Filtering and Prediction Problem // Transactions of the ASME - Journal of Basic Engineering. 1960. Vol. 82 (Series D). P. 35-45.
6. Angelov P., Sadeghi-Tehran P., Ramezani R. An Approach to Automatic Real-Time Novelty Detection,
Object Identification, and Tracking in Video Streams Based on Recursive Density Estimation and Evolving Takagi-Sugeno Fuzzy Systems // Intern. Journal of Intelligent Systems. 2010. Vol. 26. N 3. P. 189-205.
7. Cordon O., et al. Ten Years of Genetic Fuzzy Systems: Current Framework and New Trends/ O. Cordon, F. Gomide, F. Herrera, F. Hoffmann, L. Magdalena // Fuzzy Sets and Systems. 2004. Vol. 141. N 1. P. 5-31.
8. Ishibuchi H., Nakashima T., Nii M. Classification and Modeling with Linguistic Granules: Advanced Information Processing. — Berlin, Heidelberg: Springer-Verlag, 2004. — 304 p.
9. Favorskaya M. N., Buryachenko V. V. Video Stabilization of Static Scenes Based on Robust Detectors and Fuzzy Logic // Intelligent Interactive Multimedia Systems and Services: Proc. of the 6th Intern. Conf. on Intelligent Interactive Multimedia Systems and Services (IIMSS 2013); Frontiers in Artificial Intelligence and Applications/G. A. Tsihrintzis, M. Virvou, T. Watanabe, L. C. Jain, R. J. Howlett (Eds.). 2013. Vol. 254. P. 11-20.
10. Wang L.-X. Fuzzy Systems are Universal Approxima-tors // Proc. of the IEEE Intern. Conf. on Fuzzy Systems, San Diego, CA, USA, 1992. P. 1163-1170.
11. Hopner F., Klawonn F. Obtaining Interpretable Fuzzy Models from Fuzzy Clustering and Fuzzy Regression // Proc. 4th Intern. Conf. on Knowledge-Based Intelligent Engineering Systems and Allied Technologies, Brighton, UK, 2000. Vol. 1. P. 162-165.
12. Angelov P., Xiaowei Z. Evolving Fuzzy-Rule-Based Classifiers from Data Streams // IEEE Transactions on Fuzzy Systems. 2008. Vol. 16. N 6. P. 1462-1475.
13. Angelov P., Filev D. An Approach to On-Line Identification of Takagi-Sugeno Fuzzy Models // IEEE Transactions on Systems, Man, and Cybernetics: Part B (Cybernetics). 2004. Vol. 34. N 1. P. 484-498.
14. Sugeno M. Industrial Applications of Fuzzy Control. — N. Y.: Elsevier Science Inc., 1985. — 278 p.
15. Буряченко В. В., Ткачева А. А., Томилина А. И. Разработка программного обеспечения стабилизации видеопоследовательностей в системах технического зрения // Региональные проблемы дистанционного зондирования Земли: материалы Между-
нар. науч. конф., Красноярск, 22-25 сентября 2015 г. Красноярск, 2015. С. 105-109.
16. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference and Prediction. 2nd ed. — Berlin, Heidelberg: SpringerVerlag, 2009. — 698 p.
17. Klawonn F., Klement P. E. Mathematical Analysis of Fuzzy Classifiers // Advances in Intelligent Data Analysis Reasoning about Data (IDA-97): Proc. of Second Intern. Symp., London, UK, Aug. 4-6, 1997/ X. Liu, P. Cohen, M. Berthold (Eds.). LNCS. 1997. Vol. 1280. P. 359-370.
18. Safdarnejad S. M., et al. Sports Videos in the Wild (SVW): A Video Dataset for Sports Analysis, Automatic Face and Gesture Recognition/ S. M. Safdarnejad, L. Xiaoming, U. Lalita, A. Brooks, J. Wood, D. Craven // Proc. 11th IEEE Intern. Conf. and Workshops on Automatic Face and Gesture Recognition (FG), Ljubljana, Slovenia, 2015. Vol. 1. P. 1-7.
19. Grundmann M., Kwatra V., Essa I. Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths // Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Providence, RI, USA, 2011. P. 225-232.
20. Favorskaya M. N., Buryachenko V. V. Fuzzy-Based Digital Video Stabilization in Static Scenes // Intelligent Interactive Multimedia Systems and Services in Practice / G. A. Tsihrintzis, M. Virvou, L. C. Jain, R. J. Howlett, T. Watanabe (Eds.). SIST. 2015. Vol. 36. P. 63-83.
21. Favorskaya M. N., Jain L. C., Buryachenko V. V. Digital Video Stabilization in Static and Dynamic Scenes // Computer Vision in Control Systems-1: Mathematical Theory / M. N. Favorskaya, L. C. Jain (Eds.). ISRL. 2015. Vol. 73. P. 261-310.
22. Буряченко В. В., Томилина А. И. Построение плавной 3D-траектории движения камеры на основе методов структуры по движению // Цифровая обработка сигналов и ее применение: материалы 18-й Междунар. конф., Москва, 30 марта — 1 апреля 2016 г. М., 2016. Т. 2. С. 876-881.
UDC 004.932
doi:10.15217/issn1684-8853.2016.5.15
Using Fuzzy Evolutionary Classifier for Detecting and Tracking Objects in Video Sequences
Buryachenko V. V.a, PhD., Associate Professor, buryachenko@sibsau.ru Favorskaya M. N.a, Dr. Sc., Tech., Professor, favorskaya@sibsau.ru Tomilina A. I.a, Post-Graduate Student, nastomila@gmail.com
aSiberian State Aerospace University named after academician M. F. Reshetnev, 31, Krasnoyarsky Rabochy St., 660037, Krasnoyarsk, Russian Federation
Introduction: Detecting and tracking objects on video sequences is an essential function of surveillance systems. Even though the objects of interest are usually determined ahead, their variability in reference to shapes, locations, motion types and interaction with other objects is important, making rigid classification schemes inappropriate. Recently, intelligent methods, particularly those based
on fuzzy logic, are becoming more and more common. Purpose: On the base of Takagi-Sugeno fuzzy model, an evolutionary classifier has to be built, in order to detect and track objects of interest under difficult surveillance conditions. Results: A fuzzy evolutionary classifier is developed which separates pixel blocks into the background and objects of interest (foreground objects), predicting the location of the moving objects. This evolutionary classifier based on the fuzzy Takagi-Sugeno model is applied for the analysis of scenes with a stationary or moving video camera under shooting artifacts which make the video materials non-stationary. The algorithm was tested using a public data set "Sports Videos for Wild" (SVW) which contains a large number of video sequences obtained from a moving video camera. Practical relevance: The application of the fuzzy model provides a high accuracy (80-95 %) of detecting and tracking objects under difficult surveillance conditions.
Keywords — Fuzzy Evolutionary Classifier, Fuzzy Logic, Takagi-Sugeno Model, Background Detection, Motion Compensation.
References
1. Foresti G., Micheloni C., Snidaro L., Remagnino P., Elis T. Active Video-Based Surveillance System: the Low-Level Image and Video Processing Techniques Needed for Implementation. IEEE Signal Process Magazine, 2005, vol. 22, no. 2, pp. 25-27.
2. Pavlidis I., Morellas V., Tsiamyrtzis P., Harp S. Urban Surveillance Systems: from the Laboratory to the Commercial World. Proc. of the IEEE, 2001, vol. 89, no. 10, pp. 14781497.
3. Elgammal A., Duraiswami R., Harwood D., Davis L. Background and Foreground Modeling Using Non-Parametric Kernel Density Estimation for Visual Surveillance. Proc. of the IEEE, 2002, vol. 90, no. 7, pp. 1151-1163.
4. Cheung S.-C. S., Kamath C. Robust Techniques for Background Subtraction in Urban Traffic Video. EURASIP Journal on Applied Signal Processing, 2005, vol. 2005, pp. 2330-2340.
5. Kalman R. E. A New Approach to Linear Filtering and Prediction Problem. Transactions of the ASME - Journal of Basic Engineering, 1960, vol. 82 (Series D), pp. 35-45.
6. Angelov P., Sadeghi-Tehran P., Ramezani R. An Approach to Automatic Real-Time Novelty Detection, Object Identification, and Tracking in Video Streams Based on Recursive Density Estimation and Evolving Takagi-Sugeno Fuzzy Systems. Intern. Journal of Intelligent Systems, 2010, vol. 26, no. 3, pp. 189-205.
7. Cordon O., Gomide F., Herrera F., Hoffmann F., Magdalena L. Ten Years of Genetic Fuzzy Systems: Current Framework and New Trends. Fuzzy Sets and Systems, 2004, vol. 141, no. 1, pp. 5-31.
8. Ishibuchi H., Nakashima T., Nii M. Classification and Modeling with Linguistic Granules: Advanced Information Processing. Berlin, Heidelberg, Springer-Verlag, 2004. 304 p.
9. Favorskaya M. N., Buryachenko V. V. Video Stabilization of Static Scenes Based on Robust Detectors and Fuzzy Logic. Proc. of the 6th Intern. Conf. on Intelligent Interactive Multimedia Systems and Services (IIMSS 2013) "Intelligent Interactive Multimedia Systems and Services", Tsihrintzis G. A., Virvou M., Watanabe T., Jain L. C., Howlett R. J. (Eds.), 2013, Frontiers in Artificial Intelligence and Applications, vol. 254, pp. 11-20.
10. Wang L.-X. Fuzzy Systems are Universal Approximators. IEEE Intern. Conf. on Fuzzy Systems, San Diego, CA, USA, 1992, pp. 1163-1170.
11. Hopner F., Klawonn F. Obtaining Interpretable Fuzzy Models from Fuzzy Clustering and Fuzzy Regression. 4th Intern. Conf. on Knowledge-Based Intelligent Engineering Systems and Allied Technologies, Brighton, UK, 2000, vol. 1, pp. 162-165.
12. Angelov P., Xiaowei Z. Evolving Fuzzy-Rule-Based Classifiers from Data Streams. IEEE Transactions on Fuzzy Systems, 2008, vol. 16, no. 6, pp. 1462-1475.
13. Angelov P., Filev D. An Approach to On-Line Identification of Takagi-Sugeno Fuzzy Models. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2004, vol. 34, no. 1, pp. 484-498.
14. Sugeno M. Industrial Applications of Fuzzy Control. New York, Elsevier Science Inc., 1985. 278 p.
15. Buryachenko V. V., Tkacheva A. A., Tomilina A. I. Development of Software Tool for Video Sequences Stabilization in Computer Vision Systems. Materialy Mezhdunarodnoy nauchnoi konferentcii "Pegionalnyue problemy distantchion-nogo zondirovania Zemli" [Proc. Intern. Scientific Conf. "Regional Problems of Remote Sensing"]. Krasnoyarsk, September 22-25, 2015, pp. 105-109 (In Russian).
16. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference and Prediction. 2nd ed., Berlin, Heidelberg, Springer-Verlag, 2009. 698 p.
17. Klawonn F., Klement P. E. Mathematical Analysis of Fuzzy Classifiers. Proc. of Second Intern. Symp. "Advances in Intelligent Data Analysis Reasoning about Data" (IDA-97), X. Liu, P. Cohen, M. Berthold (Eds.), 1997, LNCS, vol. 1280, pp. 359-370.
18. Safdarnejad S. M., Xiaoming L., Lalita U., Brooks A., Wood J., Craven D. Sports Videos in the Wild (SVW): A Video Dataset for Sports Analysis, Automatic Face and Gesture Recognition. 11th IEEE Intern. Conf. and Workshops on Automatic Face and Gesture Recognition (FG), Ljubljana, Slovenia, 2015, vol. 1, pp. 1-7.
19. Grundmann M., Kwatra V., Essa I. Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Providence, RI, USA, 2011, pp. 225-232.
20. Favorskaya M. N., Buryachenko V. V. Fuzzy-Based Digital Video Stabilization in Static Scenes. Intelligent Interactive Multimedia Systems and Services in Practice, G. A. Tsi-hrintzis, M. Virvou, L. C. Jain, R. J. Howlett, T. Watanabe (Eds.), 2015, SIST, vol. 36, pp. 63-83.
21. Favorskaya M. N., Jain L. C., Buryachenko V. V. Digital Video Stabilization in Static and Dynamic Scenes. Computer Vision in Control Systems-1: Mathematical Theory, Favorska-ya M. N., Jain L. C. (Eds.), 2015, ISRL, vol. 73, pp. 261-310.
22. Buryachenko V. V., Tomilina A. I. Building of Smooth 3D Trajectory of Camera Motion Using Structure on Motion Methods. Materialy 18 Mezdunarodnoy konferencii "Tsifrovaia obrabotka signalov i ee primenenie" [Proc. 18 Intern. Conf. "Digital Signal Processing and its Applications"], Moscow, 30 March-1 April, 2016, vol. 2, pp. 876881 (In Russian).
