CC BY
53
УДК 621.397.13
АЛГОРИТМ СЕГМЕНТАЦИИ ОБЪЕКТОВ В ПОСЛЕДОВАТЕЛЬНОСТИ ВИДЕОКАДРОВ МЕТОДАМИ НЕЧЕТКОЙ ЛОГИКИ
Н. А. Обухова,
канд. техн. наук, доцент Б. С. Тимофеев,
доктор техн. наук, профессор
Санкт-Петербургский государственный университет аэрокосмического приборостроения
Рассмотрен алгоритм автоматической сегментации изображений многих объектов интереса на базе математического аппарата нечеткой логики. Предложено учитывать достоверность векторов движения. Рассмотрены признаки и функции принадлежности блоков кластерам на начальном этапе кластеризации при неизвестном числе кластеров. Дана методика определения характеристик объектов. Определены признаки и функции принадлежности блоков объектам в ходе сопровождения. Показано разрешение ситуаций окклюзии (перекрытия объектов) и отождествления объекта после срыва сопровождения.
The paper concerns an algorithm of automatic segmentation for multiple objects of interest on the basis of fuzzy logic, taking into account the reliability of moving vectors. We study the attributes and membership functions for blocks and clusters at the initial segmentation stage in the case of the unknown number of clusters. Methods of finding the object characteristics, such as gravity centers, form parameters, movement models, are given. The attributes and membership functions for blocks and objects during tracking are determined. Resolution for situations of occlusion (overlapping objects) and object identification after tracking failure are shown.
В прикладных видеокомпьютерных системах актуальной является задача автоматической сегментации и сопровождения многих объектов интереса. Априорная информация об объектах минимальна: количество объектов неизвестно, даны лишь пределы изменения их размеров и скоростей перемещения в пересчете к экранной плоскости видеокамеры. Это определяет целесообразность использования для сегментации объектов совокупности признаков и математического аппарата нечеткой логики [1]. Наиболее информативными признаками являются детальность, движение и форма [2].
Классификация фрагментов изображения
При решении задач сегментации и сопровождения объектов ТВ-кадр разбивают на фрагменты (блоки). Размеры блока выбирают с учетом площади изображения минимального сегментируемого объекта и интервала усреднения, необходимого для достижения нужной точности оценки вектора смещения (движения) блока за время ТВ-кадра (рис. 1). Размер блока 8 х 8 элементов признан оптимальным при решении многих задач. Тогда, для телевизион-
ного кадра с разрешением 576 х 768 элементов общее число блоков равно 6912. Определение векторов движения для всех блоков сопряжено со значительными вычислительными затратами и непродуктивно, так как объекты интереса обычно занимают малую часть площади кадра. Поэтому перед началом обработки целесообразно разбить универсальное множество блоков в на нечеткие множества с использованием математического аппарата нечеткой логики и ряда признаков (параметров).
Под параметром «детальность» будем понимать уровень высокочастотной энергии в блоке изображения. Для оценки уровня детальности используют предварительную обработку изображения (вейвлет-преобразование, морфологический анализ, пространственное дифференцирование, выделение контуров) с последующим подсчетом интенсивности высокочастотной энергии для каждого блока (рис. 2). Например, при использовании пространственного дифференцирования по направлению х детальность блока (й, I) размером т х п
т п
Щй I) = Ь(хк + ], у + 0 - Ь(хк + ] + Ах, у1 + 0|,
1=11=1
о,эл. 1
0,3
0,2
0,1
4 8 12 16 20 24 30 34 40 N. зл.
Рис. 1. Зависимость потенциальной точности оценки смещения от размера блока
где Ь - яркость пикселя в кадре; хк, ук - координаты левого верхнего угла блока; Ах - приращение координаты х.
Введем модифицированную оценку детальности, инвариантную по отношению к уровню шума и коэффициенту передачи измерителя:
В (к, I)- Вт
Втіп
где Щт1п - оценка минимального уровня детальности в блоках, обусловленная шумами:
Щт1п = тоаа{Щ(к, г)} к = 1, ..., К, I = 1, ..., Ь,
здесь К х Ь - число блоков в изображении.
«Блок с высокой детальностью» является нечетким понятием (переменной). Определим на универсальном множестве всех блоков кадра в нечеткое множество вЩн с в блоков с «высокой детальностью» как совокупность пар|(/, I), (к, 0},
где 0 < (к, I) <1 - функция принадлежности
элемента (блока) (к, I) к множеству вЩн. Чем выше значение (к, I), тем в большей мере элемент универсального множества соответствует свойствам нечеткого множества. Функцию принадлежности обычно задают на основании опыта, априорных данных и пр. Поскольку при сегментации и сопровождении объектов важную роль играют векторы движения, включим в число свойств нечеткого множества Оон корректность их определения. На основании экспериментальных данных построен график зависимости вероятностир(к, I) верных значений векторов движения от уровня детальности блоков Щм (рис. 3). Анализ графика позволяет предложить для описания |л,с (к, I) математическую модель
50
50
Рис. 2. Сюжет «корабль и катер» и гистограмма детальности
1 ) =1- ехР[~ЧЩМ 1)].
где "л = 3 - параметр модели, численное значение которого найдено методом нелинейного программирования.
Блоки множества вЩн относят к объектам интереса и фону (см. рис. 2). Нечеткое множество «блоки с низкой детальностью» характеризуют функцией принадлежности
^0Вь (к, 1 ) = 1 ~^Овн (к, 1).
Признак движения оценивают на основе энергии движения или оптического потока [3]. Определение векторов движения для всех блоков кадра или области поиска является избыточным: если в блоке кадра £ нет значимых изменений относительно кадра £-1, то с большой вероятностью вектор движения равен нулю. Очевидно, что определять векторы оптического потока целесообразно только в тех блоках, где произошли какие-либо изменения. Модифицированная оценка этих изменений может быть получена на основе модуля межкадровой разности (энергии движения) в блоке
■ Рис. 3. Функции принадлежности:
ф - вероятности корректных векторов движения; функция принадлежности «высокая
детальность» 1%^ (к, I); — - «низкая детальность» Цвщь (к, I) в зависимости от детальности Щм
MADM (к, l) =
здесь
MAD (к, l)- MADm
MADmln
N M
MAD (к, l) = ££|L(Xk + j, yt + i, t) -
j=1 i=l
-L(Xk + j, y + i, t-1)|,
где L() - яркости пикселя в текущем t и предыдущем t -1 кадрах; MADmln - оценка межкадровой разности блока, обусловленная присутствием шумов:
MADmln = moda {MAD (к, l)}, к = 1, ..., K, l = 1, ..., L.
Введенная модифицированная оценка позволяет определить на универсальном множестве G нечеткое множество GMH блоков с «высокими значениями энергии движения». Функция принадлежности к этому нечеткому множеству
^gmh (к, l)= 1_ ехР [_PMADM (к, l)],
где Р = 3 - параметр модели, численное значение которого найдено на основе экспериментальных данных.
Функция принадлежности к нечеткому множеству Gml «блоков с низкой энергией движения»
VGml (к, l) = 1-^Gmh (к, l)-
Чем ближе ^G (к, l) к единице, тем более вероятна значимая величина вектора движения для блока (к, l). Блоки подмножества GMH с определенной вероятностью принадлежат движущимся объектам (рис. 4). Достоверность этих суждений
■ Рис. 4. Гистограмма межкадровой разности
определяется постоянством яркости движущихся объектов (во времени) и уровнем их детальности (в пространстве). На практике эти условия достаточно часто нарушаются. Блики, тени, полупрозрачные и слабо текстурированные поверхности, изменения средней освещенности приводят к появлению «энергии движения» на участках кадра, где на самом деле движения нет. Если детальность этих участков низкая, результатом поиска могут явиться так называемые аномальные векторы движения, не отражающие реальное движение. Наличие аномальных векторов в оцениваемом оптическом потоке приводит к последствиям, тяжесть которых определяется назначением системы. При устранении временной избыточности в системах видеосжатия аномальные векторы уменьшают коэффициент сжатия. Для задачи сегментации последствия будут более существенными: учет аномальных векторов может вызвать рассегментацию объекта и снижает точность определения параметров его движения.
MADm
Рис. 5. Функция принадлежности к множеству GMd
Рис. 6. Гистограмма пересечения подмножеств
Gmd - Gdh n Gmh
С целью преодоления этих недостатков предложено дополнить двумерные векторы движения третьим компонентом - оценкой его достоверности Pki: (vxkl, vykl, phl)T, где vxkl, Vyki - составляющие вектора движения (h, l) по направлениям x и y. Предварительная оценка степени достоверности векторов движения позволяет снизить влияние аномальных векторов и резко сократить вычислительную нагрузку: векторы движения следует искать только в тех блоках, где уровень достоверности достаточно высок.
Пересечение нечетких множеств Gdh п GMh определяет подмножество GMD, в котором найденные векторы движения обладают уровнем достоверности в соответствии с одной из известных i-норм. Наиболее часто используют i-нормы: «вероятностное пересечение» - норма задана перемножением функций принадлежности T(Gdh, GMh) = = ^gdh 'VgMh (рис. 5); «пересечение поЛукасевичу» -T(Gdh, Gmh) = max(Mgdh +VgMh - !); «пересечение
по Заде» - T(Gdh, Gmh) = mingdh , №gMh ).
С целью снижения вычислительной нагрузки и повышения достоверности векторы движения следует искать для блоков, принадлежащих подмножеству GMd. Сечение нечеткого множества GMd по уровню а >0,95, применительно к сюжету «корабль и катер» (см. рис. 2), включает в себя 74 блока, по уровню а>0,99 - 16 блоков, что показывает возможности по снижению вычислительных затрат (рис. 6).
Результатом выполнения процедур поиска является множество блоков GMd с присвоенными им трехкомпонентными векторами движения (vxhl, vyhl,
Phl)T, где значения p(h, l) = Vgdh (h, l) ■ VgMh (h, l) определены функцией принадлежности блоков множеству GMd. Для блоков, принадлежащих сечению нечеткого множестваGMD по уровню а>0,99, достоверность векторов движения близка к единице.
Блокам с высокой детальностью и низким уровнем энергии движения, принадлежащим пересече-
нию Овн п Омь, без выполнения процедуры поиска присваивают нулевые векторы движения с достоверностями р(к, 1)) = цс (к, I) • (к, I). Бло-
ки, принадлежащие сечению нечеткогомножества «блоков с низкой детальностью» Омь по уровню а> 0,5, исключают из дальнейшей обработки.
Сегментация объектов по совокупности признаков
В рамках математического аппарата нечеткой логики задача сегментации может быть классифицирована как кластеризация блоков при априорно неизвестном числе кластеров [2]. Число блоков, принадлежащих объектам интереса, сравнительно невелико. Кроме того, эти блоки могут быть размещены в произвольном порядке по площади кадра. Поэтому в дальнейшем будем использовать одномерную нумерацию блоков 1, ..., т. Исходной информацией для кластеризации является матрица наблюдений
Qb =
Î11 Î12 Î13 Î14
qm1 qm2 qm3 qm4
где к-я строка содержит вектор параметров к-го
блока: Чк1 = хк, Чк2 = Ук, Чк3 = vxк, ?к4 = х’ук, Чк5 = рк-По матрице наблюдений Q6 формируют матрицу признаков
11
'21
m1
'12
'21
m2
2n
где каждая строка содержит значения п признаков (по отношению к объекту Оё) одного из т блоков, подлежащих кластеризации.
Признаки приводят к стандартной форме: это положительные безразмерные величины, изменяющиеся от нуля до бесконечности, причем, чем меньше их значения, тем лучше. Тогда совокупность признаков для й-го блока (строку матрицы Rg) можно представить в виде вектора г^, который имеет геометрический смысл.
В ходе кластеризации блоки объединяют в кластеры (объекты) на основе схожести признаков для блоков одного объекта и отличий от других объектов. В соответствии с положениями нечеткой логики блок может принадлежать не обязательно одному объекту: определяют лишь степень принадлежности блока к данному объекту. Начальные блоки кластеров (затравки) выбирают из множества Овн - это блоки с минимальными суммами расстояний до остальных блоков этого множества. Блоки множества Овн, принадлежащие одному объекту, образуют связанную группу и имеют близкие векторы движения. Тогда первым признаком тйё1 принадлежности блока й к объекту Оё является минимальное расстояние ¿ш1п = ш1п(^ы), I = 1, ..., т, й = 1, ..., т; I ф й до одного из ранее включенных в кластер блоков (на первом шаге - к блоку затравки).
Вторым признаком гкё2 является взвешенная норма разностного вектора рй й - v^ , где vg -наиболее вероятный вектор движения для данной области, арй - оценка достоверности вектора движения vk.
Для й-го блока формируют обобщенный признак, например в виде нормы вектора г^, составленного из взвешенных значений частных признаков:
dh„ = гь„ = rh„ Wr
kg
kg
kg
kg'
где матрица W переменных весовых коэффициентов учитывает динамику свойств объектов интереса и окружающей обстановки.
Для евклидовой нормы матрица W единичная; если признаки взаимонезависимы - диагональная; в случае взаимной зависимости признаков - заполненная и рассчитанная через матрицу ковариаций (норма Махалонобиса).
Целесообразно использовать экспоненциальную функцию принадлежности блоков к объекту
О на основании обобщенного признака й:
0(0) = exp(-d2 / Г),
(*)
где X - масштабный коэффициент.
Чтобы получить степень принадлежности блока к к объекту О/. ц(к е Оё) , нужно подставить в выражение (*) конкретное значение обобщенного признака йкё. При варьировании признака от нуля до бесконечности функция принадлежности изменяется от нуля до единицы, причем, чем больше ее значение, тем выше степень принадлежности блока к данному объекту. После того как определены блоки со значениями функции принадлежности к данному кластеру, превышающими некоторый
порог а, переходят к формированию следующего кластера. Процесс заканчивают, когда осуществлен перебор всех оставшихся блоков (рис. 7 и 8).
Для всех сегментированных объектов определяют векторы параметров: местоположения центров тяжести, параметры формы и моделей движения. При описании заранее неизвестной формы объектов используют наиболее общее представление на основе моментных инвариантов [4]. Координаты центра эллипса рассеяния (центра тяжести изображения объекта)
N
£ XkP(k Є 0g )
N
Е ykP(k £°g)
Mxg
k=1
Myg
k=1
N ^ N
составляют вектор = (цх^, т )т. Угол поворота фя, длины большой 1ё и малой полуосей эл-
липса рассеивания находят на основании вторых моментов
N
Е (xk -Vxg)2 p(k є0g) D = —---------------------------•
x N •
(N -1)£ p(k є Og)
k=1
N
E (yk -Vyg)2 p(k )
Dy =
k=1
(N -1)£p(k є Og)
k=1
N
E (xk -Vxg )(yk -Vyg) p(k є 0g)
Kxy =
k=1
N
(N -1)E p(k Є Og)
k=1
Ґ
Ф„ = arctg
K
xy
Dx - Dy
lg = ^¡0,5(DX + Dy) + ^0,25(Dx + Dy f -(DxDy -K2xy);
= ^0,5(Dx + Dy)-^0,25(Dx + Dy )2-(DxDy -K%),
где{xk, yk}, k = 1, „., N - множество блоков, принадлежащих объекту Og; p(k e Og) - вероятность принадлежности k-го блока к объекту Og.
Уравнение для эллипса рассеяния, описывающего объект Og:
Lg (O) = exp [-(O -y.g )T K^(O -y.g )/2],
где O = (x, y)T - вектор координат элемента в плоскости изображения; матрица ковариаций
Элементы подмножеств Результаты сегментации
■ Рис. 7. Результаты сегментации по признаку связности блоков
■ Рис. 8. Результаты основных шагов сегментации двух близких объектов
Kg = rT (_9g )diagJR(-9g), где R(-9g) - матрица поворота на угол 9g.
Тогда форму объекта с номером g можно компактно описать длинами полуосей эллипса фg = \lg, sg J, углом поворота 9g и коэффициентом элонгации
elongg = —. sg
Для жестких (rigid) объектов движение учитывают векторами скорости vg и ускорения ag, отнесенными к центру тяжести ^g.
Векторы параметров для всех объектов объединяют в матрицу наблюдений QO. В ходе сопровождения объектов в каждом последующем кадре определяют множество блоков, соответствующих а-сечению нечеткого множества GDH с присвоенными им трехкомпонентными векторами движения. Сопоставление параметров объектов, сегментированных в кадре i-1, и вновь обнаруженных блоков позволяет определить признаки принадлежности для каждого блока к уже существующим объектам. Первым признаком rkg1 принадлежнос-
ти блока k к объекту 0g является расстояние
xk ~№xg
dkg -
до центра этого объекта. С учетом
Ук ~№yg
размеров эллипса рассеяния степень принадлежности блока й к объекту Og по признаку формы
Vfкg = ехр(-((хй -Цад )/(lg + 2))2 +
+(Уй )/(sg + 2))2)),
где 2 - некоторая константа.
Второй признак г^2 определен нормой разностного вектора |^й - vg || , где vk и vg - векторы скорости блока и объекта соответственно. Вероятность принадлежности блока й к объекту Og по признаку движения
^кв = ехР-У к - v е\
где юг — весовой коэффициент, определяемый оценкой достоверности вектора vk, скоростью движения объекта vg и расстоянием до соседних объектов: вес тем больше, чем ниже скорость движения объекта и ближе соседние объекты интереса.
2
Это позволяет уверенно сопровождать медленно движущиеся объекты и снизить вероятность потери объекта в случае некорректно найденного вектора движения. Результирующая функция принадлежности ц.кв = цк .
При сопровождении нескольких близко расположенных объектов используют функцию принадлежности вида
л2О)
K
)
в=1
где К - число нечетких множеств (объектов).
Функция принадлежности Л(°^ позволяет определить, в какой степени к-й блок принадлежит объектам в и Ь = 1, ..., К; Ь Ф в. Чтобы не перегружать вычислитель, учитывают только близко расположенные объекты. Полученные значения функций принадлежности блоков к ранее сегментированным объектам используют для уточнения их местоположения, параметров моделей формы и движения (рис. 9). Переход от нечетких множеств к их сечениям по уровню а позволяет однозначно сегментировать объекты. Блоки, не отнесенные ни к одному из объектов, анализируют с целью сегментации вновь появившихся объектов.
Для всех сопровождаемых объектов выполняют траекторный анализ на основе регрессии или фильтра Калмана. Это позволяет разрешать ситуации окклюзии (перекрытия объектов). В случае длительного исчезновения объекта необходимо отождествить потерянный объект с одним из вновь захваченных объектов. Операцию отождествления выполняют по критерию минимума расстояния между векторами взвешенных параметров потерянного объекта и одного из вновь захваченных объектов
йвЬ =<(Гв _ГЬ ), В(гв _ГЬ )>,
где в = 1, ..., К; Ь = 1, ..., К; Ь Ф в; В - весовая матрица, в общем случае отличная от диагональной.
Применение нескольких взаимодополняющих признаков с весами, адаптированными к их значениям и окружающей обстановке, а также использование теории нечетких множеств позволили обеспечить:
- низкую вероятность потери объекта, а также его неполной сегментации, рассегментации или слияния с другим объектом;
- разрешение ситуации окклюзии - закрытия объекта другим объектом или фоном;
- разрешение ситуации разделения объекта на несколько объектов интереса;
- сопровождение объектов при условии динамики их свойств;
- отождествление объектов при их повторном обнаружении.
Литература
1. Ротштейн А. П., Штовба С. Д. Нечеткий многокритериальный анализ вариантов с применением парных сравнений // Изв. РАН. Теория и системы управления. 2001. № 3. С.150-154.
2. Тимофеев Б. С., Обухова Н. А. Системы видеообнаружения и сопровождения подвижных объектов // Телекоммуникации. 2003. N»12. С. 36-44.
3. Daniele D. Giusto and Gianni Vernazza. Optical Flow Calculation From Feature Space Analysis Through An Automatic Segmentation Process // Signal Processing. 1989.N 16. P.41-51.
4. Методы компьютерной обработки изображений / Под ред. В. А. Сойфера. М.: Физматлит, 2003. 784 с.
