CC BY
28
Доклады БГУИР
2015 № 5 (91)
УДК 004.932.72
АДАПТИВНАЯ КОВАРИАЦИОННАЯ СТАБИЛИЗАЦИЯ ВИДЕОИЗОБРАЖЕНИЯ
И.А. БОРИСКЕВИЧ, В.Ю. ЦВЕТКОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 8 июня 2015
Предложен метод стабилизации видеоизображения на основе градиентных ковариационных признаков и селективно-блочного поиска соответствий на видеокадрах, позволяющий увеличить устойчивость в условиях низкого отношения сигнал-шум за счет использования интегрального ковариационного дескриптора и уменьшить время вычислений за счет селективно-блочного поиска соответствия между динамическими окнами-кандидатами и эталонным образом реперной области.
Ключевые слова: стабилизация видеоизображения, ковариационная матрица, оптимизация поиска реперных областей.
Введение
При сопровождении малоразмерных объектов с борта легкого беспилотного летательного аппарата (БЛА) актуальной задачей является стабилизация соседних видеокадров. Компенсация смещения главной оптической оси нестационарной видеокамеры позволяет увеличить вероятность правильного обнаружения цели. Для стабилизации видеоизображения широко используются методы градиентной параметризации и идентификации реперов, такие как SIFT [1] и SURF [2]. Однако в случае обработки видеопоследовательности с борта легкого БЛА они неэффективны из-за высокой чувствительности градиентного дескриптора к шуму. Кроме того, данные методы обладают высокой вычислительной сложностью и не могут быть применены для обработки видеопоследовательности в реальном масштабе времени. Одним из возможных решений данной проблемы является использование интегрального ковариационного дескриптора на основе градиентных признаков, обладающего меньшей чувствительностью к шуму и изменению яркостно-контрастных характеристик видеокадров. Для повышения быстродействия целесообразно производить поиск реперных областей на основе модифицированной SPSO (Standard Particle Swarm Optimization - стандартная оптимизация множества частиц) [3].
Целью работы является разработка метода стабилизации видеоизображения на основе градиентных ковариационных признаков и селективно-блочного поиска соответствий на видеокадрах.
Градиентные ковариационные признаки
Для повышения устойчивости стабилизации видеоизображения в условиях зашумления, изменения яркости и контраста аэроизображений предлагается использовать градиентные ковариационные признаки. При использовании ковариационной матрицы в качестве дескриптора реперных областей обеспечивается объединение различных признаков без их нормирования или использования весовых коэффициентов, инвариантность к масштабированию и изменению формы реперных областей, пространственно-частотная локализация реперных областей.
Градиент изображения представляет собой вектор, направление которого совпадает с
направлением максимальной скорости изменения функции интенсивности пикселя с координатами (х, у):
81 & (|)
VI = [0, , С, ]:
8х 8у
81 81
где — и--частные производные для каждого пикселя изображения.
8х 8у
Эффективную локализации контуров обеспечивает модуль V =| VI |= ^О2 + О2 вектора градиента VI, характеризующий максимальную скорость изменения функции интенсивности
Г 0,1
пикселя с координатами (х, у). Дополнительную информацию содержит угол фу = агС£ —
I Сх )
направления вектора градиента VI, позволяющий определить направление контура пикселя с координатами (х, у), которое перпендикулярно направлению вектора градиента данного пикселя. Пример области изображения и вычисленных для нее изображений модулей и углов направлений вектора градиента представлены на рис. 1.
а б в
Рис. 1. Градиент изображения: а - исходная область изображения; б - изображение модулей градиента;
в - изображение углов направлений градиента
Поиск реперов основан на вычислении ковариационных матриц реперной области на опорном видеокадре и окон-кандидатов на следующем видеокадре [4]. Элементы
ковариационной матрицы С7 с (',7)1 ',7 = 1,В) изображения I вычисляются с помощью
выражения
Сг,(',7) = (0 -(1))^(7) -(7)), (2)
где ¥г1 =(¥г1 ('(7)) |1(7) = 1,В) - 7-е (или у-е) признаковое изображение 1-го окна-кандидата г-й
реперной области, состоящее из модулей или углов направлений градиента интенсивности пикселей; Б - количество признаковых изображений; цг(1) - среднее арифметическое 7(/')-го признакового изображения; X,У - размер изображения по горизонтали и вертикали.
Определение соответствия между окнами-кандидатами и реперными областями производится с помощью расстояния Римана в результате сравнения ковариационных матриц:
В
р2,1 (С, ) = £1ов2 Х{ (Сг, Сг 1) = ^[1082 (С;1/2Сг,гС;1/2 ],
(3)
где ^ (С, С1 )г-Пз - 7-е обобщенное собственное значение ковариационных матриц эталонного образа г-й реперной области Сг и 1-го динамического окна-кандидата Сг1, вычисленное из Сгхг - С1X1 = 0),-=го; X ^ 0 - обобщенные собственные векторы; &\_А = ^ап - след
матрицы А, представляющий собой сумму элементов аи главной диагонали матрицы.
1=1
Адаптивная ковариационная стабилизация видеоизображения
Предлагается метод стабилизации видеоизображения на основе градиентных ковариационных признаков и селективно-блочного поиска реперных областей с использованием модифицированной SPSO. Предложенный метод по сравнению с методом на основе SURF [2] позволяет увеличить устойчивость к зашумлению за счет использования градиентных ковариационных признаков и уменьшить время вычислений за счет оптимизации поиска наилучшего соответствия между динамическими окнами-кандидатами и эталонной реперной областью.
Алгоритм адаптивной ковариационной стабилизации видеоизображения включает следующие шаги:
1. Инициализация начальных параметров алгоритма.
1.1. Задание параметров стабилизации.
Производится выбор числа реперных областей R и размера области поиска Sr=1 = f (L, P) для первого репера, где L - количество окон-кандидатов, P - размер области
перекрытия между ними.
1.2. Выбор параметров динамических окон-кандидатов.
Начальные параметры p°kd, v°kd для k-го динамического окна-кандидата задаются в виде
(Pkd, vkd I k = 1*), (4)
где р°ы - начальная позиция k-го динамического окна-кандидата, заданная на области поиска исходя из выбранной конфигурации начального распределения динамических окон-кандидатов; v°kd - начальное смещение k-го динамического окна-кандидата, заданное из
диапазона v°d =[vmin; vmax ]; Vmm и Vmax - минимальное и максимальное допустимые смещения
динамических окон-кандидатов; K - количество динамических окон-кандидатов.
Количество динамических окон-кандидатов и конфигурация их распределения зависят от размеров изображения и объекта поиска, условий наблюдения. Для задачи стабилизации соседних видеокадров целесообразно выбрать К = 4 (рис. 2, а) или К = 9 (рис. 2, б) с распределением динамических окон-кандидатов на равном удалении друг от друга и от границ области поиска.
а б
Рис. 2. Пример начального распределения динамических окон-кандидатов на видеокадре:
а - К = 4; б - К = 9
1.3. Выбор параметров селективно-блочного поиска.
Производится выбор числа итераций N коэффициентов ускорения индивидуального с\ и глобального С2 поведения окон-кандидатов. Для повышения разнообразия распределения окон-кандидатов на начальных итерациях и повышения сходимости алгоритма на его конечных итерациях используются коэффициенты ускорения, динамику изменения которых можно представить в виде соотношений
С (и) = с1п - (сип -С1 Лп, (5)
N-1
С2 (П) = c2in - (c2in - c2 fin ' (6)
гДе с\т , , С fin и c2 fm - начальные и конечные значения коэффициентов ускорения
соответственно индивидуального и глобального поведения окон-кандидатов; п = 1, N -номер итерации алгоритма.
Для обеспечения оптимального соотношения между индивидуальным и глобальным воздействиями на окна-кандидаты используется коэффициент инерции движения, динамику
п
изменения которого можно представить в виде w(n) = wjи — — wfiй )-.
т т N — 1
Для задачи стабилизации соседних видеокадров целесообразно задать начальное значение коэффициента инерции движения win = 1, конечное - = 0,5 .
1.4. Инициализация счетчиков кадров. Устанавливаются начальные значения счетчиков кадров видеопоследовательности t = 1.
2. Начало цикла обработки кадров видеопоследовательности. Переход к обработке очередного кадра видеопоследовательности. Значение счетчика кадров видеопоследовательности увеличивается на единицу: ? = ? +1.
2.1. Формирование реперных областей Е^) = {Ег | г = 1,Я) опорного видеокадра. Производится считывание кадра I(0 = {г^,х,у) | х = 1,X,у = 1, У) размером XхУ
видеопоследовательности I = {I^)| t = 1,Т^, где I = 1,Т и Т - номер и число кадров в
видеопоследовательности соответственно. Выбирается Я прямоугольных реперных областей размером и хУ по одной на каждой из четырех четвертей опорного кадра видеопоследовательности. Между крайними пикселями реперных областей и границей видеокадра задается защитный интервал, равный удвоенному среднему сдвигу между видеокадрами. Устойчивую работу метода стабилизации обеспечивает выбор в качестве реперов контрастных объектов с замкнутыми контурами.
2.2. Формирование ковариационных матриц реперных областей опорного видеокадра.
Для реперных областей Е($) = {Ег | г = 1, Я) опорного видеокадра вычисляются ковариационные матрицы СЕ (0 = {Сг | г = 1, Я) .
2.3. Считывание следующего видеокадра I^ +1) = {г^,х,у) | х = 1,X,у = 1, У)
размером XхУ.
3. Начало цикла обработки реперных областей на следующем кадре.
3.1. Инициализация счетчика реперных областей: г = 0.
3.2. Начало цикла селективно-блочного поиска реперной области.
3.2.1. Инициализация счетчика итераций: п = 0 .
3.2.2. Начало цикла обработки динамических окон-кандидатов.
3.2.2.1. Инициализация счетчика динамических окон-кандидатов: к = 0 .
3.2.2.2. Распределение динамических окон-кандидатов на области поиска
3.2.2.3. Вычисление элементов пространственно-частотной ковариационной матрицы
Сгк (п) = {сгк (', 7)| 1, ] = 1,2^ для к-го динамического окна-кандидата г-й реперной области на п-й итерации.
3.2.2.4. Вычисление расстояния Римана р2(Сг,Ск(п)) ковариационных матриц к-го динамического окна-кандидата Сг к (п) и г-й реперной области Сг .
3.2.2.5. Определение наилучшей индивидуальной позиции к-го динамического окна-кандидата на п-й итерации.
Определение наилучшей индивидуальной позиции к-го динамического окна-кандидата на п-й итерации производится с помощью следующего соотношения:
„ (Ры(п) при Р2(СГ,СГЛ(п)) < р2(Сг(п -1))),
РЫП IРы(п-1) при р2(Сг,Сг;(п)) > р2(Сг,Сг;(п-1))).
Определение значений наилучшей глобальной позиции динамических окон-кандидатов на п-й итерации производится с помощью следующего соотношения:
„ ,, [Ры(п) при р2(Сг,Сг,(п)) <р2(Сг,Сг,(п-1)),
Р Лп) = 1 (8)
* [Р^(п-1) при р2(Сг,Сг,(п)) > р2(Сг,Сг,(п-1)).
3.2.2.6. Вычисление смещения к-го динамического окна-кандидата на п-й итерации. Смещение уы (п) к-го динамического окна-кандидата на п-й итерации учитывает три
компоненты (инерционную, индивидуальную и глобальную) и вычисляется с помощью соотношения:
Vы (п) = ™ • Vы (п-1) + ¿1 • (РЫ (п-1) - Ры (п-1)) + с2 • (п-1) - Ры (п-1)), (9)
где Ры (п -1) - позиция к-го динамического окна-кандидата на п- 1-й итерации; Ры (п -1) и
Р ^ (п -1) - наилучшие индивидуальная и глобальная позиции к-го динамического окна-
кандидата на п-1-й итерации.
Для п = 1 итерации положим, что начальная позиция к-го динамического окна-кандидата является ее наилучшей позицией.
3.2.2.7. Вычисление новой позиции к-го динамического окна-кандидата на п-й итерации (п -1) .
3.2.2.8. Значение счетчика динамических окон-кандидатов увеличивается на единицу: к = к +1.
3.2.2.9. Проверка условия окончания цикла обработки динамических окон-кандидатов. Если к < К, то осуществляется переход на шаг 3.2.2.2, иначе - выход из цикла обработки динамических окон-кандидатов.
3.2.3. Значение счетчика итераций увеличивается на единицу: п = п +1.
3.2.4. Проверка условия окончания цикла селективно-блочного поиска реперной области.
Если п < N, то осуществляется переход на шаг 3.2.2, иначе - выход из цикла селективно-блочного поиска реперной области.
3.3. Выбор динамического окна-кандидата для г-й реперной области.
Номер лучшего динамического окна-кандидата ^ е [1, К] для г-й реперной области соответствует номеру динамического окна-кандидата с наилучшей глобальной позицией на последней итерации цикла селективно-блочного поиска реперной области.
3.4. Предсказание местоположения реперов.
3.4.1. Предсказание местоположения. Координаты (Х+1,у +1) центрального пикселя области поиска (г + 1)-го репера определяются с помощью выражения
&+1, Уг+\)=/ ((wg\g=й)), (10)
где / - функция определения координат центрального пикселя области поиска репера; \ g = 1,г ) - найденные координаты реперных областей.
3.4.2. Предсказание области поиска. Размер £г+1 области поиска репера по горизонтали и вертикали вычисляется с помощью выражения
$+=/, ($=, г), (11)
где / - функция определения размера области поиска репера.
3.5. Значение счетчика реперных областей увеличивается на единицу: г = г+1.
4. Проверка условия окончания цикла обработки кадров видеопоследовательности. Если обработка кадров не завершена < Т), осуществляется переход на шаг 2, иначе - выход из алгоритма.
В результате выполнения данного алгоритма для каждого кадра
видеопоследовательности определяются координаты реперных областей Ж = Iг = 1, &),
устанавливающих соответствие через матрицу гомографии между этим и соседним видеокадром.
Оценка эффективности методов стабилизации видеоизображения
Для оценки устойчивости стабилизации к зашумлению кадров использовалась высококонтрастная видеопоследовательность, искаженная аддитивным гауссовым шумом с нулевым средним и дисперсией о^ .
Согласно таблице, по сравнению с известным методом стабилизации на основе SURF использование предложенного метода позволяет повысить устойчивость в случае сильного зашумления (дисперсия гауссова шума выше 0,12) до 16 раз для четырех динамических окон-кандидатов и трех итераций и до 18 раз для девяти динамических окон-кандидатов и трех итераций. Для оценки устойчивости стабилизации к изменению контрастно-яркостных характеристик кадров видеопоследовательности проводилась коррекция интенсивности пикселей. Установлено, что по сравнению с известным методом стабилизации на основе SURF использование предложенного метода позволяет повысить устойчивость в случае значительного изменения яркостно-контрастных характеристик (коэффициент коррекции контраста выше 2,5) до 8,1 раз для видеокадров высококонтрастного класса и до 9 раз для видеокадров низкоконтрастного класса. Использование дескриптора на основе градиентных ковариационных признаков позволяет снизить время поиска реперов до 1,8 раз для четырех динамических окон-кандидатов и двух итераций. Однако при увеличении количества динамических окон-кандидатов или итераций селективно-блочного поиска время вычислений становится большим, чем для метода стабилизации на основе SURF. Это обусловлено высокой вычислительной сложностью градиентного дескриптора. Таким образом, предложен механизм локально-глобальной ковариационной адаптации к структурным особенностям аэроизображений, позволяющий управлять соотношением между улучшением устойчивости локализации реперных областей и ускорением их поиска.
Оценка характеристик эффективности метода адаптивной ковариационной стабилизации для различного количества динамических окон-кандидатов K и итераций T
Параметры сравнения известного и предложенного методов Относительный выигрыш
<N II II K = 4, T = 3 II II K = 4, T = 5 K = 9 , T = 2 а\ го II И KT
Средняя ошибка вычисления смещения для дисперсии гауссова шума [0,05...0,5] 15,4 16 16,9 17,4 16,1 18
Средняя ошибка вычисления смещения для коэффициента контраста [1.5] 6,8 6,9 7,6 8,4 7,1 9
Время поиска реперов 1,8 1,2 -1,1 -1,3 -1,2 -1,8
Время поиска реперов оценивалось в среде программирования MATLAB R2013a на компьютере с процессором Intel Core i5 (2,6 ГГц) и ОЗУ 4 ГБ.
Заключение
Предложен метод адаптивной ковариационной стабилизации видеоизображения, основанный на градиентных ковариационных признаках и селективно-блочном поиске реперных областей. Установлено, что по сравнению с известным методом стабилизации на основе SURF использование предложенного метода позволяет повысить устойчивость в случае сильного зашумления (дисперсия гауссова шума выше 0,12) до 16 раз для четырех
динамических окон-кандидатов и трех итераций и до 18 раз для девяти динамических окон-кандидатов и трех итераций. Установлено, что по сравнению с известным методом стабилизации на основе SURF использование предложенного метода позволяет повысить устойчивость в случае значительного изменения яркостно-контрастных характеристик (коэффициент коррекции контраста выше 2,5) до 8,1 раз для аэроизображений высококонтрастного класса и до 9 раз для аэроизображений низкоконтрастного класса. Использование дескриптора на основе градиентных ковариационных признаков позволяет снизить время поиска реперов до 1,8 раз для четырех динамических окон-кандидатов и двух итераций. Это позволяет использовать предложенный метод для решения задачи стабилизации видеоизображения с борта легкого БЛА в условиях высокой нестационарности видеокамеры, ограниченных вычислительных ресурсов и сильного зашумления видеокадров.
ADAPTIVE COVARIANCE STABILIZATION OF VIDEO IMAGE
I.A. BARYSKIEVIC, V.Yu. TSVIATKOU Abstract
An adaptive method of video image stabilization is proposed. It is based on gradient covariance features and selective search for best matching. The comparison of proposed adaptive covariance and known SURF methods is provided.
Список литературы
1. LoweD.G. // Intern. Journ. of Computer Vision. 2004. Vol. 60, № 2. P. 91-110.
2. BayH. // Computer Vision and Image Understanding. 2008. Vol. 110, № 3. P. 346-359.
3. Eberhart R., Kennedy J. // Proceedings of the Sixth International Symposium on Micro Machine and Human Science. 1995. P. 39-43.
4. Tuzel O., Porikli F., Meer P. // Proc. 9th European Conf. on Computer Vision. 2006. Vol. 2. P. 589-600.
