Предсказание положения малоразмерных объектов на кадрах видеопотока с борта беспилотного летательного аппарата Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Доклады БГУИР

2016 № 2 (96)

УДК 621.391

ПРЕДСКАЗАНИЕ ПОЛОЖЕНИЯ МАЛОРАЗМЕРНЫХ ОБЪЕКТОВ НА КАДРАХ ВИДЕОПОТОКА С БОРТА БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА

И.А. БОРИСКЕВИЧ

Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь

Поступила в редакцию 26 февраля 2016

Предложены алгоритмы стабилизации видеоизображения с борта легкого беспилотного летательного аппарата и поиска малоразмерных целей на кадрах видеопоследовательности с предсказанием. Установлено, что по сравнению с методом SURF предложенный метод обеспечивает сокращение до 5,2 раз времени параметризации и локализации реперов. Показано, что в условиях непрерывного сопровождения предложенный алгоритм обеспечивает повышение скорости обработки кадров примерно до 6,2 раза по сравнению с ковариационным методом.

Ключевые слова: видеоизображение, малоразмерная цель, поиск, стабилизация, дескриптор, предсказание.

Введение

Эффективным подходом к сопровождению малоразмерных целей (не менее 4^4 пикселов) в условиях нестационарной видеокамеры является использование интегрального ковариационного дескриптора, учитывающего как яркостные, так и текстурные свойства цели [1-3]. Однако вычислительная сложность и вероятность ложного обнаружения цели в данном методе резко возрастают при повышении скорости движения цели и видеокамеры, при увеличении области поиска, а также при снижении частоты кадров. Данная проблема обостряется при сопровождении малоразмерных целей с бота легкого беспилотного летательного аппарата (БЛА), неустойчивого к ветровым воздействиям. Устранение данных недостатков возможно за счет 1) стабилизации видеоизображения, поступающего с борта БЛА и 2) предсказания положения цели на кадрах видеопотока.

Стабилизация сглаживает траекторию объекта на видеоизображении, что повышает вероятность его обнаружения при предсказании положения и позволяет уменьшить время поиска. Для стабилизации видеокадров широко используются методы градиентной параметризации и идентификации реперов, такие как SIFT (Scale-Invariant Feature Transform -масштабно-независимое преобразование особенностей) [4] и SURF (Speeded-Up Robust Features - ускоренные устойчивые особенности) [5]. Однако в случае обработки видеопоследовательности с борта легкого БЛА они не эффективны из-за высокой чувствительности градиентного дескриптора к шуму и изменению контрастно-яркостных характеристик видеокадров. Кроме того, данные методы обладают высокой вычислительной сложностью и не могут быть применены для обработки видеопоследовательности в реальном масштабе времени. Более эффективным в данных условиях является использование дескриптора на основе ковариационных вейвлет-признаков [6], обладающего меньшей чувствительностью к изменению контрастно-яркостных характеристик изображения и лучшим отношением сигнал/шум за счет концентрации энергии в ограниченном количестве вейвлет-коэффициентов. Кроме того, вейвлет-дескриптор учитывает как яркостные, так и текстурные свойства признаковых (реперных) областей на соседних кадрах. Эти свойства обеспечивают эффективность ковариационных вейвлет-дескрипторов для обработки видеопотока не только с

цифровой, но и с аналоговой видеокамер. Ограничением на практическое применение ковариационных признаков для стабилизации видеоизображения в реальном масштабе времени является высокая вычислительная сложность, связанная с размером ковариационной матрицы и признаковых образов. Один из способов повышения быстродействия заключается в уменьшении количества окон-кандидатов, для каждого из которых требуется вычисление ковариационной матрицы. Без ущерба для качества сопровождения это возможно за счет предсказания и минимизации размера области поиска на следующем видеокадре. Таким образом, идея постепенного уточнения заключается в уменьшении количества окон-кандидатов и соответственно увеличении скорости стабилизации видеоизображения за счет предсказания позиции и размера области поиска текущего репера на следующем видеокадре на основании найденных соответствий для предыдущих реперов.

Предсказание положения цели на кадрах видеопотока выполняется после стабилизации и позволяет реализовать селективную ковариационную обработку, уменьшить размеры ковариационных дескрипторов и области поиска, повысить быстродействие.

Целью работы является разработка алгоритмов предсказания положения объектов на кадрах видеопотока с борта легкого БЛА.

Стабилизация видеоизображения и поиск объектов в контуре управления БЛА

На рис. 1 представлена структурная схема контура управления БЛА в режиме автоматического сопровождения цели, включающая исполнительную (рули, двигатель) и управляющую системы БЛА, исполнительную (шаговые двигатели) и управляющую системы видеокамеры, измерительно-навигационную систему (компас, высотомер, измеритель скорости, ОР8-приемник), системы обработки и визуализации видеоинформации и операторов управления БЛА и целевой нагрузки, которые образуют три контура управления и обеспечивают различные режимы применения БЛА.

Рис. 1. Структурная схема управления БЛА в режиме автоматического сопровождения

Первый контур обеспечивает возможность ручного управления БЛА посредством передачи команд от оператора к управляющей системе БЛА. Второй контур формирует дополнительные команды на управляющую систему БЛА в режиме автоматического сопровождения цели, выбранной оператором. Третий контур обеспечивает полет БЛА по информации от измерительно-навигационной системы.

Система обработки видеоинформации состоит из блоков стабилизации видеоизображения и поиска цели. Блок стабилизации реализует гомографию изображения с

видеокамеры, обеспечивающую компенсацию ухода оптической оси видеокамеры за счет усреднения относительных пиксельных смещений соседних кадров. В этом случае томография переводит координаты (х(г), у(г)) каждого пиксела одного видеокадра в координаты (х(г +1), у(г +1)) соответствующего пиксела соседнего кадра с помощью выражения

" х(г+1)" х(г)" К11 К12 К13

у(г+1) =н у(г) , где Н = К21 К22 К23 - матрица гомографии, коэффициенты которой

1 1 К31 К32 Кзз_

в общем случае реализует проективное преобразование. Блок поиска цели обеспечивает предсказание местоположения и обнаружение цели на основе интегрального ковариационного дескриптора.

Стабилизация видеоизображения с итерационным предсказанием на основе интегрального ковариационного вейвлет-дескриптора

В алгоритме ковариационной стабилизации видеоизображения с предсказанием [6] выбор количества реперов Я, соответствие между которыми требуется установить на опорном и следующем кадрах, зависит от параметров видеосъемки (размер и частота кадров) и временных и вычислительных ресурсов. С учетом того, что для оценки изменения видеоизображения при стабилизации используются два соседних кадра, следующих с частотой 25-30 Гц, достаточно учитывать только вертикальное и горизонтальное смещения этих кадров, что является частным случаем проективного преобразования и реализуется с помощью матрицы гомографии, в которой коэффициенты принимают следующие значения: К\ = К22 = Кз= 1, К\ = К\ = Кг= Кг= 0,Кз = Ах, Кз = Ау , где Ах и Ау - смещения соответственно по осям Х и У. Известные расстояния между реперными областями на одном кадре позволяют предсказать координаты центрального пикселя области поиска на следующем видеокадре и уменьшить ее размер х ^^). Установление каждого последующего реперного соответствия увеличивает точность оценки смещения. Идея постепенного уточнения заключается в уменьшении количества окон-кандидатов и соответственно увеличении скорости стабилизации видеокадров за счет предсказания позиции и размера области поиска текущего репера на следующем видеокадре на основании найденных соответствий для предыдущих реперов (рис. 2).

Рис. 2. Итеративное предсказание положения четырех реперных областей на (г +1) -м видеокадре для вычисления межкадровых смещений главной оптической оси видеокамеры

Для уменьшения времени поиска и вероятности ложного обнаружения реперной области на текущем (г + 1) -м кадре используется предсказание координат (уг+1(г + 1),хг++1)) центра (г + 1) -й реперной области, основанное на информации о координатах (уг+),хг+)) центра соответствующей реперной области на опорном кадре и координатах (у(г)х(г)) и (у(г + 1)X(г + 1)) центров к -х сопоставленных реперных областей (к = 1, г) на г -м опорном и (г + 1) -м текущем кадрах с помощью выражений, учитывающая среднее смещение соответствующих реперных областей на данных кадрах,

1 г 1 г

Я+1 (г +1) = Уг+1 (г)+- Е дУк (г +1), Х^ (г +1) = х^ (г)+- ^ЛХк (г +1),

г к=1 г к=1

(1)

где Лук (г + 1) = ук (г + 1) - ук (г) и Лхк (г + 1) = хк (г+1) - хк (г) - пиксельные смещения между центрами к-х реперных областей г-го и (г + 1) -го видеокадров по вертикали и горизонтали соответственно.

Для определения размера х ) области поиска реперной области на текущем (г +1) -м кадре по вертикали и горизонтали используется выражение

5(+1)= и + (Ц + Я - г\и - р ), 5« = V + Ц + Я - гXV -Рх ), (2)

где Я - число реперных областей; р, Р - линейные размеры области перекрытия окон-кандидатов по вертикали и горизонтали; Ц, Ц - базовое число окон-кандидатов по вертикали и горизонтали.

Число аддитивных СА и мультипликативных См операций предсказания на один кадр определяется с помощью выражений

Я

СА =Е4г + 8Я, = 4Я .

(3)

Зависимость числа аддитивных и мультипликативных операций от количества реперных областей представлена на рис. 3.

5

3 4 5 6 7 8 Количество реперных областей

3 4 5 6 7 8 Количество реперных областей

б

Рис. 3. Зависимость числа аддитивных С и мультипликативных См операций от количества (Я) реперных областей: а - аддитивные операции; б - мультипликативные операции

Из графика следует, что предложенный алгоритм предсказания обладает низкой вычислительной сложностью при небольшом количестве реперных областей (Я = 4) и может быть использован в реальном масштабе времени.

г=1

300

40

5. 35

ГО 250

30

200

I 25

150

20

15

с 100

10

50

0

0

2

9

10

2

9

10

а

Селективно-пространственный поиск малоразмерных объектов на основе интегрального ковариационного дескриптора

Сущность предложенного алгоритма [3] состоит в формировании признаковых изображений для перекрывающихся окон-кандидатов в пределах предсказанной области поиска

объекта на текущем кадре видеопоследовательности, вычислении ковариационных матриц окон-кандидатов и их сравнении с матрицей эталона объекта.

Для уменьшения времени поиска и вероятности ложного обнаружения объекта используется предсказание координат (у(г + Аг),х(г + А)) центра области поиска объекта на (г + А) -м кадре, основанное на информации о координатах (уа (г ),х0 (г)) и векторе

v(í ) = (уг (г \v-x- (г)) скорости (пикселей/кадр) объекта на [г, г + А]-х кадрах видеопоследовательности с учетом совместного перемещения объекта и БЛА, с помощью выражений

у(г+Аг )=у0 (г)+^ (г)А, х(г+А, )=х0 (г)+ух (г)А, (4)

где А - интервал предсказания; уг(г), ) - вертикальная и горизонтальная компоненты вектора скорости объекта на кадрах видеопотока (векторная величина, характеризующая быстроту перемещения и направление движения точки в пространстве относительно выбранной системы отсчета).

После определения координат (уа(г + А),х0(г + А)) нового положения объекта на (г + А)-м кадре видеопотока осуществляется вычисление новых значений + А),+ А)) составляющих вектора скорости перемещения объекта на кадрах видеопоследовательности с помощью выражений

иУ^+АЬМ)

А.

(t + Аг ) =

-, vx(t—-——

А.

(5)

Размер иXV области поиска объекта по вертикали и горизонтали определяется с

(6)

помощью выр ажения

U = AM , V = AN

P(t, At) p(t, At)

где M и N - размер эталонного изображения; | | - операция округления с избытком; U < Y, V < X; p(t, А) - вероятность попадания объекта в окно поиска размером Ux V.

Вероятность p(t) зависит от плавности траектории перемещения на видеоизображении и определяется с помощью выражения

!__V

p(t,АН minМ,N) * ' El 4 ' " (7)

--7-\ HUT! Vc \ IIIIII 1 ivjl I,

min (M, N) 1 E| V '

0 при |vE | > min (М, N),

где |vg| = ^(vy (t + At) - Vy (t))2 + (vx (t + At) - vx (t))2 - модуль вектора vE (t) = v(t) - v(t + At) разности векторов скорости объекта на t -м и (t + А)-м видеокадрах.

Для предсказания положения центра и размера области поиска цели требуется 8 аддитивных и 9 мультипликативных операций на кадр. С целью уменьшения пространства поиска производится сравнение яркости опорных пикселей в пределах предсказанной области поиска размером U х Vс координатами максимумов гистограммы эталона (рис. 4).

Окна- Область Нячальшш

кандидаты перекрытия область i объект

Исключенный Выбра

опорный пиксель опорный

Я

а б в

Рис. 4. Изображения областей поиска объекта при селективной гистограммной обработке окон -кандидатов: а - начальная область поиска объекта; б - обработанная сетка опорных пикселей; в - область поиска объекта на основе выбранных опорных пикселов

Окно-кандидат, представляющее собой прямоугольную область размером M х N, исключается из предсказанной области поиска объекта на основе гистограммного анализа значений опорных пикселей.

Оценка эффективности алгоритмов стабилизации видеоизображения и поиска

целей с предсказанием

Для оценки эффективности метода стабилизации с предсказанием использованы тестовые кадры видеопоследовательностей двух классов с разным количеством яркостных перепадов (высококонтрастные и низкоконтрастные). Время локализации и параметризации реперов на одном кадре видеопоследовательности для дескриптора SURF и дескриптора на основе ковариационных вейвлет-признаков представлено в таблице.

Оценка времени локализации и параметризации реперов на кадре видеопоследовательности

Тип видеопоследовательности Тип дескриптора

SURF, мс Ковариационные вейвлет-признаки

HLWT, мс UHLWT, мс

Высококонтрастная 162,2 31,1 131,3

Низкоконтрастная 149,6 52,7 218,0

Из таблицы видно, что использование дескриптора на основе прореженного дискретного лифтинг вейвлет-преобразования позволяет снизить время вычислений в 5,2 раза для высококонтрастного класса и в 2,8 раза для низкоконтрастного класса. В то же время использование дескриптора на основе непрореженного дискретного лифтинг вейвлет-преобразования приводит к снижению времени вычислений в 1,2 раза и увеличению в 1,5 раза соответственно.

Время обработки видеокадра оценивалось в среде программирования MATLAB R2013a на компьютере с процессором Intel Core i5 (2,6 ГГц) и ОЗУ 4 ГБ. Обработаны 5000 кадров видеопоследовательности размером 720 на 480 пикселей и частотой 30 кадров в секунду, полученные с бортового оптико-электронного модуля БЛА.

Для оценки эффективности предложенного алгоритма поиска целей с итерационным предсказанием использовалась вероятность правильного обнаружения и время обработки кадра (обнаружения цели) в условиях изменения частоты видеокадров, что эквивалентно изменению скорости движения цели.

Вероятность правильного обнаружения цели определяется отношением числа кадров, на которых цель правильно обнаружена, к общему количеству кадров. Цель считается обнаруженной, если центр лучшего окна-кандидата находится в окрестности M х N пикселей от центра цели. При понижении частоты кадров предложенный алгоритм позволяет повысить вероятность правильного обнаружения цели до 10 % при изменении коэффициента частоты

Рис. 5. Зависимость вероятности правильного обнаружения цели от величины коэффициента

понижения частоты видеокадров

Среднее время обработки одного кадра видеопоследовательности при использовании стандартного метода составило 347,1 мс, при использовании модифицированного метода -55,7 мс. Таким образом, использование предсказания позволяет повысить скорость обработки кадров примерно до 6,2 раз по сравнению со стандартным ковариационным методом.

Заключение

Предложены алгоритмы стабилизации видеоизображения с борта легкого БЛА и поиска малоразмерных целей на кадрах видеопоследовательности с предсказанием. Алгоритм стабилизации основан на сопоставлении ковариационных вейвлет-признаков и постепенном уточнении местоположения реперных областей с использованием предсказания. Установлено, что по сравнению с методом SURF предложенный метод обеспечивает сокращение до 5,2 раз времени параметризации и локализации реперов. Это позволяет использовать предложенный метод для решения задачи стабилизации видеоданных с борта легкого БЛА в условиях нестационарности видеокамеры и ограниченных вычислительных ресурсов. Алгоритм поиска малоразмерных целей основан на предсказании местоположения, размера и определении формы области поиска цели, с последующим ковариационным анализом этой области на соответствие эталонному образу цели. Показано, что в условиях непрерывного сопровождения предложенный алгоритм обеспечивает повышение скорости обработки кадров примерно до 6,2 раза по сравнению с ковариационным методом. Для видеопоследовательности пониженной кадровой частоты селективно-ковариационный метод позволяет увеличить вероятность правильного обнаружения цели до 10 %, обладая сопоставимой с ковариационным методом устойчивостью к изменению уровня шума и масштабированию интенсивности пикселей видеокадров.

PREDICT OF THE SMALL SIZE OBJECT POSITION ON THE VIDEO STREAM FRAMES FROM THE BOARD OF UNMANNED AERIAL VEHICLE

I.A. BARYSKIEVIC Abstract

Algorithms of video stabilization from unmanned aerial vehicle board and search of small size targets on the video sequence frames with the prediction are proposed. Proposed stabilization method provides a parametrization and localization time reduction to 5.2 times compared with the SURF method. Proposed search algorithm speeds up frame processing time approximately in 6.2 times in comparison with the standard covariance method.

Keywords: video, small size targets, search, stabilization, descriptor, predict.

Список литературы

1. Lowe D. G. // Intern. Journ. of Computer Vision. 2004. Vol. 60, № 2. P. 91-110.

2. Bay H. //Computer Vision and Image Understanding. 2008. Vol. 110, № 3. P. 346-359.

3. Борискевич, И.А., Цветков В.Ю. // Докл. БГУИР. 2014. № 3. С. 33-39.

4. Porikli F., Tuzel O. // Proceedings of IEEE Int'l. Conference on Multimedia and Expo. 2005. P. 1234-1237.

5. Tuzel O., Porikli F. // Proc. 9th European Conf. on Computer Vision. 2006. Vol. 2. P. 589-600.

6. Борискевич И.А., Цветков В.Ю. // Весщ Нацыянальнай акадэми навук Беларуси Сер. фiзiка-тэхшчных навук. 2015. № 1. С. 106-111.