Геометрические модели многоракурсных изображений и проективная компенсация движения камеры Текст научной статьи по специальности «Компьютерные и информационные науки»

Доклады БГУИР

2014 № 8 (86)

УДК 621.391

ГЕОМЕТРИЧЕСКИЕ МОДЕЛИ МНОГОРАКУРСНЫХ ИЗОБРАЖЕНИЙ И ПРОЕКТИВНАЯ КОМПЕНСАЦИЯ ДВИЖЕНИЯ КАМЕРЫ

В.Ю. ЦВЕТКОВ

Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь

Поступила в редакцию 24 сентября 2014

Разработаны геометрические модели формирования и предсказания многоракурсных изображений. Для предсказания предложено использовать методы проективной компенсации движения камеры. Показано, что проективная компенсация движения позволяет реализовать эффективное сжатие многоракурсных изображений.

Ключевые слова: геометрическая модель изображения, многоракурсное изображение, проективная компенсация движения камеры.

Введение

Для систем распределенного видеомониторинга, использующих множество камер (видеокамер и тепловизоров), актуальна проблема сокращения объема передаваемой видеоинформации. Наиболее эффективные методы сжатия видеоданных от одной камеры основаны на предсказании и компенсации движения [1-4]. В случае нескольких камер с перекрывающимися секторами обзора формируются многоракурсные изображения, предсказание которых возможно за счет использования некоторого одноракурсного фрагмента (опорного изображения) для формирования приближений (прогнозных изображений) других одноракурсных фрагментов (прогнозируемых изображений). Для предсказания многоракурсных изображений необходим учет проективных искажений при переходе от одного ракурса к другому. В связи с этим актуальна разработка геометрических моделей формирования и предсказания многоракурсных изображений.

Постановка задачи

Формируемое Я камерами многоракурсное изображение {I(гпредставляет собой множество перспективных проекций I(г) трехмерного пространства Р3 регистрации, полученных с ракурсов г, с помощью перспективного проективного преобразования Тъ (без учета дисторсии оптической системы камеры) в соответствии с выражением

1(г) = ТрР (Р3,г). (1)

Если известна реконструкция Ря пространства Р , то прогнозное изображение 1Р (г) для произвольного ракурса г может быть получено с помощью выражения

1р(г) = ТРР (Р3,г). (2)

Поэтому для предсказания изображения I (г) по реконструкции Рк достаточно иметь значение ракурса г. Однако, получение реконструкции Р3 связано с существенными вычислительными и временными затратами. Поэтому для реальных условий актуальна

проблема формирования прогнозного изображения 1Р (г) на основе некоторого опорного изображения 1В (к), полученного с другого ракурса к = г — Аг, в соответствии с выражением

1Р (г) = (1В (к), Аг), где Аг - перемещение камеры. (3)

При известных к и Аг данная проблема сводится к отысканию преобразования Т2 • Если Т2 известно, то для предсказания изображения 1 (г) достаточно иметь 1В (к) и Аг. Формирование прогнозного изображения 1р (г) в этом случае по известному перемещению Аг камеры является процессом компенсации движения камеры.

При неизвестных ракурсах к и Аг опорное 1 и прогнозное 1 изображения связаны с помощью следующего выражения:

1Р = ТХ (1В ) • (4)

Следовательно, для предсказания изображения 1 необходимо иметь 1В и Т2 • Преобразование Т2 может быть получено в результате сопоставления опорного 1В и прогнозируемого 1 изображений.

В методах сжатия МРБО-4, Н.264, Н.265 [3, 4] предполагается, что преобразование Т2 является переносом Т и его параметры определяются с помощью блочной компенсации движения (рис. 1, а). Перенос Т2 не учитывает изменение масштаба, поворот и перспективные искажения базового изображения (рис. 1, б). Фактически, предполагается, что пространство регистрации является плоскостью в двухмерном пространстве Р2, а смещение камеры

незначительно. Это снижает эффективность использования блочной компенсации движения для предсказания многоракурсных изображений.

а б

Рис. 1. Блочная компенсация движения: а - геометрическая модель; б - проективные искажения опорного изображения

Целью работы является разработка геометрических моделей формирования многоракурсных изображений и определение наиболее эффективных методов компенсации движения для их предсказания.

Геометрические модели пространства регистрации многоракурсных изображений

В зависимости от величины смещения камеры от одного ракурса к другому (значительное/незначительное) относительно расстояния до объектов трехмерное пространство Р3 регистрации может быть представлено приближенно одной или несколькими плоскостями в двухмерном или трехмерном пространстве (рис. 2).

р2 11 1 \г

1

V"Г? *

.ЕД

Рис. 2. Геометрические модели пространства регистрации: а - Р~. 6 - РД3 в - Р? '

и/м

Наибольший практический интерес представляют следующие геометрические модели пространства регистрации:

- р2 - плоскость в двухмерном пространстве Р2, в которой лежат все объекты (рис. 2, а);

- Р2 - N параллельных плоскостей р2, каждая из которых расположена в двухмерном пространстве Р2 и включает равноудаленные от камеры объекты;

- р3 - плоскость в трехмерном пространстве Р3, в которой лежат все объекты;

- р - М произвольно ориентированных плоскостей р3 в трехмерном пространстве Р3;

- Рщ (3 в частном случае при N = 1) - N плоскостей р2 и плоскость Р3, перпендикулярная плоскостям Р12 (рис. 2, б);

- Рщм (Р\/м в частном случае при N = 1) - N плоскостей р2 и М плоскостей р3 (рис. 2, в).

Модель Р2 представляет плоскую сцену при любом перемещении камеры, например, при аэрокосмической съемке, когда оптическая ось камеры перпендикулярна земной поверхности. Модели Р^, РN¡3 и Ру(3 представляют неглубокую трехмерную сцену при относительно небольшом смещении камеры, например, при наземной съемке, когда земная или водная поверхность не попадает (р) или попадает (рЫд иРу\ ) в кадр. Модель Р[3

представляет плоскую поверхность в трехмерной сцене при любом смещении камеры, например, при наземной съемке, когда земная или водная поверхность попадает в кадр, или при аэросъемке, когда положение оптической оси камеры не перпендикулярно земной поверхности.

Модели Р3, Р^/м и РуМз представляют глубокую трехмерную сцену при значительном

смещении камеры в условиях отсутствия (р) и наличия ('рЫ/М и РуМ ) удаленных объектов, например, при наземной съемке в городских условиях.

Геометрические модели формирования и предсказания многоракурсных изображений

Общая геометрическая модель формирования многоракурсного изображения {/(г)}(г=^^) показывает получение нескольких изображений с помощью перспективного

проективного преобразования Т3р согласно выражению (1). Выделяя среди этих изображений

два: опорное р и прогнозируемое I, можно построить модель предсказания прогнозируемого

изображения I. Данная модель показывает преобразование Т3 пространства Р3 регистрации в

опорное изображение и, далее, преобразование Т2 опорного изображения в прогнозное изображение : Р3 —Трр > 1В —Тх— 1Р. Тип преобразования Тзависит от модели пространства Р3 регистрации. В случае представления пространства Р3 регистрации моделью Р2 (Р3 — Р2 ) или моделью РЫ (р3 — РЫ) преобразование Т% является преобразованием Т подобия, сохраняющим параллельность линий. При представлении пространства Р3 моделью

Р3 или моделью Р3 преобразование Т2 является проективным преобразованием Т2 , сохраняющим коллинеарность точек.

Рассмотренным геометрическим моделям формирования многоракурсных изображений

э2 Т%р . т Т}

соответствуют геометрические модели предсказания: Р1 -——> 1В-^—> 1Р (рис. 3, а);

Р2 —и —^^ 1Р (рис. 3, б); Р^/З —1В Т^ > 1р Р3 —1В ТТр > 1р)

■ы т1в т1р (рис. 3, б); 1 ы/1 7 в т1р \МД 7 в 71р

(рис. 3,в); РЫЦм—^— 1в ^}—'ТргМ > 1р (р'М —Рр— 1в Г|,Тр}м > 1р) (рис. 3,г); РМ —1в —Т2}м— 1р (рис. 3Д); Р3 —3р— 1в —1р (рис. 3, е).

{rS}N

б

и =

Рис. 3. Геометрические модели предсказания многоракурсных изображений Данные модели уточняются с помощью выражений Т (1в ) = Т2 (ТРр (р2)) при Р3 ^ РР2,

N—1 N—1 , / \ \

ЦТ (1в, п) = УТ2 (ТрЗр (р) п) при Р3 ^ Р',

п=0

N—1

п=0

УУТ?2(1в,п)иТр2(1в) = УП(ТРрр3)п)иТр2(тРррЗ)) при Р3 ^

п=0

п=0

Т2(1в)иТр2(1в) = Т2(Тр3рр3))иТр2(Тр3рр3)) при Р3 ^Р*3,

N—1 М—1 И—1 , , . . М—1 , , . .

У^2(1в,п)и УТрР(1в, т) = У^(Трр(р^) п)и иТр2(трР(р^) т) при Р3 ^ Р^Мм,

п=0 т=0 п=0 т=0

м—1 / / \\ м—1 / / \ \

Т?2 (1в иТр2 (1в, т) = Т2 (Тр3р (Р2М3 ))и У ТрР (Тр3р (рр23 ) т) при Р3 ^ р^,

т=0 т=0

м—1 м—1

УТр2 (1в, т)= утр (ТрР (РЗ) т) при Р3 ^ Ръм,

т=0 т=0

ТрР (1в ) = ТрР (трр(р3)) при Р3 ^ р3, где ^ - операция объединения фрагментов изображения.

(5)

а

в

д

г

е

Методы проективной компенсации движения камеры

Для предсказания многоракурсных изображений {1 (г )}(г=0^—) предлагается использовать методы проективной компенсации движения камеры, основанные на использовании в общем случае проективного преобразования Т2 опорного изображения 1г, полученного в некотором исходном ракурсе, для формирования прогнозного изображения 1 , соответствующего другому ракурсу, согласно выражениям (3) или (4). В зависимости от используемой геометрической модели пространства Р3 регистрации методы проективной компенсации

движения камеры можно разделить на плоскостные (для пространств Р 2 и Р3 ) и объектные

(для пространств р и Р£), двухмерные (для пространств Р12 и ) и трехмерные (для пространств р3 и Ръм). Для реализации методов проективной компенсации движения камеры необходимо разделить пиксели опорного изображения !в по плоскостям (объектная декомпозиция), установить соответствие между плоскостями опорного и прогнозируемого изображений, определить тип и параметры преобразования для каждой плоскости.

При плоскостной компенсации движения камеры пиксели опорного изображения !в рассматриваются в одной плоскости, параллельной [5] (двухмерная плоскостная компенсация движения) или произвольно ориентированной [6] (трехмерная плоскостная компенсация движения) относительно плоскости регистрирующей системы камеры. Двухмерная плоскостная компенсация движения камеры основана на преобразовании р2 подобия, трехмерная плоскостная компенсация движения - на проективном преобразовании Рв . Для примера на рис. 4, а представлен фрагмент видеопоследовательности из 15 кадров, сформированной с борта беспилотного летательного аппарата, для сжатия которой использованы кодеки Н.264, М1РБО-2000, М1РБО и кодек БМС на основе двухмерной плоскостной компенсации движения камеры. В качестве опорного изображения для двухмерной плоскостной компенсации движения камеры использован фрагмент фотоплана (рис. 4, б).

Кадр 1

Кадр 15

РИС

Н.264

ЫЗРЕО-2000

ЫЗРЕО

Коэффициент сжатия

Рис. 4. Оценка эффективности двухмерной плоскостной компенсации движения камеры: а - видеопоследовательность (15 кадров); б - фотоплан; в - восстановленный 10-й кадр; г - зависимость Р8№Я от коэффициента сжатия

Анализ кадров, восстановленных после сжатия в 50 раз различными кодеками (рис. 4, г), показывает, что двухмерная плоскостная компенсация движения камеры обеспечивает лучшее качество. Экспериментально установлено, что при коэффициентах сжатия

б

а

в

больше 10 раз кодек на основе двухмерной плоскостной компенсации движения камеры обеспечивает увеличение пикового отношения сигнал-шум (Р8КЯ) на 1дБ по сравнению с кодеком Н.264 и на 2 дБ по сравнению с кодеком Ы1РБО-2000 (рис. 4, г).

При объектной компенсации движения камеры пиксели опорного изображения рассматриваются в нескольких плоскостях, параллельных (двухмерная объектная компенсация движения) или произвольно ориентированных (трехмерная объектная компенсация движения) относительно плоскости регистрирующей системы камеры [6]. Двухмерная объектная компенсация движения камеры основана на преобразованиях Т/ подобия, трехмерная

объектная компенсация движения - на проективных преобразованиях Тр , применяемых к каждой плоскости независимо. Для примера на рис. 5 представлены опорный (рис. 5, а) и прогнозируемый (рис. 5, б) кадры видеопоследовательности, сформированные с помощью видеокамеры, установленной на движущемся автомобиле. Для этих кадров с помощью методов двухмерной объектной и трехмерной плоскостной компенсации движения камеры сформированы прогнозный (рис. 5, в) и разносный (рис. 5, г) кадры. Для сравнения на рис. 5, д приведен разностный кадр, сформированный с помощью кодека Н.264. Экспериментально установлено, что выигрыш в пиковом отношении сигнал-шум предсказания от использования проективной компенсации движения достигает 1,5 дБ по сравнению с блочной компенсацией движения, используемой в кодеке Н.264.

г д

Рис. 5. Оценка эффективности объектной и плоскостной компенсации движения камеры: а - опорный кадр; б - прогнозируемый кадр; в - прогнозный кадр, сформированный с помощью объектной и плоскостной компенсации движения; г - разносный кадр, сформированный с помощью объектной и плоскостной компенсации движения; д - разносный кадр, сформированный с помощью

блочной компенсации движения кодеком Н.264

Заключение

Предложены геометрические модели, представляющие пространство регистрации камеры одной или несколькими плоскостями в двухмерном или трехмерном пространстве. На их основе разработаны геометрические модели формирования и предсказания многоракурсных изображений. Показано, что эффективным средством предсказания является проективная компенсация движения камеры, основанная на использовании в общем случае проективного преобразования опорного изображения, полученного в некотором исходном ракурсе, для формирования прогнозного изображения, соответствующего другому ракурсу. Предсказание на основе проективной компенсации движения камеры позволяет реализовать эффективные методы сжатия многоракурсных изображений. Установлено, что выигрыш в пиковом отношении сигнал-шум предсказания от использования проективной компенсации движения достигает 1,5 дБ по отношению к блочной компенсацией движения, используемой в кодеке

^264. При сжатии многоракурсных изображений с коэффициентами больше 10 раз кодек на основе проективной компенсации движения камеры обеспечивает увеличение пикового отношения сигнал-шум на 1дБ по сравнению с кодеком Н.264 и на 2 дБ по сравнению с кодеком MJPEG-2000.

GEOMETRIC MODELS OF MULTI-ANGLE IMAGES AND PROJECTIVE COMPENSATION OF CAMERA MOTION

V.Yu. TSVIATKOU Abstract

Geometric models for the formation and prediction of multi-angle images are developed. As a means of prediction is proposed to use projective techniques compensate of camera motion. It is shown that the projective motion compensation allows to create an efficient compression techniques of multi-angle images.

Список литературы

1. Wallace G.K. // Communications of the ACM. 1991. Vol. 34. № 4. P. 30-44.

2. Yu W., Qiu R., Fritts J. // Proc. SPIE, Visual Communications and Image Processing. 2002. Vol. 4671. P. 635-645.

3. Iain R. H.264 and MPEG-4 Video Compression and Video Coding for Next-generation Multimedia. UK, 2003.

4. Sullivan G.J. Ohm J.-R., Han W.-J. et. al. // IEEE Transactions on Circuits and Systems for Video Technology. 2012. Vol. 22, № 12. P. 1649-1668.

5. Журавлёв А.А., Цветков В.Ю. // Докл. БГУИР. № 1 (79). 2014. С. 5-10.

6. Аль-Джубури Т.М. Конопелько В.К., Цветков В.Ю. // Инж. вест. 2010. № 2 (30). С. 20-26.