Восстановление границ кадра при стабилизации на основе построения модели фона и оценки значимости объектов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932

doi:10.15217/issn1684-8853.2017.5.42

ВОССТАНОВЛЕНИЕ ГРАНИЦ КАДРА ПРИ СТАБИЛИЗАЦИИ НА ОСНОВЕ ПОСТРОЕНИЯ МОДЕЛИ ФОНА И ОЦЕНКИ ЗНАЧИМОСТИ ОБЪЕКТОВ

В. В. БуряченкоР, канд. техн. наук M. Н. Фаворскаяа, доктор техн. наук, профессор А. Г. Зотина, канд. техн. наук, доцент А. И. Пахиркаа, канд. техн. наук, доцент

аСибирский государственный университет науки и технологий им. академика М. Ф. Решетнёва, Красноярск, РФ

Постановка проблемы: цифровая стабилизация видеопоследовательностей часто применяется в системах обработки видеопоследовательностей и видеонаблюдения для улучшения качества итогового материала. При этом одной из основных проблем является потеря граничных областей кадра при его масштабировании до стабилизированного состояния. Исследования альтернативных подходов восстановления границ кадра до сих пор не привели к появлению эффективного алгоритмического решения, обеспечивающего достаточное качество кадра. Цель: разработка эффективного алгоритма, позволяющего выполнить восстановление границ изображения при стабилизации видеопоследовательностей на основе модели фона, оценки значимых объектов в кадре и многополосного смешивания краев кадра и восстанавливаемых регионов. Результаты: разработан алгоритм восстановления границ кадра при стабилизации видеопоследовательности на основе разделения сцены на фон и значимые объекты, формирования буферного кадра и применения сшивки изображения на границах кадра для видеопоследовательностей, содержащих неравномерное движение камеры и объектов, а также многоплановую сцену. Практическая значимость: результаты работы протестированы с использованием общедоступной базы данных Sports Videos for Wild, которая содержит большое число видеопоследовательностей, отснятых движущейся видеокамерой, а также видеопоследовательностей LI Robust Optimal Camera Path, известных в работах по стабилизации движения. Применение разработанного алгоритма позволяетуменьшить масштабирование кадра и потери изображения при стабилизации доЗ-5% при наличии сложных видов движения и структуры сцены.

Ключевые слова — стабилизация видеопоследовательности, оценка значимости объектов, оценка точечных особенностей, построение модели фона, компенсация движения, восстановление границ изображения.

Введение

Стабилизация видеопоследовательности, являющаяся одним из важнейших способов видеообработки, используется для устранения нежелательных вибраций камеры на видеопоследовательности. Современные алгоритмы стабилизации имеют ряд недостатков, которые часто не позволяют применять их при профессиональной обработке изображений и видеопоследовательностей или в домашних условиях. В результате смещения положения кадра при стабилизации видеопоследовательности возникают участки, которые отсутствуют на оригинальном изображении. Последним этапом большинства известных алгоритмов стабилизации является устранение подобных участков и преобразование кадра к стандартному виду в целях заполнения отсутствующих областей на изображении.

Основные подходы к восстановлению границ

В литературе предложено три основных подхода к восстановлению изображения при стабилизации. Первый подход основан на заполнении граничных участков известными текстурными

элементами, имеющимися на соседних областях кадра [1-3]. Также применяются алгоритмы восстановления текстур, позволяющие заполнить пустые области при наличии текстуры на соседних областях изображения [4-7]. Второй подход основан на применении размытия границ изображения в области, которая является промежуточной между стабилизированным кадром и восстановленными регионами [8]. Подобный метод применяется в некоторых современных видеоредакторах, выполняющих стабилизацию (Deshaker, Adobe After Effects). В работе [10] предложено сегментировать видеопоследовательность на два слоя, содержащих передний план и фон изображения, после чего восстанавливать каждый слой индивидуально. Такой метод требует наличия длительной видеопоследовательности или, по крайней мере, отдельного движущегося объекта на большом количестве кадров. Matsushita (Мацушита) и другие авторы в работах [8, 9] предложили распространять локальное движение из известных областей на отсутствующие, при этом заполняя области даже в случае, если они являются динамическими. Этот метод не имеет недостатков предыдущих методов, а именно размытия границ кадра и образования разрывов регионов между известными и неизвестными областями, однако дает значитель-

■ Рис. 1. Методы восстановления границ для видеопоследовательности Gleicher4.avi [5], кадр 43: а — оригиналь-

ное изображение; б — стабилизированное изображение без восстановления границ; в — применение мозаики для заполнения отсутствующих регионов; г — заполнение пустых областей и применение размытия границ; д — переориентация изображения к объекту интереса; е — масштабирование изображения

■ Fig. 1. Methods for restoration of borders for video sequence Gleicher4.avi [5], frame 43: а — original image;

б — stabilized image without border restoration; в — application of mosaic for filling of absent regions; г — filling of empty areas and application of border blur; д — image reorientation relative to the object of interest; е — image scaling

ные негативные эффекты при наличии быстро движущихся объектов и низкой частоте кадров. Третий подход заключается в использовании нескольких предыдущих кадров для выполнения интерполяции и совмещения известных областей с отсутствующими участками на текущем кадре [10, 11]. На рис. 1, а-е показаны основные подходы к заполнению границ изображения при стабилизации видеопоследовательностей.

При этом, несмотря на разнообразие и достаточно хорошие результаты рассмотренных методов, в современных коммерческих алгоритмах стабилизации для восстановления границ изображения применяется альтернативный подход, а именно масштабирование кадра. Данный метод частично устраняет наличие артефактов стабилизации, которые возникают в сложных случаях динамических видеопоследовательностей или при наличии быстро движущихся объектов в сцене за счет потери полезной информации в кадре на 20-30 % и ухудшения качества видеопоследовательности.

Восстановление границ кадра при стабилизации

Авторами предложен алгоритм восстановления границ изображения, основанный на разделении кадра на несколько областей и использовании информации из соседних кадров видеопоследовательности. Первым этапом алгоритма является оценка заметности (saliency) объектов [12]. В дальнейшем объекты, которые имеют высокий

уровень заметности, исключаются из обработки для восстановления границ, потому что они могут принадлежать объектам переднего плана, которые имеют другой уровень смещения между кадрами или движутся с небольшой скоростью относительно фона изображения. Тем не менее заметные объекты могут быть использованы для стабилизации изображения, потому что они являются хорошим ориентиром для выбора ключевых кадров и компенсации движения.

Построение карты заметности объектов осуществляется на основе вычисления карт интенсивности и цвета. Подход для построения карты заметности основан на гауссовом подходе [13]. Он состоит из четырех основных шагов:

— построение гауссовой пирамиды и, содержащей несколько слоев нижнего уровня и1, и2, ..., ип. Первый слой и1 имеет разрешение ю хй пикселов. Разрешение следующего слоя уменьшается на (ю/2п-1) х (й/2"-1) и вычисляется дискретизацией с использованием гауссова фильтра с маской 5 х 5 пикселов;

— построение обратной гауссовой пирамиды Бп, значения которой вычисляются путем повышающей дискретизации с использованием гауссова фильтра маской 5 х 5 пикселов;

— выполнение поэтапного деления и1 и для того чтобы получить матрицу минимальных отношений М соответствующих значений и■ и Д:

(

Шх,у = min

Dh

иъ

\

Uk

Dh

,k е[0, ..., п]; (1)

у

— карта заметности S^in) для пиксела с координатами х, у вычисляется как обратное значе-

ние Mxy по формуле

\in)x,y

- М Х,у )•

(2)

Все значения S(ira) нормированы в диапазоне [0...1], что позволяет объединять полученные значения с другими подходами вычисления замет-ности, например, с использованием контраста или других цветовых моделей.

Оценка наличия движущихся объектов на граничных участках кадра осуществляется путем расчета глобального движения кадра, которое также используется для стабилизации изображения [14]. Отдельные блоки изображения на границах кадра принадлежат движущимся объектам, если их направление и модуль вектора движения отличаются от глобального движения кадра. Такие области также исключаются при восстановлении границ.

Для реконструкции данных на границах видеопоследовательности предлагается использовать слияние данных нескольких кадров, что в свою очередь позволит использовать минимальные вычислительные ресурсы. Для восполнения недостающей визуальной информации ис-

пользуется текущий кадр и N сформированных буферных кадров, полученных ранее с учетом стабилизации. Количество используемых кадров последовательности определяется в зависимости от имеющихся вычислительных ресурсов и длительности сцены.

Основные этапы алгоритма

В обобщенной форме предлагаемый алгоритм можно представить в виде следующих основных шагов (рис. 2).

Первым этапом алгоритма является вычисление особых точек и векторов локального и глобального движения для выполнения стабилизации изображения [11]. Оценка точечных соответствий выполняется на основе алгоритма FAST (Function Analysis System Technique) [15] для текущего F(t) и последующего F(t + 1) кадров видеопоследовательности (рис. 3).

Вторым этапом алгоритма является определение опорных точек в сцене. Для буферного кадра выполняется вычисление заметности S(in) объектов, что позволяет отделить участки кадра, относящиеся к переднему плану, при восстановлении границ. В качестве опорных выбираются четыре особые точки, которые принадлежат фоновому

Кадр F(t + 1) -- Получение данных

>

Метод FAST -- Расчет особых точек

Слияние с буферными

кадрами Fg(t) и Fg(t -1)

Интерполяция данных на границах

Определение опорных точек

Коэффициенты

аффинного и перспективного преобразований

Вычисление коэффициентов преобразований

Формирование буферного кадра

Заполнение недостающей информации

Вывод результата

Глобальные и локальные векторы движения

Характеристики движения камеры

Вычисление дескрипторов

Сопоставление особых точек

Выбор четырех точек

Определение областей перекрытия кадров

Кадрирование данных буферного кадра Fg (t)

Вычисление зоны слияния кадров FB(t) и F(t + 1)

Слияние данных буферного кадра Fg(t) и кадра F(t + 1)

Рис. 2. Общая схема алгоритма восстановления информации на границах кадра Fig. 2. Flow-chart of algorithm for data restoration in frame borders

ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ

■ Рис. 3. Пример расчета особенных точек для видеопоследовательности 00081 MTS-shaky original.avi [5]:

а — кадр F(t); б — кадр F(t + 1)

■ Fig. 3. Example of keypoints' location for video sequence 00081 MTS-shaky original.avi [5]: а — frame F(t);

б — frame F(t + 1)

■ Рис. 4. Пример сопоставления кадров на основе опорных точек, кадры 25 и 50 видеопоследовательности 00081

MTS-shaky original.avi [5]: а — сопоставление опорных точек: слева изображены точечные соответствия между соседними кадрами F(t) — к и F(t + 1) — •, справа показаны соответствия между буферным кадром FB(t - 1) и следующим кадром F(t + 1), цветом выделены несоответствия между положением объектов в кадрах; б — определение областей перекрытия для соответствующих кадров: выделена совпадающая область изображения на различных кадрах

■ Fig. 4. Example of frames' correspondence based on the keypoints, frames 25 and 50 from video sequence 00081

MTS-shaky original.avi [5]: а — the keypoints' correspondence: keypoints' correspondence between the adjacent frames F(t) — ▲ and F(t + 1) — • are depicted in left, the correspondence between buffer frame FB(t - 1) and following frame F(t + 1) are shown in right, the non-correspondences in objects' position in frames are marked by color; б — definition of areas' overlapping in frames: the overlapping area are marked in different frames

изображению кадра (задний план), при этом находятся на некотором расстоянии от границ кадра и значительном удалении друг от друга (не менее 5 и 10 % от размера кадра по осям ОХ и ОУ соответственно). При выборе особых точек одним

из критериев является соответствие векторам движения. На рис. 4, а представлены особые точки, из которых формируются наборы из четырех опорных точек, участвующих в дальнейших вычислениях.

■ Рис. 5. Пример обработки стабилизированного кадра видеопоследовательности 00081 MTS-shaky original.avi

[5]: а — кадрирование; б — реконструкция границ кадра

■ Fig. 5. Example of processing of the stabilized frame from video sequence 00081 MTS-shaky original.avi [5]: а —

framing; б — reconstruction of frame borders

На третьем этапе алгоритма для определения необходимого смещения при стабилизации вычисляются коэффициенты аффинного и перспективного преобразований kFi, i е [0, ..., 8]. Вычисление коэффициентов происходит на основе опорных точек для текущего F(t) и буферного FB(t - 1) кадров, а также для текущего и последующего F(t + 1) кадров. Трансформация текущего кадра выполняется согласно коэффициентам трансформации kF с учетом поправки на глобальное движение FLMV (в случае движения камеры), где FLMV — значения локальных векторов движения. Пример результатов трансформации представлен на рис. 5, а и б.

Заполнение недостающих областей выполняется путем формирования буферного кадра FB(t) с учетом наложения областей для граничных фрагментов кадров. Для этого определяются области перекрытия с использованием буферных кадров F(t - i), где i = 1...N (рис. 4, б). Далее буферный кадр FB(t) записывается в выходной поток, при этом зоны с высоким уровнем движения или заметности исключаются из обработки (см. рис. 5, а).

Заполнение отсутствующих зон в кадре выполняется путем слияния визуальных зон методом многополосного смешивания для кадров FB(t) и F(t + 1) с учетом аффинных преобразований. В связи с тем, что на границах кадра может содержаться существенная информация, связанная с движением объектов, размер зоны слияния ограничивается 10 - 20 пикселами в зависимости от разрешения видеопоследовательности.

Идея многополосного смешивания заключается в совмещении низких частот в широком пространственном диапазоне и высоких частот в узком диапазоне. Весовая функция в евклидовом пространстве для изображения обозначается как W(x, y) = w(x)w(y). Веса смешивания инициализируются нахождением набора точек j для каждого изображения i с использованием выражения

Wiaax У) =

1, если Wl (х, у) =

= arg max W1 (х, г/ );

i

О, иначе.

(3)

После этого выполняется размытие весовой карты для каждого диапазона в целях формирования различных весовых коэффициентов отдельных диапазонов. Высокочастотная версия изображения формируется по формуле

в1с (x, ту) = I1 (x, ту) - 4 ту); 4 ту) = I1 туту^

(4)

где В^ (х, у) — пространственная частота в диапазоне длины волны X е [0, ст]; Р(х, у) — изображение в текущем диапазоне; (х, у) — гауссова свертка изображения; ga(x, у) — гауссов фильтр со стандартным отклонением ст.

Для текущего диапазона изображения должны быть свернуты с соответствующими максимальными весовыми функциями:

Wv у) = wmax У)ga у)>

(5)

где (х, у) — весовой коэффициент смешивания для длины волны X е [0, ст].

Каждый диапазон совмещается с использованием изображений более низких частотных диапазонов и весовых коэффициентов:

1)о(х, ^ )=у)- 1(?г+1 )а(*, у);

W;

(fe+l)o fa у) = fa Уfa У),

(6)

ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ

■ Рис. 6. Пример стабилизированной последовательности с реконструкцией границ кадра: а — стабилизирован-

ная последовательность кадров; б — стабилизированная последовательность с реконструированными границами кадров

■ Fig. 6. Example of stabilized video sequence with reconstruction of frame borders: а — stabilized sequence of frames;

б — stabilized sequence of frames with reconstructed frame borders

где <т_— гауссово стандартное отклонение:

ст' = л/2£ + 1ст.

В результате последующие диапазоны имеют одинаковые длины волн, и окончательно значение интенсивности пиксела для каждого диапазона вычисляется по формуле

N

X у У )

j-multi Lka

(х, У) =

£=1

N

(7)

Е Wb(x, У)

i=1

где N — количество отдельных диапазонов изображений.

Последним этапом алгоритма является слияние данных из буферных кадров с использованием цветовой модели УUV. Отсутствующие на изображении зоны восстанавливаются на основе данных из буферных кадров FB(t - I) и кадра F(t + 1) с поправкой на движение камеры. Заполнение производится путем вычисления значения (х, у) (7), при этом исключается усреднение значений в области пикселов в случае выявления движущегося объекта. При невозможности использовать информацию из соседних кадров заполнение недостающих областей осуществляется путем интерполяции Fint значений соседних пикселов (см. рис. 5, б). Общий набор правил для получения значения пиксела восстанавливаемой области следующий:

если (ЬМУХ>У < 0,1 х ЬМУгг ),

тоР{г+\)х,у = РВх,у; если (ЪМУХ>У > 0,1 х ЬМУ(Г )

и (х + ЬМУХ <и>,у + ЬМУу < й), ТоР{ь+\)х,у ~ ^в [х+ЬМУх, у+ЬМУу )'

если [LMVx>y > 0,1 х LMVtr )

(S(in)x,y > Str ), P{t+l)x,y

ИЛИ

TO = lZlti (*, y),

(8)

где LMV(x, у) — вектор движения для блока пикселов кадра F с координатами x, у; LMVtr — порог определения движения; ю и к — ширина и высота кадра видеопоследовательности; Бг — порог за-метности объектов кадра V.

w h

Str -

X у

W X h

-, x e (0, ..., w), у e (0, ..., h). (9)

Пример фрагмента стабилизированной последовательности кадров с последующей реконструкцией данных на границах кадра показан на рис. 6, а и б.

Представленный алгоритм дополнительной обработки при осуществлении программной стабилизации видеопоследовательностей дает возможность на основе нескольких кадров частично восстановить границы изображения после кадрирования последовательности. Таким образом, осуществляемая реконструкция границ при стабилизации позволяет сократить уменьшение области наблюдаемой сцены. Однако при больших уровнях дрожания камеры и невозможности полностью восстановить границы кадра с использованием соседних кадров применяемая интерполяция пикселов становится визуально заметной в некоторых случаях, например, при наличии сложных текстур или объектов со сложной контурной структурой.

Экспериментальные исследования

Эксперименты проводились с применением видеопоследовательностей, представленных в таблице. В общей сложности проанализировано 50 видеопоследовательностей из базы данных SVW (Sports Videos in the Wild) [6], которая состоит более чем из 500 видеопоследовательностей, для которых известна их принадлежность к определенному виду спорта, уровень движения в кадре, а также диапазон кадров, содержащих движение оператора. Также анализировались видеопоследовательности, полученные из набора данных L1 Robust Optimal Camera Paths [5], содержащие сложную структуру сцены, движущиеся объекты и дрожание видеокамеры.

В результате разделения кадра на области, принадлежащие движущимся объектам, заметным объектам и фону изображения, становится возможным заполнить отсутствующие участки кадра при стабилизации достоверными фраг-

ментами кадра, в которых будут отсутствовать объекты переднего плана и движущиеся мелкие объекты. Оставшиеся области кадра заполняются путем восстановления текстуры на основе уже заполненных участков кадра, восстановленных на изображении. Пример результата стабилизации изображения и восстановления границ для сложной сцены, содержащей движущийся объект, а также сложную структуру фона, представлен на рис. 7, а-е.

Были проведены эксперименты, позволяющие оценить возможность отслеживания движущихся объектов на основе выделения значимых объектов переднего плана. Разделение кадра на объекты переднего плана и фон позволяет точнее выполнять восстановление границ кадра в связи с тем, что объекты, имеющие высокую значимость на изображении, исключаются из обработки.

Так, потери информации на границах кадра при масштабировании изображения становятся существенно меньшими (рис. 8). Отметим, что

■ Описание исходных данных экспериментов

■ Description of dataset for experiments

Название Разрешение, пикс. Количество кадров Виды движения Объекты переднего плана Априорная информация о границах движения

basketball 10191.mp4 (SVW) 640 х 360 120 Статичная камера, неравномерное движение объектов Несколько объектов Есть, границы движения для каждого из кадров

gymnastic_ 5511.mp4 (SVW) 640 х 360 300 Нестабильная камера, движение значимого объекта в кадре Один объект интереса То же

diving 4140 .mp4 (SVW) 640 х 360 180 Один движущийся объект, быстрое смещение камеры То же _п_

sam_1.avi (Grundmann, [5]) 630 х 360 330 То же _п_ Номера кадров, содержащих движение

00081MTS-shaky original.avi [5] 640 х 360 1230 Движущиеся объекты, медленное смещение камеры Несколько объектов интереса То же

Gleicher4. avi (Grundmann, [5]) 640 х 360 400 Неравномерное движение камеры, сложная структура фона Один объект интереса _п_

new_gleicher.avi (Grundmann, [5]) 480 х 270 360 То же Один объект интереса _п_

■ Рис. 7. Этапы алгоритма восстановления границ изображения для видеопоследовательности Sam_1.avi [5]: а —

оригинальный кадр; б — стабилизированное положение кадра с отсутствующими участками; в — нахождение заметности объектов; г — выделение движущихся объектов; д — восстановление границ кадра; е — увеличенные участки изображения со сложной структурой

■ Fig. 7. Stages of algorithm for restoration of frame borders for video sequence Sam_1.avi [5]: а — original frame;

б — the stabilized frame position with the absent areas; в — detection of salient objects; г — detection of moving objects; д — restoration of frame borders; е — enlarged frame areas with complicated structure

50

,и

ни 40

а

Номер

■ результат стабилизации видеопоследовательности

■ восстановление границ

■ Рис. 8. Сравнение потерь информации на границах кадра при масштабировании изображения. Результаты

представлены для базы видеопоследовательностей Sports Videos in the Wild [6]

■ Fig. 8. Comparison of information losses in frame borders under image scaling. Results are represented for video

dataset Sports Videos in the Wild [6]

полученные данные по стабилизации и восстановлению границ являются средними значениями для каждой видеопоследовательности.

Заключение

Разработанный алгоритм позволяет выполнять восстановление границ кадра при стабилизации

с учетом сложной структуры сцены, наличия движущихся объектов в кадре, при этом учитывая изменение положения объектов на нескольких кадрах видеопоследовательности. Оценка заметности объектов и разделение сцены на фон и движущиеся объекты также могут быть использованы для повышения качества стабилизации изображения или применения алгоритмов видеоаналитики.

Проведенное сравнение алгоритма с другими известными методами восстановления границ показало отсутствие артефактов, возникающих в сложных сценах, и меньшие потери информации при масштабировании изображения. Обработка одного кадра размером 1280 х 720 пикселов с учетом алгоритма стабилизации занима-

Литература

1. Matsushita Y., Ofek E., Ge W., Tang X., Shum H.-Y.

Full-Frame Video Stabilization with Motion Inpaint-ing // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI). 2006. Vol. 7. P. 11501163.

2. Davis J. Mosaics of Scenes with Moving Objects// Proc. of IEEE Computer Vision and Pattern Recognition/ IEEE Computer Society. 1998. P. 354-360.

3. Litvin A., Konrad J., Karl W. Probabilistic Video Stabilization using Kalman Filtering and Mosaicking // Proc. of IS&T/SPIE Symp. on Electronic Imaging, Image and Video Communications. 2003. Vol. 1. P. 663-674.

4. Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. 2004. Vol. 60(2). P. 91-110.

5. Grundmann M., Kwatra V., Essa I., Grundmann M. Auto-directed Video Stabilization with Robust L1 Optimal Camera Paths // Proc. CVPR. 2011. P. 225-232.

6. Safdarnejad S., Xiaoming L., Lalita U., Brooks A., Wood J., Craven D. Sports Videos in the Wild (SVW): A Video Dataset for Sports Analysis, Automatic Face and Gesture Recognition (FG) // 11th IEEE Intern. Conf. and Workshops on Automatic Face and Gesture Recognition. 2015. Vol. 1. P. 1-7.

7. Favorskaya M. N., Damov M. V., Zotin A. G. Accurate Spatio-Temporal Reconstruction of Missing Data in Dynamic Scenes // Pattern Recognition Letters. 2013. Vol. 34(14). P. 1694-1700.

ет около 40 мс. Время работы алгоритма можно уменьшить, одновременно обрабатывая несколько кадров на стадиях оценки движения и замет-ности объектов.

Работа выполнена при поддержке Российского фонда фундаментальных исследований, проект № 16-07-00121 А.

8. Matsushita Y., Ofek E., Ge W., Tang X., Shum H.-Y.

Full-Frame Video Stabilization // Computer Vision and Pattern Recognition. 2005. P. 50-57.

9. Hu R., Shi R., Shen I., Chen W. Video Stabilization using Scale-Invariant Features // 11th Intern. Conf. Information Visualization. 2007. P. 871-877.

10. Jia J., Wu T., Tai Y., Tang C. Video Repairing: Inference of Foreground and Background under Severe Occlusion // Proc. IEEE Conf. Computer Vision and Pattern Recognition. 2004. P. 364-371.

11. Favorskaya M. N., Jain L., Buryachenko V. V. Digital Video Stabilization in Static and Dynamic Scenes // Computer Vision in Control Systems-1: Mathematical Theory. — Springer, 2015. Vol. 73. P. 261-309.

12. Favorskaya M. N., Buryachenko V. V. Fast Salient Object Detection in Non-stationary Video Sequences Based on Spatial Saliency Maps // Smart Innovation, Systems and Technologies. 2016. Vol. 55. P. 121-132.

13. Katramados I., Breckon T. P. Real-time Visual Sali-ency by Division of Gaussians // IEEE Intern. Conf. on Image Processing. 2011. P. 1741-1744.

14. Favorskaya M. N., Buryachenko V. V. Fuzzy-Based Digital Video Stabilization in Static Scenes / G. A. Tsihrintzis, M. Virvou, L. C. Jain, R. J. Howlett, T. Watanabe (Eds.) // Intelligent Interactive Multimedia Systems and Services in Practice. SIST. — Springer, 2015. Vol. 36. P. 63-83.

15. Rosten E., Drummond T. Fusing Points and Lines for High Performance Tracking // Proc. of the IEEE Intern. Conf. on Computer Vision. 2005. Vol. 2. P. 1508-1511.

UDC 004.932

doi:10.15217/issn1684-8853.2017.5.42

Restoration of Frame Borders under Stabilization based on Background Model Building and Salient Objects Estimation

Buryachenko V. V.a, PhD, Tech., Associate Professor, buryachenko@sibsau.ru Favorskaya M. N.a, Dr. Sc., Tech., Professor, favorskaya@sibsau.ru Zotin A. G.a, PhD, Associate Professor, zotin@sibsau.ru Pahirka A. I.a, PhD, Tech., Associate Professor, pahirka@sibsau.ru

aReshetnev Siberian State University of Science and Technology, 31, Krasnoyarsky Rabochy Ave., 660037, Krasnoyarsk, Russian Federation

Introduction: Digital video stabilization is often used in video processing systems and video surveillance in order to improve a quality of final video sequences. One of the main challenges deals with a loss of border regions of a frame during its scaling. The investigations in a framework of the alternative approaches for frame border restoration did not lead to reasonable algorithmic solution providing the required quality of frame. Purpose: The goal is to develop an effective algorithm providing a frame border restoration under video

stabilization based on the background model, estimation of the salient objects in a frame, and multi-band blending the border frame and reconstructed regions. Results: An algorithm has been developed for frame border restoration after stabilization stage. It is based on splitting the scene into a background model and salient objects, forming an intermediate buffer frame and stitching the frame borders for video sequences including a non-uniform movement of the camera and objects, as well as a multilevel scene. Practical relevance: The results were tested using a common dataset Sports Videos for Wild with a large number of video sequences obtained by a moving camera, and also video sequences L1 Robust Optimal Camera Path commonly used as video stabilization test material. The implementation of the developed algorithm allows the decrease in the frame scaling and frame losses down to 3-5% even in the cases of complex movement and complex structure of a scene.

Keywords — Video Stabilization, Saliency Model, Feature-Point Detection, Background Detection, Motion Compensation, Frame Border Restoration.

References

1. Matsushita Y., Ofek E., Ge W., Tang X., Shum H.-Y. Full-Frame Video Stabilization with Motion Inpainting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, vol. 7, pp. 1150-1163.

2. Davis J. Mosaics of Scenes with Moving Objects. Proc. of IEEE Computer Vision and Pattern Recognition, 1998, pp. 354-360.

3. Litvin A., Konrad J., Karl W. C. Probabilistic Video Stabilization using Kalman Filtering and Mosaicking. Proc. of IS&T/SPIE Symp. on Electronic Imaging, Image and Video Communications, 2003, vol. 1, pp. 663-674.

4. Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints. Intern. Journal of Computer Vision, 2004, vol. 60, no. 2, pp. 91-110.

5. Grundmann M., Kwatra V., Essa I. Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths. Proc. Computer Vision and Pattern Recognition, 2011, pp. 225-232.

6. Safdarnejad S. M., Xiaoming L., Lalita U., Brooks A., Wood J., Craven D. Sports Videos in the Wild (SVW): A Video Dataset for Sports Analysis, Automatic Face and Gesture Recognition (FG). 11th IEEE Intern. Conf. and Workshops on Automatic Face and Gesture Recognition, 2015, vol. 1, pp. 1-7.

7. Favorskaya M. N., Damov M. V., Zotin A. G. Accurate Spatio-Temporal Reconstruction of Missing Data in Dynamic Scenes. Pattern Recognition Letters, 2013, vol. 34, no. 14, pp. 1694-1700.

8. Matsushita Y., Ofek E., Ge W., Tang X., Shum H.-Y. Full-Frame Video Stabilization. Computer Vision and Pattern Recognition, 2005, pp. 50-57.

9. Hu R., Shi R., Shen I., Chen W. Video Stabilization using Scale-Invariant Features. 11th Intern. Conf. Information Visualization, 2007, pp. 871-877.

10. Jia J., Wu T., Tai Y., Tang C. Video Repairing: Inference of Foreground and Background under Severe Occlusion. Proc. IEEE CVPR, 2004, pp. 364-371.

11. Favorskaya M. N., Jain L. C., Buryachenko V. V. Digital Video Stabilization in Static and Dynamic Scenes. In: Computer Vision in Control Systems-1: Mathematical Theory. M. N. Favorskaya, L. C. Jain (Eds.). ISRL. Springer, 2015, vol. 73, pp. 261-310.

12. Favorskaya M. N., Buryachenko V. V. Fast Salient Object Detection in Non-Stationary Video Sequences Based on Spatial Saliency Maps. In: Smart Innovation, Systems and Technologies. G. De Pietro, L. Gallo, R. J. Howlett, L. C. Jain (Eds.). Springer, 2016, vol. 55, pp. 121-132.

13. Katramados I., Breckon T. P. Real-time Visual Saliency by Division of Gaussians. IEEE Intern. Conf. on Image Processing, 2011, pp. 1741-1744.

14. Favorskaya M. N., Buryachenko V. V. Fuzzy-Based Digital Video Stabilization in Static Scenes. In: Intelligent Interactive Multimedia Systems and Services in Practice. G. A. Tsihrint-zis, M. Virvou, L. C. Jain, R. J. Howlett, T. Watanabe (Eds.). SIST. Springer, 2015, vol. 36, pp. 63-83.

15. Rosten E., Drummond T. Fusing Points and Lines for High Performance Tracking. Proc. of the IEEE Intern. Conf. on Computer Vision, 2005, vol. 2, pp. 1508-1511.

ПАМЯТКА ДЛЯ АВТОРОВ

Поступающие в редакцию статьи проходят обязательное рецензирование.

При наличии положительной рецензии статья рассматривается редакционной коллегией. Принятая в печать статья направляется автору для согласования редакторских правок. После согласования автор представляет в редакцию окончательный вариант текста статьи.

Процедуры согласования текста статьи могут осуществляться как непосредственно в редакции, так и по е-шаП (ius.spb@gmail.com).

При отклонении статьи редакция представляет автору мотивированное заключение и рецензию, при необходимости доработать статью — рецензию. Рукописи не возвращаются.

Редакция журнала напоминает, что ответственность за достоверность и точность рекламных материалов несут рекламодатели.