CC BY
372
УДК 004.021
В.В. Щербаков, А.Г. Гарганеев, И.В. Шакиров
Алгоритм расчета оптического потока в задачах оценки параметров геометрических преобразований
Предложен модифицированный алгоритм оценки оптического потока на базе вейвлет-преобразования, использующий метод наименьших квадратов, основанный на широко используемом методе Лукаса-Канаде. Рассмотрена задача оценки параметров геометрических преобразований по вейвлет-спектрам кадров видеопоследовательности.
Ключевые слова: оценка оптического потока, вейвлет-спектр, метод Лукаса-Канаде.
Анализ движения является хорошо изученной областью машинного зрения. Наиболее распространенными подходами к выделению движущихся объектов на изображениях в настоящее время являются метод оптических потоков и метод оценки движения по разностям изображений. Метод оптических потоков обеспечивает достаточно эффективный и гибкий аппарат для анализа видимого движения объектов на цифровых видеопоследовательностях.
Оптический поток определяется как «поток» уровней яркости на плоскости изображений. Оптический поток и поле движений равны, если объекты не изменяют энергетическую освещенность на плоскости изображений в процессе движения в сцене. Хотя это кажется разумным на первый взгляд, более полный анализ показывает, что это точно выполняется только в очень ограниченных случаях. Для вычисления оптического потока на основе уравнений потока разработано и реализовано несколько алгоритмов [1-4].
Существуют различные методы оценки параметров деформации кадра: на основе оптического потока внутри кадра (т.е. на основе векторов сдвига каждого пикселя изображения), на основе выделения характерных точек изображения (т.е. за счет выделения характерных особенностей на изображении и нахождения соответствия между ними на последовательных кадрах), на основе непосредственного использования яркости точек входного изображения [5].
Любая обработка видеопоследовательностей с выделением информации по движению состоит из двух частей: предобработка, вычисление оптического потока и постобработка полученных потоковых данных с попыткой извлечения из них информации. Исследования показали, что уже на этапе вычисления оптического потока возможно внести алгоритмические модификации, которые помогут ускорить процесс вычисления без существенной потери информации.
Задача оценки параметров геометрических преобразований сводится к следующему. Для каждого изображения из видеоряда необходимо оценить его геометрическую трансформацию относительно предыдущего (или нескольких предыдущих), полагая при этом, что кадры являются изображением одного и того же стационарного фона. Под геометрической трансформацией можно подразумевать произвольное непрерывно дифференцируемое взаимнооднозначное преобразование координат. Наиболее употребительными являются следующие трансформации:
• Аффинное преобразование, которое хорошо описывает произвольные небольшие геометрические трансформации кадров и является вполне достаточным для задачи стабилизации.
• Проективное преобразование, которое точно описывает изменение кадра, если сценой является плоскость. Это актуально для задач авиационного наблюдения, когда наблюдаемую поверхность Земли во многих случаях можно считать плоской. Недостатком этого преобразования является его нелинейность относительно параметров преобразования, что ведет к необходимости использовать нелинейные методы оптимизации для его поиска.
• Квадратичное преобразование, которое можно рассматривать как линейное относительно параметров приближения проективного преобразования. Основным его недостатком является несо-хранение свойства квадратичности при многократном применении.
Вычислив оценки параметров преобразований, можно компенсировать их влияние.
Метод Лукаса-Канаде. Один из самых широко используемых дифференциальных методов оценки оптического потока является метод Лукаса-Канаде, основанный на частных производных сигнала [5-6].
Приведем основное уравнение оптического потока:
VI7 • V = I/, (1)
которое содержит две неизвестных переменных и не может быть однозначно разрешено. Алгоритм Лукаса-Канаде обходит неоднозначность за счет использования информации о соседних пикселях в каждой точке. Метод основан на предположении, что в локальной окрестности каждого пикселя р значение оптического потока одинаково; таким образом, можно записать основное уравнение оптического потока для всех пикселей окрестности и решить полученную систему уравнений методом наименьших квадратов.
Алгоритм Лукаса-Канаде менее чувствителен к шуму на изображениях, чем поточечные методы, однако является сугубо локальным и не может определить направление движения пикселей внутри однородных областей.
Предположим, что смещение пикселей между двумя кадрами невелико, следовательно, по алгоритму Лукаса-Канаде оптический поток должен быть одинаков для всех пикселей, находящихся в окне с центром в р . А именно, вектор оптического потока (V ,Уу) в точке р должен быть решением системы уравнений:
IX (Я1)У, +1У (Ч1)Уу =-1/ (Ч1),
I х (Я2)У* + 1у (Я2)Уу =-1/ (Ч2),
. (2)
1 х (Чи )Ух + 1У (Чи )Уу = —1/ (Чп ), где Ч1,Ч2,...,Чп - пиксели внутри окна, Iх (ч/ ),1у (Чг )Дг (Чг) - частные производные изображения I
по координатам х, у и времени /, вычисленные в точке Чг.
Это уравнение может быть записано в матричной форме Ау = Ь , где
(3)
Полученную переопределенную систему решаем с помощью метода наименьших квадратов. Таким образом, получается система уравнений 2x2:
АТ Ау = АТЬ или V = (АТ А)-1 АТЬ , (4)
"1 * (Ч1) I у (Чі)" -I* (Чі)
а= I *(Ч2) Iу(Ч2) , V = V V V* , Ь = -I* (Ч 2)
I* (Чп ) 1 у (чп ) _-^ (чп )_
IV* ]
Уу _
-1
-Е,1 * (Чі)!/ (Чі)
-Е,1 у (Ч,)!/ (Ч,)
(5)
где А - транспонированная матрица А . Получаем:
ЕгIх (Чг )2 Е iIX (Чг Ду (Чг )
_Е г IX (Чг'Ду (Чг ) Ег IУ (Чг)2 .
Вейвлет-преобразование. В настоящее время одним из современных математических аппаратов является вейвлет-анализ. Для вейвлет-анализа изображений, как правило, вычисляется пирамидальная версия вейвлет-спектра. Вейвлеты, будучи функциями времени, имеют свое частотное представление. Частотное представление вейвлетов имеет важное значение и в определении фильтрующих свойств вейвлет-преобразований, и быстрого вейвлет-преобразования, основанного на пирамидальном алгоритме Малла и прореживании спектра вейвлетов по частоте. В соответствии с частотным подходом к вейвлет-преобразованиям частотная область вейвлетов может быть разбита на две составляющие - низкочастотную и высокочастотную. Низкочастотный фильтр дает частотный образ для аппроксимации (грубого приближения) сигнала, а высокочастотный фильтр - для его детализации.
Быстрое вейвлет-преобразование может быть реализовано в виде каскадного соединения низкочастотных и высокочастотных фильтров или пирамидального алгоритма Малла. Применимо к изображениям за один шаг дискретного вейвлет-преобразования (ДВП) выделяют одну низкочастотную и три высокочастотные компоненты исходного сигнала-изображения [8].
Авторы данной статьи предлагают перейти от временного представления последовательного видеоряда к частотному, полученному путем вейвлет-преобразования уровней яркости изображения. Тогда вычисление оптического потока методом Лукаса-Канаде будет иметь вид
ЇХ 1 ZiWx(qi )2 IfWx(qf )Wy (qi) -1 Г-E,- Wx (qi )Wt (qi )1
1л J _ZiWx(qi )Wy (qi) XiWy (qi)2 _ -Li Wy (qi )Wt (qi)_
где Wx (qi),Wy (qi),Wt (qi) - частные производные вейвлет-спектра изображения по координатам
x , у и времени t , вычисленные в точке qi .
Результаты исследований. Известно, что анализ в частотной области дает преимущества в оценке зашумленных сигналов [У, В]. Для исследования точности оценки параметров геометрических преобразований были проведены исследования на видеопоследовательности с шумом. На каждой итерации тестирования на изображение накладывался аддитивный белый гауссовский шум, с постоянно растущим среднеквадратическим отклонением (СКО). Результат сравнения базовой реализации и предложенного алгоритма с использованием вейвлета Добеши D4 представлены на рис. 1. Как показали результаты тестирования, новый алгоритм менее чувствителен к шуму на видеокадрах и дает хороший результат с малоконтрастными изображениями.
Среднеквадратическое отклонение ( а)
Рис. 1. Результат использования базового (1 ) и модифицированного (2) алгоритмов c применением вейвлета Добеши D4
Однако качество работы алгоритма во многом зависит от выбранного вейвлета. Тестирование проводилось с семейством вейвлетов Добеши D2, D4 и D6. D6 показал самый качественный результат и самое большое время обработки, соответственно D2 показал самое малое время анализа и менее качественный результат.
Заключение. Применение алгоритма Лукаса-Канаде к вейвлет-спектрам изображений позволило повысить эффективность метода для оценки геометрических преобразований, так как расчеты были перенесены из временной области в пространственно-временную область вейвлет-спектра. Вейвлет-преобразование изображения позволяет проводить более точный анализ и тем самым способствует выделению устойчивых информативных признаков анализируемой сцены. Экспериментально подтверждена высокая устойчивость (робастность) вейвлет-спектра при изменении размеров изображения и динамики сцены (изменение размеров и яркости объекта). Это позволит оценивать сложные, динамически меняющиеся сцены. Модифицированный алгоритм может быть непосредственно использован в реальных программно-аппаратных комплексах, а проведенные исследования позволяют повысить эффективность оценки параметров геометрических преобразований.
Работа выполнена при финансовой поддержке грантов №7.1967.2011 и 1G3 6.31.0010 от 22.10.2010 г.
Литература
1. Horn B.K. Determining optical flow / B.K. Horn, B.G. Schunck // Artificial Intelligence. - 19В1. -Vol. 1У. - P. 1В5-203.
2. Barron J.L. Performance of optical flow techniques / J.L. Barron, J.D. Fleet, S.S. Beauchemin // International Journal of Computer Vision. - 1994. - Vol. 12, № 1. - P. 43-УУ.
3. Anandan P. A Computational framework and an algorithm for the measurement of visual motion // International Journal of Computer Vision. - 1989. - Vol. 2. - P. 283-310.
4. Singh A. Optic Flow Computation: A Unified Perspective // IEEE Computer Society Press. -1991. - P. 168-177.
5. Лукьяница А. А. Цифровая обработка видеоизображений / А. А. Лукьяница, А.Г. Шишкин. -М.: Ай-Эс-Эс Пресс, 2009. - 518 с.
6. Lucas B.D. An Iterative Image Registration Technique with an Application to Stereo Vision / B.D. Lucas, T. Kanade // Proceedings of the 7th international joint conference on Artificial intelligence. -1981. - Vol. 2. - P. 674-679.
7. Дьяконов В.П. Вейвлеты. От теории к практике. - М.: СОЛОН-Р, 2002. - 448 с.
8. Graps A. An Introduction to Wavelets / Graps A. // IEEE Computational Sciences and Engineering. -1995. - Vol. 2, № 2. - P. 50-61.
Щербаков Виктор Владимирович
Аспирант каф. электронных средств автоматизации и управления (ЭСАУ) ТУСУРа
Тел.: 8-923-404-52-47
Эл. почта: [email protected]
Гарганеев Александр Георгиевич
Д-р техн. наук, профессор, зав. каф. ЭСАУ ТУСУРа, профессор Энергетического института
Национального исследовательского Томского политехнического университета
Тел.: 8-913-107-35-28
Эл. почта: [email protected]
Шакиров Игорь Вазирянович
Канд. техн. наук, доцент каф. ЭСАУ ТУСУРа
Тел.: 8-913-403-76-00
Эл. почта: [email protected]
Shcherbakov V.V., Garganeev A.G., Shakirov I.V.
The algorithm for calculating the optical flow estimation in the tasks of the parameters of geometric transformations
We propose a modified algorithm of optical flow estimation, it is based on wavelet transform using the method of least squares, based on a commonly used Lucas-Kanade method. We investigate the problem of estimating the parameters of geometric transformations of the wavelet-spectrums of the frame sequence.
Keywords: estimation of the optical flow, wavelet-spectrum, Lukas-Kanade method.
