CC BY
23
Доклады БГУИР
2010 № 5 (51)
УДК 621.391
ПРОГРЕССИВНЫЙ ПОИСК СХОЖЕСТИ ДВУХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ СОПОСТАВЛЕНИЯ УГЛОВЫХ КОНТУРНЫХ ТОЧЕК
О.ДЖ. АЛЬ-ФУРАЙДЖИ, В.Ю. ЦВЕТКОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 30 сентября 2010
Предложен метод прогрессивного поиска схожести двух изображений в вейвлет-области, основанный на сопоставлении угловых контурных точек, выделяемых на кратномасштаб-ных аппроксимированных вейвлет-образах этих изображений. Суть метода состоит в постепенном уточнении координат соответствующих точек, обнаруженных на крупномасштабных вейвлет-образах сопоставляемых изображений, с уменьшением масштаба аппроксимированных вейвлет-образов. Это позволяет эффективно управлять соотношением «вычислительная сложность/точность поиска». Показано, что предложенный метод вейвлет-поиска вычислительно проще поиска в пространственной области.
Ключевые слова: поиск соответствий изображений, контурные точки.
Введение
Для формирования видеопанорамы на основе ряда элементарных изображений стандартного формата, поступающих от нескольких видеокамер, необходимо обеспечить сшивку элементарных изображений в реальном масштабе времени. Сшивка осуществляется по ключевым элементам изображений. Недостатками известных методов сшивки изображений [1-6] являются высокая вычислительная сложность процедуры поиска и сопоставления ключевых (ре-перных) точек, а также отсутствие адаптации к выделяемым вычислительным ресурсам.
Целью работы является разработка вычислительно простого метода поиска и сопоставления ключевых точек двух полутоновых изображений с возможностью управления соотношением «вычислительная сложность/точность поиска».
Описание метода прогрессивного вейвлет-поиска соответствий изображений
Для формирования панорам предлагается метод прогрессивного поиска схожести двух полутоновых изображений в области вейвлет-преобразования, основанный на сопоставлении угловых контурных точек, выделяемых на кратномасштабных аппроксимированных вейвлет-образах этих изображений. Суть метода состоит в постепенном уточнении координат соответствующих точек, обнаруженных на крупномасштабных вейвлет-образах сопоставляемых изображений, с уменьшением масштаба аппроксимированных вейвлет-образов. Метод позволяет сократить вычислительную сложность поиска соответствующих точек за счет уменьшения области анализа на мелкомасштабных вейвлет-образах и самих изображениях.
Метод состоит из следующих шагов.
1) Формирование двухмерных древовидных структур низкочастотных вейвлет-коэффициентов, на каждом уровне / = 0,Ь которых находятся разномасштабные аппроксими-
рованные образы —^ —и ^{^¡т^^х!- —^ —ч сопоставляе-
мо, г/г'-1,1=о,х/г'-^ 2 II 2 -Н|^=о,г/2'-и=о,х/г'-^ мых изображений /, = ф, х С - -- и Д = /' С,х - -%
(!)
где /ь - функция формирования аппроксимационных вейвлет-коэффициентов; Ь - число уровней вейвлет-преобразования; Z = - номер изображения; Ж2 I у - образ нулевого уровня двухмерной древовидной структуры, совпадающий с исходным изображением; У, X -размеры исходных изображений по горизонтали и вертикали.
2) Выделение контуров объектов аппроксимированных вейвлет-образов Ж ' и Ж ' сшиваемых изображений на верхних уровнях вейвлет-структур с помощью модифицированного фильтра Ро-бертса, обеспечивающего сокращение вычислительной сложности фильтрации примерно в 2 раза. Модификация заключается в вычислении модуля разности между значениями пикселей вейвлет-образа и его копии, сдвинутой по вертикали и горизонтали [7]. В результате формируются бинарные контурные аппроксимированные вейвлет-образы 4, = ^ ^ ^ 0х/2; 1) И
В2х! —г^ —' - го уровня:
2 II 2 -Н^у=0,1/2'-1,х=0,X/2-^
г ^ I1 при Ть<схутн,
[0 при ЩС^у,х^< ть у тн < с^у,х
при Z = 1,2,
где Гц 4ц ^ 1)4} - верхний и нижний пороги бинаризации, зависящие от статистических характеристик изображений; х - пиксели контурных аппроксимированных вейвлет-образов
С1 О 1 ттлгт и С2 О *
=0,7/2'-1,х=0,х/2'-^ 2 II 2 -П^=0,7/2'-1,х=0,х/2'-1
щью модифицированного фильтра Робертса.
Значения с*х вычисляются с помощью выражения
,, полученные с помо-
с1,х- 1Тпри у = 0,х = 0,X/21 -1,
^ ' ^ ^ Г _ __(3)
Сг^Ф,1,х-при у = 0,7/2' -1,х — 0,X/2'-1.
3) Определение и классификация реперных точек бинарных контурных аппроксимированных вейвлет-образов 1-го уровня. Для бинарных аппроксимированных вейвлет-образов В1 { , В2 К, осуществляется выявление пикселей на изломах контурных линий, образующих углы 45, 90О и 135 . Выявленные в результате пиксели интерпретируются как реперные точки с координатами 4}\С?, 2 и фк4п2^к ^ЬгДе Щ = , т2= 0,М2 -1 - но-
мера реперных точек; М1, М2 - число реперных точек для каждого изображения. Далее осуществляется классификация реперных точек в результате их сопоставления вместе с окрестными пикселями Л* 'ф4]1Л ^х4]1Л ^ и Ъ2^4ц2 ^х^ одному из 24 реперных шаблонов ^ 2, соответствующих всем возможным вариантам реперных точек и их окрестностей,
где Рп = ||рп 4',0 Л._|1; 0.у-Г ~ й реперный шаблон размером ЯхЯ, определяющий класс
п реперных точек; у 4}1Л , х , у 4)12 , х 4]12 ^ - координаты пикселей в окрестности реперных точек.
На рис. 1 приведены примеры прямоугольных реперных шаблонов для углов 45О. Если реперный шаблон представляет собой квадрат с размером, определяемым нечетным числом
пикселей, координаты , х41\, у 4}!^ , л* 4ц1г пикселей в окрестности реперных точек могут быть найдены с помощью выражений
уЬг УУк^г У^ (4)
х 4/1,. У хк (¡г,. 3= , (5)
при 2 = 1,2,
где 5 = О, С -1^2 - переменная, определяющая смещение относительно реперной точки.
При выполнении условий (4), (5) принадлежность реперной точки 4рг -¡х,- 411, ^ классу л устанавливается с помощью выражения
У к Ъг^з хк
Е (б)
У=Ук х=хк
где | • | - операция вычисления абсолютного значения.
В результате выполнения данного шага формируются два списка 4'/; У к X У^ =оД/Г=С и 4>к <>12 Ук <>12 У,; 4/12 Уц реперных точек ддя каж-
дого бинарного контурного вейвлет-образа К] 4 и В2 4^ сшиваемых изображений / - го уровня с указанием координат и классов пк 4ц\ и пк 4ц\ реперных точек.
Рис. 1. Реперные шаблоны, описывающие все возможные варианты реперных точек и их окрестностей
для угловых ориентаций контурных линий 45О
4) Для сокращения вычислительной сложности поиска соответствия реперных точек аппроксимированных вейвлет-образов сшиваемых изображений l - го уровня осуществляется
прореживание списков ук т^ ,хк mj ,пк mj
п\=0Мх-\
4ц_ _.jcK 4ц_ J),- 4ц_ ^ 0 " реперных точек в результате выполнения следующих 4
^k <р ~ ||vz <р ^ J^ , (по три на каждый аппроксимированный вейвлет-образ по
операций.
Формируются шесть 8- ми компонентных реперных вектора числу угловых ориентаций 45°, 90° и 135° контурных линий), каждый элемент которых Уг 4/
указывает на число реперных точек в бинарном контурном аппроксимированном вейвлет-образе, соответствующих одному из 8- ми классов реперных шаблонов для одной из трех угловых ориентаций (45О, 90О и 135О).
На основе реперных векторов формируются 6 бинарных маскирующих векторов
^г <р ~ \уг <р ^, для двух аппроксимированных вейвлет-образов, единичные
элементы \>2 гр 4/ которых соответствуют ненулевым элементам \'у ф 4/ ^ исходных векторов.
к^Ли: в
результате поэлементного логического умножения маскирующих векторов аппроксимирован-
Формируются 3 комбинированных маскирующих вектора = Ц^' 4/ JL
ных вейвлет-образов для соответствующих угловых ориентаций контурных линий согласно выражению
К = (7)
Формируются 6 прореженных 8-ми компонентных реперных векторов 1 ^ И/ ,, = ,, с] | — \ в результате поэлементного арифметичекого умно-
жения исходных 6- и реперных векторов на соответствующие им 3 комбинированных маскирующих вектора согласно выражению
В результате выполнения данного шага формируются два прореженных списка У К т\ ,х'к т\ т\ КТГ-Л и У К т2 К т2 т2 тгтп РСПСРНЫХ ТОчек
щ =0,М -1 т2 =0,М -1
для каждого бинарного контурного аппроксимированного вейвлет-образа сшиваемых изображений / -го уровня, в которых отображаются координаты 4ц1у ^х,- 4ц1у ^ и классы пк 4ц1у реперных точек, присутствующих на обоих сшиваемых изображениях < М,М2 < М , где М - число прореженных реперных точек.
5) Объектно-ориентированный поиск соответствующих реперных точек на апроксими-рованных вейвлет-образах сопоставляемых изображений /-го уровня по критерию минимума среднеквадратической ошибки МЖ 4}\ уУ, 4}\ ^ук 4}1г 4}1г вычисляемой на множестве пикселей в окрестностях реперных точек 4}\ ^ и фк 4цг2 ^х,- 4/12 ^ с учетом их принадлежности объекту или фону. Если размер окрестности совпадает с размером ре-перного шаблона, для вычислений МБЕ используется выражение
ЖЕ 4пх ~УК 4пх X *Ук 4*2 X <>1_ >
Е X 4У ,*'/; У }" 'Ък > -V,,Хк 4ц, > Л2 ^ (9)
= ^ ' I2
При щ е \,М -1 _, т2= 0,М -1.
При фиксированном значении тх минимум функции
МЖ ф'к 4}\ ¡Х- Л Л ^г позволяет для реперной точки 4цл 4}\ ^
на первом аппроксимированном вейвлет-образе определить соответствующую реперную точку 4ук т т на втором аппроксимированном вейвлет-образе.
Разделение случаев, связанных с объектом и фоном, позволяет учесть параллакс, возникающий из-за смещения камеры при съемке двух сшиваемых изображений.
6) Уточнение координат реперных точек, для которых найдено соответствие на верхних
уровнях древовидных вейвлет-структур. Шаги 2-5 повторяются на уровнях I = Ь —1,0 древовидных вейвлет-структур в окрестностях проекций реперных точек, найденных на верхних уровнях. Координаты 4цу ^х,- 4)1,, ^ соответствующих реперных точек, обнаруженные на уровне 1 = 0 древовидных вейвлет-структур, интерпретируются как уточненные.
Результаты моделирования
Для оценки эффективности разработанного метода прогрессивного поиска схожести двух полутоновых изображений в области вейвлет-преобразования использованы пары перекрывающихся изображений трехмерных сцен, полученные с помощью цифровой камеры при различном ее смещении. На рис. 2 представлены три тестовых полутоновых изображения 480 х 640 пикселей и результат их попарного взаимного позиционирования в пространствен-
ной области, полученный с помощью полного попиксельного перебора всех возможных вариантов.
Рис. 2. Взаимное позиционирование тестовых полутоновых изображений: а, б, в - полутоновые изображения; г - результат позиционирования изображений а и б; д - результат позиционирования изображений б и в
Точность поиска соответствий изображений оценивается значением ошибки Ер позиционирования изображений с использованием реперных точек, найденных методом прогрессивного поиска в вейвлет-области, вычисляемой с помощью выражения
ЕР=Ау + Ах, (10)
где АV, Ах - смещения по горизонтали и вертикали центра области перекрытия изображений, найденной с помощью метода прогрессивного поиска в вейвлет-области, относительно центра области перекрытия, найденной в результате полного попиксельного перебора.
При использовании в методе прогрессивного поиска трехуровневого двухмерного рационального вейвлет-преобразования на основе банков фильтров биортогональных вейвлетов 9.7 для случаев, представленных на рис. 2 г и 2 д, ошибка позиционирования составляет 1 и 0 пикселей соответственно. Время выполнения прогрессивного поиска в вейвлет-области на процессоре Р-1У (тактовая частота 2.2 гГц; ОЗУ 2 Гбайта) составило 1.7 с. Для сравнения, время выполнения полного попиксельного перебора составило около 141 с (примерно в 83 раза дольше) без учета крена видеокамеры. В случае ограничения выделяемых вычислительных ресурсов прогрессивный вейвлет-поиск соответствий может быть прерван. При этом точность поиска соответствий и последующего позиционирования изображений будет зависеть от степени детализации последних обработанных аппроксимированных вейвлет-образов сопоставляемых изображений.
Заключение
Предложен метод прогрессивного поиска схожести двух полутоновых изображений в области вейвлет-преобразования, основанный на сопоставлении угловых контурных точек, выделяемых на кратномасштабных аппроксимированных вейвлет-образах этих изображений. Суть метода состоит в постепенном уточнении координат соответствующих угловых контур-
ных точек, обнаруженных на крупномасштабных вейвлет-образах сопоставляемых изображений, с уменьшением масштаба аппроксимированных вейвлет-образов. Прогрессивный характер поиска позволяет эффективно управлять соотношением «вычислительная сложность / точность поиска» в условиях ограниченных вычислительных ресурсов. Показано, что вычислительная сложность поиска соответствий в вейвлет-области с помощью предложенного метода может быть сокращена в 80 и более раз по сравнению с поиском соответствий в пространственной области с помощью полного попиксельного перебора.
PROGRESSIVE SEARCH OF THE TWO IMAGE CORRESPONDENCES BASED ON THE ANGULAR CONTOUR POINTS COMPARISON
O.J. AL-FURAIJI, V.YU. TSVIATKOU
In this paper, a method of progressive search of two images correspondences in the wavelet domain is proposed. This method is based on comparing the angular contour points which are selected in the multiresolution approximated wavelet images of the original images. The method essence consists in the gradual refinement of coordinates of the correspondent points found in the large-scale wavelet images of the compared images, with decreasing the scale of the approximated wavelet images. This allows to effectively managing the relationship of «computational complexity / search accuracy». It is shown, that the proposed method of the wavelet-search is computationally easier than the search in the spatial domain.
Литература
1. Szeliski R., Kang S.B. // IEEE Workshop on Representation of Visual Scenes. USA. 1995.
2. Zoghlami I., Faugeras O., Deriche R. // IEEE CVPR. San Juan, Puerto Rico. 1997.
3. Capel, D. Zisserman, A. // IEEE CVPR. Santa Barbara. 1998.
4. Badra F., Qumsieh A., Dudek G. // IEEE Computer Society. Princeton. 1998.
5. McLauchlan P.F., Jaenicke A. // Image and Vision Computing Vol. 20. 2002.
6. Brown M., Szeliski, R., Winder S. // IEEE CVPR. San Diego. 2005.
7. Аль-Фурайджи О.Дж., Цветков В.Ю. // Докл. БГУИР. 2009. № 5.
