CC BY
34
_Доклады БГУИР_
2009 № 5 (43)
УДК 621.391
КОНТУРНОЕ ПОЗИЦИОНИРОВАНИЕ ПОЛУТОНОВЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ МОДИФИЦИРОВАННОГО ФИЛЬТРА РОБЕРТСА
О.ДЖ. АЛЬ-ФУРАЙДЖИ, В.Ю. ЦВЕТКОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6 Минск 220013, Беларусь
Поступила в редакцию 13 октября 2009
Предложен метод взаимного контурного позиционирования двух полутоновых изображений для обеспечения их сшивки. Суть метода состоит в формировании контурной маски на основе модифицированного фильтра Робертса для одного из позиционируемых изображений и ее использовании для поиска наилучшего варианта размещения одного изображения поверх другого, обеспечивающего максимальную похожесть областей перекрытия этих изображений. В качестве критерия максимальной похожести использован минимум среднеквадратической разности, вычисляемый для выделенных контурной маской пикселей на множестве возможных областей перекрытия изображений. Метод обеспечивает сокращение вычислительной сложности позиционирования полутоновых изображений за счет минимизации числа операций при формировании контурной маски на основе модифицированного фильтра Робертса и вычислении среднеквадратической разности областей перекрытия изображений в результате использования не всех, а только выделенных контурной маской пикселей в областях перекрытия.
Ключевые слова: позиционирование изображений, сшивка изображений, контурные маски, модифицированный фильтр Робертса.
Введение
В геоинформационных, телемедицинских, производственно-технологических и охранных системах широкое применение находят панорамные изображения. Для формирования панорамных изображений используются несколько разнесенных в пространстве камер с перекрывающимися областями видимости [1] или одна перемещающаяся панорамная камера [2]. В обоих случаях панорама формируется в результате сшивки изображений, имеющих области соответствия. Базовой операцией сшивки является взаимное позиционирование двух изображений, в результате которого определяется наилучший вариант размещения одного изображения поверх другого, обеспечивающий максимальную похожесть областей перекрытия этих изображений [3]. Позиционирование производится в сочетании с различными преобразованиями сшиваемых изображений (поворотами, масштабированием, цветовой и тоновой коррекцией, компенсацией аберраций оптической системы камеры и другими). По способу позиционирования методы сшивки изображений могут быть разделены на три основных класса. К первому классу относятся методы, в основе которых лежит поиск лучшего варианта совмещения двух изображений в результате последовательного перебора всех возможных вариантов для всех пикселей в областях перекрытия изображений [4]. Эти методы обеспечивают высокую точность позиционирования, но имеют высокую вычислительную сложность. Методы второго класса используют для сокращения вычислительной сложности позиционирования характерные ключевые пиксели сшиваемых изображений, выделяемые с помощью фильтров [5, 6]. Для методов второго класса характерны высокая вероятность ошибки позиционирования из-за неверного определения ключевых точек [6], резкое снижение эффективности с ростом точности позиционирования из-за увеличения вычислительной сложности процедуры фильтрации [5], ограничения на аппаратно-программную реализацию с использованием ПЛИС из-за высокой алгоритмической сложности, отсутствие возможности управления в широких пределах числом
ключевых пикселем и соответственно соотношением «вычислительная сложность - точность позиционирования» из-за ограничения диапазонов перестройки фильтров [5]. К третьему классу относятся комбинации методов первых двух классов [7], сочетающие их недостатки и труднореализуемые в реальном масштабе времени.
Цель данной работы - разработать вычислительно простой метод взаимного позиционирования двух полутоновых изображений, ориентированный на аппаратно-программную реализацию и обеспечивающий эффективное управление соотношением «вычислительная сложность - точность позиционирования».
Модель сшивки изображений
При сшивке изображение / 4} 1= ' ^ X'. х ' __ ■
может быть представлено
многопараметрическои моделью, определяемой следующим выражением
'О/рг^ОЪОъС» (1)
где /рт - функция проекционного преобразования, обеспечивающая получение двухмерной проекции трехмерной сцены; пё [>.N _ - порядковый номер сшиваемого изображения; N - число изображений, используемых для сшивки; Р$41- множество параметров трехмерной сцены; Р(2 С - множество параметров оптоэлектронной системы видеокамеры; /}; 4} _ - множество параметров пространственной ориентации видеокамеры.
В общем случае сшивка требует поиска на множестве I ^¡(п = 0. Л' — 1) всех пар изображений 14[\ и / _ (п\ е |). А' - 1 _, П1 е |). А' -1 ). которые имеют области соответствия и, следовательно, могут быть частично перекрыты, т.е. размещены одно поверх другого с некоторым смещением.
Описание метода взаимного позиционирования полутоновых изображений
Для обеспечения сшивки предлагается метод позиционирования двух полутоновых изображений / 4}\ и / ^ на основе контурных масок, позволяющий определять границы областей
перекрытия I .г / 4}\ ^ и I 4^2 • I ^¡2 сшиваемых изображений в соответствии с выражением
Сип С <?ь г <62
при г
_ (2)
= 0,^ — 1, где МХ1<]( • ^ . ^2-'" 3 ~ взвешенная среднеквадратическая ошибка,
характеризующая различие областей перекрытия / С|. '* }= /
~ 4
,г =
1=0,7 4-1,х=0,Х4-1 сшиваемых изображений / ^ и / 4^2 _ Для выделенных
'(¡=0,? 4~}1,Х=0,Х
контурных точек; У ^ . X ^ - размеры по вертикали и горизонтали областей перекрытия I ^^, г и
/ 412-1" г ~ номер анализируемого варианта перекрытия; II - 4^ У ^ 2 ' 3 ^ ^ ^2 ' - максимально возможное количество анализируемых вариантов перекрытия. Значение взвешенной среднеквадратической ошибки МУ/у • ^2 •г 2- определяется с помощью выражения
ЫБЕс14ц, г У 4
'2,г^
г 4-1 X -у=0 х=0_
X - *
42,
Лг, х
41
^ тс 1
"X, х.
Ц-1 ХГ-1
т
у=0 х=0
(3)
где т%--\1,х ф - коэффициент контурной маски М( • 4}л = тУ1 х « __
" Щ=о,¥4ц-1,х=о,х4ц-1^
вычисляемой для одного из изображений, например 14}\ : М( - /с ^ 3 /с ~ функция
выделения контуров изображения.
X
Предложенный метод взаимного позиционирования обеспечивает сокращение вычислительной сложности позиционирования двух полутоновых изображений I ^ и / и счет минимизации числа
операций при вычислении взвешенной среднеквадратической ошибки MS7y • ^^.г 7/ (¡2 ■'' Д™ областей их перекрытия / ^|. /' и / . /' в результате использования не всех, а только выделенных контурной маской М( • ^ ^ пикселей в областях перекрытия / и /
Метод состоит из следующих шагов.
1) Формирование контурной маски М£ ^ для изображения I ^ .
2) Определение вертикальной Ву и горизонтальной В у границ зоны поиска областей перекрытия для изображения I ^ Ограничение зоны поиска областей перекрытия необходимо для уменьшения вероятности ложного решения при вычислении выражения (2) на границах изображений / ^ и / .„• гДе число пикселей слишком мало. Количество Л" < Я анализируемых вариантов перекрытия изображений определяется в соответствии с выражением
Л' = 7'-Х', (4)
где 7' - 7 7 ^ • Ву -1, X' = X ^ X 2 • /¿д- -1 - число возможных ориентаций одного изображения поверх другого по вертикали и горизонтали.
3) Инициализация матрицы = тм$Ес ^ —у— взвешенной
среднеквадратической ошибки в соответствии с выражением
тМ8ЕС4>ХУ° (5)
при у = 0,7'-1, х = 0,Х'-1.
4) Цикл вычисления взвешенной среднеквадратической ошибки МУ/у • ^ ./' Г/ •г ^ для всех возможных вариантов перекрытия изображений / ^ и / Осуществляется вычисление
элементов матрицы взвешенной среднеквадратической ошибки в соответствии с выражением
(6)
при ^ = 0,7'-1, х = 0,Х'-1, г = .у-Х' + х.
5) Цикл поиска минимального элемента матрицы М^е^ взвешенной среднеквадратической ошибки. В результате перебора всех значений матрицы определяются координаты >'тт и хтш минимального элемента с помощью выражения
* ^ = >>, Х^ = >> _ (7)
при у = 0,Г-1, х = 0,Х'-1.
Координаты минимального элемента матрицы МмЯЕс определяют наилучший вариант перекрытия изображений I ^ и / которому соответствуют области перекрытия
I и I 4^2 ■>г „ при г - у-Х' + х .
Для снижения вычислительной сложности метода на шаге 1 предлагается использовать стек для записи координат значимых (ненулевых) элементов контурной маски М(- • ^ . В этом случае на шаге 4 для вычисления взвешенной среднеквадратической ошибки
МБЕС ^ используются только пиксели /' х_ и г "''X'-х • координаты
х ^ которых совпадают с координатами значимых элементов контурной маски М( • . записанными в стек. Необходимый размер стека определяется числом ^ _ значимых элементов контурной маски М( • ^ с помощью выражения
^О I I тМ, (8)
у=0 х=0
За счет использования стека координат значимых элементов контурной маски М( • 4
при определении значении
элементов матрицы
М.
М8Ес
число операций
*>2,г~~4г,х^ в выражении (3) сокращается до При равенстве
размеров сшиваемых изображений выигрыш % от использования стека координат значимых элементов контурной маски для определения взвешенной среднеквадратической ошибки МЕЕс 1 П\,г П2,г ^ в сравнении с вариантом использования обычной среднеквадратической ошибки МЖ определяется с помощью выражения
7^1-2 Х1ц -2
у=Ву х=ВХ
х = -
(9)
Выигрыш х тем больше, чем меньше значимых элементов в контурной маске М£ 4}\ . Однако, сокращение числа N^ 4}\ _ значимых элементов в контурной маске М(- • 4[\ _ и, как следствие, сокращение вычислительной сложности позиционирования ведет к увеличению вероятности и величины ошибки позиционирования. В этой связи актуальной задачей является разработка алгоритма выделения контуров объектов на изображении, позволяющего изменять число N^ _ значимых элементов в контурной маске М(- • 4}\ в широких пределах и эффективно управлять за счет этого соотношением «вычислительная сложность - точность позиционирования».
Алгоритм формирования контурной маски полутонового изображения
Предлагается алгоритм формирования контурной маски М( • полутонового изображения 14} основанный на статистической пороговой обработке результата вычитания от изображения ¡4} его сдвинутой копии (модифицированный фильтр Робертса) и позволяющий управлять числом Ач,- 4ц значимых элементов в контурной маске М( • ^ в широких пределах для согласования его с заданным размером стека за счет оценки вероятности появления пикселей в контурной маске с использования верхнего Гц 4{ и нижнего 1) 4} порогов.
Алгоритм состоит из следующих шагов.
1) Цикл выделения контуров объектов изображения 14} . Формируется контурное
изображение 1( • 4 ]= ¡(- X'-соответствии с выражением
Л
'С-=о,у С -\,х=0,Х 4/ -1
, каждый пиксель которого определяется в
х = 1 х— 1 -1,х-1 ^при у = 0,х = 0,ХП^т 1,
(10)
х = 1 х — 1 -1,х-1 ^при у = 0,УП^т 1,х = 0,XП^т 1 •
2) Цикл вычисления вероятности появления пикселей в контурном изображении /<• • 4{ .
Формируется одномерная статистическая матрица М^ 4ц 3= /
=0 2 П
П х=0,2
, каждый элемент
которой после инициализации
,С Ч- > о при х = 0.2/;> С - 1
определяется с помощью выражения
т,
х^=т,
__ ___, , (П)
при у — 0,7С>1, X = 0,Х4]г1 ■
3) Цикл вычисления значения нижнего порога После инициализации значений
нижнего порога 7/ 41 3= Гц 41 и суммы значимых элементов в контурной маске
Мс осуществляется их переопределение исходя из значений элементов статистической
1
матрицы при заданных значениях верхнего порога 1Ц и размера стека, а также с
помощью рекуррентного соотношения
</. ^ >5 О /5 </А>Л' О// (12)
где - функция статистической пороговой обработки, реализующая на каждой итерации
операцию О ^ > </. О <С>> 4/. С> 7/. ОО С'л О ^ О '«^ Ч/. С^
Полученное в результате значение нижнего порога ^ позволяет согласовать число Л'д- ^ _ значимых элементов контурной маски М( • ^ с заданным размером стека координат значимых элементов контурной маски и адаптироваться к заданному значению верхнего порога.
4) Цикл формирования контурной маски М£ 4 . Элементы контурного изображения 1( • 4 используются для вычисления элементов контурной маски М( • ^ с помощью выражения
1 при 1) .
О при О ть У (я <
На рис. 1 приведены пример полутонового изображения 14} , результат ¡с 4 ^ его контурной обработки, визуальный образ одномерной матрицы М^ 4 ^ (гистограмма контурного изображения 3 и контурная маска М( • 12933 значимых пикселей) для 1) НО и
7яО160.
т.
с
Л, х^=
а)
б)
Рис. 1. Формирование контурной маски при 80 и Гц ^^=160 : а - полутоновое изображение
14} ; б - контурное изображение I (• 4 ; в - гистограмма контурного изображения I(• 4 ;
г - контурная маска М( • 4} ^
Вычислительная сложность контурной обработки полутоновых изображений
Фильтр Размер ядра фильтра Число операций на пиксель (последовательная реализация) Число операций (параллельно-конвейерная реализация) Арифме-тика
Мультипликативных Аддитивных По модулю Всего Целочисленная Дробная
Modified Roberts 2x2 0 2 1 3 2 x
Sobel 3x3 4 13 2 19 3 x
Roberts 2x2 0 5 2 7 2 x
Prewitt 3x3 0 13 2 15 3 x
LoG 9x9 81 81 1 163 3 x x
Canny 5x5,3x3 31 44 3 78 11 x x
Оценка эффективности метода взаимного позиционирования изображений
Для оценки эффективности разработанного метода взаимного позиционирования полутоновых изображений использованы пары перекрывающихся изображений трехмерных сцен, полученные с помощью цифровой камеры при различном ее смещении. На рис. 2 представлено тестовое полутоновое изображение (рис. 2,а) и результат его взаимного позиционирования (рис. 2,б) с тестовым полутоновым изображением, представленным на рис. 1,а.
а) б)
Рис. 2. Взаимное позиционирование полутоновых изображений: а - полутоновое изображение;
б - результат взаимного позиционирования
На рис. 3 представлены зависимости ошибки Ер позиционирования от числа N значимых пикселей контурной маски, полученной с помощью различных контурных фильтров. Ошибка позиционирования вычисляется с помощью выражения
ЕР=Ау + Ах, (14)
где Ау , Ах - смещения по горизонтали и вертикали центра области перекрытия изображений, найденной с помощью метода позиционирования с использованием контурных масок на основе модифицированного фильтра Робертса, относительно центра области перекрытия изображений, найденной без использования контурных масок.
Рис. 3. Зависимости ошибки Ер позиционирования от числа N значимых пикселей контурной маски
Из рис. 3 видно, что использование модифицированного фильтра Робертса для формирования контурной маски эффективно при уменьшении числа значимых пикселей до значения 25. При этом для полутоновых изображений 480x640 пикселей с перекрытием 75% оценка % выигрыша от использования стека координат значимых элементов контурной маски для определения взвешенной среднеквадратической ошибки составляет около 80 раз. Оценка % выигрыша дает приблизительное значение выражения (9) и определяется по формуле
тше
% =
Т,
(15)
М8ЕС
где Тм^Е - время программного моделирования позиционирования полутоновых изображений с использованием всех пикселей области перекрытия для расчета значения среднеквадратической ошибки МБЕ; Тм$Е£ ~ время программного моделирования контурного позиционирования
полутоновых изображений с использованием значимых контурных точек области перекрытия для расчета значения взвешенной среднеквадратической ошибки МЕЕс .
Заключение
Предложен метод взаимного контурного позиционирования двух полутоновых изображений для обеспечения их сшивки, основанный на модифицированном фильтре Робертса. Суть метода состоит в формировании контурной маски для одного из позиционируемых изображений и ее использовании для поиска наилучшего варианта размещения одного изображения поверх другого, обеспечивающего максимальную похожесть областей перекрытия этих изображений. В качестве критерия максимальной похожести использован минимум взвешенной среднеквадратической разности, вычисляемый для выделенных контурной маской пикселей на множестве возможных областей перекрытия изображений. Метод обеспечивает сокращение вычислительной сложности позиционирования полутоновых изображений в 2 и более раза за счет использования модифицированного фильтра Робертса для контурной обработки и до 80 раз за счет вычисления взвешенной среднеквадратической разности областей перекрытия изображений с использованием не всех, а только выделенных контурной маской пикселей в областях перекрытия.
CONTOUR POSITIONING BASED ON MODIFIED ROBERETS FILTER
FOR GRAYSCALE IMAGES
O.J. AL-FURAIJI, V.YU. TSVIATKOU
Abstract
In this paper a method, of mutual contour positioning of two grayscale images to stitch them together, is proposed. The essence of the method includes forming a contour mask based on the modified Roberts filter for one of the positioned images and using it to find the best position option of one image over another, i.e., providing the maximum similarity between the overlap areas of these images. A minimum mean-square difference is used as a criterion for the maximum similarity, and is computed for the selected contour mask pixels in the set of possible overlapping areas of images. The method reduces the computational complexity of positioning the grayscale images by minimizing the number of operations because of forming the contour mask on the basis of the modified Roberts filter and calculating the mean square difference between the overlapping areas of images by using not all but only selected contour mask pixels in the areas of overlap.
Литература
1. Zoghlami I., Faugeras O., Deriche R. // IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'97) .Puerto Rico. June 1997. P. 420-425.
2. Szeliski R., Shum H-Y. // SIGGRAPH '97, Proceedings of the 24th Annual Conference on Computer Graphics, Los Angeles, CA, USA, 3-8 August 1997. P. 251-258.
3. Capel D., Zisserman A. // IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'98). USA. June 1998. P. 885-891.
4. Szeliski R., Kang. S. B. Direct methods for visual scene reconstruction // IEEE Workshop on Representation of Visual Scenes, Cambridge, MA, USA. June 1995. P. 26-33.
5. GonzalezR.C., WoodsR.E. // Digital image processing. Upper Saddle River, Prentice Hall. 2002. P. 793.
6. Brown M., Lowe D. G. // International Journal of Computer Vision. 2007. Vol. 74. P. 59-73.
7. Shum H-Y., Szeliski R. // International Journal of Computer Vision. February 2000. Vol. 36. № 2. P. 101-130.
