CC BY
45
УДК 681.5
Д.В. Чеховский, асп., (4872) 35-02-19, [email protected] (Россия, Тула, ТулГУ),
М.Б. Цудиков, канд. техн. наук, доц., [email protected] (Россия, Тула, ТулГУ)
ИССЛЕДОВАНИЕ ПРОЦЕССА ОПРЕДЕЛЕНИЯ ХАРАКТЕРНЫХ ТОЧЕК НА СМЕЖНЫХ ИЗОБРАЖЕНИЯХ МЕТОДОМ SURF
Рассмотрено влияние разрешения изображения на время определения характерных точек в области перекрытия соседних кадров при автоматическом формировании цилиндрической панорамы оптико-электронным устройством сканирования местности. Проведен анализ изображений различной степени сложности распознавания.
Ключевые слова: системы панорамного видеонаблюдения, характерные точки,
SURF.
Системы панорамного видеонаблюдения, работающие в старт-стопном режиме, используют для создания цилиндрических панорам комплект сделанных с некоторым перекрытием изображений [2]. В связи с этим возникает задача сопоставления соседних кадров для последующего их сшивания.
Задача сопоставления изображений включает в себя:
- выделение на соседних кадрах характерных точек и их идентификаторов - дескрипторов;
- в случае совпадения дескрипторов устанавливаются соответствующие друг другу характерные (ключевые) точки;
- на основе набора совпавших характерных точек строится модель преобразования изображений.
Для нахождения характерных точек изображения и их сравнения из нескольких родственных методов был выбран метод Speeded Up Robust Features (SURF), так как он является одним из самых эффективных и быстрых и легко реализуется программно [1].
Сравнение двух смежных изображений приводит к большим затратам времени и дает избыточную информацию: на изображении с разрешением 1024x768 пикселей может быть найдено несколько тысяч характерных точек, которые будут обрабатываться от 20...30 до 50...60 с и выше. Поэтому целесообразно сравнивать кадры не целиком, а только общую для них зону перекрытия. Размер общей части кадров может варьироваться.
Исследования проводились на пяти изображениях разной сложности с разрешением 640x480 пикселей. Исходя из требований минимальных затрат времени, были выбраны области перекрытия в 10 и 20 %. Абера-циями объектива и другими погрешностями пренебрегаем, считая изображения идеальными, так как для панорамного наблюдения используются
так называемые «мегапиксельные» объективы, обладающие высоким разрешением и низкими погрешностями.
Для общей полосы шириной в 10 от исходного изображения количество характерных точек составило 10-100 шт, а при 20 % перекрытии-50-250 шт. Время поиска точек для 10 % и 20 % полос составило 0,5.. .1,5 и 1.2,5 с соответственно.
Для сокращения времени нахождения характерных точек предлагается работать с отдельно взятыми окнами в общей полосе смежных изображений. Для увеличения содержащейся в окнах полезной информации желательно их выбирать так, чтобы их границы не совпадали с границами общей полосы и находились ближе к ее центру.
Исследования окон показали, что на изображениях с разрешением 64x64 пикселей обычно находится от одной до десяти характерных точек с затратами времени 0,05.0,4 с. Для окон с разрешением 128x128 пикселей количество особых точек составило 15-70 штук, а время работы 0,4.0,8 с. Отсюда следует, что при малом количестве характерных точек (до сотни) увеличение их числа незначительно сказывается на времени работы и остается в пределах секунды (количество характерных точек выросло в 2,8 раза, а время работы - в 1,5 раза).
Для минимизации времени работы программы и повышения точности нахождения ключевых точек были проведены расчеты с использованием увеличенного/уменьшенного изображения и интерполяция результатов на исходный кадр.
Разрешение изображения увеличивали в 1,5/2/2,5 раза тремя методами интерполяции: методом ближайшей точки (также называемый методом ближайшего соседа), билинейной интерполяцией и бикубической интерполяцией. Полученное количество характерных точек для каждого метода интерполяции приведено в таблице, а на рис. 1 представлена типичная зависимость времени работы программы от изменения разрешения.
Влияние разрешения на количество характерных точек
Разрешение изображения Количество характерных точек
Интерполяция по ближайшей точке Билинейная интерполяция Бикубическая интерполяция
128x480 193 193 193
192x720 461 441 438
256x960 778 717 746
320x1200 1191 1077 1170
Рис. 1. Зависимость времени работы от разрешения изображения: а - исходное изображение; б - зависимость изменения времени работы программы от разрешения изображения
Следует заметить, что количество найденных точек зависит исключительно от особенностей самого изображения. Но можно выделить несколько характерных особенностей, общих для метода SURF:
1) возрастание числа характерных точек линейно зависит от изменения разрешения и не обязательно будет пропорционально увеличению площади картинки. Например, при увеличении в 2 раза окна с разрешением 64x64 пикселей количество характерных точек возросло приблизительно в 4 раза, при увеличении этого же окна в 3 раза количество характерных точек возросло в 15-20 раз;
2) практически во всех случаях наибольшее количество характерных точек получалось при применении интерполяции по ближайшей точке. При билинейной интерполяции изображения SURF находит наименьшее количество характерных точек. Как видно из рис. 1, б, при увеличении разрешения в 2,5 раза билинейная интерполяция дала на 100 характерных точек меньше, что позволило выиграть 1,5 секунды.
Полученные зависимости и выводы подходят и для бинирования изображения с некоторой поправкой: при бинировании изображения теряется большое количество информации. Так, при уменьшении в 4 раза изо-
бражения разрешением 204x768 пикселей было найдено всего десяток характерных точек, в то время как оригинальные изображения такого же разрешения давали 50-70 характерных точек.
После преобразований изображений было подсчитано, сколько характерных точек в интерполированном/бинированном изображении соответствуют характерным точкам в исходном кадре. Полученные гистограммы представлены на рис. 2 и 3.
Рис. 2. Соответствие особых точек друг другу после интерполяции изображения (увеличено в 2 раза)
Рис. 3. Соответствие особых точек друг другу после бинирования изображения (уменьшено в 2 раза)
В представленных гистограммах по оси Х показывается расстояние (в пикселах) от исходной характерной точки до ближайшей характерной точки полученной после интерполяции/бинирования изображения. По оси Y показано количество характерных точек, расположенных на таком расстоянии. Совпавшими (и подходящими для дальнейшей обработки) характерными точками будем считать не только точки с расстоянием в 0 пикселов от исходной характерной точки, но и точки непосредственно с ними граничащие, т. е. с расстоянием в 1 пиксель. В обоих случаях совпадение точек составило около 40 % (78 точек из 193 для интерполированного изображения, 46 точек из 113 для бинированного изображения). В связи с тем, что чем меньше изображение, тем меньше время поиска характерных точек, то для минимизации времени поиска характерных точек выгоднее работать с бинированным изображением, чем с интерполированным.
Список литературы
1. SURF: Speeded Up Robust Features / Bay Herbert [et al.]. // Computer Vision and Image Understanding (CVIU). Vol. 110, No. 3. P. 346-359, 2008.
2. Ли Ф. Панорамная фотография. М.: Арт-родник, 2005. 144 с.
D.V. Chekhovsky,M.B. Tsudikov
INVESTIGATION OF SPECIAL POINTS' DEFINITION PROCESS ON ADJOINING IMAGES BY SURF METHOD.
Action period of special points' finding in an overlapping area at the process of automatic panorama's creation by optical-mechanic scanning devise resolution dependence is considered. Images of different extend of recognition is analyzed.
Key words: systems of panoramic videomonitoring, special points, SURF.
Получено 07.03.12
