CC BY
51
3. Форсайт Д., Понс Ж. «Компьютерное зрение. Современный подход». 2004. 928 с.
4. Токарев В.Л. Основы теории обеспечения рациональности решений. Монорафия. Тула: Изд-во ТулУ, 2000. 120 с.
V.L Tokarev, A. V Gladkikh, K.A. Kotov
THE VARIANT OF VIDEO ANALISIS INTELLIGENT SYSTEM (ICCTV)
The alternative approach of video analysis system construction is suggested in this paper. Considered intelligent systems for analysis situations, which appear on the territory under control. General advantages of systems like these are lesser capital investment demands and their abilities in self-training.
Key words: video surveillance, video analysis, object detection, background subtraction, object classification, tracking.
Получено 28.09.12
УДК 681.5
Д.В. Чеховский, асп., (4872) 35-02-19, [email protected] (Россия, Тула, ТулГУ), М.Б. Цудиков, канд. техн. наук, доц., [email protected] (Россия, Тула, ТулГУ)
ИССЛЕДОВАНИЕ ПРОЦЕССА ОПРЕДЕЛЕНИЯ ХАРАКТЕРНЫХ ТОЧЕК НА СМЕЖНЫХ ИЗОБРАЖЕНИЯХ МЕТОДОМ SIFT
Рассмотрено влияние разрешения изображения на время определения характерных точек в области перекрытия соседних кадров при автоматическом формировании цилиндрической панорамы оптико-электронным устройством сканирования местности. Проведен анализ изображений различной степени сложности распознавания. Ключевые слова: системы панорамного видеонаблюдения, характерные точки,
SIFT.
Системы панорамного видеонаблюдения, работающие в старт-стопном режиме, используют для создания цилиндрических панорам комплект сделанных с некоторым перекрытием изображений [2]. В связи с этим возникает задача сопоставления соседних кадров для последующего их сшивания.
Задача сопоставления изображений включает в себя: выделение на соседних кадрах характерных точек и их идентификаторов - дескрипторов;
в случае совпадения дескрипторов устанавливаются соответствующие друг другу характерные (ключевые) точки;
на основе набора совпавших характерных точек строится модель преобразования изображений.
Для нахождения характерных точек изображения и их сравнения из нескольких родственных методов был выбран метод Scale Invariant Feature Transform (SIFT), так как он является одним из самых эффективных и быстрых и легко реализуется программно [1].
Сравнение двух смежных изображений приводит к большим затратам времени и дает избыточную информацию: на изображении с разрешением 1024x768 пикселей может быть найдено несколько тысяч характерных точек, которые будут обрабатываться от 20-30 до 50-60 с и выше. Поэтому целесообразно сравнивать кадры не целиком, а только общую для них зону перекрытия. Размер общей части кадров может варьироваться.
Исследования проводились на пяти изображениях разной сложности с разрешением 640x480 пикселей. Исходя из требований минимальных затрат времени, были выбраны области перекрытия в 10 и 20 %. Абера-циями объектива и другими погрешностями пренебрегаем, считая изображения идеальными, так как для панорамного наблюдения используются так называемые «мегапиксельные» объективы, обладающие высоким разрешением и низкими погрешностями.
Для общей полосы шириной в 10 % от исходного изображения количество характерных точек составило 50-500 шт, а при 20 % перекрытии-100-1500 шт. Время поиска точек для 10 % и 20 % полос составило 1.5-4.5 с и 1-6.5 с соответственно.
Для сокращения времени нахождения характерных точек предлагается работать с отдельно взятыми окнами в общей полосе смежных изображений. Для увеличения содержащейся в окнах полезной информации желательно их выбирать так, чтобы их границы не совпадали с границами общей полосы и находились ближе к ее центру.
Исследования окон показали, что на изображениях с разрешением 64x64 пикселей обычно находится от одного до пяти десятков характерных точек с затратами времени 0,25-0,5 с. Для окон с разрешением 128x128 пикселей количество особых точек составило 50-350 штук, а время работы 1,0-2,5 с.
Для минимизации времени работы программы и повышения точности нахождения ключевых точек были проведены расчеты с использованием увеличенного/уменьшенного изображения и интерполяция результатов на исходный кадр.
Разрешение изображения увеличивали в 1,5/2/2,5 раза тремя методами интерполяции: методом ближайшей точки (также называемый методом ближайшего соседа), билинейной интерполяцией и бикубической интерполяцией. Полученное количество характерных точек для каждого
232
метода интерполяции приведено в таблице, а на рисунке 1 предоставлена типичная зависимость времени работы программы от изменения разрешения.
Влияние разрешения на количество характерных точек
Разрешение изображения Количество характерных точек
Интерполяция по ближайшей точке Билинейная интерполяция Бикубическая интерполяция
128x480 539 539 539
192x720 475 386 390
256x960 572 536 622
320x1200 852 699 831
Рис. 1. Зависимость времени работы от разрешения изображения: а - исходное изображение; б - зависимость изменения времени работы программы от разрешения изображения
Следует заметить, что количество найденных точек зависит исключительно от особенностей самого изображения. Но можно выделить несколько характерных особенностей, общих для метода SIFT:
1) как видно из таблицы и рисунка 1, размер изображения оказывает большее влияние на время работы метода, чем количество обрабатываемых особых точек.
2) Практически во всех случаях наибольшее количество характерных точек получалось при применении интерполяции по ближайшей точке. При билинейной интерполяции изображения SIFT находит наименьшее количество характерных точек. Как видно из рисунка 1б при увеличении разрешения в 2,5 раза билинейная интерполяция дала на 130 характерных точек меньше, уменьшив время работы метода на 3,5 секунды.
Полученные зависимости и выводы подходят и для бинирования изображения с некоторой поправкой: при бинировании изображения теряется большое количество информации. Так при уменьшении в 4 раза изображения разрешением 204x768 пикселей было найдено всего три десятка характерных точек, в то время как оригинальные изображения такого же разрешения давали 300-400 характерных точек.
После преобразований изображений было подсчитано, сколько характерных точек в интерполированном/бинированном изображении соответствуют характерным точкам в исходном кадре. Полученные гистограммы представлены на рис. 2 и 3.
Рис. 2. Соответствие особых точек друг другу после интерполяции изображения (увеличено в 2 раза)
Рис. 3. Соответствие особых точек друг другу после бинирования изображения (уменьшено в 2 раза)
В предоставленных гистограммах по оси Х показывается расстояние (в пикселах) от исходной характерной точки до ближайшей характерной точки полученной после интерполяции/бинирования изображения. По оси Y показано количество характерных точек, расположенных на таком расстоянии. Совпавшими (и подходящими для дальнейшей обработки) характерными точками будем считать не только точки с расстоянием в 0 пикселов от исходной характерной точки, но и точки непосредственно с ними граничащие, т. е. с расстоянием в 1 пиксель. При интерполировании изображения количество совпавших точек составило 8.3% (45 точек из 539). При бинировании изображения количество совпавших точек составило 18.8% (10 точек из 53).
Список литературы
1. Lowe, D. G. Distinctive image features from scale-invariant keypoints, cascade filtering approach. IJCV 60, 2004, P. 91 - 110.
2. Ф. Ли. Панорамная фотография. М.: Арт-родник, 2005. 144 с.
D. V. Chekhovsky, M.B. Tsudikov
INVESTIGATION OF SPECIAL POINTS' DEFINITION PROCESS ON ADJOINING IMAGES BY SIFT METHOD
Action period of special points' finding in an overlapping area at the process of automatic panorama's creation by optical-mechanic scanning devise resolution dependence is considered. Images of different extend of recognition is analyzed.
Key words: systems of panoramic videomonitoring, special points, SIFT.
Получено 28.09.12
