CC BY
118
Наука и Образование. МГТУ им. Н.Э. Баумана. ВсШИС Электрон, журн. 2014. № 12. С. 890-903."
БОГ 10.7463/1214.0724735
Представлена в редакцию: 11.08.2014
Сетевое научное издание
© МГТУ им. Н.Э. Баумана
УДК 51-73:535
Юстировка оптико-электронной локационной системы сферического обзора на борту летательного аппарата с помощью вспомогательной камеры
Широков Р.И.1' 'т.&со fieldj3jmail.ru
1ОАО "НПК"СПП", Москва, Россия
Рассмотрена оптико-электронная локационная системы сферического обзора. Разработан метод привязки постов системы сферического обзора при помощи связующей камеры (фотокамера с высоким разрешением) и пары транспарантов. Приведены основные этапы привязки пары постов оптико-электронной локационной системы. Описана гиростабилизированная система координат (ГСК). Показана её связь с системой координат летательного аппарата. Описан алгоритм формирования панорамного изображения на гранях гиростабилизированного куба. Показана сшивка изображений на примере двух веб камер с разрешением 320 240 точек. Проведена оценка точности сшивки изображений.
Ключевые слова: оптико-электронная локационная станция, гиростабилизированный куб, панорамное изображение, привязка, матрица перехода
Введение
Оптико-электронная локационная системы (ОЭЛС) полного (сферического) обзора -многокомпонентная система наблюдения. Эта система представляет собой совокупность шести камер инфракрасного (ИК) диапазона (рис.1).
Наука йОбразо
МГТУ им. Н.Э. Баумана
Рис.1. Сферическая зона обзора ОЭЛС.
Одной из наиболее важных задач является привязка (определение взаимной ориентации) системы сферического обзора к системе координат (СК) летательного аппарата (ЛА).
Нашей основной целью является сшивка изображений с соседних постов ОЭЛС и формирование панорамного изображения на поверхности куба, связанного с местной географической системой координат (МГСК) [1]. Для этого необходимо реализовать попарную привязку соседних постов ОЭЛС, привязать все посты к одному - базовому посту, связь которого с СК ЛА известна заранее. Привязка камер к базовой камере в некоторых случаях реализуется через посредников (транзитивно).
Изображения с большим углом обзора можно получить различными способами. Например, с помощью широкоугольных объективов типа «рыбий глаз» [1], у которых угол обзора составляет около 180°, панорамных катадиоптрических систем, в основе которых лежит зеркало сферической или другой формы [2], позволяющее получить изображение с углами обзора до 360° по горизонтали. Основной недостаток подобных оптических устройств: невысокое и неравномерное разрешение итоговой панорамы. По этим причинам широкое распространение получили методы формирования панорамы из нескольких перекрывающихся изображений, полученных камерой, вращающейся вокруг оптического центра объектива [3]. Выполнение этого требования означает, что исходные изображения лишены параллакса. В рассматриваемой нами системе сферического обзора камеры разнесены по объекту на некоторое конечное расстояние. Тем не менее проблема параллакса здесь не стоит, поскольку данная система рассчитана прежде всего на обнаружение объектов на больших расстояниях (порядка 10 километров).
Современные методики сшивки фотоснимков основываются на переходе к сокращённому описанию, то есть сведению изображений с многомиллионным числом параметров (цвета пикселей) к набору параметров (примитивов), число которых на несколько порядков меньше. В качестве таких примитивов могут использоваться разреженные точки изображений, контуры, простейшие геометрические фигуры, обладающие особыми свойствами, которые обеспечивают максимальную узнаваемость на других изображениях.
Наилучшими характеристиками в данной задаче обладает метод описания изображения при помощи точек интереса: как правило, это точки экстремума яркости изображения. Найденные точки в последствии потребуются для сопоставления точек на разных фотографиях при помощи специальных структур, описывающих их. На данный момент можно выделить два наиболее эффективных алгоритма поиска точек интереса и построения дескрипторов: SIFT и SURF.
Точки, которые находятся с помощью метода SIFT, устойчивы к растяжению, повороту изображения и частично к изменению точки наблюдения. Для стандартных изображений получается большое число точек, описания которых значительно отличаются, что делает возможным поиск по большой базе точек.
SIFT (Scale Invariant Feature Transform) — метод поиска точек интереса, предложенный Давидом Лоу [4, 5]. Основной алгоритм можно разделить на четыре этапа:
1. Нахождение экстремумов по всем шкалам и точкам изображений. Реализуется путём вычисления разности Гауссовых функций, что позволяет находить потенциально интересные точки, которые инвариантны по отношению к растяжению и поворотам.
2. Локализация ключевых точек. В каждой точке, найденной в п.1, строится детализированная модель для уточнения положения ключевой точки и её размера.
3. Добавление ориентации. Одна или несколько ориентаций добавляются к каждой точке на основании направлений градиентов. В дальнейшем все операции производятся над полученным положением, размером и ориентациями точки. Это позволяет получить устойчивость к поворотам и растяжениям изображения.
4. Дескрипторы ключевых точек. Локальные градиенты изображения измеряются по выбранной шкале в районе каждой ключевой точки. Эти данные преобразуются к виду, допускающему значительную степень изменения формы и изменения освещения. Для каждой ключевой точки строится дескриптор размером в 64 (или 128) вещественных чисел.
SURF (Speed Up Robust Feature) — детектор точек, предложенный Х. Бэйем. В некоторой степени он использует идеи, применённые в методе SIFT. В то же время, стандартная версия SURF в несколько раз быстрее, чем SIFT [6, 7].
Метод ищет особые точки с помощью матрицы Гессе. Гессиан функции - симметрическая квадратичная форма, описывающая поведение функции во втором порядке. Матрица этой квадратичной формы образована вторыми частными производными функции. Определитель матрицы Гессе называется определителем Гессе или гессианом. Если все производные существуют, то детерминант матрицы Гессе достигает экстремума в точках максимального изменения градиента яркости. Он хорошо детектирует пятна, углы и края линий. Гессиан инвариантен относительно вращения. Для каждой ключевой точки считается направление максимального изменения яркости (градиент) и масштаб, взятый из масштабного коэффициента матрицы Гессе.
Градиент в точке вычисляется с помощью фильтров Хаара. После нахождения ключевых точек, SURF формирует их дескрипторы. Дескриптор представляет собой набор из 64 (либо 128) чисел для каждой ключевой точки. Эти числа отображают флуктуации градиента вокруг ключевой точки. Поскольку ключевая точка представляет собой максимум гессиана, то это гарантирует, что в окрестности точки должны быть участки с разными градиентами. Таким образом, обеспечивается дисперсия (различие) дескрипторов для разных ключевых точек.
В данной работе предложен подход, позволяющий сшить изображения полученных с пары камер, или с n-го количества камер (и вместе с тем связать системы координат камер), без использования каких-либо характерных точек (областей), а с использованием вспомогательной системы координат (связанной с вспомогательной камерой), что позволяет сшивать изображения (формировать панорамное изображение) с минимальными перекрытиями.
1. Привязка соседних постов ОЭЛС
Привязка всех постов ОЭЛС делается попарно. Для этого используются два транспаранта (рис.2), которые представляют собой плоские поверхности, с размещёнными на них
N источниками излучения (ИИ) (рис.3). Координаты ИИ относительно СК транспаранта
известны. При этом, ориентация одного транспаранта относительно другого (матрица перехода из СК транспаранта 1 в СК транспаранта 2) определяется при помощью вспомогательной системы координат. В качестве такой системы координат используется система координат, связанная с камерой (широкоугольная камера с высоким разрешением): начало координат - точка пересечения главной оптической оси и матрицы камеры, ось Ъ направлена по главной оптической оси в пространство предметов, ось X и ось У располагаются в плоскости изображения и образуют с осью Ъ правую тройку векторов.
Рис.2. Принципиальная схема расположения транспарантов для взаимной привязки пары постов ОЭЛС.
Рис.3. Концептуальная схема транспаранта.
Алгоритм привязка пары постов ОЭЛС состоит из следующих этапов:
1. Расположение транспарантов в пространстве таким образом, чтобы один из них попадал в поле зрения одного поста, а другой - в поле зрения второго.
2. При помощи вспомогательной камеры сделать т снимков обоих транспарантов с разных ракурсов. Измерить координаты точек (ИИ) транспаранта на изображении (для всех снимков).
3. Двумя камерами (пост 1 и пост 2) сделать снимки соответствующих транспарантов. Измерить пиксельные координаты точек (ИИ) транспаранта на изображениях.
4. Повторить п.1-3 п раз (п итераций).
На рис.4 показан итерационный процесс при сборе данных для привязки пары локационных станций.
Рис.4. Расположение объектов при юстировке ОЭЛС. А, В, С, ... - итерации, 1, 2 - транспаранты; 3, 4 -
юстируемая пара камер; 5 - связующая камера.
Связь камеры 5 с транспарантами 1 и 2 даёт следующие уравнения связи ИИ на транспаранте с их изображениями
РШ =
#7, =сж;м\2х- (1)
где
С5 - матрица, учитывающая дисторсию для вспомогательной камеры;
М51 - оператор перехода между СК связующей камеры и СК транспаранта 1;
М12 - оператор перехода между СК транспарантов;
Хк - однородные координаты к -ой точки транспаранта относительно своей СК; р - координаты точек транспарантов 1 и 2 на изображении (связующей камеры 5);
I = 1, П, п - число положений транспарантов друг относительно друга;
j = 1, т, т - количество снимков вспомогательной камерой;
к = 1Nр , Nр - количество ИИ на одном транспаранте.
Связь камер (постов ОЭЛС) 3 и 4 с транспарантами 1 и 2 даёт следующие уравнения связи ИИ на транспаранте c их изображениями
Рш = Сз^зХ А
Р1Ъ=с,м'пм'А <2)
где
Сз,С4 - матрицы, учитывающие параметры дисторсии для пары связываемых камер; М34 - матрица перехода между СК поста 1 и СК поста 2; М'41 - матрица перехода между СК ОАР 2 и СК транспаранта 1;
р - координаты точек транспарантов 1 и 2 на изображении (связываемых камер 3,
4).
5. Получаем общую систему уравнений из (1) и (2)
Рш = СМ(Хк Рш = С5М^М[2Хк
Рш = Сз^зХ А • (3)
Рш = смм2хк
Количество уравнений в системе (3) равно 4птЫр + 4пЫр , количество неизвестных
6пт +12 п+6. Полученная система уравнений решается методом Левенберга-Марквардта. В качестве начального приближения берется решение линейной системы уравнений [8].
2. Преобразование СК ЛА в МГ СК
Начало МГСК совпадает с центром масс летательного аппарата. Ось хГ МГСК проведена параллельно касательной меридиану места в северном направлении, ось уГ направлена вертикально вверх (по отвесной линии), ось гг дополняет систему до правой тройки (рис.5).
Использую навигационные данные ЛА, а именно, углы курса (от О0 до 3590 включительно), тангажа (в интервале (- 900, 900)) и крена (в интервале (- 900, 900)) (рис.6), можно найти общую матрицу преобразования из СК ЛА в МГСК [9,10].
лг
s
Рис.5. Ориентация ГСК относительно Земли
Рис.6. Углы курса (), тангажа (р), крена (у), ХГуГ zr - МГСК, Х1 у1 z1 - СК ЛА.
Общая матрица перехода из СК ЛА в МГСК равна [11]
M,
С^Г
cosycosp sinp - sin^ cosp ^
- cos^sinpcosy + sin^siny cospcosy cos^siny + sin^sinpcosy cos^sinpsiny + sin^cosy - cospsiny cos^ cosy-sin ^ sin ( sin y J
3. Алгоритм формирования панорамного изображения
Имеется шесть граней куба, который расположен в гиростабилизированной системе координат. Матрицы ориентаций граней куба:
д =
(10 0 Л 0 1 0 0 0 1
- вперёд, Д =
У
д =
0 0 1 Л 0 1 0
-1 0 0У
- влево, Д =
0 0 -1Л 0 1 0
1 0 0
(1 0 0 Л
0 0 1
0 -1 0У
(-10 0Л
- вправо Д =
- вверх, Д =
0 1 0 0 0 -1
(10 0 Л 0 0 -1
0 1 0 У
- назад,
- вниз.
Относительно ГСК самолёт (ЛА) развёрнут на матрицу навигации Рнае . Первый пост установлен в ЛА с разворотом на матрицу Р, остальные посты повернуты относительного него на матрицы Д . Итоговая матрица поворота /-го поста в ГСК:
М = Р Р Я.,Я
I нав стр 11 I
Описание алгоритма:
1. Выбор грани куба.
2. Выбор точки на грани куба с координатами Рк = (хк, ук ) .
3. Центрирование и масштабирование полученных координат:
(х л хп (X Л
Уп = К-1 Ук
,1 1 ,
У 0 с
^ х х
где К = 0 /у су
V0 0 1У решения граней куба.
Поворот вектора
параметры /х, У, сх, су выбираются исходя из заданного раз-
У
V Z У
МХ, I = 1,6,
и его последующая нормировка
'х/2^
X
уЬ
V 1 У
при выполнении условия г > 0, иначе точка в кадр не попадает.
4. Внесение дисторсии
(х л
хч
V Уч.
= (1 + кха + к2а2) Хп
где а = агйаи ^х2п + у2п )
5. Переход в СК кадра поста:
(х л хр (х л хч
ХР = Ур КсаЫЬ Уч
V1J V1J
где
К
саИЬ
/ 0 с
•/ х .
0
0
/ с
J у у
0 1
/ и / - горизонтальная и вертикальная составляющие фокусного расстояния камеры (поста), сх, с - координаты оптической оси объектива в системе координат матрицы.
6. Проверка условия попадания точки (на выбранной грани куба) в кадр.
7. Билинейная интерполяция яркости полученной точки по четырём соседним пикселям кадра.
4.Пример сшивки изображений
В качестве примера рассмотрим сшивку изображений, полученных с двух веб камер (рис.7,8) с разрешением 320х240 точек. Поле зрения каждой камеры составляет 55° по горизонтали и 40° по вертикали. Расположены камеры будут таким образом, чтобы область пересечения их полей составляло порядка 30° по горизонту.
Для расчета коэффициентов матрицы перехода между системами координат камер было проведено 7 итераций по 8 снимков связующей камерой в каждой (см. п.1). Результат сшивки изображений и его проекция на грань куба приведены на рис.9.
Рис.7. Изображение с камеры 1.
Рис.9. Сшивка изображений. Формирование панорамного изображения.
Изображения сшились с погрешностью порядка одного пикселя как по горизонтали так и по вертикали. Для увеличения точности сшивки изображений необходимо увеличить количество итераций при сборе данных для расчета (см. п.1). В данном примере оптимальным будет 10 итераций по 8 снимков связующей камерой в каждой.
Заключение
Разработан новый алгоритм привязки камер для дальнейшего формирования панорамного изображения, основанный на использовании связующей камеры. Указанный алгоритм может быть использован даже в случае отсутствия пересечения полей обзора камер. Данный подход используется при юстировке многокомпонентной системы сферического обзора на борту летательного аппарата.
Список литературы
1. Wang X., Wu K., Cheng Y. Research on Virtual 3D Station based on Images // Applied Mathematics and Information Sciences. 2013. Vol. 7, no. 1L. P. 225-231.
2. Gyeong Kweon, Kwang Taek Kim, Geon-Hee Kim, Hyo-sik Kim. Folded catadioptric panoramic lens with an equidistance projection scheme // Applied Optics. 2005. Vol. 44. P. 2759-2767. DOI: 10.1364/А0.44.002759
3. Szeliski R. Image Alignment and Stitching: A Tutorial // Foundations and Trends in Computer Graphics and Vision. 2006. Vol. 2, no. 1. P. 1-104. DOI: 10.1561/0600000009
4. Lowe D.G. Distinctive Image Features From Scale Invariant Keypoints // International Journal of Computer Vision. 2004. Vol. 60, iss. 2. P. 91-110. DOI: 10.1023/B:VISI.0000029664.99615.94
5. Lowe D.G. Object recognition from local scale-invariant features // Proc. of the 7th IEEE International Conference on Computer Vision (Corfu, Greece, 1999). Vol. 2. IEEE, 1999. P. 1150-1157. DOI: 10.1109/ICCV.1999.790410
6. Bay H., Ess A., Tuytelaars T., Gool van L. SURF: Speeded up Robust Features // Computer Vision and Image Understanding (CVIU). 2008. Vol. 110, no. 3. P. 346-359.
7. Khan N., McCane B., Wyvill G. SIFT and SURF Performance Evaluation Against Various Image Deformations on Benchmark Dataset // 2011 International Conference on Digital Image Computing: Techniques and Applications. IEEE, 2011. P. 501-506. DOI: 10.1109/DICTA.2011.90
8. Zhang Z. A flexible new technique for camera calibration // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. Vol. 22, no. 11. P. 1330-1334. DOI: 10.1109/34.888718
9. Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977. 307 с.
10. Правдин В.М., Шанин А.П. Баллистика неуправляемых летательных аппаратов. Сне-жинск, Изд-во РФЯЦ - ВНИИТФ, 1999. 496 с.
11. Лебедев А.А., Чернобровкин Л.С. Динамика полета беспилотных летательных аппаратов. М.: Машиностроение, 1973. 617 с.
Science and Education of the Bauman MSTU, 2014, no. 12, pp. 890-903.
DOI: 10.7463/1214.0724735
Received:
11.08.2014
Science ^Education
of the Bauman MSTU
ISSN 1994-0448 © Bauman Moscow State Technical Unversity
Adjustment of the Optoelectronic Location System of Overall View Using the Auxiliary Camera
R.I. Shirokov
1,*
m.scofieldigmailju
1JSC "Scientific and Production Corporation" Precision Instrument Systems",
Moscow, Russia
Keywords: the optoelectronic location station, gyrostabilized cube, panoramic image, affixment, transition matrix
The optoelectronic location system of overall view is considered. This system is a set of six infrared cameras. The main task is cross-linking of images from the neighboring stations of location system and the formation of a panoramic image on the gyrostabilized cube surface. It is necessary to implement the pairwise affixment of stations considered multicomponent system and link them to the coordinate system of aircraft.
The method to affix location stations of overall view system by linking camera (camera with high resolution) and a pair of patterns is developed. Each of the patterns is a flat surface with the emission sources. Coordinates of emission sources in the coordinate system of pattern are known. The linking camera is used to determine orientation relative to one another pattern (the transition matrix between patterns).
The main affixment stages of two stations of optoelectronic location system are described. A gyrostabilized coordinate system is briefly described. Its relation with the coordinate system of the aircraft is shown.
The panoramic image generation algorithm on the faces of the gyrostabilized cube is described. The example of cross linking images from two web cameras with a resolution of 320 x
240 pixels is shown. Field of view of each camera is 55u horizontally and 40u vertically. The
area of intersection of camera fields is 300 horizontally. The variants with different numbers of pictures are considered. The evaluation of accuracy stitching images is given.
The developed algorithm can be used even in the absence of crossing fields of view. It is used for an alignment of multicomponent system of overall view on the board of aircraft.
References
1. Wang X., Wu K., Cheng Y. Research on Virtual 3D Station based on Images. Applied Mathematics and Information Sciences, 2013, vol. 7, no. 1L, pp. 225-231.
2. Gyeong Kweon, Kwang Taek Kim, Geon-Hee Kim, Hyo-sik Kim. Folded catadioptric panoramic lens with an equidistance projection scheme. Applied Optics, 2005, vol. 44, pp. 2759-2767. DOI: I0.1364/A0.44.002759
3. Szeliski R. Image Alignment and Stitching: A Tutorial. Foundations and Trends in Computer Graphics and Vision, 2006, vol. 2, no. 1, pp. 1-104. DOI: 10.1561/0600000009
4. Lowe D.G. Distinctive Image Features From Scale Invariant Keypoints. International Journal of Computer Vision, 2004, vol. 60, iss. 2, pp. 91-110. DOI: 10.1023/B:VISI.0000029664.99615.94
5. Lowe D.G. Object recognition from local scale-invariant features. Proc. of the 7th IEEE International Conference on Computer Vision, Corfu, Greece. Vol. 2. IEEE, 1999. P. 1150-1157. DOI: 10.1109/ICCV.1999.790410
6. Bay H., Ess A., Tuytelaars T., Gool van L. SURF: Speeded up Robust Features. Computer Vision and Image Understanding (CVIU), 2008, vol. 110, no. 3, pp. 346-359.
7. Khan N., McCane B., Wyvill G. SIFT and SURF Performance Evaluation against Various Image Deformations on Benchmark Dataset. 2011 International Conference on Digital Image Computing: Techniques and Applications. IEEE, 2011, pp. 501-506. DOI: 10.1109/DICTA.2011.90
8. Zhang Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, vol. 22, no. 11, pp. 1330-1334. DOI: 10.1109/34.888718
9. Voevodin V.V. Vychislitel'nye osnovy lineinoi algebry [Computational foundations of linear algebra]. Moscow, Nauka Publ., 1977. 307 p. (in Russian).
10. Pravdin V.M., Shanin A.P. Ballistika neupravliaemykh letatel'nykh apparatov [Ballistics of unguided aerial vehicles]. Snezhinsk, RFIaTs - VNIITF Publ., 1999. 496 p. (in Russian).
11. Lebedev A.A., Chernobrovkin L.S. Dinamika poleta bespilotnykh letatel'nykh apparatov [Flight dynamics of unmanned aerial vehicles]. Moscow, Mashinostroenie Publ., 1973. 617 p. (in Russian).
