Панорамное наблюдение сцены с борта летательного аппарата Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

УДК 681.3

ПАНОРАМНОЕ НАБЛЮДЕНИЕ СЦЕНЫ С БОРТА ЛЕТАТЕЛЬНОГО АППАРАТА

А.А. Аршакян

Разработана модель формирования панорамного изображения, для случая, когда камера кругового обзора расположена на борту летательного аппарата. Получены зависимости, связывающие изменения линейных и угловых координат летательного аппарата со смещением изображения в произвольном кадре системы панорамного обзора. Показано, что в системах с фотоэлектронными преобразователями ССБ-типа возникают динамические аберрации, имеющие вид «смаза» изображения, а в системах СЫО$>-типов формируются геометрические аберрации, создающие дополнительные сложности при стыковке соседних кадров панорамы.

Ключевые слова: сцена, панорамное изображение, кадр, летательный аппарат, линейные координаты, угловые координаты, аберрации.

Беспилотные летательные аппараты в настоящее время достаточно широко используются в системах обеспечения безопасности: при мониторинге экологической обстановки после техногенных катастроф, при защите объектов от нападения, в разведывательных целях и т.п. Наблюдение сцены в видимой (световой) части спектра электромагнитного излучения и регистрация ее в виде образа позволяет обеспечивать скрытность мониторинга вследствие отсутствия генерации зондирующих сигналов с борта летательного аппарата [1, 2, 3]. Кроме того, современные видеосистемы обладают малыми массогабаритными характеристиками и низким энергопотреблением, что обусловливает их широкое применение в практике наблюдений сцен. Наибольшую информативность при наблюдении обеспечивают панорамные системы кругового обзора, одной из задач которых является задача привязки наблюдаемых предметов сцены к абсолютной или Земной системе координат [4]. Решение задачи осложняется тем, что формирование панорамы требует конечного времени, в течение которого изменяется пространственное положение летательного аппарата, что приводит к появлению специфических аберраций в образе сцены, которые отсутствуют в панорамных изображениях, полученных в системах, расположенных на неподвижном основании.

Схема формирования панорамы с борта летательного аппарата приведена на рис. 1.

На рис. 1 приведены следующие обозначения: хОу/ - абсолютная, или Земная система координат; х'О// - система координат, жестко связанная с центром масс летательного аппарата, сформированная таким образом, что ее центр О совпадает с центром масс летательного аппарата, ось Ох' лежит на пересечении вертикальной продольной плоскости сим-

метрии и горизонтальной плоскости, проходящей через центр масс корпуса летательного аппарата, стоящего неподвижно на ровной горизонтальной поверхности, ось О г лежит в вертикальной продольной плоскости симметрии цели, перпендикулярна оси Ох' и направлена вверх, ось О'у' перпендикулярна осям О'х' и О г и дополняет систему до правой системы координат; х"О"у"г" - система координат, жестко связанная с центром вращения системы панорамного обзора и вращающаяся вместе с ней; Т -траектория, по которой движется беспилотный летательный аппарат; V -вектор скорости центра масс летательного аппарата. Область обзора включает: конус 1, ограничивающий поле зрения системы мониторинга в нижней полусфере; конус 2, ограничивающий поле зрения в верхней полусфере; прямые 3 и 4 пересечения плоскости расположения линии визирования 5 с конусами 1 и 2, соответственно.

Изначально аппаратные средства панорамной системы кругового обзора сориентированы в плоскости х'О'/' ее центр системы имеет сле-

' г\ '

дующие связанные координаты: ха ,0, ха, если система размещена в вертикальной плоскости симметрии летательного аппарата; х'а, у'а, 2'а, если

система размещена в пилоне, вынесенном на крыло.

В процессе формирования панорамы летательный аппарат (на рис. 1

не показан) перемещается по траектории Т. При этом, в каждый момент времени положение центра масс летательного аппарата определяется через геодезические координаты ^, yc) и высоту zc центра масс над уровнем

моря. Аппарат движется со скоростью, определяемой вектором vc ={xc,у,Zc), имеет текущие углы: курса у, тангажа Ф и крена у, изменяющиеся со скоростями у, Ф, у, соответственно. Местоположение центра панорамной системы определяется по зависимости

к f xc ^ f x Л a

ya — yc + Ay • A J • Ag • 0 / , (1)

v za у V zc у Vza J

если система размещена в вертикальном плоскости симметрии летательного аппарата, или

xf f xc ' f x Л Л a

ya — yc + Ay • A J • Ag • y'a , (2)

V za J V zc J V za J

если система размещена в пилоне, вынесенном на крыло, где

Ay —

f cosy sin y 0Л fcosJ 0 - sin J^

- sin y cosy 0 AJ — 0 1 0

V 0 0 1J v sin J 0 cos J y

f 1 0 0Л

A

g

0

0

(3)

cos g - sin g sin g cos g J

Панорама формируется из кадров, причем нормаль к плоскости n-го кадра, проведенная из его центра, совпадающего с центром системы, представляет собой линию визирования. Нормаль к указанной плоскости имеет в связанной системе координат направляющие косинусы

(4)

В Земной системе координат направляющие косинусы линии визирования рассчитываются по зависимости

f cos jn Л f Nax Л

Na — sin jn — N'ay

V0J V Naz J

N

a

: Ay ' A J ' Ag ' Na

N

N

ax

ay V Naz J

(5)

Каноническое уравнение линии визирования в системе координат xOyz имеет вид

x - xa у - ya

z-z

a

Na

Na

Na

(6)

'ax Nay Naz Если в n-м кадре панорамной системы некоторая точка k наблюда-

ется под углами азимута у к и места $к, соответственно, то направление на указанную точку имеет в связанной системе направляющие косинусы, определяемые вектором

™ к

, • ^(фп + У к )’ Ґ ' Л 3хк

к )к > + пп (ф • ^ кк СЛ о о = Кк

sin , 3 , N 4

(7)

В Земной системе координат направление на точку к определяется по зависимости

™ к = Ау • А,Ау Щ

У

Ґ \ 3кх

3ку V ™к2 у

(8)

Если наблюдаемая точка к находится на поверхности Земли, то ее координаты Х£, Ук, ?£ определяются из системы уравнений

Хк — Ха _ ук - уа _ 2к - 2а .

‘ (9)

3кх ™ку

и(хк, Ук, гк ) = О,

где к(х, у, г ) = 0 - уравнение поверхности, определяющей рельеф местности

в зоне наблюдения;

х - х

а

У - Уа

г - г

а

каноническое уравнение

3кх ™ку ™к2 прямой, связывающей точку к и центр системы панорамного наблюдения.

В Земной системе координат проекции отрезка прямой, связывающей центр системы панорамного видеонаблюдения и точку к, имеют вид

[(хк-ха \ (Ук-Уа I (гк-га )], а расстояние до точки к

гак

л! (хк ха ) + (Ук Уа ) + (гк га )

(10)

В системе координат, связанной с п-м кадром системы панорамного видеонаблюдения, проекции отрезка гак на оси х", у", /' определяются по зависимости

/ п п \

хк - ха

ГГ /Г

Ук - Уа

ГГ //

гк - га

V

■ АУ • А,1 • АУ1 • А, 1

где

Афп =

^ фп - sin фп 0

1У

Sin фп

cos фп 0

фп

хк - ха Ук - Уа

V гк - га у

(11)

0

0

1

(12)

Координаты Ук , %к изображения К точки к в п-м кадре определяются зависимостями (точка считается «бесконечно удаленной»):

Yk V ZK у

f

Ук

гг

zk

* \

Уа

ГГ

za у

(13)

хк ха V

где / - фокусное расстояние объектива.

Считая, что на интервале т законы изменения углов курса у, тангажа Ф и крена у летательного аппарата, а также линейных координат хс, ус, 2с его центра масс мало отличаются от линейных, можно получить смещение изображения К точки к:

кКУ

A

A

KZ у

d

= t— dt

YK (xc, yc, zc,^ J, Т) ZK (xc, yc, zc, ^ J, g)

(14)

где

dA

У

dt

f - sin У cos У о 1 dAj ’ lj J n i s -f о - cos J^

У - cos У - sin У о = J о о о

V о о о у dt V cos J о n i s -

dA

g

dt

&

о

о

о

о

- sin g cos g

о

cos g sin g у

Аберрации в системы панорамного видеонаблюдения определяются типом фотоэлектронного преобразователя, используемого для получения факсимильной цифровой модели изображения сцены.

Если в качестве фотоэлектронного преобразователя используется прибор с накоплением заряда CCD-типа (Charge Coupled Device) [5], то аберрации принимают вид дополнительного размытия изображения за счет формирования динамической апертуры системы «объектив/фотоэлектронный преобразователь». Увеличение апертуры системы «объектив/фотоэлектронный преобразователь» определяется по зависимости [5, 6]

A

A

Y

Z у

KY

(15)

где Т < t время накопления заряда в ячейках прибора с зарядовой связью.

Если в качестве фотоэлектронного преобразователя используется прибор CMOS-типа (Complementary Metal-Oxide Semiconductor), то аберрации принимают вид геометрических искажений факсимильных цифровых моделей изображения сцены. В приборах названного типа используется принцип сканирования матрицы фоточувствительных ячеек с прямым измерением светового потока. При сканировании по строке на опрос одной ячейки требуется время tl = ti +12 +13, складывающееся из быстродействия t ключей выбора столбца, времени t2 затухания переходного процесса в усилителе и времени t3 работы аналого-цифрового преобразователя. При сканировании по столбцам на переключение ключей выбора ячейки требуется время tc.

Пусть изображение раскладывается на N строк (с первой по N-ю) и

М столбцов (с первого по М-й). Время, прошедшее от начала опроса ячейки Стп до окончания опроса ячейки С^, если к > т, и время, прошедшее от начала опроса ячейки Стп до окончания опроса ячейки Ск1, если п > /, определяется по зависимостям:

_ Г(к - т + 1)тI, если т Ф1;

%тп®Ы |(к - т + 1)т^ +Тс , если т _ 1;

_ Г(М - т + к + 1)тI + (/ - п - 1)МтI + (/ - п)тс, если т Ф1;

%тп®к/ |(М - т + к + 1)тI + (/ - п - 1)Мт^ + (/ - п + 1)тс , если т _ 1.

За время т изображение сцены сместится по координатам У и 7 на величины, определяемые выражением (14). Это иллюстрируется рис. 2, где показано изображение объекта на плоскости УО"2, представляющее собой прямоугольник размером ЯхБ пикселей. Если скорость центральной точки

(16)

(17)

проекции равна

, опрос ячеек в строках производится за время т £, а

переключение со строки на строку производится за время т^, то форма прямоугольника искажается. Направление сканирования может, как совпадать с направлением смещения изображения, так т быть противоположно направленным. В общем случае динамические аберрации сканирования приводят к тому, что прямоугольник преобразуется:

в параллелограмм, если направление скорости совпадает с направлением сканирования 7;

в трапецию, если направление скорости противоположно направлению сканирования 7.

У

2

У

\ г

\я

\

\

\

Л У ^ У

У \г '' Б + 1 ^ / Я 2 . г \2\ Б \ |- \ \ Я -4^ ч \ \ \ 2' г

Рис. 2. Аберрации изображения в системах с фотоэлектронным преобразователем СШОЗ-типа

Указанные особенности следует учитывать при решении задач стыковки соседних кадров изображения. Одним из этапов стыковки является этап поиска на границах стыкуемых кадров идентичных особых точек [7], которые совмещаются в приграничных областях.

«Смаз» изображения, возникающий вследствие пространственного движения панорамные системы кругового обзора, уменьшает общее количество особых точек за счет аппаратной пространственной фильтрации мелких предметов образа сцены парой «объектив/фотоэлектронный преобразователь» с увеличенной апертурой. Это, с одной стороны способствует ускорению программной обработки панорамного изображения, а с другой стороны, существенно понижает геометрическую точность стыковки.

Геометрические аберрации, возникающие в системах CMOS-типа приводят к исчезновению части особых точек, принадлежащих предметам сцены, образы которых находящимся в концах первых строк. Кроме того, искажаются изображения предметов, содержащих особые точки, а также смещаются координаты особых точек. Все это также снижает точность стыковки соседних кадров и должно учитываться при разработке алгоритмов обработки изображений.

Список литературы

1. Горшков А. А., Ларкин Е.В. Расчет наблюдаемой площади в системе с множеством видеокамер // Фундаментальные проблемы техники и технологии // ГУ УНПК. № 4. С. 150 - 154.

2. Аршакян А. А., Ларкин Е.В. Наблюдение целей в информационно-измерительных системах // Сборник научных трудов Шестой Всероссийской научно-практической конференции «Системы управления электротехническими объектами «СУЭТО-6» Тула: Изд-во ТулГУ, 2012. С. 222 - 225.

3. Аршакян А. А., Ларкин Е.В. Определение соотношения сигнал-шум в системах видеонаблюдения // Известия ТулГУ. Технические науки. Вып. 3. Тула: Изд-во ТулГУ, 2012. С. 168 - 175.

4. Ларкин Е.В., Котов В.В., Котова Н.А. Система технического зрения робота с панорамным обзором // Известия ТулГУ. Технические науки. Вып. 2. Ч. 2, 2009. С. 161 - 166.

5. Ларкин Е.В., Акименко Т. А. Математическая модель накопления заряда в ячейке линейного фотоэлектронного преобразователя // Известия ТулГУ. Технические науки. Вып. 2. 2012. С. 432 - 437.

6. Ларкин Е.В., Акименко Т.А., Лучанский О.А. Оценка «смаза» изображения в системе технического зрения мобильного колесного робота // / Вестник РГРТУ. Рязань: РИЦ РГРТУ, 2008. С. 77 - 80.

7. The Method of Multiframe Image Filtering // E.V. Larkin [et al] // Machine Graphics & Vision: International Journal. Poland, 1998. Vol. 7. N 3.

P.645 - 654.

Аршакян Александр Агабегович, канд. техн. наук, докторант, elarkin@mail.ru, Россия, Тула, Тульский государственный университет

SCENE PANORAMIC OBSERVATION FROM FLYING MACHINE BOARD

A.A. Arshakyan

The model ofpanoramic image forming for a case, when a round observation chamber is placed on a flying machine board, is worked out. Dependencies which are linkedflying machine linear and angular co-ordinates alteration with image shift in arbitrary frame of panoramic observation system are obtained. It is shown that in systems with photo-electronic converter based on CCD blur-type dynamic aberrations are arise, but in CMOS photo-electronic converters geometrical aberrations are formed. Both types of aberrations create additional difficulties in joint-procedure of panorama neighboring frames.

Key words: scene, panoramic image, frame, flying machine, linear co-ordinates, angular co-ordinates, aberrations.

Arshakyan Alexander Agabegovich, postgraduate, candidate of technical science, elarkin@,mail.ru. Russia, Tula, Tula State University

УДК 621.833

СИСТЕМЫ ТЕПЛОВИДЕНИЯ

Е.В. Филиппова, А.Е. Филиппов

Рассмотрен способ получения теплового изображения. Представлена обобщенная структурная схема получения теплового изображения. Описаны коэффициенты излучательных способностей различных тел и коэффициент пропускания среды. Рассмотрено устройство тепловизионной аппаратуры. Авторами предложено обеспечить тепловизионным комплексом мобильный робот, предназначенный для сканирования местности с распознаванием получаемых образов.

Ключевые слова: тепловое излучение, тепловизор, коэффициент излучения, коэффициент пропускания, изображение, наблюдение, робот.

Тепловизионные приборы начали свое развитие в 60-е годы ХХ века и в настоящее время получили широкое распространение в науке и технике [1]. Использование тепловизоров обусловлено такой сферой деятельности, где необходимо оперативно и своевременно отслеживать тепловые изменения.