ИССЛЕДОВАНИЕ ТОЧНОСТИ ФОРМИРОВАНИЯ СНИМКА КАМЕРАМИ СО ШТОРНО-ЩЕЛЕВЫМ ЗАТВОРОМ ПРИ СЪЕМКЕ С БЕСПИЛОТНЫХ ВОЗДУШНЫХ СУДОВ Текст научной статьи по специальности «Механика и машиностроение»

УДК 528.71:629.782

DOI 10.33764/2411-1759-2022-27-4-54-60

Исследование точности формирования снимка камерами со шторно-щелевым затвором при съемке с беспилотных воздушных судов

В. В. Дедкова1*

1 Сибирский государственный университет геосистем и технологий, г. Новосибирск,

Российская Федерация * e-mail: [email protected]

Аннотация. Аэрофотосъемка с беспилотных воздушных судов выполняется не только с помощью профессиональных, но и неметрических цифровых камер, в том числе со шторно-щелевым затвором. Изменение скорости воздушного судна и угловых элементов внешнего ориентирования в процессе аэрофотосъемки вызывает искажения в формируемых камерой изображениях, что, в свою очередь, влияет на точность результатов обработки. В статье показано изменение элементов внешнего ориентирования снимка за время срабатывания шторно-щелевого затвора и описан способ их фиксации с помощью бортового самописца. Приведены величины смещения точек на снимке, вызванного изменением угловых элементов внешнего ориентирования снимка, для цифровой неметрической камеры Sony Alpha A6000.

Ключевые слова: беспилотное воздушное судно, шторно-щелевой затвор, бортовой самописец, элементы внешнего ориентирования, искажение, цифровая неметрическая камера

Введение

Развитие и внедрение цифровых технологий в картографо-геодезическое производство коренным образом повлияли на выполнение аэрофотосъемочных и фотограмметрических работ, а именно - цифровое программное обеспечение, используемое для обработки аэрофотоснимков, полученных с применением беспилотных воздушных судов (БВС). Материалы аэрофотосъемки с БВС должны обладать высокими измерительными и изобразительными качествами, соответствовать установленным нормативным требованиям и техническому заданию заказчика [1-6].

При выполнении съемки с БВС распространено использование цифровых неметрических камер со шторно-щелевым затвором (англ. rolling shutter). Формирование изображения в цифровой камере со шторно-щеле-вым затвором происходит построчно, в результате чего возникают геометрические искажения. Искажения, вызванные шторно-ще-левым затвором, увеличиваются при аэрофотосъемке с движущегося носителя и при вибрациях камеры [7-9].

Влияние линейного перемещения носителя и угловые колебания приводят к искажению центральной проекции, а, следовательно, ошибкам в измеренных координатах точек на снимках при их фотограмметрической обработке.

В зависимости от высоты фотографирования величины этих ошибок могут варьироваться от одного до десяти пикселей, что составит ошибку до 1 м при определении координат точки на местности. На рис. 1 демонстрируются примеры нарушения ортоскопии снимка при различных линейных и угловых скоростях, возникающей за время срабатывания затвора.

Таким образом, использование аэрофотокамер со шторно-щелевыми затворами при съемке с беспилотных воздушных судов требует определения линейных и угловых скоростей в начале и конце срабатывания затвора. Наиболее подходящим инструментом для этих целей является бортовой самописец. В основе его работы лежит использование микроэлектромеханических систем (МЭМС-датчиков -гироскопов и акселерометров), позволяющих записывать угловые и линейные перемещения БВС (рис. 2).

Снимок без искажений

Движение аэрофотокамеры вдоль осей координат

Wx

Ч

Wz

■I

Вращение аэрофотокамеры вокруг осей координат

Юх -е- Ч

Юу Ф L *

О

Рис. 1. Нарушения ортоскопии снимка [7]

Рис. 2. Бортовой самописец

Целью исследования являлось определение характеристики изменения элементов внешнего ориентирования в процессе аэрофотосъемки по измерениям, полученным с бортового самописца.

Проведение эксперимента и результаты

Изменение угловой ориентации съемочной камеры в момент формирования изображения шторно-щелевым затвором во многом зависит от стабильности полета носителя съе-

мочной аппаратуры. В связи с этим интерес представляют беспилотные летательные аппараты самолетного типа, на многих моделях которых отсутствует гиростабилизирующая платформа, а съемочная камера жестко закреплена. Исходя из этого, на кафедре фотограмметрии и дистанционного зондирования СГУГиТ была изготовлена рабочая модель бортового самописца, проведена аэрофотосъемка на территорию Советского района г. Новосибирска. Аэрофотоснимки получены цифровой камерой Sony Alpha A6000 со шторно-щелевым затвором, установленной на борту беспилотного воздушного судна самолетного типа Supercam S350. Выдержка - 1/1 000 с. Элементы внешнего ориентирования фиксировались бортовым самописцем с дискретностью 10 Гц. Высота полета составляла 260 м.

Исходные данные для проведения эксперимента:

- файл с набором измерений, полученных с бортового самописца;

- данные бортовой инерциальной системы (IMU).

В ходе эксперимента определялись изменения угловых значений элементов внешнего ориентирования. Бортовой самописец позволял зафиксировать элементы внешнего ориентирования в процессе аэрофотосъемки. С помощью IMU фиксировались точки фотографирования и элементы внешнего ориенти-

рования с частотой один снимок в секунду, бортовой самописец за это время фиксировал от 8 до 11 угловых значений. Таким образом, был получен файл с более чем 50 тыс. измерений.

Первым этапом обработки измерений было построение графиков изменения углов крена, тангажа и рыскания для определения маршрутов и выделения их прямолинейных частей. После того как был определен экспериментальный отрезок маршрута, рассчитывались средние значения углов за 1 с для проведения корреляционного анализа с целью нахождения со-

ответственных участков по данным бортового самописца и бортовой инерциальной системы. С коэффициентом корреляции 0,9 была определена точка маршрута. Затем был выбран участок съемки продолжительностью 10 с и построен график изменения угловых значений крена и тангажа БВС для каждой секунды, где ось абсцисс - номер измерения, а ось ординат -значения углов в градусах (рис. 3, 4).

Как видно из рис. 3, 4, изменение значений происходило поступательно, без резких перепадов; в табл. 1 приведены изменения углов за 0,1 и 1 с.

Рис. 3. Изменение значений угла крена за 10 с

Рис. 4. Изменение значений угла тангажа за 10 с Изменение значений угловых величин за 0,1 и 1 с

Таблица 1

Время А крен за 0,1 с, ° А крен за 1 с, ° А тангаж за 0,1 с, ° А тангаж за 1 с, °

0:27:30 -0,04 - 0,64 -

0:27:31 0,72 -0,21 -0,65 0,22

0:27:32 0,54 -0,19 -0,69 -0,17

0:27:33 -0,55 0,29 -1,13 -0,34

0:27:34 -1,02 -0,30 -0,35 -0,13

0:27:35 0,57 0,35 -0,27 0,25

0:27:36 -0,49 0,16 2,24 0,30

0:27:37 0,72 -0,20 -0,75 -0,07

0:27:38 -0,41 0,13 -0,33 0,07

0:27:39 0,59 -0,06 -2,57 0,01

В основном, резкие изменения угловых значений были вызваны порывами ветра или заходом беспилотного воздушного судна на маршрут.

Затем рассчитывались тренды для графиков изменений угловых величин на экспериментальном участке для каждой секунды, с шагом в 0,5 с. Коэффициенты детерминации, рассчитанные на каждые 0,5 с, приведены в табл. 2.

Таблица 2 Коэффициенты детерминации трендов на экспериментальном участке съемки за 0,5 с

Начальное время изменений R2 крен R2 тангаж

0:27:30,0 0,8291 0,8586

0:27:30,5 0,8836 0,8102

0:27:31,0 0,8659 0,8062

0:27:31,5 0,8569 0,8993

0:27:32,0 0,8888 0,9886

0:27:32,5 0,9146 0,8526

0:27:33,0 0,8379 0,8750

0:27:33,5 0,8470 0,8811

0:27:34,0 0,9169 0,9067

0:27:34,5 0,8574 0,8099

0:27:35,0 0,9500 0,9264

0:27:35,5 0,8913 0,9258

0:27:36,0 0,8818 0,8906

0:27:36,5 0,8159 0,8348

0:27:37,0 0,9700 0,8193

0:27:37,5 0,8987 0,8099

0:27:38,0 0,8389 0,8220

0:27:38,5 0,9080 0,8731

0:27:39,0 0,8400 0,8441

0:27:39,5 0,8177 0,9524

F = ■

R 2/ m

(1 - R 2)/( n - m -1)

(1)

где т - число степеней свободы;

п - количество измерений.

Рассчитанные значения ^-статистики сравнивались с табличными значениями распределения Фишера [10]. Установлено, что изменение параметров каждые 0,5 с происходит по линейному закону. При этом чем меньше интервал времени, тем больше коэффициент детерминации стремится к 1, следовательно, изменение углов тангажа и крена практически линейно.

По значениям всех углов крена в записи самописца определялась максимальная величина отклонения. Установлено, что за 0,1 с угол крена изменился на 4,38°, что является достаточно большим значением. На данный и два соседних участка регистрации угловых величин были построены графики изменений (рис. 5).

Как видно из рис. 5, перед резким изменением значения угла на 0:46:08 (измерения 2 и 3) и после него дальнейшее изменение углов происходит плавно. При этом, если рассматривать эти скачки в интервале времени работы затвора, то они незначительны.

Для вычисления возможных смещений координат точек на снимках по угловым элементам, с учетом допущения малости углов, были продифференцированы уравнения коллинеарности

Ах = — Лш +

(

f

.2 Л

f + — Ла + уЛк f у

Лу =

2

f +

f

Лш-—Аа-Ак f

(2)

На основе представленных значений коэффициентов детерминации трендов (К2) определялась значимость линейных трендов, для чего по формуле (1) был выполнен расчет ^-статистики

где Лх, Лу - величины смещения координат точек на снимке;

Ла, Лш, Лк - величины изменения угловых элементов внешнего ориентирования за время срабатывания затвора;

х, у - координаты точек на снимке [11, 12]. Величины смещения точек на снимке, вызванные изменением угловых элементов внешнего ориентирования снимка за 1/250, 1/300, 1/500 с для цифровой камеры Sony Alpha A6000, приведены в табл. 3.

0:46:07 0:46:08 0:46:09

16 16

ООО

123456789 10 11 1234567S9 10 11 1234567S9 10 11

Рис. 5. Максимальное изменение угла крена

Таблица 3 Величины смещений Ах и Ay

Цифровая камера Sony Alpha A6000

f 20 мм

At, с 1/250 1/300 1/500

Дх, мм 0,031 0,026 0,021

Дх, пикс. 7,791 6,492 5,303

Ay, мм 0,008 0,004 0,003

Ay, пикс. 2,053 1,093 0,778

Из табл. 3 видно, что без учета погрешностей, вызванных изменением угловых элементов внешнего ориентирования за время формирования снимка, получаемые изображения имеют существенные искажения.

Выводы и заключение

В результате выполненных исследований установлено следующее.

Изменение угловых параметров за время формирования кадра камерой со шторно-щеле-вым затвором оказывает существенное влияние на точность формируемого изображения. Из-

менение угловых элементов внешнего ориентирования за время формирования снимка происходит практически по линейному закону.

Погрешности изображения, вызванные изменением угловых элементов носителя за время формирования снимка, можно учитывать при обработке; для этого необходимо производить запись угловых элементов с дискретностью 0,1 с и регистрацией меток начала срабатывания затвора.

В ходе проведения экспериментов установлено, что при работе камер со шторно-ще-левыми затворами возможны расхождения в записях сигнала регистрации начала срабатывания затвора и фактической метки, что может быть вызвано следующими факторами:

при малом межкадровом интервале возникают ограничения технических возможностей шторно-щелевого затвора;

наличие люфта в механических частях при кинематическом движении затвора.

На основании выполненной работы и полученных результатов планируется дальнейшее исследование цифровых камер со штор-но-целевым затвором, используемых для аэрофотосъемки.

Статья подготовлена в рамках выполнения гранта, предоставленного в форме субсидии на проведение крупных научных проектов по приоритетным направлениям научно-технологического развития в рамках подпрограммы «Фундаментальные научные исследования для долгосрочного развития и обеспечения конкурентоспособности общества и государства» государственной программы Российской Федерации «Научно-технологическоеразвитие Российской Федерации», проект «Социально-экономическое развитие Азиатской России на основе синергии транспортной доступности, системных знаний о природно-ресурсном потенциале, расширяющегося пространства межрегиональных взаимодействий», номер соглашения с Министерством науки и высшего образования Российской Федерации № 075-15-2020-804 (внутренний номер гранта № 13.1902.21.0016).

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Алябьев А. А., Иванов А. Е., Кобзев А. А., Никитин В. Н. Фотограмметрия в развитии городских агломераций // Вестник СГУГиТ. - 2022. - Т. 27, № 1. - С. 30-41.

2. Хлебникова Т. А., Ямбаев Х. К., Опритова О. А. Разработка технологической схемы сбора и обработки данных аэрофотосъемки с использованием беспилотных авиационных систем для моделирования геопространства // Вестник СГУГиТ. - 2020. - Т. 25, № 1. - С. 106-118.

3. Хлебникова Т. А., Опритова О. А. Экспериментальные исследования точности построения плотной цифровой модели по материалам беспилотной авиационной системы // Вестник СГУГиТ. -2018. - Т. 23, № 2. - С. 119-129.

4. Опритова О. А. Исследование возможностей применения беспилотных авиационных систем для моделирования объектов недвижимости // Вестник СГУГиТ. - 2018. - Т. 23, № 3. - С. 248-258.

5. Юрченко В. И. Особенности проектирования аэрофотосъемочных работ с беспилотного воздушного судна // Вестник СГУГиТ. - 2021. - Т. 26, № 2. - С. 65-81.

6. Dursun i., Asian M., Cankurt i. et al. 3D city models as a 3D cadastral layer: the case of TKGM model [Electronic resource] // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2022. - Vol. XLIII-B4-2022 XXIV ISPRS Congress (2022 edition). - P. 507-512. - Mode of access: https://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XLIII-B4-2022/507/2022/isprs-archives-XLIII-B4-2022-507-2022.pdf (дата обращения 05.06.2022).

7. Никитин В. Н., Раков Д. Н., Семенцов А. В., Арбузов С. А., Хлебникова Е. П. Разработка стенда для определения характеристик шторно-щелевых затворов / // Вестник СГУГиТ. - 2019. -Т. 24, № 3. -С.82-95.

8. Vautherin J., Rutishauser S., Schneider-Zapp K. et al. Photogrammetric accuracy and modeling of rolling shutter cameras [Electronic resource] // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2016. - Vol. III-3. - P. 139-146. - Mode of access: https://www.isprs-ann-photo-gramm-remote-sens-spatial-inf-sci.net/III-3/139/2016/isprs-annals-III-3-139-2016.pdf (дата обращения 08.05.2022).

9. Liang C-K., ^en H., Chang L-W. Analysis and Compensation of Rolling Shutter Effect [Electronic resource] // IEEE Transactions on Image Processing. - 2008. - Vol. 17. - P. 1323-1330. - Mode of access: https://www.researchgate.net/publication/3328923_Analysis_and_Compensation_of_Rolling_Shutter_ Effect (дата обращения 08.05.2022).

10. Королюк В. С., Портенко Н. И., Скороход А. В., Турбин А. Ф. Справочник по теории вероятности и математической статистике. - М. : Наука, 1985. - 640 с.

11. Михайлов А. П., Чибуничев А. Г. Фотограмметрия. - М. : МИИГАиК, 2016. - 294 с.

12. Михайлов А. П., Монтель Андраде Э. Р., Мануэль Де Хесус П. В. О применении цифровых фотокамер со шторно-щелевым затвором для выполнения аэрофотосъемки с легкомоторных и беспилотных летательных аппаратов // Изв. вузов. Геодезия и аэрофотосъемка. - 2013. - № 4. - С. 30-32.

Об авторах

Валерия Вячеславовна Дедкова - ассистент кафедры фотограмметрии и дистанционного зондирования. Получено 01.06.2022

© В. В. Дедкова, 2022

Study of the accuracy of UAV images captured by rolling shutter cameras

V. V. Dedkova1*

1 Siberian State University of Geosystems and Technologies, Novosibirsk, Russian Federation

* e-mail: [email protected]

Abstract. Quite often aerial survey made by unmanned aerial vehicle (UAV) is carried out using digital non-metric cameras that have rolling shutters. Variations in speed of a UAV and its angular elements of exterior orientation during aerial survey cause distortions in the images generated by the camera, which affects the accuracy of the processing results. The article shows the variations in the elements of exterior orientation during the operation of a rolling shutter and describes the way of its detection by flight recorder. The values of image distortion, caused by the variations in the angular elements of the exterior orientation of a snapshot, are calculated for the Sony Alpha A6000 digital non-metric camera.

Keywords: unmannedd aerial vehicle, rollingshutter, flight recorder, exterior orientation elements, distortion, digital non-metric camera

REFERENCES

1. Alyabyev, A. A., Ivanov, A. E., Kobzev, A. A., & Nikitin, V. N. (2022). Photogrammetric technology for urban area development. VestnikSGUGiT[VestnikSSUGT], 27(1), 30-41 [in Russian].

2. Khlebnikova, T. A., Yambaev, K. K., & Opritova, O. A. (2020). Development of a technological scheme for collecting and processing aerial photography data using unmanned aircraft systems for modeling geo-spaces. Vestnik SGUGiT [Vestnik SSUGT], 25(1), 106-118 [in Russian].

3. Khlebnikova, T. A., & Opritova, O. A. (2018). Experimental Studies of the Dense Digital Model Accuracy by Using UnmannedAerial System. Vestnik SGUGiT [Vestnik SSUGT], 23(2), 119-129 [in Russian].

4. Opritova, O. A. (2018). Studies of Possibilities on Using UAS for Real Estate Modeling. Vestnik SGUGiT [Vestnik SSUGT], 23(3), 248-258 [in Russian].

5. Yurchenko, V. I. (2021). Design peculiarities of the aerial photography from an unmanned aircraft. Vestnik SGUGiT [Vestnik SSUGT], 26(2), 65-81 [in Russian].

6. Dursun, i., Aslan, M., Cankurt, i., & et al. (2022). 3D city models as a 3D cadastral layer: the case of TKGM model. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Science: Vol. XLIII-B4-2022 (pp. 507-512). Retrieved from https://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XLIII-B4-2022/507/2022/isprs-archives-XLIII-B4-2022-507-2022.pdf (accessed June 05, 2022).

7. Nikitin, V. N., Rakov, D. N., Sementsov, A. V., Arbuzov, S. A., & Khlebnikova, E. P. (2019). Development of a test bench for determination of characteristics of a curtain shutter. Vestnik SGUGiT [Vestnik SSUGT], 24(3), 82-85 [in Russian].

8. Vautherin, J., Rutishauser, S., Schneider-Zapp, K., & et al. (2016). Photogrammetric accuracy and modeling of rolling shutter cameras. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences: Vol. III-3 (pp. 139-146). Retrieved from https://www.isprs-ann-photogramm-remote-sens-spatial-inf-sci.net/III-3/139/2016/isprs-annals-III-3-139-2016.pdf (accessed May 08, 2022).

9. Liang, C-K., Chen, H., & Chang, L-W. (2008). Analysis and Compensation of Rolling Shutter Effect. IEEE Transactions on Image Processing, 17, 1323-1330. Retrieved from https://www.researchgate.net/ pub-lication/3328923_Analysis_and_Compensation_of_Rolling_Shutter_Effect (accessed May 08, 2022).

10. Korolyuk, V. S., Portenko, N. I., Skorohod, A. V., & Turbin, A. F. (1985). Spravochnik po teorii veroyatnosti i matematicheskoj statistike [Handbook of Theory of Probability and Mathematical Statistics]. Moscow: Nauka Publ., 640 p. [in Russian].

11. Mikhailov, A., & Chibunichev, A. G. (2016). Photogrammetry [Photogrammetry]. Moscow: MIIGAiK Publ., 294 p. [in Russian].

12. Mikhailov, A., Edgar Ruben Montel Andrade, Peres Valdez Manuel de Jesus. (2013). On the use of digital photo cameras with focal-plane shutter for aerial photography with light-motor unmanned aerial vehicles. Izvestia vuzov. Geodeziya I aerofotos"emka [IzvestiyaVuzov. Geodesy and Aerophotosurveying], 4, 30-32 [in Russian].

Author details

Valeriya V. Dedkova - Assistant, Department of Photogrammetry and Remote Sensing. Received 01.06.2022

© V. V. Dedkova, 2022