CC BY
10Труды МАИ. Выпуск № 96
http://trudymai.ru/
УДК 629.7.05
Варианты обеспечения посадки при автономном управлении беспилотными мультироторными летательными аппаратами
Аксенов А.Ю.*, Зайцева А.А.**, Кулешов С.В.***, Ненаусников К.В.****
Санкт-Петербургский институт информатики и автоматизации Российской академии наук, 14 линия, 39, Санкт-Петербург, 199178, Россия
*e-mail: a_aksenov@mail. iias.spb.su **e-mail: [email protected] ***e-mail: [email protected] ****e-mail: konstantin21 ¡[email protected]
Аннотация
В статье рассматриваются варианты реализации системы автовзлета-автопосадки малых автономных БЛА. Обосновывается возможность использования систем на основе компьютерного зрения с применением технологий «оптического захвата» маркерных меток. Показано, что при любом расположении камер в системе автовзлета-автопосадки для облегчения локализации ключевых точек беспилотного ЛА или посадочной полосы системами CV необходимо использовать маркеры. Проанализированы различные способы расположения маркеров и варианты реализации маркерных меток.
Ключевые слова: беспилотные летательные аппараты, БЛА, мультикоптеры, маркеры, computer vision, CV, автовзлет, автопосадка
Введение
Быстрое развитие технологий в области автономных робототехнических систем и комплексов, растущая востребованность беспилотных летательных аппаратов (БЛА) в различных, в том числе военных, целях привело к необходимости развития технологий удаленного управления ЛА, в частности, малоразмерными мультикоптерами [1,2]. Наиболее активно развиваются многороторные летающие платформы (три-, квадро-, гексо- коптеры). Общим свойством для всех устройств этого класса является принцип полета. Многороторные БЛА имеют ряд преимуществ по сравнению с остальными беспилотными и пилотируемыми летательными аппаратами, в особенности для съемки небольших объектов с высоким пространственным разрешением, так как многороторный БЛА, в отличие от вертолета, более стабилен в воздухе, дешевле в обслуживании и легче в управлении [1].
Повышение автономности дистанционно пилотируемых ЛА (ДПЛА) и переход к полностью автономным БЛА-роботам, работающим на основании программы - полетного задания, производится путем совершенствования электронных систем и программного обеспечения автопилота и стабилизации.
Актуальность выбранной темы исследования обусловлена, в том числе, тем, что большую заинтересованность в развитии технологий для БЛА проявляют
государственные ведомства и службы, функции которых связаны с охраной, контролем и мониторингом объектов, в том числе с ликвидацией чрезвычайных ситуаций, а также компании, деятельность которых связана с получением пространственных данных [2, 3-4].
Среди известных коммерческих полетных контроллеров - интегрированных систем стабилизации и управления, информация о которых не является закрытой, следует отметить систему NAZA [5] -многоосевую систему управления, созданную специально для малых ЛА и включающую в себя полетный контроллер, гироскопы, акселерометры и бародатчик.
Другие системы, такие как DJI Wookong Multi-Rotor stabilization controller и FY-DoS GPS (система управления полетом мультироторных ЛА для коммерческих и промышленных автопилотных применений), принадлежат к классу инерциальных систем стабилизации с режимом висения и автовозвратом [6].
Современные тенденции построения систем управления для автономных БЛА предполагают использование методов снижения уровня неопределенности о пространственном положении и окружающей обстановке средствами самого БЛА без привлечения внешнего пилота (оператора).
Среди коммерческих мультироторных БЛА наибольшее количество типов таких датчиков использует компания DJI.
Для этого, кроме типовых типов датчиков для получения пространственной картины (ультразвуковых и инфракрасных дальномеров, барометров и альтиметров, а также блоков MEMS-датчиков), используются дополнительные датчики для
построения 3D-модели окружающей обстановки: видеокамеры, ToF-камеры (времяпролетная камера) [7], лазерный дальномер и ЬЮАЯ-системы [8].
При этом для ряда ответственных этапов полета (таких как взлет, выдерживание над посадочной площадкой (ПП), посадка) не существует устоявшегося комплексного технологического решения, для их выполнения требуется большая точность в управлении БЛА, связанная с необходимостью его удержания в заданной точке пространства. Для рассматриваемого класса устройств (малоразмерные БЛА мультироторного типа) режим висения, в том числе для осуществления автовзлета-автопосадки, - это наиболее продолжительный по времени режим стабилизации, в котором на позиционировании БЛА особенно сильно сказываются негативное воздействие внешней среды, дрейф инерциальных систем навигации и недостаточная точность систем глобального позиционирования. Поэтому для решения этой задачи целесообразнее использовать технологии управления с помощью «оптического захвата», например, маркерных меток области интереса [1, 9-13].
В данной работе производится анализ принципов построения систем автовзлета-автопосадки, основанных на использовании методов компьютерного зрения (СУ) и рассматриваются особенности использования маркеров.
Система автовзлета-автопосадки под управлением СУ
Важным компонентом системы автопосадки является подсистема определения пространственного положения БЛА. Для этого могут использоваться собственные
инерциальные системы навигации, системы глобального позиционирования, системы внешнего наведения (в том числе системы компьютерного зрения (CV)) [6, 14].
Можно выделить следующие ключевые требования к системе автопосадки, выполнение которых позволит обеспечивать эффективную посадку БЛА в условиях недоступности оператора:
- однозначное определение пространственного положения, включая ориентацию, высоту над ПП, угол курса;
-возможность работы в широком диапазоне условий окружающей среды и погодных условий;
- наличие сенсорной избыточности (избыточного количества датчиков), необходимой для сохранения устойчивого определения пространственных параметров при частичном перекрытии некоторых маркеров при эволюциях БЛА;
- минимальное время принятия решения о параметрах пространственного положения БЛА.
В данной работе рассматривается подход к построению системы автовзлета и автопосадки БЛА мультироторного или вертолетного типа на основе компьютерного зрения, без применения систем глобального позиционирования, которые оказываются недостаточно эффективны на взлетной и посадочной фазе полета [12-13], а также когда использование средств радионавигации невозможно.
Системы спутниковой навигации GPS/Глонасс и инерциальные навигационные системы эффективны во время полета, их достоинством является
простота и универсальность метода, но они не обеспечивают необходимой точности, делая невозможным решение задачи определения местоположения ЛА для малых высот и ограниченных площадок [12,15].
Обычно точность современных GPS приемников достигает 6-8 метров по горизонту, обеспечивая хорошую видимость и коррекцию алгоритмов. На территории США, Канады и ряда других стран возможно увеличение точности до 1 -2 метров, однако использование GPS навигации на других территориях может оказаться неэффективным.
В систему автовзлета-автопосадки под управлением CV [1, 13, 16] входят следующие компоненты (рисунок 1):
- камера или набор камер для фиксации маркерных меток (маркеров наведения);
- система маркеров, предназначенные для локализации камерой;
- процессор, реализующий алгоритмы Computer Vision и определяющий пространственное положение БЛА относительно системы координат 1111;
- процессор, формирующий управляющие воздействия на двигатели и управляющие поверхности (рули направления и т.д.) для приведения БЛА в требуемое пространственное положение;
- канал передачи данных.
Рисунок 1. Система автовзлета-автопосадки под управлением CV Возможны следующие варианты размещения компонентов системы: 1. Камеры располагаются таким образом, чтобы контролировать область пространства над посадочной площадкой (ПП). Камеры способны одновременно наблюдать и БЛА и ПП. Компоненты СУ и управляющего компьютера расположены стационарно на земле (рис. 2). Подобный вариант использован в работах [17-18]. Основным недостатком такой технологии является то, что рабочая область БЛА ограничена небольшим (обычно прямоугольным) объемом и пригодна, в основном, для применения внутри помещений.
Стоит отметить проект, разработанный в Институте динамических систем и управления в Цюрихе [18], в котором используются одновременно и маркеры и СУ. Система СУ с двумя или четырьмя камерами используется для автоматического поддержания заданного направления полета. Эта система обеспечивает высокую
точность, но требует предварительно подготовленной рабочей области, так как
маркеры расположены на БЛА, а система СУ стационарно расположена вне БЛА [17,18].
Рисунок 2. Камеры располагаются таким образом, чтобы контролировать область пространства над ПП (внешние камеры находятся выше ПП) 2. Камеры расположены на 1111 и смотрят в направлении БЛА, на котором расположены маркеры (рис.3).
Рисунок 3. Камеры расположены на ПП
3. Камеры расположены на БЛА и смотрят в направлении 1111, на которой расположены маркеры (рис. 4).
Рисунок 4. Третий способ расположения камер и маркеров
При использовании паттернов маркеров с известными геометрическими параметрами становится возможным определение расстояния до маркеров (высоты) с помощью CV-системы, вместо (или дополнительно) барометрических альтиметров и дальномеров [19].
Использование маркеров
Проанализировав существующие разработки систем автовзлета-автопосадки БЛА в условиях недоступности систем глобального позиционирования [1, 20], были выделены следующие способы реализации маркеров: размещение маркеров на ПП и реализация маркерных меток на БЛА.
Маркеры на ПП могут быть реализованы следующими способами:
- контрастное изображение некоторого паттерна, подлежащего распознаванию методами СУ;
- огни, управляемые дистанционно процессором;
- цветные светодиоды или ИК-светодиоды, работающие в постоянном и импульсном режиме.
Варианты реализации маркерных меток на БЛА:
- цветные светодиоды или ИК-светодиоды, работающие в постоянном и импульсном режиме;
- огни, управляемые дистанционно процессором;
- система уголковых отражателей и осветителя;
- контрастное изображение-паттерн (включая форму фюзеляжа).
а б в
Рисунок 5. Проблемы локализации ЬБЭ-маркеров по цвету (а - исходный кадр с
камеры, б - локализация синих маркеров, в - локализация красных маркеров)
Эксперименты, проведенные с локализацией маркеров, выполненных цветными светодиодами (рисунок 5а) показал ограниченную возможность применения такого подхода из-за следующих причин: малый динамический диапазон камер приводит к искажению цветопередачи в различных участках маркера, имеющих различную яркость (рисунок 5 б, средняя яркая часть маркера
видится камерой как белый цвет), а неоднородная спектральная чувствительность к цветам не позволяют точно локализовать всю площадь маркера (рисунок 5в).
В ходе проведенных экспериментов были выявлены следующие особенности.
Система инфракрасных маркеров и инфракрасной камеры является традиционной схемой локализации пространственных объектов [21-22]. Ее достоинством является устойчивость к различным условиям освещённости и изменениями фона, но имеются некоторые проблемы при направлении в сторону солнца, дающего сильную ИК засветку. Также требуются дополнительные средства идентификации отдельных маркеров для определения курсового угла БЛА.
Использование цветных маркеров (в том числе RGB-светодиодов) облегчает решение задачи идентификации отдельных маркеров в идеальных условиях, но при изменении условий освещения, наличии тумана, пыли возникает слишком много ошибок распознавания маркеров. Использование маркеров управляемого цвета на основе RGB-светодиодов позволяет компенсировать негативные последствия изменения условий внешней среды.
Использование в качестве маркеров контрастного геометрического паттерна возможно только при хороших условиях видимости и/или хорошей освещенности.
Расположение камер на БЛА требует либо размещения системы CV на борту, либо организации широкополосного канала передачи данных с низкой задержкой, также требуется принимать дополнительные меры по компенсации вибраций от двигателей и винтов БЛА.
1о результатам проведенного анализа можно сделать вывод, что наибольшей эффективностью обладают маркеры, управляемые компьютером системы посадки по каналу управления (радиоканалу). В таком режиме компьютер включает каждый маркер независимо, в импульсном режиме, ожидая его появления на изображении с камеры. При этом упрощаются методы распознавания и локализации маркера. Становится возможным использовать фактор времени с априорным знанием о состоянии маркера и использовать простые методы CV, например разностный кадр. При этом не требуется делать различие в характеристиках самих маркеров (различие по цвету) или использовать паттерн расположения маркеров, так как с каждый момент времени можно включать только один конкретный маркер, что облегчает его идентификацию.
Использование режима управляемых маркеров несколько повышает время принятия решения о пространственном положении БЛА в связи с тем, что каждое состояние (ON/OFF) каждого маркера требует по крайней мере 1 кадра, то есть зависит от частоты кадров камер и быстродействия системы CV.
Режим управляемых маркеров является предпочтительным во всех случаях, когда возможно организовать канал управления между БЛА и системой автопосадки [23].
Заключение
В работе проанализирован современный уровень развития технологий в области разработки систем автовзлета-автопосадки без применения систем
глобального позиционирования [2, 3, 5, 6, 9, 11, 12]. Предложен альтернативный подход к разработке системы автовзлета и автопосадки БЛА мультироторного или вертолетного типа на основе computer vision, разработана функциональная схема такой системы, рассмотрены варианты ее реализации.
Показано, что при любом расположении камер в системе автовзлета-автопосадки для облегчения локализации ключевых точек БЛА или ПП системами CV необходимо использовать маркеры. Проанализированы различные способы расположения маркеров и варианты реализации маркерных меток.
В ходе исследования выработаны следующие рекомендации.
Режим управляемых маркеров является предпочтительным во всех случаях, когда возможно организовать канал управления между БЛА и системой автопосадки.
Использование цветных маркеров (в том числе RGB-светодиодов) облегчает решение задачи идентификации отдельных маркеров только в идеальных условиях, при любом изменении условий ошибки идентификации превышают допустимые пределы.
Использование в качестве маркеров контрастного геометрического паттерна возможно только при хороших условиях видимости и/или хорошей освещенности.
Наибольшей эффективностью обладают маркеры, управляемые компьютером системы посадки по каналу управления (радиоканалу). В таком режиме компьютер включает каждый маркер независимо, в импульсном режиме, ожидая его появления на изображении с камеры. При этом упрощаются методы распознавания и
локализации маркера. Становится возможным использовать фактор времени с априорным знанием о состоянии маркера и использовать простые методы CV, например разностный кадр. При этом не требуется делать различие в характеристиках самих маркеров (различие по цвету) или использовать паттерн расположения маркеров, так как с каждый момент времени можно включать только один конкретный маркер, что облегчает его идентификацию.
Дальнейшие исследования будут посвящены разработке программного обеспечения собственной системы автовзлета-автопосадки с использованием разработанных рекомендаций по использованию маркеров.
Работа выполнена при поддержке бюджетной темы № 0073-2014-0005.
Библиографический список
1. Aksenov A.Y., Kuleshov S.V., Zaytseva A.A. An application of computer vision systems to solve the problem of unmanned aerial vehicle control // Journal Transport and Telecommunication. 2014. Vol. 15, no. 3, pp. 209-214.
2. Altug E., Ostrowski J.P., Taylor C.J. Control of a quadrotor helicopter using dual camera visual feedback // Int. J. Rob. Res. 2005. Vol. 24, no. 5, pp. 329-341.
3. Барбасов В.К., Гаврюшин Н.М., Дрыга Д.О., Ватаев М.С., Алтынов А.Е. Многороторные беспилотные летательные аппараты и возможности их использования для дистанционного зондирования земли // Инженерные изыскания. 2012. № 10. С. 38-42.
4. Барбасов В.К., Гречищев А.В. Мультироторные беспилотные летательные аппараты, представленные на российском рынке: обзор // Инженерные изыскания. 2014. № 8. С. 27-31.
5. DJI Innovations. (2013). Naza for Multi-Rotor User Manual. Guangdong. (V 2.8 2013.05.03 Revision). URL: http://download.dji-innovations.com/downloads/naza/en/NM User Manual v2.8 en.pdf
6. Saripalli S., Montgomery J.F., Sukhatme G.S. Visually guided landing of an unmanned aerial vehicle // IEEE Transactions on Robotics and Automation. 2003. Vol. 19, no. 3, pp. 371-380.
7. Radu Horaud, Mil es Hans ard, Georgios Evangel i dis, Menier CI ement. An Overview of Depth Cameras and Range Scanners Based on Time-of-Flight Technologies. // Machine Vision and Applications Journal, 2016. URL: https://hal. inria.fr/hal-01325045
8. Lidar: range-resolved optical remote sensing of the atmosphere series, Springer series in optical sciences, vol. 102 / C. Weitkamp (Ed.), New York: Springer, 2005. 460 p.
9. Автоматическая посадка БПЛА на движущийся автомобиль. URL: http://absrf.ru/ru/technology/2016-01 -26.htm
10. Веремеенко К.К., Пронькин А.Н., Репников А.В. Алгоритмы структурной перестройки бортовых подсистем интегрированной системы посадки беспилотного летательного аппарата // Труды МАИ. 2011. № 49. URL: http://trudymai.ru/published.php?ID=28110
11. Павлова Н.В., Смеюха А.В. Повышение эффективности выполнения полетного задания современными маневренными летательными аппаратами // Труды МАИ. 2016. № 87. URL: http://trudymai.ru/published.php?ID=69703
12. Corke P. An inertial and visual sensing system for a small autonomous helicopter // Journal of robotic systems. 2004. Vol.21, no.2, pp. 43-51.
13. Cesetti A., Frontoni E., Mancini A. et al. A Visual Global Positioning System for Unmanned Aerial Vehicles Used in Photogrammetric Applications // Journal of intelligent & robotic systems, 61: 157 (2011) doi:10.1007/s10846-010-9489-5
14. Garcia Carrillo L.R., Dzul Lopez A.E., Lozano R. et al. Combining Stereo Vision and Inertial Navigation System for a Quad-Rotor UAV // Journal of intelligent & robotic systems, (2012) 65: 373. doi:10.1007/s10846-011-9571-7
15. Cesetti A., Frontoni E., Mancini A., Zingaretti P., Longhi S. A Vision-Based Guidance System for UAV Navigation and Safe Landing using Natural Landmarks // Selected papers from the 2nd International Symposium on UAVs, Reno, Nevada, U.S.A. June 8-10, pp. 233-257 (2009).
16. Levin, A., Szeliski, R. Visual odometry and map correlation. In: // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC, USA (2004). URL: https: //schol ar.google.ru/citations?user=9aw QGAAAAAJ
17. ETH IDSC. (2014). Flying Machine Arena. Zurich. URL: http://www.idsc.ethz.ch.
18. Ritz R., Miil l er M.W., Hehn M., D'Andrea R. Cooperative quadrocopter ball throwing and catching. Proceedings of Intelligent Robots and Systems (IROS) // IEEE RSJ International Conference. Vilamoura. October 2012, IEEE, pp. 4972-4978.
19. Aksenov A.Y., Kuleshov S.V., Zaytseva A.A. An Application of Computer Vision Systems to Unmanned Aerial Vehicle Autolanding // A. Ronzhin et al. (Eds.): ICR 2017, LNAI 10459, pp. 105-112, 2017. DOI: 10.1007/978-3-319-66471-2_12
20. Open Computer Vision. URL: http://sourceforge.net/projects/opencvlibrary
21. Кулешов С.В., Зайцева А.А. Селекция и локализация семантических фрагментов // Информационно-измерительные и управляющие системы. 2008. Т. 6. № 10. С. 88-90.
22. Кулешов С.В., Зайцева А.А. Объектная локализация семантических блоков на растровых изображениях // Труды СПИИРАН. 2008. № 7. С. 41-47.
23. Кулешов С.В., Юсупов Р.М. Софтверизация - путь к импортозамещению // Труды СПИИРАН. 2016. № 46. C. 5-13.
