CC BY
0
УДК 004
Койнов Е.В.
магистрант 2 курса, гр. ИИПм-22-1 Тюменский индустриальный университет
г. Тюмень, РФ
ПОИСК БЕЗОПАСНЫХ ТОЧЕК ПОСАДКИ ДЛЯ ДРОНОВ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ
Аннотация
В работе представлена методика автономного определения безопасных точек посадки дронов с использованием глубокого обучения и преобразования расстояний.
Цель исследования: разработка подхода для точного и надежного определения посадочных зон в сложных условиях, минимизируя риски повреждений дронов.
Метод исследования: функционал модели DeepLabV3Plus для семантической сегментации зон посадки и определение точек посадки с помощью алгоритмов.
Результаты: при обработке 400 аугментированных изображений, MIOU модели составила 0.8489. В дальнейшем планируется улучшение качества семантической сегментации модели в разных условиях путём увеличения датасета и усложнения алгоритма поиска точек для движущихся объектов.
Ключевые слова:
изображение, дроны, нейронная сеть, глубокое обучение, семантическая сегментация FINDING SAFE LANDING POINTS FOR DRONES USING NEURAL NETWORKS
Abstract:
This paper presents a methodology for autonomous detection of safe landing points for drones using deep learning and distance transformation.
Research objective: to develop an approach for accurate and reliable determination of landing zones in complex environments, minimizing the risks of drone damage.
Research method: functionalization of the DeepLabV3Plus model for semantic segmentation of landing zones and identification of landing points using algorithms.
Results: when processing 400 augmented images, the MIOU of the model was 0.8489. In the future, we plan to improve the quality of semantic segmentation of the model in different conditions by increasing the dataset and complicating the point finding algorithm for moving objects.
Keywords:
Images, drones, uav, neural network, deep learning, semantic segmentation
Современные достижения в области техники и транспорта принесли множество технологий, среди которых особое место занимают беспилотные летательные аппараты (БПЛА), или дроны. В последнее время дроны стали незаменимыми помощниками в самых разных сферах, существенно изменив подход к выполнению таких задач, как инспекция, мониторинг и логистика. Несмотря на это, одной из ключевых технических задач остается автономное нахождение безопасных мест для посадки дронов, особенно в условиях разряда батареи, неисправностей, потери связи или при полетах в неизведанных территориях. Решение этой задачи важно для безопасности дронов в сложных и непредсказуемых ситуациях.
Автономная посадка дронов в незнакомой среде сопряжена с множеством уникальных вызовов. Эти вызовы включают в себя необходимость обработки данных об окружающей обстановке в режиме реального времени, точную оценку возможных рисков и выбор подходящих площадок, точек для посадки.
Учитывая широкое применение дронов в различных отраслях, таких как сельское хозяйство, безопасность, доставка и инфраструктурный мониторинг, разработка методов, обеспечивающих безопасную автономную посадку, становится крайне важной задачей [1, 2].
Объектом исследования являются беспилотные летательные аппараты, а именно их способность к автономной посадке в различных условиях. Предметом исследования является методика и алгоритмы, использующие семантическую сегментацию для определения безопасных зон посадки дронов.
Целью исследования является разработка и тестирование модели нейронной сети на основе семантической сегментации и алгоритма для автономного определения безопасных зон и точек посадки дронов. В основе метода лежит использование модели DeepLabV3Plus, обученной на датасете из 400 изображений.
Новизна исследования заключается в интеграции глубокой нейронной сети для сегментации зон посадки и алгоритмов для определения оптимальных точек посадки. Метод использует комплексный подход, включающий обработку визуальных данных и оценку поверхности в реальном времени, что позволяет дрону быстро и точно находить безопасные зоны и точки для посадки даже в сложных условиях. В ходе исследования было произведено обучение и тестирование модели, а также оценка её эффективности на различных сценариях посадки.
Исследования в этой области включают различные подходы, направленные на улучшение автономности и безопасности людей и дронов при посадке. Низкий заряд батареи является одной из главных причин крушения дронов во всех случаях применения. Современные дроны автоматически возвращаются домой или садятся при низком заряде, однако дрону может не хватить заряда для автоматического возврата или посадки в безопасных условиях. Применение методов анализа изображений и машинного обучения позволяет решать проблему аварийных посадок, когда необходимо быстро и точно определять безопасные зоны в неизвестной среде [3, 4].
Автономность посадок дронов имеет потенциал для повышения безопасности в сложных или опасных условиях. Несмотря на возможность взлета и посадки по нажатию одной кнопки, оператор всё равно принимает решение о месте посадки. Это можно решить с помощью оборудования на дроне, позволяющего анализировать поверхность и автономно выбирать безопасное место для посадки. Использование LiDAR для обработки поверхности позволяет определять зоны без помех и препятствий, что является критерием для выбора лучших зон посадки [5].
Более доступным решением является использование только фотографий без дополнительных данных, таких как LiDAR. Это показывает, что методы семантической сегментации изображений могут эффективно оценивать безопасность посадки в различных условиях [6, 7]. Данный подход позволяет сократить затраты на оборудование, сохраняя при этом высокую точность определения безопасных зон.
В настоящей работе рассматривается применение методов семантической сегментации для определения безопасных зон посадки дронов. Модель DeepLabV3, обученная на датасете «Semantic Drone Dataset» из 400 изображений, используется для сегментации и дальнейшего анализа изображений.
На снимках датасета изображено более 20 домов с птичьего полёта, полученных на высоте от 5 до 30 метров над землёй. Для получения изображений размером 6000x4000px использовалась камера высокого разрешения.
Набор данных состоит из 400 изображений с 40169 помеченными объектами, относящимися к 24 различным классам: препятствие, асфальтированную территорию, человека, растительность, грязь, гравий, стена, трава, забор, камни, крыша, дерево, столб забора, ар-маркер, велосипед, окно, вода, лысое дерево, автомобиль, бассейн, дверь, собака, не помеченные и конфликтующие.
Для задачи не требовались все классы датасета, поэтому они были переназначены на 4 класса:
1. Препятствия (Красный цвет)
2. Зоны посадки (Зелёный цвет)
3. Вода (Голубой цвет)
4. Дороги (Оранжевый цвет)
Выбор классов помимо зон посадки и препятствия обусловлен тем, что вода и дороги могут участвовать в посадке при настройке алгоритма поиска точек посадки. Пример датасета показан на рис. 1.
Оригинал Маска
Рисунок 1 - Пример оригинальных изображений и масок датасета с переназначенными классами
Из-за малого размера датасета была проведена аугментация датасета для лучшего обучения модели с помощью библиотеки albumentations. Были использованы такие техники аугментации, как горизонтальное, вертикальное отражение, поворот, поворот с изменением размера, контраст, насыщенность, гауссовский шум, MotionBlur, размытие по гауссу, CoarseDropout [8, 9].
Для поиска оптимальных зон посадки с помощью семантической сегментации была взята модель DeepLabV3Plus с тоЫ1епе^2. DeepLabV3Plus представляет новую архитектуру для семантической сегментации изображений, комбинирующую методы пространственной пирамидальной свертки и структуры кодировщик-декодировщик. DeepLabv3+ улучшает сегментацию объектов за счет добавления простого декодировщика для уточнения границ объектов. В модели также используется глубинно-разделяемая свертка, что позволяет увеличить производительность модели [10, 11]. Архитектура модели показана на рис. 2.
Рисунок 2 - Архитектура DeepLabV3Plus
Для обучения модели DeepLabV3Plus использовался метод обратного распространения ошибки с использованием оптимизатора Adam с начальными параметрами скорости обучения lr=0.001, регуляризацией веса weight_decay=0.00001 и техникой накопления градиентов с шагом 4.
Использовалась функция потерь кросс-энтропии, которая измеряет расхождение между предсказанными и истинными метками классов пикселей [12]. Метрики обучения показаны на рис. 3.
Training and validation loss Training and validation MloU
1.0
0,8
Й 0.6 3
0.4 0.2 0.0
Рисунок 3 - Потери и MIOU модели Пример предсказания модели показан на рис. 4.
Рисунок 4 - Предсказания модели на тестовой выборке
Параметры модели обучения представлены в табл. 1.
Таблица 1
Параметры обучения модели
Название Значение
Модель DeepLabV3+
Кодировщик mobilenet_v2
Оптимизатор Adam
Функция потерь Кросс-энтропия
Начальная скорость обучения 0.001
Регуляризация 1.2 0.00001
Размер батча 24
Количество эпох 58
Накопление градиентов 4 шага
Язык программирования Python 3.12
Операционная система Windows 10
Оценка эффективности моделей проводится с использованием метрик MIOU, Pixel Accuracy, Mean Pixel Accuracy, Accuracy, Recall, F1. Значения метрик модели, приведены в табл. 2.
Таблица 2
Метрики модели семантической сегментации
Метрика Среднее значение
MIOU 0.8489
Pixel Accuracy 0.9263
Mean Pixel Accuracy 0.9258
Accuracy 0.9181
Recall 0.9319
F1 0.9248
Основная цель работы заключалась в разработке подхода, который позволяет определять наиболее безопасные и удалённые от границ зоны точки для посадки, минимизируя риски повреждений и увеличивая безопасность эксплуатации дронов. На основе полученных сегментированных изображений была применена процедура поиска оптимальных точек посадки, включающая несколько ключевых этапов.
Сначала на сегментированную маску применялось преобразование расстояний, которое вычисляет дистанцию от каждого пикселя до ближайшего нулевого пикселя, представляющего границу зоны. Это позволяет создать карту расстояний, где максимальные значения соответствуют точкам, наиболее удалённым от границ. Формула для расчёта евклидового расстояния между точкой и границей:
\\Р - Ч\\ = (1)
где х,у - координаты точек и границ.
Формула для преобразования расстояний имеет следующий вид:
Я(р) = ттчедА\\р — ц\\, (2)
где й(р) - расстояние точки р до ближайшей границы; дА - множество пикселей, принадлежащих границе области А; \\р — д\\ - Евклидово расстояние между пикселями р и д.
На следующем этапе из карты расстояний извлекались координаты точек с максимальными значениями. Эти точки, наиболее удалённые от границ, считались точками для посадки и помечались тёмно-зелёным цветом. Для предотвращения повторного выбора уже найденных точек, они помечались как границы в маске, и процедура поиска повторялась до тех пор, пока не были найдены все необходимые точки.
После был произведён поиск самой оптимальной точки из найденных точек. Оценка каждой точки осуществлялась на основе нескольких критериев: дистанции от центра изображения, размера зоны и дистанции от краёв зоны с коэффициентами 0.4, 0.2, 0.4 соответственно. Оптимальные точки помечались светло-зелёным цветом. Формула для оценки качества точки посадки на основе расстояния до центра, размера зоны и расстояния до края зоны:
5(р) = 0.4 (1 — + 0.2 (Площадь(г)) + 0.4 (3)
г V V НхШ ) \тах(Н,^)/
где Б(р) - оценка точки р; С - центр изображения; Н и Ш - соответственно, высота и ширина изображения; Площадь(7) - площадь зоны посадки; й(р) - расстояние точки р до ближайшей границы.
Пример работы алгоритма показан на рис. 5.
В данном исследовании был представлен метод для автономного определения безопасных точек посадки дронов, основанная на использовании глубокого обучения и преобразования расстояний. Основная цель заключалась в разработке подхода, который позволяет надежно и точно определять наиболее безопасные точки посадки в сложных и динамичных условиях, минимизируя риски повреждений и обеспечивая безопасность дронов.
Результаты показали, что предложенный подход позволяет эффективно находить оптимальные точки для посадки дронов в сложных городских и сельских условиях. Применение преобразования расстояний и семантической сегментации обеспечило высокую точность и надёжность определения безопасных зон и точек, что подтверждается экспериментальными данными и визуальными результатами.
Рисунок 5- Пример найденных оптимальных точек
Таким образом, разработанный метод представляет собой шаг вперёд в области автономного управления дронами, обеспечивая их безопасную посадку в условиях плотной городской застройки и сельской местности.
Список использованной литературы:
1. Койнов Е.В. Достижения в области технологий автономной посадки бпла: сравнительный обзор современных подходов // Современная техника и технологии в электроэнергетике и на транспорте: задачи, проблемы, решения: Сборник трудов VIII всероссийской (национальной) научно-практической конференции научных, научно-педагогических работников, аспирантов и студентов. Челябинск: ЮжноУральский технологический университет. 2023. С. 153-159.
2. Atapattu S., Balasooriya N., De Silva O., Jayasiri A., Mann G.K.I., Gosine R. Landing Zone Identification Using A
Hardware-accelerated Deep Learning Module [Электронный ресурс] // 77th Annual Forum & Technology Display, The Vertical Flight Society. 2021. URL: https://www.researchgate.net/publication/360448934_Landing_Zone_ Identification_Using_a_Hardware-accelerated_Deep_Learning_Module (дата обращения: 02.05.2024).
3. Bektash O., Naundrup J.J., la Cour-Harbo A. Analyzing visual imagery for emergency drone landing on unknown environments // International Journal of Micro Air Vehicles. 2022. Vol. 14. URL: https://journals.sagepub.com/doi/epub/10.1177/17568293221106492 (дата обращения: 02.01.2024).
4. Катанов Ю.Е. Создание линейного симулятора для прогнозирования технологического процесса // Известия высших учебных заведений. Нефть и газ. 2012. № 1 (91). С. 112-116.
5. Chen, L.C., Zhu, Y., Papandreou, G., Schroff, F., Adam, H. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation [Электронный ресурс] // Computer Vision - ECCV 2018. ECCV 2018. Lecture Notes in Computer Science, vol 11211. 2018. URL: https://doi.org/10.1007/978-3-030-01234-2_49 (дата обращения: 09.05.2024).
6. Driver T., Tomita K., Ho K., Tsiotras P. Deep Monocular Hazard Detection for Safe Small Body Landing [Электронный ресурс] // AAS/AIAA Space Flight Mechanics Meeting. 2023. URL: https://arxiv.org/pdf/2301.13254.pdf (дата обращения: 02.05.2024).
7. Pinkovich B., Matalon B., Rivlin E., Rotstein H. Finding a Landing Site on an Urban Area: A Multi-Resolution Probabilistic Approach // Sensors (Basel, Switzerland). 2022. URL: https://arxiv.org/pdf/2204.12592 (дата обращения: 08.05.2024).
8. Sandler M., Howard A., Zhu M., Zhmoginov A., Chen L.C. MobileNetV2: Inverted Residuals and Linear Bottlenecks [Электронный ресурс] // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018. URL: https://doi.org/10.1109/CVPR.2018.00474 (дата обращения: 09.05.2024).
9. Semantic Drone Dataset. // Institute of Computer Graphics and Vision. 2021. URL: http://dronedataset.icg.tugraz.at (дата обращения: 03.05.2024).
10. Rojas Pérez L.O., Munguia-Silva R., Martinez-Carranza J. Real-Time Landing Zone Detection for UAVs using Single Aerial Images [Электронный ресурс] // International Micro Vehicle Competition and Conference (IMAV). 2018. URL: https://www.researchgate.net/publication/343350279_ RealTime_Landing_Zone_Detection _for_UAVs_using_Single_Aerial_Images (дата обращения: 03.05.2024).
11. Катанов Ю.Е. Анализ и синтез информационных систем (обработка разнородных данных, геология): учебное пособие / Тюмень: ТИУ, 2020. 159 с.
12. Катанов Ю.Е. Основы теории управления: учебное пособие / Тюмень: ТИУ, 2019. 171 с.
© Койнов Е.В., 2024
УДК 330.34.01
Матвейчук Д.В.
курсант, ВУНЦ ВВС «ВВА», г. Воронеж, РФ Научный руководитель: Матыцина Н.П.
к.э.н., доцент, ВУНЦ ВВС «ВВА», г. Воронеж, РФ
ПРИМЕНЕНИЕ ЭФФЕКТИВНОЙ СИСТЕМЫ МОТИВАЦИИ ДЛЯ УДАЛЕННЫХ СОТРУДНИКОВ
В СОВРЕМЕННЫХ УСЛОВИЯХ
Аннотация
В статье рассмотрен факторов, влияющих на мотивацию и вовлеченность персонала в условиях
