ОЦЕНКА ЭФФЕКТИВНОСТИ АЛГОРИТМОВ YOLO ДЛЯ ОБНАРУЖЕНИЯ ОБЪЕКТОВ В РЕАЛЬНОМ ВРЕМЕНИ ВО ВСТРАИВАЕМЫХ СИСТЕМАХ БЕСПИЛОТНЫХ ТРАНСПОРТНЫХ СРЕДСТВ Текст научной статьи по специальности «Техника и технологии»

УДК 004.934:629.783

Сацюк А.В., Ищенко А.Е., Белый Р.В.

ОЦЕНКА ЭФФЕКТИВНОСТИ АЛГОРИТМОВ YOLO ДЛЯ ОБНАРУЖЕНИЯ ОБЪЕКТОВ В РЕАЛЬНОМ ВРЕМЕНИ ВО ВСТРАИВАЕМЫХ СИСТЕМАХ БЕСПИЛОТНЫХ ТРАНСПОРТНЫХ СРЕДСТВ

SatsiukA.V., IshchenkA.E., BelyyR.V.

PERFORMANCE EVALUATION OF YOLO ALGORITHMS FOR REAL-TIME OBJECT DETECTION IN EMBEDDED SYSTEMS FOR AUTONOMOUS

VEHICLES

Введение

Развитие беспилотных

транспортных средств способствует прогрессу в различных областях, включая доставку грузов, экологический мониторинг и поисково-спасательные операции. Однако безопасная и эффективная работа таких средств зависит от надежной системы восприятия, обеспечивающей обработку сенсорной информации в режиме реального времени. Центральным элементом этой системы является алгоритм обнаружения объектов, требующий высокой скорости обработки на ограниченных вычислительных ресурсах встраиваемых систем, при одновременном сохранении высокой точности. Несмотря на высокую эффективность современных глубоких нейронных сетей в задачах обнаружения объектов, их применение на встраиваемых платформах, особенно в беспилотных летательных аппаратах (БПЛА), сопряжено с трудностями. Основные проблемы, связанные с применением глубоких нейронных сетей для обнаружения объектов в реальном времени на встраиваемых системах БПЛА, следующие: высокие

вычислительные требования -

большинство современных архитектур глубокого обучения (например, Faster R-CNN или Mask R-CNN) требуют значительных вычислительных ресурсов, недоступных для большинства встраиваемых систем БПЛА. Это приводит к неприемлемому времени обработки, несовместимому с режимом реального времени, критичным для безопасности и эффективности автономной навигации; ограниченная память, встраиваемые системы БПЛА характеризуются ограниченным

объемом оперативной и постоянной памяти. Объем весовых коэффициентов и промежуточных данных,

генерируемых глубокими нейронными сетями, часто превышает доступные ресурсы, что усложняет применение методов сжатия модели, потенциально снижающих точность; низкое энергопотребление, БПЛА

функционируют от батарей с ограниченной емкостью. Высокое энергопотребление глубоких нейронных сетей сокращает время автономной работы и ограничивает

функциональность. Поэтому применение энергоэффективных алгоритмов

является необходимым условием; задержка обработки, задержка между получением изображения с камеры и выводом результатов обнаружения

объектов существенно влияет на безопасность и своевременность реакции БПЛА на окружающую среду. Значительная задержка может стать причиной аварийных ситуаций; изменчивость условий освещения и погоды, БПЛА функционируют в различных условиях, включая низкую освещенность, туман, дождь и снег. Как было отмечено выше, традиционные модели глубокого обучения часто демонстрируют недостаточную

устойчивость к подобным изменениям, требуя дополнительной обработки и адаптации.

В данной работе рассматривается новый подход к решению указанных проблем, основанный на модификации архитектуры You Only Look Once (YOLO) - семейства алгоритмов, отличающихся высокой скоростью обработки.

Анализ последних исследований и публикаций

Анализ научных публикаций демонстрирует фокусировку последних исследований в области обнаружения объектов для БПЛА на оптимизации алгоритмов YOLO для соответствия строгим требованиям к

производительности, энергопотреблению и размеру модели. Стоит отметить, что большое число работ отечественных и зарубежных ученых и инженеров посвящены следующим аспектам:

- оптимизация архитектуры

YOLO, включая разработку облегчённых версий (например, YOLO-Nano, YOLO-Lite) и модификацию существующих архитектур (YOLOv4-tiny, YOLOv5s, YOLOv7-tiny) для снижения

вычислительных затрат и

энергопотребления без существенного снижения точности [1];

- использование методов трансферного обучения, с применением предобученных моделей YOLO на обширных датасетах (ImageNet, COCO) для ускорения обучения и улучшения обобщающей способности, особенно при ограниченном объеме данных, специфичных для задач обнаружения объектов в контексте БПЛА [2, 3];

- оптимизация для конкретных платформ, включая адаптацию алгоритмов YOLO к конкретным процессорам и встраиваемым платформам (например, NVIDIA Jetson, RaspberryPi) [3, 4, 5];

- анализ энергопотребления с оценкой энергопотребления различных модификаций YOLO на встраиваемых системах БПЛА для выбора наиболее энергоэффективных архитектур и методов оптимизации. Следует отметить, что вопросы энергоэффективности БПЛА исследовались ранее [6, 7, 8], однако без учёта энергопотребления нейросетевых алгоритмов;

- повышение робастности к погодным условиям с целью повышения устойчивости моделей нейросетевых моделей к изменениям освещения и погодным условиям (туман, дождь, снег). Этот аспект остаётся актуальным направлением исследований. В опубликованных исследованиях [9], [10] проводится сравнительный анализ различных алгоритмов (YOLO и др.) на реальных БПЛА с оценкой скорости обработки, точности, энергопотребления и задержки.

Цель работы_

Целью работы является: экспериментальная оценка

эффективности модифицированного алгоритма YOLO по показателям скорости обработки, точности обнаружения объектов и

энергопотребления на типичной для БПЛА встраиваемой платформе. Работа включает сравнительный анализ с другими распространёнными

алгоритмами обнаружения объектов, адаптированными для встраиваемых систем, и оценку влияния внесённых оптимизаций на производительность.

Основная часть

Особенность архитектуры YOLO, отличающая её от других моделей детектирования объектов, заключается в

её одноэтапности (рис. 1). В отличие от двухэтапных моделей (таких как R-CNN), которые сначала генерируют предложения регионов, а затем классифицируют их, YOLO

обрабатывает изображение целиком за один проход [11]. Это достигается за счёт применения полносвязных слоёв после сверточных слоёв, которые напрямую предсказывают координаты ограничивающих рамок (bounding boxes) и классы объектов. Эта одноэтапность обеспечивает высокую скорость обработки, что критически важно для приложений реального времени, таких как управление беспилотными летательными аппаратами.

Рис. 1. Архитектура сети YOLO

Другой важной особенностью является использование регрессии bounding boxes вместо классификации предложенных областей. Модель напрямую предсказывает координаты bounding box и вероятность наличия объекта в каждой ячейке сетки, что упрощает архитектуру и ускоряет процесс обнаружения.

В сравнении с другими архитектурами, такими как Faster R-CNN

или SSD, YOLO обычно имеет меньше параметров. Это способствует более быстрому обучению и меньшему потреблению памяти, что особенно значимо для встраиваемых систем. Однако это может приводить к снижению точности по сравнению с более сложными двухэтапными моделями, особенно при обнаружении маленьких объектов или объектов, плотно расположенных друг к другу.

Различные модификации YOLO (YOLOv3, YOLOv4, YOLOv5, YOLOv7 и т.д.) вводят дополнительные улучшения, такие как использование многомасштабного предсказания,

оптимизированных архитектур

сверточных блоков (например, Darknet-53, CSPDarknet) и механизмов внимания, чтобы улучшить точность без существенного снижения скорости. Тем не менее, основной принцип одноэтапного обнаружения объектов остаётся неизменным, что отличает YOLO от большинства других моделей. В контексте встраиваемых систем, эта особенность играет ключевую роль в обеспечении реального времени работы системы.

Для подтверждения

вышеописанной эффективности, а также всесторонней оценки эффективности модифицированного алгоритма YOLO (далее YOLO-mod) и сравнения его с другими популярными решениями в области детектирования объектов, был проведен эксперимент по обработке видеозаписи продолжительностью 1 минута, содержащей разнообразные сцены, типичные для условий эксплуатации БПЛА. В эксперименте участвовали четыре нейронные сети: модифицированный алгоритм YOLO-mod, YOLOv5s, SSDMobileNet v2 и Faster R-CNN (с использованием предварительно обученной модели и адаптированной для встраиваемых систем). Все модели были предварительно обучены на стандартном датасете COCO и затем дообучены на специально подготовленном наборе данных, характеристики которого соответствовали видеозаписи.

Обозначим, что для задачи

обнаружения и классификации объектов с БПЛА предприняты шаги модификации YOLO, направленные на уменьшение размера модели, снижение вычислительной сложности и

энергопотребления при сохранении приемлемой точности. Это достигается за счет применения методов сжатия модели (квантизация), использования облегченных архитектур и

оптимизированных сверточных слоев.

Результаты эксперимента

продемонстрировали следующие

особенности:

Скорость обработки (рис. 2): YOLO-mod показал наивысшую скорость обработки видеозаписи (21 кадр в секунду), за ним следовали YOLOv5s (16 кадров в секунду), SSDMobileNet v2 (9 кадров в секунду) и Faster R-CNN (6 кадров в секунду). Существенное отставание Faster R-CNN обусловлено его двухэтапной

архитектурой. Различия в скорости обработки YOLO-mod, YOLOv5s и SSDMobileNet v2 связаны с различиями в архитектуре, количестве параметров и применением различных методов оптимизации в YOLO-mod.

Точность обнаружения (mAP): YOLO-mod достиг показателя mAP в 78%, YOLOv5s - 81%, SSDMobileNet v2 - 74%, а Faster R-CNN - 86%. Несмотря на незначительное снижение mAP у YOLO-mod по сравнению с YOLOv5s, это компенсируется значительно большей скоростью обработки. SSDMobileNet v2 показал наименьшую точность, а Faster R-CNN, хотя и продемонстрировал высокую точность, существенно уступал по скорости. Усредненный результат по классам объектов представлены на рис.3.

25 20 15 10

FPS, кад/с

I

YOLO-mod YOLOv5s SSD MobileNet v2 Faster R-CNN

Модель нейронной сети

Рис. 2. Сравнительная диаграмма моделей: скорость обработки

88 mAP, % 86

84 -

82 -

80 -

78 -

76 -

74 -

72 70

68 -

I

YOLO-mod YOLOv5s SSD MobileNet v2 Faster R-CNN

Модель нейронной сети

Рис. 3. Сравнительная диаграмма моделей: точность обнаружения

Как видно, модификации YOLO, Энергопотребление: Измерение

направленные на уменьшение размера энергопотребления проводилось на

модели и энергопотребления, могут платформе RaspberryPi 5 с процессором

привести к небольшому снижению Broadcom BCM2712, разогнанным до

точности по сравнению с исходной 3 ГГц (вместо штатных 2.4 ГГц), и 1 ГБ

версией YOLO, но всё ещё обеспечивают видеопамяти (вместо штатных 128МБ).

высокую точность для практического Используя измерительный прибор,

применения. регистрирующий потребляемую

5

0

мощность в режиме реального времени, замерялось среднее потребление энергии за минуту работы каждой модели (YOLO-mod, YOLOv5s, SSDMobileNet v2 и Faster R-CNN) при обработке идентичного видеофрагмента

длительностью 1 минута. Для минимизации погрешности измерения, каждая модель запускалась трижды, а результаты усреднялись.

Полученные данные (рис. 4) показали, что модифицированный алгоритм YOLO-mod

продемонстрировал наименьшее

энергопотребление (4,4 Вт) по сравнению с YOLOv5s (4,9 Вт), SSDMobileNet v2 (4,7 Вт) и Faster R-CNN (5,6 Вт) на RaspberryPi 5 с разогнанным процессором.

6 Р, Вт 5 -

4 -

YOLO-mod YOLOv5s SSD MobileNet v2 Faster R-CNN -Модель нейронной сети

3

2

1

0

Рис. 4. Сравнительная диаграмма моделей: потребляемая миощность

Это подтверждает эффективность модификаций YOLO-mod, направленных на снижение энергопотребления без значительной потери точности, что

Выводы

Экспериментальное исследование модифицированного алгоритма YOLO (YOLO-mod) на платформе RaspberryPi 5 показало его эффективность в задачах обнаружения и классификации объектов в режиме реального времени для БПЛА. Сравнение с YOLOv5s, SSDMobileNet v2 и Faster R-CNN, обученных на наборе данных COCO и дообученных на

критически важно для работы на ресурсоограниченных встраиваемых системах, применяемых в беспилотных летательных аппаратах.

специализированном датасете,

подтвердило преимущество YOLO-mod в балансе скорости, точности и энергопотребления. Применённые

модификации, включающие сжатие модели (квантизацию) и оптимизацию архитектуры, обеспечили успешное решение задач компьютерного зрения на ресурсоограниченных платформах. Дальнейшие исследования должны сосредоточиться на усовершенствовании YOLO-mod за счет новых методов

сжатия и оптимизации, адаптации к различным условиям эксплуатации, интеграции с другими модулями для расширения функциональности, а также на анализе влияния разгона процессора и

сравнении с новейшими моделями для встраиваемых систем. Результаты исследования демонстрируют потенциал YOLO-mod для развития автономных систем на основе БПЛА.

Список литературы

1. Илипбаева, Л.Б. Исследование обнаружения БПЛА с использованием модифицированного алгоритма YOLO / Л.Б. Илипбаева, У.О. Сейдалиева, Н.К. Смайлов, Э.Т. Мэтсон // Вестник Алматинского университета энергетики и связи. - 2024. - 2(65). - С.179-188. -ISSN 2790-0894 (online). - DOI 10.51775/2790-0886.

2. Франсуа Шолле JavaScript для глубокого обучения: TensorFlow.js. / Франсуа Шолле, Эрик Нильсон, Стэн Бэйлесчи, Шэкуинг Цэй - Санкт-Петербург: Питер, 2021. - 576 с. - ISBN 978-5-4461-1697-3.

3. Z. Zheng Enhancing Geometric Factors in Model Learning and Inference for Object Detection and Instance Segmentation / Z. Zheng, P. Wang, D. Ren, W. Liu, R. Ye, Q. Hu, W. Zuo // IEEE Transactions on Cybernetics. - 2021. - DOI 10.1109/TCYB.2021.3095305.

4. S. Ren Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks / S. Ren, K. He, R. Girshick, and J. Sun // In Advances in neural information processing systems (NIPS). 2015. - Рр. 91-99. - DOI 10.1109/TPAMI.2016.2577031.

5. Jifeng, Dai R-FCN: Object Detection via Region-based Fully Convolutional Networks / Jifeng Dai, Yi Li, Kaiming He, and Jian Sun // In Advances in Neural Information Processing Systems (NIPS). - 2016. - Рр. 379-387.

6. Махонин, А.А. Анализ энергопотребления беспилотного

References

1. Ilipbayeva, L.B. Research on UAV detection using a modified YOLO algorithm / L.B. Ilipbayeva, U.O. Seidaliyeva, N.K. Smailov, E.T. Metson/ Bulletin of the Almaty University of Power Engineering and Telecommunications. - 2024. - 2(65). - Pp. 179-188. - ISSN 2790-0894 (online). - DOI 10.51775/2790-0886.

2. François Chollet Deep Learning with JavaScript: TensorFlow.js / François Chollet, Eric Nielsen, Stan Bileschi, Shaking Cai. - St. Petersburg: Peter, 2021. - 576 p. - ISBN 978-5-4461-1697-3.

3. Z. Zheng Enhancing Geometric Factors in Model Learning and Inference for Object Detection and Instance Segmentation / Z. Zheng, P. Wang, D. Ren, W. Liu, R. Ye, Q. Hu, W. Zuo // IEEE Transactions on Cybernetics. - 2021. - DOI 10.1109/TCYB.2021.3095305.

4. S. Ren Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks / S. Ren, K. He, R. Girshick, and J. Sun // In Advances in neural information processing systems (NIPS). 2015. - Pp. 91-99. - DOI 10.1109/TPAMI.2016.2577031.

5. Jifeng, Dai R-FCN: Object Detection via Region-based Fully Convolutional Networks / Jifeng Dai, Yi Li, Kaiming He, and Jian Sun // In Advances in Neural Information Processing Systems (NIPS). - 2016. - Pp. 379-387.

6. Makhonin, A.A. Analysis of power consumption of a small-sized

летательного аппарата малых размеров / А. А. Махонин, М.А.Л. Аль-Духэйдахави, Р.Д.С. Аль-Карави // Математическое моделирование, компьютерный и натурный эксперимент в естественных науках. - 2021. - № 3. - еКБК 2541-9269. - DOI 10.24412/2541-9269-2021-3-01-09.

7. M.P. Stewart Unmanned Aerial Vehicles / M.P. Stewart, S.T. Martin, R.V. Ermakov, D.Yu. Livshits, A.A. L'vov, A.A. Seranova, E. Baranwal. // NY: Nova Science Publishers, Inc., 2021. - 237 p.

8. Ermakov, R.V. A method for determining the frequency of a helicopter main rotor / R.V. Ermakov, A.A. Nikiforov, O.M. Balaban, A.A. L'vov, A.A. Seranova, M.S. Svetlov // X Всероссийская научная конференция «Системный синтез и прикладная синергетика»: сборник научных трудов (п. Нижний Архыз, Россия 28 сентября - 02 октября 2021 г.); Южный федеральный университет. -Ростов-на-Дону; Таганрог: Издательство Южного федерального университета, 2021. - С. 237-241. - ISBN 978-5-92753879-9. - DOI 10.18522/syssyn-2021-41.

9. Сацюк, А.В. Анализ трекеров алгоритмов компьютерного зрения в вопросах отслеживания подвижных объектов в видеопотоке / А.В. Сацюк, Е.Г. Воевода // Сборник научных трудов Донецкого института железнодорожного транспорта. - 2023. - № 71 - С. 54-65. -ISSN 1993-5579.

10. Сацюк, А.В. Система автоматического контроля безопасности на железнодорожных переездах / А.В. Сацюк, Е.Г. Воевода // Сборник научных трудов Донецкого института железнодорожного транспорта. - 2024. -№ 2(73)- С. 39-45. - ISSN 1993-5579.

11. Официальная документация: YOLO documentation - URL https://yolo-docs.readthedocs.io/en/latest/

unmanned aerial vehicle / A.A. Makhonin, MAL. Al-Duheydahawi, R.D.S. Al-Karawi // Mathematical Modeling, Computer and Full-Scale Experiment in Natural Sciences. - 2021. - № 3. - eISSN 2541-9269. - DOI 10.24412/2541 -9269-2021-3-01 -09.

7. M.P. Stewart Unmanned Aerial Vehicles / M.P. Stewart, S.T. Martin, R.V. Ermakov, D.Yu. Livshits, A.A. L'vov, A.A. Seranova, E. Baranwal. // NY: Nova Science Publishers, Inc., 2021. - 237 p.

8. Ermakov, R.V. A method for determining the frequency of a helicopter main rotor / R.V. Ermakov, A.A. Nikiforov, O.M. Balaban, A.A. L'vov, A.A. Seranova, M.S. Svetlov // The 10th All-Russian Scientific Conference «System Synthesis and Applied Synergetics»: collection of scientific papers (Nizhny Arkhyz, Russia, September 28 - October 02, 2021); Southern Federal University. Rostov-on-Don; Taganrog: Publishing house of Southern Federal University, 2021. -Pp. 237-241. - ISBN 978-5-9275-3879-9. -DOI 10.18522/syssyn-2021-41.

9. Satsiuk, A.V. Analysis of computer vision algorithm trackers in tracking moving objects in a video stream / A.V. Satsiuk, E.G. Voevoda // Collection of scientific papers of the Donetsk Institute of Railway Transport. - 2023. - № 71 -Pp. 54-65. - ISSN 1993-5579.

10. Satsiuk, A.V. Automatic safety control system at railway crossings / A.V. Satsiuk, E.G. Voevoda // Collection of scientific papers of the Donetsk Institute of Railway Transport. - 2024. - № 2(73) -Pp. 39-45. - ISSN 1993-5579.

11. Official Documentation: YOLO documentation - URL https://yolo-docs.readthedocs.io/en/latest/

Аннотации:

Статья посвящена экспериментальной оценке эффективности модифицированного алгоритма YOLO для обнаружения объектов в реальном времени во встраиваемой системе беспилотного летательного аппарата. В работе сравниваются результаты работы

модифицированного YOLO с другими популярными алгоритмами, анализируются показатели скорости, точности и энергопотребления, демонстрируя преимущества модифицированного алгоритма в контексте ограниченных ресурсов встраиваемых систем.

Ключевые слова: Обнаружение объектов YOLO, встраиваемые системы, беспилотные летательные аппараты, обработка в реальном

Сведения об авторах

Сацюк Александр Владимирович

Федеральное государственное бюджетное образовательное учреждение высшего образования «Донецкий институт железнодорожного транспорта» (ДОНИЖТ), кафедра «Автоматика, телемеханика, связь и вычислительная техника», кандидат технических наук, доцент, e-mail: [email protected]

Белый Руслан Владимирович

Федеральное государственное бюджетное образовательное учреждение высшего образования «Донецкий институт железнодорожного транспорта» (ДОНИЖТ), специальность «Информатика и вычислительная техника», магистрант

e-mail: samp samp933 @,gmail.com

Ищенко Александр Евгеньевич

Федеральное государственное бюджетное образовательное учреждение высшего образования «Донецкий институт железнодорожного транспорта» (ДОНИЖТ), специальность «Информатика и

времени, энергоэффективность, оценка производительности

The article presents an experimental evaluation of a modified YOLO algorithm for realtime object detection on an embedded system of an unmanned aerial vehicle (UAV). The study compares the performance of the modified YOLO algorithm with other popular algorithms, analyzing speed, accuracy, and power consumption metrics, demonstrating the advantages of the modified algorithm in the context of the limited resources of embedded systems.

Key words: YOLO object detection, embedded systems, UAVs, real-time processing, energy efficiency, performance evaluation.

Information about the authors

Satsuk Alexander Vladimirovich

Federal State-Funded Educational Institution of Higher Education "Donetsk Railway Transport Institute" (DRTI), Department of Automation, Telemechanics, Communications and Computer Engineering, Candidate of Technical Sciences, Associate Professor, e-mail: [email protected]

Belyy Ruslan Vladimirovich

Federal State-Funded Educational Institution of Higher Education "Donetsk Railway Transport Institute" (DRTI), specialty "Informatics and Computer Engineering", Master's student

e-mail: sampsamp933 @,gmail. com

Ishchenko Alexander Evgenievich

Federal State-Funded Educational Institution of Higher Education "Donetsk Railway Transport Institute" (DRTI), specialty "Informatics and Computer Engineering", Master's student

вычислительная техника», магистрант

e-mail: [email protected]

e-mail: [email protected]