CC BY
0
УДК 004.932.2
DOI: 10.24412/2071-6168-2024-11-26-27
ОСНОВНЫЕ НАПРАВЛЕНИЯ РАЗВИТИЯ СИСТЕМ НАВЕДЕНИЯ ВЫСОКОСКОРОСТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ
П.А. Гессен, А.И. Лизин, В.А. Павлова, В.Д. Саенко, А.А. Судаков, В.А. Тупиков
Рассматриваются современные методы компьютерного зрения, используемые для наведения высокоскоростных летательных аппаратов. Акцент сделан на подходах, основанных на сопоставлении SD-эталона с реальной сценой. Описаны два метода: сравнение частично восстановленной SD-модели с эталоном и преобразование эталона в изображение с последующим сопоставлением. Также рассмотрены детерминированные и нейросетевые алгоритмы восстановления 30-моделей и их применение в задачах наведения. Особое внимание уделено методам сопоставления изображений в условиях постоянно изменяющейся окружающей среды.
Ключевые слова: обработка изображений, SD-модель, обнаружение, нейронные сети.
Введение. Компьютерное зрение играет ключевую роль в системах наведения высокоскоростных летательных аппаратов, включая дроны (БПЛА). Высокие скорости и подвижность целей требуют от систем обнаружения, распознавания и слежения высокой точности и оперативности. Современные алгоритмы компьютерного зрения должны функционировать в реальном времени, надёжно идентифицируя и отслеживая цели, несмотря на различные внешние помехи и изменения окружающей обстановки. В статье анализируются различные алгоритмы обнаружения, применимые для наведения высокоскоростных летательных аппаратов, работающие совместно с алгоритмами сопровождения и идентификации [1 - 4].
На основе проведённых исследований авторами были выделены наиболее эффективные алгоритмы обнаружения, что и стало главной целью работы. Основные задачи исследования заключаются в:
создании высокодетализированной 3D-модели для использования в качестве эталона для обнаружения объектов;
обнаружении объектов на основе частичного восстановления SD-сцены с последующим сравнением с эталонной 3D-моделью;
обнаружении объектов путём приведения эталонной 3D-модели к эталонному изображению.
Восстановление SD-модели. Первой задачей, решённой в данной работе, стало обеспечение обнаружения объектов с использованием SD-модели (рис. 1), которая служит эталоном для заданной цели, а также по возможности включает окружающую область цели. Этот метод требует высокого качества 3D-модели и точного совпадения между моделью и реальной сценой. Добиться нужного качества модели можно, восстановив её из набора изображений объекта (стереопар) (рис.2) [5 - 10].
26
Рис. 1. Пример эталонной 3D-модели
Рис. 2. Пример стереопары изображения
Задача восстановления SD-модели по стереопарам заключается в реконструкции геометрической информации объекта на основе данных о его глубине и ракурсе, полученных с откалиброванных камер, с точным определением взаимного положения снимков. На основе этой информации алгоритмы создают качественные карты глубины объекта, которые используются для последующей реконструкции SD-модели. Реконструкция может осуществляться как с помощью детерминированных алгоритмов, так и с использованием нейронных сетей.
Детерминированные алгоритмы
1. Метод структуры из движения (Structure from Motion, SfM). Восстанавливает SD-структуру сцены на основе изображений, сделанных с разных ракурсов, вычисляя положение камеры и координаты точек сцены.
2. Стерео сопоставление (Stereo Matching). Использует две фотографии с разных точек для сопоставления пикселей и восстановления глубины сцены, включая методы блок-сопоставления и семантической сегментации.
3. Многоракурсное стереозрение (Multi-View Stereo, MVS). Расширяет стереосопоставление на несколько изображений для создания плотной ЭБ-модели сцены. Методы, такие как PatchMatch Stereo [11], позволяют создавать точные 3D-реконструкции.
4. Метод фотоконсистентных поверхностей (Photoconsistent Surface Reconstruction). Восстанавливает 3D-поверхность объекта, минимизируя фотометрическую ошибку между изображениями.
Нейросетевые алгоритмы
1. MVSNet [12]. Использует свёрточные сети для восстановления плотных SD-моделей по множеству изображений, преобразуемых в карты глубины.
2. Pix2Vox [13]. Применяет глубокое обучение для восстановления SD-объектов на основе нескольких видов объектов и объединяет их для построения воксельной модели.
3. Deep Voxels [14]. Этот метод применяет сверточные нейронные сети для реконструкции воксельной модели объекта по набору изображений, использующихся как входные данные. DeepVoxels обучается восстанавливать вид объекта из любой точки зрения.
4. NeRF (Neural Radiance Fields) [15]. NeRF использует нейронные сети для представления SD-сцены как непрерывного поля излучения. Сеть обучается на наборе изображений и восстанавливает SD-структуру и текстуру сцены, используя рендеринг на основе объёмных данных.
5. AtlasNet [16]. Подход, использующий генеративные сети для восстановления SD-моделей. AtlasNet представляет поверхность SD-объекта как набор деформируемых атласов (плоскостей), что позволяет сети реконструировать сложные формы объектов по набору изображений.
Данные алгоритмы позволяют получить качественные SD-модели для использования их в качестве эталонов. Однако процесс сбора реальных данных и вычислительная сложность алгоритмов накладывают ограничения по их оперативному применению.
После подготовки эталонной модели можно приступать к задаче сопоставления данных, полученных с высокоскоростных летательных аппаратов, с эталонной SD-моделью.
Существуют два основных подхода:
1) восстановление частичной SD-модели по изображениям, полученным с летательных аппаратов, для сравнения с эталонной SD-моделью.
2) приведение эталонной SD-модели к изображению или серии изображений для их дальнейшего сопоставления с данными, поступающими с летательных аппаратов.
Частичное восстановление SD-модели. Подход с частичным восстановлением SD-модели может основываться на ранее рассмотренных алгоритмах или включать использование следующих методов.
1. Фотометрическое стереозрение (Shape from Shading). Метод предполагает, что яркость пикселей изображения связана с ориентацией поверхности относительно источника света. Анализируя изменения освещённости, можно восстановить нормали поверхности и форму объекта.
2. Восстановление формы по теням (Shape from Shadows). Тени, отбрасываемые объектами, содержат информацию о глубине и положении в пространстве. Изучение теней позволяет восстановить SD-структуру сцены.
3. Геометрическая перспектива (Perspective Geometry). Использование свойств перспективной проекции помогает оценить глубину на основе таких признаков, как сходящиеся параллельные линии.
4. Глубокие сверточные нейронные сети (CNN) [17] для оценки глубины. CNN могут обучаться восстанавливать карту глубины сцены из одного изображения. Например, такие модели, как Monodepth [18] и DORN [19] (Depth-aware CNN), обучены предсказывать глубину сцены по одному изображению, используя пары изображений и карты глубины.
5. Воксельные представления (Voxel-based Methods). Например, модель 3D-R2N2 [20] использует реверсивные нейронные сети для генерации 3D-модели в виде воксельной сетки. Эти методы могут создавать объёмные представления объекта даже по одному изображению (рис. 3).
6. Модели с SD-репрезентацией поверхности. Подходы AtlasNet и Pixel2Mesh [21] восстанавливают SD-объекты в виде деформируемых поверхностей, минимизируя разницу между сгенерированной и эталонной поверхностью.
"У* #
Рис. 3. Пример частичного восстановления SD-модели по одному изображению (слева исходное изображение, справа изображение
восстановленной SD-модели)
При частичном восстановлении SD-модели без стереопар возникают следующие проблемы.
1. Неоднозначность и недостаток данных. Восстановление 3D-модели по одному изображению теряет важную информацию о глубине, что приводит к неоднозначным реконструкциям.
2. Высокие вычислительные требования. Такие нейросетевые методы, как NeRF, требуют значительных вычислительных ресурсов и времени, что может ограничивать их применение в системах, где важна скорость.
3. Сложность сопоставления SD-моделей. Сравнение двух трёхмерных моделей и оценка их корреляции также требуют больших вычислительных затрат, что затрудняет их использование в реальных системах.
29
Сопоставление 3D модели с изображением. Далее рассматривается метод преобразования SD-модели в эталонное изображение или серию изображений. Для его реализации необходимо заранее знать примерные углы подлёта высокоскоростного летательного аппарата, что накладывает ограничения на его использование в реальных условиях. Качество сопоставления сильно зависит от точности соответствия между созданным эталонным изображением и реальной сценой. Для повышения точности при сопоставлении требуется учитывать такие факторы, как время суток, погодные условия и характеристики камеры на БПЛА, что усложняет процесс создания эталона.
После создания эталонного изображения выполняется задача сопоставления с изображениями, полученными с БПЛА.
1. Детерминированные методы:
методы на основе ключевых точек, такие как ORB [22], SIFT [2S] (рис. 4), SURF [24] и другие [25]. Эти алгоритмы зависят от яркостных характеристик изображений, что требует соответствия условий освещённости на эталонном изображении реальной сцене. Однако их надёжность ограничена, так как они используют только локальные признаки объектов;
Методы на основе контуров объектов [26]. После выделения контуров можно выделить ключевые признаки для сопоставления (рис. 5). Минусом являются нестабильность контурных изображений и необходимость точной настройки алгоритмов под конкретную сцену. В стабильных условиях данные методы показали более высокую точность, чем методы на основе ключевых точек.
Рис. 4. Пример работы SIFT (прямыми линиями соединены ключевые
точки, прошедшие сопоставление)
2. Нейросетевые методы:
GlueSticks [27] и другие нейронные алгоритмы на основе выделения уникальных морфологических признаков на исследуемых изображениях; LightGlue в связке с SuperPomt (рис. 6).
SuperPoint [28] - это сверточная нейронная сеть с полносвязной архитектурой, которая одновременно выполняет детекцию и описание ключевых точек. Основу её структуры составляет архитектура EncoderDecoder, где Encoder создаёт многоуровневые признаки, а Decoder генерирует плотную карту ключевых точек. SuperPoint обучается без учителя, что устраняет необходимость ручной аннотации данных. Среди её преиму-
ществ - высокая производительность при обнаружении устойчивых ключевых точек даже при изменениях освещения и углов обзора.
Рис. 5. Пример реального кадра сцены в инфракрасном диапазоне и результат работы алгоритма выделения контуров
LightGlue [29] - это алгоритм сопоставления, разработанный для повышения точности сопоставления ключевых точек с использованием методов внимания. Он сочетает в себе классические подходы и механизмы внимания, улучшающие качество сопоставления в сложных условиях. LightGlue применяет гибридный подход, объединяя стохастические и детерминированные методы, что обеспечивает высокую точность и надёжность. Одной из ключевых особенностей LightGlue является его способность масштабироваться и обрабатывать большие объёмы данных без значительного снижения производительности.
Рис. 6. Пример работы LightGlue+SuperPoint (прямыми линиями соединены ключевые точки, прошедшие сопоставление)
Эти алгоритмы, работая в связке, обеспечивают высокий уровень точности и считаются наиболее перспективными для решения задачи. Однако они чувствительны к параметрам камеры и искажениям изображений, вызванным высокой скоростью летательных аппаратов. Решение этой технической проблемы сделает метод очень перспективным. Усреднённые оценки некоторых рассмотренных алгоритмов, полученные в ходе математического моделирования, представлены в таблице.
Результаты количественной оценки исследуемых алгоритмов
Наименование алгоритма сопоставления SD-модели и реального изображений Оценка вероятности успешного сопоставления SD-модели и реального изображений
Сопоставление с помощью SIFT 0,15
Сопоставление на основе 0,25
алгоритмов анализа контуров
Сопоставление с помощью 0,85
LightGlue+SuperPoint
Важно отметить, что оборудование для формирования изображений, используемое как для наведения по 3D-модели, так и по картам местности, может быть реализовано на основе единой гиростабилизированной оптико-электронной системы с направлением наблюдения вперёд или в надир.
Выводы. Алгоритмы обнаружения для систем наведения по 3D-моделям имеют ряд ограничений. Ключевыми проблемами являются высокая вычислительная сложность, необходимость высокой степени соответствия между реальной сценой и эталонной 3D-моделью, а также изменчивость реальной обстановки. При выполнении этих условий наибольший потенциал для применения в наведении высокоскоростных летательных аппаратов демонстрируют нейронные сети семейства LightGlue в связке с SuperPoint.
Алгоритмы, основанные на частичном восстановлении 3D-модели реальной сцены, имеют дополнительное ограничение, связанное с неоднозначностью и недостаточностью данных, получаемых от высокоскоростного аппарата. Кроме того, их текущее время выполнения составляет несколько секунд, что делает их не пригодными для работы в реальном времени из-за высокой вычислительной нагрузки.
Для создания эталонных 3D-моделей рекомендуется использовать детализированные 3D-модели, построенные на основе реальных объектов или сцен.
В дальнейшем исследования стоит сосредоточить на повышении устойчивости моделей к изменениям окружающей среды и разработке более производительных алгоритмов для работы в реальном времени.
Список литературы
1. Григорьев, В.В., Иванов, А.А. Использование компьютерного зрения для распознавания техники // Научный журнал современных исследований. 2020. №4. С. 24-33.
2. Петров, И.И., Сидоров, В.В. Интеллектуальная система компьютерного зрения беспилотных летательных аппаратов // Труды международной конференции по авиационным технологиям. 2019. №5. С. 45-58.
3. Иванов, А.А., Петров, В.В. Алгоритмы сопровождения подвижных объектов // Радиоэлектроника и автоматика. 2020. №5. С. 78-85.
4. Смирнов, Н.Н., Сидоров, И.И. О проблемах и методах нахождения малоразмерных объектов на изображениях // Вестник компьютерных и информационных технологий. 2019. №3. С. 45-50.
5. Hartley, R., & Zisserman, A. (2004). Multiple View Geometry in Computer Vision. Cambridge University Press.
6. Scharstein, D., & Szeliski, R. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms // International Journal of Computer Vision. (2002). 47(1-3), P. 7-42.
7. Furukawa, Y., Ponce, J. Accurate, Dense, and Robust Multi-View Ste-reopsis. IEEE Transactions on Pattern Analysis and Machine Intelligence. (2010). 32(8). P. 1362-1376.
8. End-to-End Learning of Geometry and Context for Deep Stereo Regression / A. Kendall, H. Martirosyan, S. Dasgupta, P. Henry, R. Kennedy, G. Olmschenk // Proceedings of the IEEE International Conference on Computer Vision (ICCV). (2017). P. 66-75.
9. Иванова, Н.Н., Смирнов, П.П. Восстановление трехмерных моделей объектов по стереоизображениям с учетом распараллеливания // Вестник информационных технологий. 2021. №3. С. 112-120.
10. Орлов, Д.Д. Реконструкция 3D-сцен по неректифицированным стереоизображениям с прореживающей фильтрацией // Вестник Томского государственного университета. 2019. №12. С. 98-107.
11. Bleyer, M., Rhemann, C., Rother, C. PatchMatch Stereo: Stereo Matching with Slanted Support Windows // Proceedings of the British Machine Vision Conference (BMVC). 2011. P. 14.1-14.11.
12. MVSNet: Depth Inference for Unstructured Multi-view Stereo / Y. Yao, Z. Luo, S. Li, T. Fang, L. Quan // Proceedings of the European Conference on Computer Vision (ECCV). 2018. P. 767-783.
13. Pix2Vox: Context-Aware 3D Reconstruction from Single and Multiview Images / H. Xie, H. Yao, X. Sun, S. Zhou, S. Zhang // Proceedings of the
33
IEEE/CVF International Conference on Computer Vision (ICCV). 2019. P. 2690-2698.
14. Deep Voxels: Learning Persistent 3D Feature Embeddings / V. Sitzmann, J. Thies, M. Zollhoefer, M. NieBner, S. Lovegrove, G. Wetzstein // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 2437-2446.
15. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis / B. Mildenhall, P.P. Srinivasan, M. Tancik, J.T. Barron, R. Ramamoorthi, R. Ng // Proceedings of the European Conference on Computer Vision (ECCV). 2020. P. 405-421.
16. AtlasNet: A Papier-Mache Approach to Learning 3D Surface Generation / T. Groueix, M. Fisher, V.G. Kim, B. Russell, M. Aubry // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 216-224.
17. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet Classification with Deep Convolutional Neural Networks // Advances in Neural Information Processing Systems (NeurIPS). 2012. Vol. 25. P. 1097-1105.
18. Godard C., Mac Aodha O., Brostow G.J. Unsupervised Monocular Depth Estimation with Left-Right Consistency // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 6602-6611.
19. Deep Ordinal Regression Network for Monocular Depth Estimation / H. Fu, M. Gong, C. Wang, K. Batmanghelich, D. Tao // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 2002-2011.
20. 3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction / C.B. Choy, D. Xu, J. Gwak, K. Chen, S. Savarese // Proceedings of the European Conference on Computer Vision (ECCV). 2016. P. 628-644.
21. Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images / N. Wang, Y. Zhang, Z. Li, Y. Fu, W. Liu, Y.-G. Jiang // Proceedings of the European Conference on Computer Vision (ECCV). 2018. P. 52-67.
22. ORB: An Efficient Alternative to SIFT or SURF / E. Rublee, V. Rabaud, K. Konolige, G. Bradski // Proceedings of the IEEE International Conference on Computer Vision (ICCV). 2011. P. 2564-2571.
23. Lowe D.G. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision. 2004. Vol. 60. No. 2. P. 91110.
24. Bay, H., Tuytelaars T., Van Gool L. (2006). SURF: Speeded Up Robust Features / European Conference on Computer Vision (ECCV).
25. Сергеева, Л.В. Сравнение бинарных дескрипторов особых точек изображений в условиях искажений // Журнал компьютерной оптики. 2020. №7. С. 56-67.
26. Рекурсивный подход к обработке и определению контуров в системах навигации и наведения / П.А. Гессен, А.И. Лизин, В.А. Павлова, В.Д. Саенко, А.А. Судаков, В.А. Тупиков // Известия Тульского государственного университета. Технические науки. 2024. №6. С. 96-106.
27. GlueStick: Robust Feature Matching for Visual Localization / P.-E. Sarlin, E. Unver, V. Larsson, M. Pollefeys // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. P. 457-465.
28. DeTone D., Malisiewicz T., Rabinovich A. (2018). SuperPoint: Self-Supervised Interest Point Detection and Description // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops.
29. P.E. Sarlin, C. Cadena, R. Siegwart, M. Dymczyk. LightGlue: Robust Feature Matching with Attention Mechanisms. arXiv preprint arXiv:2006.03761. 2020.
Гессен Павел Алексеевич, зам. начальника центра, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Лизин Алексей Игоревич, нач. центра, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Павлова Валерия Анатольевна, канд. техн. наук, зам. директора [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Саенко Владислав Дмитриевич, мл. программист, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Судаков Андрей Алексеевич, программист, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Тупиков Владимир Алексеевич, д-р техн. наук, профессор, зам. ген. директора, директор научно-производственного комплекса, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
MAIN DEVELOPMENT DIRECTIONS OF GUIDANCE SYSTEMS FOR HIGH-SPEED AERIAL VEHICLES
P.A. Hessen, A.I. Lizin, V.A. Pavlova, V.D. Saenko, A.A. Sudakov, V.A. Tupikov
The article examines modern computer vision methods used for guiding high-speed aircraft. The focus is on approaches based on comparing a 3D-reference model with the real scene. Two methods are described: comparing a partially reconstructed 3D-model with the
reference and converting the reference model into an image for further comparison. Both deterministic and neural network algorithms for 3D-model reconstruction and their application in guidance tasks are discussed. Special attention is given to image matching techniques in dynamically changing environments.
Key words: image processing, 3D-model, detection, neural networks.
Gessen Pavel Alekseevich, deputy head of the center, [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»,
Lizin Alexey Igorevich, head of the center, [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»,
Pavlova Valeria Anatolyevna, candidate of technical sciences, deputy director, [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise "Aviation and Marine Electronics»,
Saenko Vladislav Dmitrievich, junior programmer, [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»,
Sudakov Andrey Alekseevich, programmer, [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»,
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, deputy general director, director of the scientific and production complex, tupikov@,nppame.ru, Russia, St. Petersburg, JSC «Scientific and Production Enterprise "Aviation and Marine Electronics»
