CC BY
2
The article discusses the design and operation of devices used in an experimental setup developed by JSC «CNIIAG» for measuring elastic angular displacements of sensitive elements in a strapdown inertial navigation system (SDINS). The schematic diagram and components of the goniometer, as well as the software used, are presented. An algorithm has been developed for operating the setup to accurately measure the deflection angles of carrier system sensitive axes in high-precision SDINS. Examples of component types that can be measured using the developed equipment are also provided. Methods have been developed to enhance the accuracy of measurements and create a prototype system for detecting angular movements of carrier axis sensitive elements.
Key words: non-contact measurements, angular stiffness, elastic angular displacements.
Frolov Aleksandr Vladimirovich, candidate of technical sciences, head of division, frolov@,frolov.moscow, Russia, Moscow, JSC «CNIIAG»
УДК 004.932.2
DOI: 10.24412/2071-6168-2024-6-19-28
КОМБИНИРОВАННЫЙ АЛГОРИТМ АВТОСОПРОВОЖДЕНИЯ ДЛЯ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ
П.А. Гессен, А.И. Лизин, В.А. Павлова, В.Д. Саенко, А.А. Судаков, В.А. Тупиков
Представлен новый комбинированный алгоритм сопровождения для встраиваемых систем, в основу которого положено сочетание нескольких типов алгоритмов сопровождения, а также предложены две возможные реализации, зависящие от мощности вычислителя. Реализован вариант алгоритма для малых доступных вычислительных мощностей, проведены его полунатурные испытания, дана оценка результатов работы предложенного алгоритма. Алгоритм показал высокую эффективность в выполнении поставленных задач, улучшив точностные показатели сопровождения, а также значительно повысил способность к повторному обнаружению объекта после его потери. Представлены предложения по дальнейшему развитию и внедрению.
Ключевые слова: автоматическое обнаружение, автоматическое сопровождение, встраиваемые системы, консенсусное решение.
Введение. В современных системах оптико-электронного наблюдения возникает актуальная задача обнаружения и сопровождения объектов, не имеющих заранее определенных характеристик. Этот вопрос привлекает внимание исследователей уже длительное время, порождая множество подходов к его решению. Последние тенденции в этой области связаны с использованием нейронных сетей и искусственного интеллекта. Хотя такие методы демонстрируют высокую точность, они требуют заранее известной информации о типе объекта (обучающей выборки) [1-2]
19
или значительных вычислительных ресурсов [3-5], что ограничивает их применимость в реальном времени и в условиях недостаточности ограниченных ресурсов встраиваемых систем.
После проведения исследований предметной области были выявлены общие подходы к решению заявленной проблемы без использования искусственных нейронных сетей [6-7], среди которых одним из перспективных был признан метод совмещения нескольких простых алгоритмов сопровождения и обнаружения для принятия консенсусного решения о положении цели в кадре [8-10].
На основе этой концепции был предложен новый алгоритм обнаружения и сопровождения произвольных объектов без предварительной информации о них, предназначенный специально для встраиваемых оптико-электронных систем и базирующийся на совмещении нескольких алгоритмов сопровождения и принятия решения о положении объекта.
Предлагаемый подход. В данной работе предлагается новый алгоритм сопровождения объекта, сочетающий в себе несколько реализаций иных алгоритмов слежения и обнаружения объектов, объединенных в единую систему для повышения точностных показателей путем консенсусно-го принятия решения и нивелирования недостатков каждого алгоритма по отдельности. Для упрощения понимания в дальнейшем изложении предлагаемый подход будет называться "внешний алгоритм", а иные алгоритмы -"внутренние алгоритмы".
Сопровождение. Предлагаемое решение основано на циклическом использовании различных методов обнаружения объектов для каждого кадра в видеопоследовательности: в момент инициализации программы создается структура, которая хранит в себе последовательность внутренних алгоритмов, при этом первый в списке принимается внешним алгоритмом как приоритетный и в дальнейшем валидация результатов остальных внутренних решений идет на основе приоритетного. После первичной инициализации, содержащей п внутренних алгоритмов, первые п кадров обрабатываются каждым методом отдельно и последовательно (то есть кадр 1 обрабатывается первым в контейнере алгоритмом, кадр 2 - вторым и так далее), то есть на каждом кадре работает отдельная реализация, никак не связанная с другими. На данной стадии осуществляется сбор начальных данных для работы внешнего алгоритма, при этом сохраняется возможность сопровождения объекта. Далее выполняются действия внутри одного прохода по контейнеру с алгоритмами, начиная с первого:
1) выбирается очередной внутренний алгоритм;
2) производится проверка того, что выбранный алгоритм не выдал ошибку сопровождения в предыдущей итерации;
3) на вход подается текущий кадр и происходит его обработка с последующей выдачей результата в виде описывающего прямоугольника;
4) если результат получен от приоритетного алгоритма, то происходит сохранение результата, если нет, то сначала вычисляется расстояние между выходными данными первого алгоритма и текущего, после чего идет сохранение результата в виде описывающего прямоугольника и дополнительной информации о статусе работы;
5) происходит сглаженное перемещение центра общего результирующего прямоугольника в сторону текущего положения.
После обработки результатов последнего внутреннего алгоритма происходит обобщающий анализ полученных данных:
1) выполняется проверка того, что все внутренние алгоритмы одновременно не выдали результаты, соответствующие ошибке; при неудачном прохождении внешний алгоритм принимает решение об остановке процесса сопровождения и выдаче информационного сообщения, при успешной проверке происходит переход на следующий пункт;
2) выполняется проверка того, что все внутренние алгоритмы одновременно не выдали результаты, соответствующие потере объекта, при неудачном прохождении внешний алгоритм принимает решение о переключении в режим поиска объекта, при успешной проверке происходит переход на следующий пункт;
3) вычисляется усредненный коэффициент уверенности сопровождения, если коэффициент меньше заданного порога, то происходит переход в режим обнаружения объекта, при прохождении порога происходит переход на следующий пункт;
4) проводится создание общего результирующего прямоугольника путем объединения и обработки каждого из результатов внутренних алгоритмов;
5) осуществляются запоминание нового результата и принятие его в качестве эталона для следующего цикла.
Повторное обнаружение. Предлагаемый подход заключает в себе возможность повторного обнаружения объекта при принятии решения о его потере только в том случае, если хотя бы один из внутренних алгоритмов содержит в себе такую возможность, как в [11-12]. Если она не предусмотрена, как в [13], то переход в режим повторного обнаружения объекта приводит к принятию решения об окончательной потере объекта, и процесс сопровождения останавливается. Если механизм повторного обнаружения присутствует, то переход внешнего алгоритма в режим обнаружения приводит к последовательному поиску каждым внутренним алгоритмом с возможностью обнаружения заданного объекта на кадрах по аналогии с алгоритмом, описанным выше. При нахождении объекта какой-либо внутренней реализацией внешний алгоритм принимает решение о запуске процесса слежения по вышеописанным последовательностям.
Альтернативный предлагаемый подход. Вышеописанные алгоритмы и последовательности предполагают использование малого количества вычислительных ресурсов или невысоких мощностей, вследствие чего для достижения достаточной скорости работы для поддержания режима реального времени необходимо использовать последовательный вызов внутренних реализаций и их последующий анализ. В случае, когда возможно использование больших вычислительных мощностей, предлагается использовать улучшенную версию внешнего алгоритма. Вместо последовательной обработки одним внутренним алгоритмом одного кадра, а затем обработки финальных результатов один раз в п кадров можно выполнять операции обнаружения объекта на каждом кадре одновременно всеми методами, а потом анализировать их результат на каждом кадре при помощи многопоточного механизма [14]. Такой подход имеет как плюсы в виде большей точности работы и более плавного выдаваемого на выходе смещения результирующего прямоугольника, так и минусы в виде больших затрачиваемых ресурсов и необходимости тщательнее выбирать внутренние алгоритмы из-за их зависимости друг от друга в момент обработки.
Особенностью предлагаемых подходов является то, что внутренние алгоритмы могут выбираться любыми в зависимости от требований и не ограничены по количеству, то есть при наличии большого количества реализаций можно увеличивать количество используемых методов для потенциального достижения большей уверенности в результате или же наоборот сокращать их количество при недостатке ресурсов.
Реализация. В соответствии с предлагаемым подходом (для систем с ограничением по используемым ресурсам) был разработан и реализован гибридный алгоритм автоматического сопровождения для встраиваемых систем. По результатам тестового моделирования на различных видеопоследовательностях с отличающимися представленными условиями было определено, что оптимальное количество внутренних алгоритмов равняется трем, а сами алгоритмы представлены следующими реализациями:
1) корреляционный алгоритм - стандартный корреляционный алгоритм [15] с добавлением расчета интегральных изображений и построения пирамиды изображения для улучшения качества сопровождения и масштабной инвариантности, выступает в качестве приоритетного внутреннего алгоритма ввиду скорости, устойчивости к помехам и качества работы;
2) многоагентный алгоритм - алгоритм, основанный на сопоставлении ключевых точек с добавлением масштабной пирамиды изображения [16], выступает в роли корректирующего элемента, так как значительно повышает поворотную инвариантность и хорошо обрабатывает перекрытия объекта;
3) квадрантно-обучаемый алгоритм - алгоритм, основанный на корреляции с последующим обучением для точности распознавания [17], выступает в роли корректирующего элемента и служит для стабилизации процесса сопровождения.
При использовании меньшего количества внутренних алгоритмов качественные и точностные результаты оказывались хуже, выражаясь в нестабильности и расползании описывающего прямоугольника. При большем количестве реализаций проявлялось сильное отставание рамки сопровождения от текущего положения объекта и хуже обрабатывались ситуации резкого изменения положения объекта в кадре. При текущей конфигурации достигнуто плавное сопровождение с низкой разницей между центрами описывающей рамки и целевой сущности, качественно обрабатываются масштабные и поворотные изменения объекта, сохраняется возможность сопровождать объект при последовательном сильном изменении его представления с течением времени.
Результаты. Тестирование выполнялось при помощи полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения, разработанного АО «НПП «АМЭ» [18], и реальных видеозаписей, полученных в различных условиях наблюдения. Для тестирования были размечены видеопоследовательности, содержащие объекты интереса типа «Кунг», «Здание», «Мост» и др. размером от ~64х64 до ~256х256 пикселей.
Для наиболее полной оценки точности предлагаемого модуля, использовалась метрика IoU (Intersection over Union) [19], подразумевающая оценку отношения площадей пересечения описывающих прямоугольников к площади их объединения. Один из прямоугольников (Si), определяющий истинное положение объекта в кадре, задается оператором при тестировании, второй (S2) является результатом работы того или иного алгоритма сопровождения:
Чем ближе получаемое значение IoU к единице, тем более точное предсказание истинного положения объекта и его размеров даёт оцениваемый алгоритм.
В дополнение к IoU возможно добавить еще одну метрику - анализ ошибки определения центра (средняя квадратическая ошибка, root mean square error [20]) объекта, позволяющий оценить отклонение между истинным положением отслеживаемого объекта и полученным положением в результате сопровождения объекта. Ниже представлена формула расчета среднеквадратичной ошибки отклонения центра по всей видеопоследовательности:
1 *
RMSE = ^- »X У, ~у/,
где N - количество кадров в видеопоследовательности; x1 и у1 - координаты центра прямоугольника, предсказывающего положение объекта, от тестируемого алгоритма; x2 и у2 - координаты центра прямоугольника, описывающего истинное положение объекта.
Тестирование проводилось для каждого из вышеописанных внутренних алгоритмов и предлагаемого решения по следующей методике:
1) на интересующей видеозаписи в определенный момент выполнялся захват объекта на сопровождение;
2) на протяжении видеопоследовательности на каждом кадре собирались данные об отклике алгоритма сопровождения;
3) полученные сведения сравнивались с заранее размеченными эталонными кадрами и вычислялись метрики.
Результаты экспериментов по данной методике представлены на рис. 1 и рис. 2.
I ..........................................................................................
Рис. 1. Графики областей пересечения 1ои
Из приведенных графиков видно, что в большинстве случаев предлагаемое решение показывает сильное улучшение результатов. На графиках, где происходит падение значений в 0, показывается ситуация потери алгоритмом слежения объекта и невозможности восстановления. Таким образом, видно, что не только улучшаются точностные показатели -как области пересечения, так и дистанции до истинного центра, но и не происходит ситуаций, в которых наблюдается окончательная потеря объекта.
Рис. 2. Графики разницы расстояний центров RMSE
Заключение. По результатам полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения предложенный алгоритм позволил дать точность прироста охвата цели относительно других отдельных реализаций на достаточно высокой скорости и, следовательно, использовать данный алгоритм, например, в составе специального программного обеспечения оптико-электронных систем беспилотных и пилотируемых летательных аппаратов.
На дальнейших этапах развития планируется внедрение данного алгоритма в оптико-электронную систему и проведение натурных испытаний для выявления возможных недостатков и их устранения.
Список литературы
1. Real-Time Flying Object Detection with YOLOv8. ArXiv / Dillon Reis, Jordan Kupec, Jacqueline Hong, Ahmad Daoudi. 2023. DOI: 10.48550/arXiv.2305.09972.
2. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for realtime object detectors, arXiv / Wang, Chien-Yao & Bochkovskiy, Alexey & Liao, Hong-yuan. 2022. DOI: 10.48550/arXiv.2207.02696.
3. Fully-Convolutional Siamese Networks for Object Tracking / L. Bertinetto, J. Valmadre, J.F. Henriques, A. Vedaldi, P.H.S. Torr // Computer Vision - Workshops. ECCV 2016. Lecture Notes in Computer Science. Vol. 9914. Springer, Cham. DOI: 10.1007/978-3-319-48881-3_56.
25
4. Structured Siamese Network for Real-Time Visual Tracking / Y. Zhang, L. Wang, J. Qi, D. Wang, M. Feng, H. Lu // Computer Vision -ECCV 2018. Lecture Notes in Computer Science. Vol. 11213. Springer, Cham. DOI: 10.1007/978-3-030-01240-3_22.
5. Object tracking framework with Siamese network and re-detection mechanism / Li, D., Yu, Y. & Chen, X // J Wireless Com Network. 2019. P. 261. DOI: 10.1186/s13638-019-1579-x.
6. Visual object tracking. A survey of Computer Vision and Image Understanding / Fei Chen, Xiaodong Wang, Yunxiang Zhao, Shaohe Lv, Xin Niu. 2022. 222 P. DOI: 10.1016/j.cviu.2022.103508.
7. Zahra Soleimanitaleb, Mohammad Ali Keyvanrad. Single Object Tracking. A Survey of Methods, Datasets, and Evaluation Metrics. ArXiv. 2022. DOI: 10.48550/arXiv.2201.13066.
8. G. Nebehay and R. Pflugfelder, Consensus-based matching and tracking of keypoints for object tracking // IEEE Winter Conference on Applications of Computer Vision, Steamboat Springs, CO, USA, 2014. P. 862-869, DOI: 10.1109/WACV.2014.6836013.
9. Hedged deep tracking / Y. Qi, S. Zhang, L. Qin, H. Yao, Q. Huang, J. Lim, and M.H Yang // In CVPR. IEEE. 2016. P. 4303-4311. DOI: 10.1109/CVPR.2016.466.
10. N. Wang, D.Y. Yeung Ensemble-Based Tracking: Aggregating Crowdsourced Structured Time Series Data // Proceedings of the 31st International Conference on Machine Learning. 2014. №2 (32). Р. 1107-1115.
11. Kalal Z., Mikolajczyk K., Matas J. Tracking-Learning-Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012. №7 (34). Р. 1409-1422.
12. Complementary Learners for Real-Time Tracking / L. Bertinetto, J. Valmadre, S. Golodetz, O. Miksik, P.H.S. Torr Staple // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. Р. 1401-1409. DOI: 10.1109/CVPR.2016.156.
13. Henriques J.F. High-Speed Tracking with Kernelized Correlation Filters // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2015. №3 (37). Р. 583-596. DOI: 10.1109/TPAMI.2014.2345390.
14. Tullsen D.M., Eggers S.J., Levy H.M. Simultaneous multithreading: Maximizing on-chip parallelism // Proceedings 22nd Annual International Symposium on Computer Architecture. 1995. Р. 392-403.
15. Visual object tracking using adaptive correlation filters / David Bolme, J. Beveridge, Bruce Draper, Yui Lui // Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2010. Р. 2544-2550. DOI: 10.1109/CVPR.2010.5539960.
16. Многоагентный алгоритм автоматического обнаружения и сопровождения недетерминированных объектов / В. А. Бондаренко, Д.К. Ельцова, А.И. Лизин, В.А. Павлова, М.В. Созинова, В.А. Тупиков // Известия ЮФУ. Технические науки. 2020. №1 (211). С. 218-232.
26
17. Программный комплекс автоматизации тестирования алгоритмов обнаружения и сопровождения объектов на видеопоследовательностях / В.А. Бондаренко, А.Ю. Гагарина, В.А. Павлова, В.А. Тупиков // Перспективные системы и задачи управления: материалы XVI Всероссийской научно-практической конференции и XII Молодежной школы-семинара «Управление и обработка информации в технических системах». Таганрог: ИП Марук М.Р., 2021. 355 с.
18. Квадратно-обучаемый алгоритм автоматического обнаружения и сопровождения недетерминированных объектов / А.Ю. Гагарина, П.А. Гессен, А.И. Лизин, В.А. Павлова, М.В. Созинова, В.А. Тупиков // Известия Тульского государственного университета. Технические науки. 2022. № 11. С. 3-13.
19. Generalized Intersection Over Union: A Metric and a Loss for Bounding Box Regression / H. Rezatofighi, N. Tsoi, J. Gwak, A. Sadeghian, I. Reid, S. Savarese // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. Р. 658-666.
20. Hodson T. O. Root-mean-square error (RMSE) or mean absolute error (MAE): when to use them or not // Geoscientific Model Development. 2022. № 15. Р. 5481-5487. DOI: 10.5194/gmd-15-5481-2022.
Гессен Павел Алексеевич, зам. начальника центра, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Лизин Алексей Игоревич, начальник центра, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Павлова Валерия Анатольевна, канд. техн. наук, зам. директора [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Саенко Владислав Дмитриевич, мл. программист, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Судаков Андрей Алексеевич, мл. науч. сотр., [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Тупиков Владимир Алексеевич, д-р техн. наук, профессор, зам. ген. директора, директор научно-производственного комплекса, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
COMBINED AUTO-TRACKING ALGORITHM FOR OPTOELECTRONIC SYSTEMS
P.A. Gessen, A.I. Lizin, V.A. Pavlova, V.D. Saenko, A.A. Sudakov, V.A. Tupikov
27
The authors present a new combined maintenance algorithm for embedded systems. It is based on a combination of several types of tracking algorithms, and two possible implementations are proposed, depending on the power of the computer. A variant of the algorithm has been implemented for small available computing capacities, and its semi-natural tests have been carried out. The evaluation of the results of the proposed algorithm is carried out. The algorithm showed high efficiency in the tasks set, improving the accuracy of tracking, and also significantly increased the ability to re-detect an object after its loss. In conclusion, the authors present proposals for further development and implementation.
Key words: automatic detection, automatic tracking, embedded systems, consensus
decision.
Gessen Pavel Alekseevich, deputy head of the center, [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»,
Lizin Alexey Igorevich, head of the center, [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»,
Pavlova Valeria Anatolyevna, candidate of technical sciences, deputy director [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»,
Saenko Vladislav Dmitrievich, junior programmer, [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»,
Sudakov Andrey Alekseevich, junior researcher, [email protected], Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»,
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, deputy general director, director of the scientific and production complex, tupikov@,nppame.ru, Russia, St. Petersburg, JSC «Scientific and Production Enterprise «Aviation and Marine Electronics»
