CC BY
342
8. Соколов СМ., Богуславский А А. Компонентный каркас для разработки программного обеспечения систем технического зрения реального времени. Труды Второй Всероссийской научной конференции "Методы и средства обработки информации", Москва, МГУ им. М.В. Ломоносова, 5-7 октября 2005. - C. 337-343.
9. Соколов СМ., Богуславский А А., Васильев А.И., Трифонов ОМ., Назаров ВТ., Фролов
..
карт // Известия ЮФУ. Технические науки. - 2011. - № 3 (116). - C. 157-166.
10. Соколов СМ., Богуславский АА. Интеллектуальные алгоритмы обработки изображений
//
докладов научно-технической конференции-семинара «Техническое зрение в системах управления мобильными объектами - 2011», Москва,15-17 марта 2011 г. - М.: КДУ, 2011. - C. 86-88.
11. Sokolov S.M., Boguslavsky A.A. Intellectual Images Processing for a Realtime Recognition Problem. // Proc. The 2nd Intern. Multi-Conf. on Complexity, Informatics and Cybernetics IMCIC 2011), Orlando, Florida, USA, March 27th-30th, 2011, Orlando, Florida, USA. - Vol. II. - P. 406-411.
. . ., . . .
Соколов Сергей Михайлович - Институт прикладной математики им. М.В. Келдыша РАН; e-mail: [email protected]; 125047, г. Москва, Миусская пл., д. 4; тел.: +74992507994; ведущий научный сотрудник; д.ф-м.н.; профессор.
- e-mail: [email protected]; -
ник; д.ф.-м.н.; доцент.
Трифонов Олег Всеволодович - e-mail: [email protected]; старший научный сотрудник; к.т.н. Васильев Антон Игоревич - e-mail: [email protected]; аспирант.
Sokolov Sergey Mikhailovich - Keldysh Institute of applied mathematics of Russian Academy of Sciences; e-mail: [email protected]; 4, Miusskaya Sq. Moscow, 125047, Russia; phone: +74992507994; leading scientist; dr. of phis.-math. sc.; professor.
Boguslavskii Andrey Alexandrovich - e-mail: [email protected]; senior scientist; dr. of phis.-math. sc.; associate professor.
Trifonov Oleg Vsevolodovich - e-mail: [email protected]; senior scientist; cand. of eng. sc.
Vasilyev Anton Igorevich - e-mail: [email protected]; postgraduate student.
УДК 004.42: 004.932
Б.А. Алпатов, П.В. Бабаян, Ю.С. Коблов, В.С. Муравьев,
В.В. Стротов, А.Б. Фельдман
АВТОМАТИЗАЦИЯ РАЗРАБОТКИ И ИССЛЕДОВАНИЯ АЛГОРИТМОВ МАШИННОГО ЗРЕНИЯ ДЛЯ НАВИГАЦИИ БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ НА БАЗЕ СПЕЦИАЛИЗИРОВАННОГО ПРОГРАММНОГО КОМПЛЕКСА*
Рассматривается разработанный авторами программный комплекс «Навигация», предназначенный для автоматизации научных исследований по разработке алгоритмов машинного зрения для навигации беспилотных летательных аппаратов (БПЛА). Комплекс обеспечивает имитационное моделирование видеосъемки с борта БПЛА, реализует технологию подготовки полетных заданий и ряд алгоритмов определения местоположения и
*
Работа выполнена при поддержке Министерства образования и науки РФ, государственный контракт № 07.514.11.4034.
. -
. -
.
Изображение; навигация; программный комплекс; беспилотный летательный аппарат.
B.A. Alpatov, P.V. Babayan, Yu. S. Koblov, V.S. Muraviev,
V.V. Strorov, A.B. Feldman
AUTOMATIZATION OF DEVELOPMENT AND INVESTIGATION COMPUTER VISION ALGORITHMS FOR NAVIGATION OF UNMANNED AERIAL VEHICLES ON THE BASIS OF THE SPECIALIZED SOFTWARE
In the report the specialized software product called "Navigation" is considered. The product made by the authors is oriented for investigation and development of computer vision algo-
rithms for unmanned aerial vehicles (UAVs) navigation. Software provides the modeling of video data from the board of UAV, realizes the technology of flight tasks preparation and allows to apply some algorithms for estimation position and course of UAV. In this work the software structure and its functionality are considered. Short description of video analyze methods is also presented.
Image; navigation; software; unmanned aerial vehicle.
. C -
,
( ).
авиационной техники учеными и инженерами выполняются исследования, направленные как на улучшение летных характеристик аппаратов, так и на совершенствование их информационного обеспечения. Одной из важных проблем при этом остается осуществление устойчивой и высокоточной навигации БПЛА в сложных . -темы навигации не лишены недостатков, что заставляет искать альтернативные подходы. Такой альтернативой, все более широко обсуждаемой в научной прессе [1-3], может стать применение технологий машинного зрения.
Успешному внедрению новых методов анализа изображений препятствует , -. -гать данными бортовой видеосъемки с привязкой к географическим координатам, эталонными изображениями, различной контрольной информацией. Использование средств трехмерного моделирования для преодоления указанной проблемы довольно проблематично, так как они, как правило, не ориентированы непосредственно на моделирование полетов. Исходя из этого, их применение требует специ, , -мых в ходе эксперимента, занимает значительное время.
,
,
алгоритмов машинного зрения для навигации БПЛА, обеспечить возможность получения тестовых видеоданных и проведения экспериментальных исследований с объективной количественной оценкой эффективности реализуемых подходов. Такие возможности предоставляет разработанный авторами программный комплекс (ПК) «Навигация», рассматриваемый в настоящем докладе.
Структура и функциональные возможности ПК «Навигация». При мене-ние технологий машинного зрения для навигации летательных аппаратов в основном сводится к тому, что необходимо тем или иным способом сопоставить данные текущей видеосъемки с полученными заранее эталонными изображениями местности. Ввиду большой размерности изображений такое сопоставление, как правило, связано с существенным объемом вычислений. Кроме того, значительные об-
ласти изображений часто оказываются малоинформативными или сильно зависят от условий наблюдения. Поэтому в ПК «Навигация» предлагается выделять на эталонных изображениях опорные участки (ОУ) - характерные объекты или регионы, в меньшей степени подверженные изменениям. Это позволяет как сократить вычислительные затраты, так и повысить надежность сопоставления за счет использования наиболее информативных и устойчивых к изменениям фрагментов изображений. В качестве ОУ лучше всего подходят объекты искусственного происхождения или характерные особенности ландшафта.
Исходя из этого, выполнение исследований при помощи ПК «Навигация» включает следующие этапы:
1) подготовка эталонных снимков местности;
2) подготовка маршрутов полета;
3) ;
4) ;
5) , -
ботоспособности алгоритмов анализа изображений и навигации БПЛА;
6) анализ статистических данных, модернизация алгоритмов анализа изображений и навигации БПЛА.
Перечисленные действия могут выполняться параллельно, что дает возможность эффективно организовать работу исследовательской группы.
Для реализации представленных этапов ПК «Навигация» содержит авиаси-
, 5
, , библиотек и интегрированную базу данных. Укрупненная структура ПК «Навигация» показана на рис. 1. Прямоугольники обозначают отдельные программные модули или библиотеки. Прямоугольники, обведенные сплошной линией, представляют модули с графическим пользовательским интерфейсом. Сплошные стрелки соответствуют основным потокам данных, пунктирные - вспомогательным. Для обмена информацией и согласования данных используется база данных, модель которой представлена на рис. 2.
Рис. 1. Структура ПК «Навигация»
Создание эталонных изображений, имитирующих аэрофотосъемку или спутниковую фотосъемку местности, а также формирование данных текущей видеосъемки с борта БПЛА в ПК «Навигация» выполняется посредством авиасимулятора с открытым исходным кодом Б^ЬЮеат [4]. Программный интерфейс симулятора позволяет задавать поле зрения виртуальной видеокамеры и устанавливать ее в лю-
бое требуемое положение, определяемое географическими координатами, высотой и углами ориентации. Для трансляции команд управления симулятором, получения изображений и вспомогательной информации реализован сетевой интерфейс. Он обеспечивает возможность обмена с симулятором Ні^Юеаг по сети ЕИіегпеІ;.
3 Маршруты
t і (Маршрут INT >Название VARCHAR{45) > Комментарий TEXT
} \ dTo4 ка М ар шр ута INT О Широта DOUBLE J Долгота DOUBLE О Высота DOUBLE О Врем я TIME
ФМгршрутьмйМаршррт INT
3 Результаты ▼
• id Результата INT
О Алгоритм TEXT
О Парам етрыАпгоритм a TEXT
О ХарактеристикеРаботоспособностм DOUBLE
ф Полетьі_ігіПолет INT
►
=F
і J
31 Полеты
і іеІПолет INT j СсылкаВидео TEXT у ПогодныеУсловияТЕХТ О ВремяСуток INT Сезон Года ІМГ О ШиринаПоляЗрения DOUBLE Ф MapuipyrbiJdMapiupYT IWT
З ОценкиТочекМариірута
■ ігіОценкаТочкиМаршрута INT О Широта DOUBLE s> Цолгота DOUBL Е j Время TIME
Ф РезультатыJdPesynbTaTa INT
• Р езул ьтатьі_і dP ез у льтата INT
• ОпорныеУча CTW1 _i dO пор но го Уч астка INT
3 Снимки Местное ти
■ ігіОіимкаМестностм INT ОЦентрШирота DOUBLE О ЦентрДолгота DOUBLE О Ширина DOUBLE ОВьеота DOUBLE О Ориентация DOUBLE :> ВремяСутокСъенки INT / Сезон Го да Съемки INT О СсылкаФайл TEXT
3 ОпорныеУчастки
{ігіСТюрногоУчастка INT О ЦентрШирота DOUBLE
> ЦентрДолгота DOUBLE ■> Ориентация DOUBLE
> Ширина DOUBLE Ч>Вьсота DOUBLE
♦ С н им KwMecTHOCTnJdC ним ка Местности INT ►
Рис. 2. База данных ПК «Навигация»
Программный модуль «Управление снимками местности» позволяет считать из авиасимулятора изображение интересующего участка местности при заданных условиях наблюдения или загрузить натурный снимок. Центр снимка привязывается к географической системе координат. Ориентация показывает отклонение вертикальной оси снимка от направления на север. Метрические характеристики -длина и ширина, измеряемые в метрах, позволяют определить разрешение на местности. В БД фиксируются время формирования снимка и сезон года. Изображения при этом сохраняются в специализированном хранилище на локальном или .
На каждом снимке могут быть заданы опорные участки - характерные объекты или регионы наблюдаемой местности. Для облегчения работы с ними в ПК « » « ». параметров опорного участка включает координаты, ориентацию и размеры изображения ОУ на местности.
Для задания и последующей корректировки маршрутов полета используется « ». -следовательность ключевых точек. Ключевые точки задаются своими географиче-, « ». -ет отсчитываемый от начала полета промежуток времени, по истечению которого аппарат достигает данной точки. Положение БПЛА между ключевыми точками определяется при помощи одного из нескольких возможных методов интерполяции.
Дополнительную возможность по созданию маршрутов предоставляет авиасимулятор Р^ЬЮеаг. Пользователь с его помощью осуществляет полет, используя при этом физическую модель летательного аппарата. Синтезированный маршрут в дальнейшем может многократно использоваться для имитации полетов с различными параметрами окружающей среды. Данная технология позволяет отлаживать алгоритмы навигации с учетом физических особенностей полета БПЛА.
Непосредственно за имитацию полета и применение алгоритмов навигации от-« ». -тель выбирает нужный маршрут, устанавливает параметры моделирования, указывает
SS
используемые алгоритмы анализа видеоданных и навигации. Далее программой считываются параметры опорных участков местности, пролегающих вдоль выбранного , .
считываются кадры натурного видеосюжета или изображения, синтезированные авиасимулятором. Анализ поступающих изображений с целью определения навигационных параметров БПЛА осуществляется функциями из библиотеки математического обеспечения. С их помощью выполняется распознавание и прослеживание ОУ в данных текущей видеосъемки, а затем расчет положения БПЛА относительно найденных и локализованных ОУ. Математическое обеспечение реализовано при помощи функций популярной библиотеки обработки изображений с открытым исходным кодом OpenCV [5]. Результаты оценки траектории полета сохраняются в БД.
В дальнейшем совокупность выполненных полетов можно проанализировать. Для этого в модуле «Статистическая обработка результатов» предусмотрена возможность группировки полетов по различным критериям, или же просто вручную. Для каждой такой коллекции полетов могут быть вычислены статистические характеристики: дисперсии оценок координат, максимальное и минимальное значения ошибки позиционирования и т.п. Полученные оценки позволяют судить об эффективности реализуемых алгоритмов анализа видеоданных и навигации БПЛА.
Математическое обеспечение ПК «Навигация». Математическое обеспечение комплекса реализует некоторые подходы к распознаванию и прослеживанию опорных участков местности в данных текущей видеосъемки, позволяет определять географическое местоположение и курс БПЛА. При этом предполагается, что оптическая ось бортового видеодатчика в любой момент времени мало отклоняется от надира, а высота полета значительно больше перепадов высот между точками подстилающей местности.
В основе используемых подходов лежит идея выделения, инвариантного описания и сопоставления особых точек текущего и эталонных изображений. Для этого применяются специализированные алгоритмы, реализация которых выпол-
OpenCV.
этом могут использоваться как уже реализованные в OpenCV подходы (SIFT [6], SURF [7], ORB [8] и др.), так и алгоритмы собственной разработки. Совместимость обеспечивается применением программных интерфейсов библиотеки.
Для представления особых точек внутри программы используется структура, включающая следующие поля:
♦ координаты точк и на изображении;
♦ размер анализируемой окрестности;
♦ «ориентация» (этот параметр обычно связывают с направлением наиболее интенсивного изменения яркости в окрестности рассматриваемой точки);
♦ величина отклика (позволяет сравнивать особые точки между собой и определять, какая из них «лучше» выражена);
♦ номер октавы на гауссовой пирамиде (масштаб, на котором выделена данная точка);
♦ идентификатор объекта (поле, при помощи которого можно установить
);
Детектор особых точек обеспечивает стабильное выделение заданной точки на изображении одной и той же сцены при изменении условий наблюдения. К таким изменениям можно отнести, в частности, геометрические преобразования:
, , . -менения общего уровня и малочувствительны по отношению к аддитивному шу, . -, . общем смысле дескриптор можно рассматривать как инвариантный вектор параметров особой точки.
При распознавании предполагается, что на ТИ присутствует несколько ОУ из заранее сформированного списка. Каждый ОУ задается множеством особых точек и их дескрипторов, которые таким образом образуют эталонную базу особых точек. Каждая особая точка ТИ сравнивается с точками эталонной базы, в результате чего можно установить ее принадлежность одному из ОУ.
Сравнение особых точек производится путем вычисления евклидовой нормы расстояния между их дескрипторами. Точки разных изображений с близкими значениями дескрипторов образуют пару соответствия. Для повышения скорости сопоставления в ПК «Навигация» реализованы методы поиска на многомерных деревьях [9, 10].
После установления соответствий между точками для каждого опорного участка по полученным парам выполняется оценка параметров аффинного преобразования. Эта задача решается при помощи метода робастного оценивания RANSAC [11]. , ,
, « ». -ляет находить параметры преобразования с достаточной точностью, даже когда значительное число особых точек было неверно сопоставлено между собой. Найденные при помощи метода RANSAC оценки включают коэффициент изменения , .
С целью уточнения производимых расчетов выполняется прослеживание опорных участков в последовательности поступающих изображений. Для этого используется фильтр Калмана. Фильтрации в данном случае подвергаются координаты опорных участков. Предполагается, что ошибки измерения по отдельным
, -блюдения является равномерным и прямолинейным.
. -
« ». -ся ряд важных научно-практических задач, среди которых моделирование видеосъемки с борта БПЛА, отладка и исследование алгоритмов навигации БПЛА по дан.
ПК «Навигация» обеспечивает большую наглядность при подготовке полетных заданий и не требует особых навыков в области трехмерного моделирования.
ПК «Навигация» реализует некоторые подходы к определению пространственного положения и курса БПЛА по данным видеонаблюдения. Навигация БПЛА осуществляется путем распознавания и локализации характерных объектов местности - опорных участков, относительно которых затем рассчитываются параметры траектории БПЛА.
Таким образом, ПК «Навигация» представляет собой достаточно эффективный инструмент для автоматизации научных исследований в области создания перспективных систем навигации БПЛА по данным видеонаблюдения. Реализованные в ПК алгоритмы и технология подготовки полетных заданий могут использоваться в бортовой аппаратуре БПЛА и системах обеспечения полетов.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. A Vision-Based Guidance System for UAV Navigation and Safe Landing using Natural Landmarks / Cesetti A., Frontoni E. and others // Journal of Intelligent and Robotic Systems.
- 2010. - № 57. - P. 233-257.
2. Use of Geo-referenced Images with Unmanned Aerial Systems / Conte C., Rudol P. and others // Workshop Proceedings of Intl. Conf. on Simulation, Modeling and Programming for Autonomous Robots. - Venice (Italy), 2008. - P. 444-454.
3. Monocular Vision based Navigation in GPS Denied Riverine Environments / Yang J., Rao D. and others // Proceedings of AIAA Infotech at Aerospace Conference. - St. Louis (USA), 2011.
4. Официальный сайт проекта FlightGear (англ.). - URL: http://www.flightgear.org.
5. OpenCV (Open Source Computer Vision, .). - URL: http://opencv.willowgarage.com/wiki.
6. Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. - 2004. - № 2 (60). - P. 91-110.
7. SURF: Speeded Up Robust Features / Bay H., Ess A., Tuytelaars T., Van Gool L. // Proceedings of 9th European Conference on Computer Vision (ECCV), Graz (Austria), 2006. - Part I.
- P.404-417.
8. ORB: an efficient alternative to SIFT or SURF / Rublee E., Rabaud V., Konolige K., Bradski G. // Proceedings of 13th International Conference on Computer Vision, Barcelona, 2011.
9. Friedman et al. An Algorithm for Finding Best Matches in Logarithmic Expected Time // ACM Trans. On Mathematical Software. - 1977. - № 3. - P. 209-226.
10. Muja M., Lowe D. Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration // Proceedings in International Conference on Computer Vision Theory and Applications, 2009.
11. Fischler M.A., Bolles R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography // Communication of the ACM.
- 1981. - Vol. 24 (№ 6). - P. 381-395.
Статью рекомендовал к опубликованию д.т.н., профессор В.Н. Ручкин.
Алпатов Борис Алексеевич - Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Рязанский государственный радиотехнический университет»; e-mail: [email protected]; 390005, г. Рязань, ул. Гагарина, 59/1; тел.: +74912460342; кафедра автоматики и информационных технологий в управлении; зав. ка; . . .; .
Бабаян Павел Вартанович - кафедра автоматики и информационных технологий в управлении; начальник лаборатории; к.т.н.
Коблов Юрий Сергеевич - кафедра автоматики и информационных технологий в управлении; программист.
Муравьев Вадим Сергеевич - кафедра автоматики и информационных технологий в управлении; старший научный сотрудник; к.т.н.
Стротов Валерий Викторович - кафедра автоматики и информационных технологий в управлении; к.т.н.; доцент.
Фельдман Александр Борисович - кафедра автоматики и информационных технологий в управлении; младший научный сотрудник; аспирант.
Alpatov Boris Alekseevich - Federal State-Owned Educational Establishment of Higher Vocational Education “Ryazan State Radio Engineering University”; e-mail: [email protected]; 59/1, Gagarina street, Ryazan, 390005, Russia; phone: +74912460342; the department of automation and information technology in control; head of department; dr. of eng. sc.; professor.
Babayan Pavel Vartanovich - e-mail: [email protected]; the department of automation and information technology in control; head of laboratory; cand. of eng. sc.
Koblov Yuriy Sergeevich - the department of automation and information technology in control; programmer.
Muraviev Vadim Sergeevich - the department of automation and information technology in control; senior researcher; cand. of eng. sc.
Strotov Valeriy Viktorovich - the department of automation and information technology in control; cand. of eng. sc.; associate professor.
Feldman Alexander Borisovich - the department of automation and information technology in control; junior researcher; postgraduate student.
