CC BY
84
Раздел II. Управление, навигация и наведение
УДК 004.896, 004.932.2, 004.823
С.М. Соколов, А .А. Богуславский, А.И. Васильев, О.В. Трифонов
МЕТОДИЧЕСКИЕ И ПРАКТИЧЕСКИЕ АСПЕКТЫ РАЗРАБОТКИ СИСТЕМ КОМПЬЮТЕРНОГО ВИДЕНИЯ ДЛЯ НАВИГАЦИИ И
ИЗМЕРЕНИЙ*
Рассматриваются методические и практические аспекты оснащения мобильных средств системами компьютерного видения для решения навигационных и измерительных задач. Описывается общая схема программно-алгоритмического обеспечения комплексной информационной системы на основе компьютерного видения для мобильных средств. Рассматриваются принципы построения подобных систем, обсуждаются возможные вари-
- . -ций калибровки отдельных составляющих измерительной части и объединения данных . -темы для навигационных и измерительных задач.
Система технического зрения; глобальная и локальная навигации; архитектура борто-; ; ; .
S.M. Sokolov, A.A. Boguslavsky, A.I. Vasilyev, O.V. Trifonov
METHODICAL AND PRACTICAL ASPECTS OF COMPUTER VISION DESIGN FOR NAVIGATION AND MEASUREMENTS
In article methodical and practical aspects of mobile means equipment by systems of computer vision for the decision of navigating and measuring problems are considered. The general scheme of software-algorithmic maintenance of complex information system on the basis of computer vision for mobile means is described. Principles of similar systems construction are considered, possible variants of hardware-software configurations are discussed. Questions of automation of calibration operations and association of the given diverse systems are allocated. Examples of realization of complex information system for navigating and measuring problems are resulted.
Vision system; global and local navigation; onboard systems architecture; component programming; contactless measurements; complex navigation.
.
без решения навигационной задачи. При управлении движением с участием человека эта задача довольно успешно решается начиная с первых мореплавателей и .
известно много удачных решений, использующих инерциальные навигационные системы, ультразвуковые системы, радары, лидары, спутниковые навигационные .
пространствах (авиация, космонавтика, мореплавание, междугородние сообщения) или в чётко определённых условиях внутри помещений.
* Работа выполнена при поддержке РФФИ, гранты №11-08-01945 и №11-08-13166 ОФИ-М. 76
Раздел II. Управление, навигация и наведение
Обеспечение целенаправленных перемещений в сложных, изменяющихся ус,
объединения различных средств навигации и, главное, активного использования , , -дить ориентиры в окружающем пространстве. До последнего времени автоматизация сбора и обработки зрительных данных с необходимой точностью и в масштабе реального времени на доступной вычислительной базе была невозможна. Поэтому современные системы навигации и наведения в качестве объединяющего начала используют человека-оператора, который суммирует данные всех датчиков, анализирует телевизионные и иные изображения сцены, выполняет необходимые измерения, осуществляет указание ориентиров или целеуказание. Подобного рода задачи требуют большого нервного и физического напряжения, быстро утомляют оператора и не всегда осуществляются с необходимой скоростью и точностью. С развитием средств сбора и обработки зрительных данных и ростом вычислительных мощностей открываются всё большие возможности по автоматизации и зрительных операций, в частности, связанных с распознаванием образов, формированием синтетических изображений, объединяющих данные нескольких диапазонов и улучшением качества исходных изображений. Автоматизация снимает часть рутинной нагрузки с оператора, а в ряде случаев позволяет полностью автоматически решать навигационную задачу.
Сложность и разнообразие задач обработки зрительных данных, отсутствие унифицированных формализмов для описания сложных сцен привели к тому, что
-
большим разнообразием и плохой совместимостью программных платформ и сред для объединения систем датчиков и реализации алгоритмического обеспечения верхнего уровня - уровня принятия решений [10, 11]. Преодоление указанных трудностей заставляет разработчиков систем каждый раз преодолевать «нулевой» цикл обеспечения инструментальной среды разработки и объединения уже известных (имеющихся) алгоритмов в реализации для конкретной задачи.
Ещё одной проблемой на пути внедрения систем технического зрения является сложность их калибровки и приведения разнородных данных к единой системе ко, « » .
Заслуживает специального внимания и проблема обеспечения воспроизводимости функционирования системы. Это проблема наладки программного обеспечения особенно остра для систем технического зрения реального времени. В масштабе реального времени необходимо зафиксировать как обрабатываемые данные, так и параметры состояния всех составляющих информационной системы мобиль-.
Мы предлагаем однородную среду разработки и каркас прикладных программ, позволяющие успешно решать широкий круг задач, требующих комплек-сирования многих подсистем на основе системы сбора и обработки зрительных данных, как самой ресурсоёмкой и сложной в алгоритмическом обеспечении [8].
Основные функции и состав комплексной информационной системы. Автоматизированная комплексная информационная система мобильного средства должна решать следующие задачи:
1.
креста: указаний оператора; картографической; спутниковой; интерпретирующей навигации; датчиковых (регистрирующих) подсистем: зрительной1; дальнометрической2; инерциальной; счисления пути [1, 2].
1 Зрительные данные могут быть различных диапазонов и с нескольких полей зрения.
2 Данные от лазерных дальномеров; фотограмметрии; стереосистемы.
2. .
3. Определять местоположение и ориентацию мобильного средства, на котором установлена ИС или местоположение объектов в поле зрения системы
.
4. Отображать оператору картографическую или другую информацию, характеризующую относительное расположение объектов наблюдения или информационной системы и внешних объектов.
На основе опыта разработки нескольких десятков систем компьютерного видения и анализа доступных на рынке программно-аппаратных компонент СТЗ были выделены элементы и средства как для этапа разработки/наладки конкретной
, -граммного обеспечения [2, 4-6, 9].
Основные составляющие системы:
♦ СУБД и специальная БД.
♦ Гетерогенная распределенная вычислительная среда (с проводными и бес-
).
♦ Уинфицированные пакеты обмена данными.
♦ Преобразователи внешних цифровых/анадоговых сигналов в сигналы об-
щей шины (CAN, USB, GigE).
♦ Вычислительные блоки (IBM PC совместимой архитектуры).
♦ GigE Vision камеры.
♦ GPS/ .
♦ .
♦ .
♦ Программно-адгоритмическое обеспечение (на базе языка C++).
♦ ( ).
Прокомментируем выбор этих составляющих. Специфической особенностью применения БД в рассматриваемых СТЗ является необходимость хранения разно, -ков разных типов. В связи с этим структура БД построена на основе реляционной модели с использованием ссылок на внешние файлы с данными различных датчиков. Например, это могут быть файлы видеопоследовательностей или дальномет-. -
,
( ) .
сократить временные затраты на поддержание больших структурированных файлов данных реляционной СУБД, что необходимо для обеспечения функционирования в реальном времени.
Отдельного замечания заслуживают каналы связи в вычислительной среде ИС. С учётом мобильности всей системы и возможности использования нескольких полей зрения в составе одной СТЗ более предпочтительными представляются .
(до 2-х изображений высокой чёткости с частотой 25 №), дальности, надёжности передачи данных и доступности соответствующего оборудования, в основу системных коммуникаций положена беспроводная ЕШегпй сеть с унифицированными пакетами обмена данными. При необходимости обмена данными с другими шинами используются преобразователи.
IBM PC
архитектуре или вычислителям, имеющим кросс-средства для программирования с помощью универсальных компьютеров.
Видеокамеры того или иного диапазона являются одной из важнейших со. , ,
противоречивые требования задач зрительного анализа требуют специального рас-
смотрения свойств этой составляющей компьютерного видения.
Разрешение. Традиционное телевизионное разрешение, доминирующее на
(768 576 720 576
передаче изображений по цифровым каналам (около 0,5 МБ точек)) обеспечивает мониторинг окружающей обстановки «в целом», но оказывается недостаточным при необходимости произвести измерения или точное позиционирование объектов .
также не позволяют достичь точностей выше 10 %. С учётом требований и ограничений других характеристик видеокамер разрешение видеокамер около 2 МБ оказывается удовлетворительным для многих задач.
. -деосигнала до последнего времени был аналоговый видеосигнал стандарта (NTSC, PAL, SECAM). При этом разрешение изображения с использованием устройств ( ) 768 576 50-
60 . -ных в СТЗ соответствует цифровая форма представления видеосигнала высокого разрешения без сжатия, упакованная для передачи по гигабитной сети. С учётом обеспечения возможности повышения как разрешения, так и быстродействия СТЗ, важным требованием к форме предоставления видеосигнала является прогрес. -налам связи и предоставления на обработку в вычислительное устройство только необходимых зрительных данных, а не всего кадра.
( ). при фиксированном отношении сигнал/шум определяется материалом и размером фоточувств ительных элементов матриц. Так как материал у освоенных в массовом производстве видеокамер с вышеперечисленными характеристиками примерно одинаковый, а обрамление матриц обеспечивает отношение «сигнал/шум» на 45 , , -
ность, остаётся размер преобразователя свет-сигнал. Величина диагонали матрицы не менее У дюйма обеспечивает высокую чувствительность (доли люксов). Парирование изменчивости условий освещённости является важной характеристикой видеокамер. Для мобильных устройств актуальность такой характеристики возрас-, -, . -жения не позволяет в полной мере использовать наиболее распространённое средство повышения чувствительности матричных фотоприёмников - время накопления. Ограничения на «смаз» (изменение контраста и местоположения элементов ), , использования других средств увеличения динамического диапазона видеокамеры. Одним из таких доступных и проверенных средств является объектив с автоматическим диафрагмированием. Цифровые видеокамеры повышенного разрешения с поддержкой автоматического управления диафрагмой и размером светочувствительного поля не менее У ‘ не являются широко распространёнными и требуют дополнительных усилий при комплектовании СТЗ.
. -
чения зрительных данных с различных полей зрения приобретает принципиально . -ным условием организации стереоизмерений. Наличие внешней синхронизации -ещё одна необходимая характеристика цифровой видеокамеры.
Размеры/вес. С учётом мобильности целевых информационных систем естественно пожелание использовать видеокамеры с минимальными габаритами и . , основных требований по разрешению, чувствительности и динамическому диапазону характерные размеры камер с объективами составляют до двух десятков сантиметров, а вес с термозащитным кожухом около 1,5 кг.
В качестве внешних датчиков по отношению к СТЗ могут выступать: компас, бортовые инерциальные системы, датчик вертикали, системы локального счисления пути, дальномеры и т.п.
Выделение перечисленных компонентов СТЗ с указанными характеристиками вместе с программными шаблонами позволяют оперативно, с минимизацией совокупной стоимости владения (TCO) формировать, настраивать и сопровождать широкий класс информационных систем на основе систем компьютерного видения [3-6, 9].
Принципы построения программно-аппаратного обеспечения СТЗ. Как ,
автоматический компьютерный анализ поступающих данных в реальном времени. Интеллектуальные ИС предлагают не отложенный анализ заснятой видеоинфор-« », -тия решения об отправке ремонтных бригад по указанным адресам. Достичь таких результатов позволяет специальное алгоритмическое обеспечение [10, 11] и следующие принципы построения программно-аппаратного обеспечения:
♦ Компоне нтное ПО.
♦ COTS технология3 (щ>и создании образцов).
♦ Открытая система:
■ Внешние данные дополнительных систем либо по стандартному протоколу, либо в оговоренном формате;
■ БД наращиваемая;
■ Переносимость ПО.
♦ Контроль масштаба реального времени.
♦ Обеспечение воспроизводимости функционирования системы.
Компонентный подход к созданию ПО обеспечивает эффективное повторное
использование программных модулей и оперативную компоновку ПО конкретной
.
COTS- , -
ясь в рамках экономической целесообразности, за короткие сроки.
Следование концепции открытых систем обеспечивает оперативное комплек-сирование в системе данных различных сенсорных систем, повторное использование структуры БД в различных ИС, переносимость программного обеспечения на
- .
Контроль масштаба реального времени на всех этапах разработки ИС обеспечивает создание систем информационного обеспечения реального времени.
3 Сокращение от commercial off-the-shelf «коммерческий на полке». Прилагательное, которое описывает программные продукты или аппаратные средства, доступные для продажи .
разрабатываемые системы без дополнительных усилий.
Воспроизводимость функционирования системы предоставляет возможность отладки алгоритмического обеспечения обработки реальных сцен и повышает надёжность получения результатов обработки. Воспроизводимость обеспечивается структурой базы данных, предусматривающей хранение шлейфов от разнородных датчиков в привязке ко времени измерений и/или траектории движения мобильно.
- . -
но-адгоритмического обеспечения и принципы построения комплексной информационной системы на основе компьютерного видения для мобильных средств предполагают различные варианты конкретных программно-аппаратных компоновок. Эти компоновки определяются: условиями функционирования ИС, желаемыми показателями автономности, разнообразием решаемых задач и требуемыми , .
В описании программно-аппаратных компоновок будем придерживаться такого разделения описываемых ИС на аппаратные блоки: регистрирующий блок (РБ), вычислительно-управляющий блок (ВУБ), коммуникационный блок (КБ),
( ). - , -ем которого является регистрация в той или иной форме электрического сигнала соответствующего интересующей физической величине. Чаще всего такой формой является цифровой сигнал, но возможны и исключения, требующие дополнительных устройств преобразования аналогового сигнала в цифровую форму. Примеры регистрирующих блоков: цифровая/анадоговая видеокамера; 3Б-сканер; акселерометр; компас; БИНС. ВУБ - это блок, назначением которого является организация работы регистрирующих блоков и обработка поступающих данных с целью получения необходимой информации. Реализация ВУБ - это вычислитель, снаб-
- . -управляющих блоков: носимый системный блок; специальный процессор; DSP.
- , , -лученной от ВУБ оператору и, при необходимости дополнительная обработка по-( ). -лизация БОДО - это вычислитель, снабжённый программно-адгоритмическим обеспечением и аппаратурой отображения результатов. Примеры БОДО: ноутбук, рабочая станция. КБ - это блок, назначением которого является обеспечение других блоков ИС обменом данными. Реализация КБ - канал связи.
Как уже отмечалось во введении, до последнего времени в ИС мобильных систем чаще всего использовалось выделение регистрирующего блока на мобильном средстве с последующим, отложенным анализом собранных данных на стационарных или передвижных, но более мощных вычислительных средствах с непосредственным участием человека.
Целью наших разработок является создание СТЗ, решающих задачу информационного обеспечения систем управления в масштабе реального времени. Модули СТЗ компонуются с учётом максимальной автоматизации сбора и обработки зрительных данных и повышенной степенью автономности. Участие человека предполагается в наиболее сложных условиях и большой степени неопределенности в описании цели зрительного анализа и объекта интереса.
Приведём примеры унифицированных вариантов компоновки информацион-.
РБ с монокулярной видеокамерой, ВУБ (носимый системный блок низкого энергопотребления), КБ (Wi-Fi передатчик с системой POE), аккумуляторный блок, объединяющий конструктив-термокожух и универсальный крепёж.
РБ со стереосистемой, ВУБ (носимый системный блок низкого энергопо-), (Wi-Fi POE), , -
- .
РБ с монокулярной видеокамерой и блоком структурированной подсветки на основе сферических приводов прямого управления, ВУБ с БОДО (ноутбук со спе-
- ), -( ) .
Эти варианты компоновок были успешно использованы при создании СТЗ: для оперативного картографирования [9]. Для контроля объектов инфраструктуры автомобильных, железных дорог, путей метро [5].
Автоматизация вспомогательных операций. При внедрении СТЗ, решающих задачу информационного обеспечения в целом, препятствием на пути успешного практического использования часто оказываются настроечные и вспомо-, .
Опишем способы автоматизации этих операций. При формировании видеотракта СТЗ обычно сталкиваются два противоречащих требования: как можно больший единовременный охват окружающего пространства (большой угол поля )
. ( ) преодоления этого противоречия является выбор оптической системы с большим углом зрения и преобразователя свет-сигнал с большим количеством элементов. Подобная оптическая система требует устранения дисторсии (нахождения преоб-, ). существует немало соответствующих алгоритмов, суть которых сводится к предъявлению системе эталонных объектов с известными геометрическими соотношениями и указание образов этих объектов на изображениях.
Ключевым моментом для практики является выделение образов объектов на изображении. Эту задачу традиционно возлагают на человека, который «о мере » ( ) , соответствующих опорным точкам эталонного объекта.
В нашем подходе мы следуем методам автокалибровки. Операции определения образов эталонных объектов на изображениях выполняются автоматически. Автоматическое выполнение повышает точность и сокращает время выполнения операций. На рис. 1 представлен пример автоматического выделения характерных точек эталонных объектов.
При выделении характерных точек для измерения расстояний в случае заранее неизвестных или нечётко описанных объектов в рассматриваемых СТЗ применяется несколько дополняющих друг друга методов:
♦ Использование модели образа объекта для нахождения образов, соответ-
, .
♦ Применение прогноза расположения характерных точек образов объекта, найденных в одном из полей зрения, для сокращения области поиска в ос. -
ется расчет с использованием калибровочных параметров используемой .
♦ В сложиых случаях, когда автоматическое обнаружение образа объекта выполнить не удалось, указание характерных точек может быть выполнено оператором с учетом автоматических инструментов поиска в ограниченной области интереса (рис. 2).
Рис. 1. Пример выделения характерных точек эталонных объектов
Рис. 2. Пример выделения характерных точек на образах объектов интереса. В левом поле зрения образ выделен автоматически, в правом уточнение местоположения выполняется с участием оператора
Объединение и совместная обработки сигналов GPS^^OTACC и локальной .
GPS ( 30 )
основе счисления пройденного пути и принятия гипотезы сохранения мобильным средством прямолинейного движения. В том случае, когда ИС оснащена БИНС или системой акселерометров, возможно восстановление более сложной траектории движения мобильного средства и, как следствие, возможность определения положения мобильного средства в географической системе координат даже при
( 20 ).
используется последняя достоверная информация о направлении движения полу-GPS .
подсистем синхронизуются по времени бортовой вычислительной сети.
Для локальной привязки местоположения мобильного средства в качестве дополнительной возможности предусматривается режим фототриангуляции с использованием опорных точек. Для установления положения мобильного средства в поле зрения стереосистемы указывается набор опорных точек с известными гео-
.
Отображение текущего положения мобильного средства на векторной карте местности и (или) растровом спутниковом изображении производится модулем .
(WGS84) в проекции Mercatora в различном масштабе в режиме реального времени направление и скорость, траекторию движения и дополнительную информа-. ( ),
-, -, - -ция [9]. Кроме того, модуль позволяет измерять расстояния и перемещения вдоль , -. -цию непосредственно из GPS/ГЛОНАСС приемника по протоколу NMEA 8.3 и
UDP.
. ,
практические вопросы создания навигационных и измерительных систем мобильных средств на основе систем компьютерного видения. Показано, что уровень развития средств формирования видеоданных, вычислительных и коммуникационных , -обеспечением и следование принципам современных программных систем, позволяет создавать комплексные, экономически целесообразные информационные системы для мобильных систем с активным использованием зрительных данных.
Эффективность предложенных подходов и решений подтверждается примерами успешной реализации в действующих комплексах.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Плат оное АЖ., Зуева ЕМ., Киртьченко АЛ., Соколов СМ. Формальные подходы к проектированию алгоритмов информационного обеспечения мобильных систем (выбор пути, навигация, надёжность). - M.: Препринт Института прикладной математики им. Келдыша РАН, 2008. - № 19. - 32 с.
2. . ., . ., . ., . ., . ., Ярошевский В.С Построение описания внешней среды в системах информационного
// , ,
управление. - 2008. - № 12. - С. 50. Прил. - С. 15-24.
3. Sokolov S.M., Boguslavsky A.A., Platonov A.K., Kiy K.I., Gorelik L.I., Filachev A.M., Fumin A.I. An IR Channel-Based Automated Driver Assistance System. Proc. 12th Intern. Conf on Systemics, Cybernetics and Informatics (WMSCI 2008), Orlando, Florida, USA, June 29-July 2, 2008. - Vol. I. - P. 126-131.
4. . ., . ., . ., . .
//
« -2009». - -
гоград, 13-15 октября 2009. - C. 95-96.
5. . ., . ., . ., . ., . .,
. ., . ., . . -
// . 9.
управления, следящие приводы и их элементы. - 2010. - № 1-2. - C. 47-55.
6. . ., . ., . ., . ., . . -
// . -
. - 2010. - 3 (104). - C. 64-68.
7. . ., . . -
ческого зрения реального времени. Труды Первой Всероссийской научной конференции "Методы и средства обработки информации". - М.: МГУ им. МБ. Ломоносова, 1-3 октября 2003. - C. 304-310.
8. . ., . .
обеспечения систем технического зрения реального времени. Труды Второй Всероссийской научной конференции "Методы и средства обработки информации", Москва, МГУ им. МБ. Ломоносова, 5-7 октября 2005. - C. 337-343.
9. . ., . ., . ., . ., . .,
..
карт // Известия ЮФУ. Технические науки. - 2011. - № 3 (116). - C. 157-166.
10. . ., . .
//
- - «
управления мобильными объектами - 2011», Москва,15-17 марта 2011 г. - М.: КДУ, 2011. - C. 86-88.
11. Sokolov S.M., Boguslavsky A.A. Intellectual Images Processing for a Realtime Recognition Problem. // Proc. The 2nd Intern. Multi-Conf. on Complexity, Informatics and Cybernetics IMCIC 2011), Orlando, Florida, USA, March 27th-30th, 2011, Orlando, Florida, USA. - Vol. II. - P. 406-411.
. . ., . . .
Соколов Сергей Михайлович - Институт прикладной математики им. МБ. Келдыша РАН; e-mail: [email protected]; 125047, г. Москва, Миусская пл., д. 4; тел.: +74992507994; ведущий научный сотрудник; д.ф-м.н.; профессор.
- e-mail: [email protected]; -
ник; д.ф.-м.н.; доцент.
Трифонов Олег Всеволодович - e-mail: [email protected]; старший научный сотрудник; к.т.н. Васильев Антон Игоревич - e-mail: [email protected]; аспирант.
Sokolov Sergey Mikhailovich - Keldysh Institute of applied mathematics of Russian Academy of Sciences; e-mail: [email protected]; 4, Miusskaya Sq. Moscow, 125047, Russia; phone: +74992507994; leading scientist; dr. of phis.-math. sc.; professor.
Boguslavskii Andrey Alexandrovich - e-mail: [email protected]; senior scientist; dr. of phis.-math. sc.; associate professor.
Trifonov Oleg Vsevolodovich - e-mail: [email protected]; senior scientist; cand. of eng. sc.
Vasilyev Anton Igorevich - e-mail: [email protected]; postgraduate student.
УДК 004.42: 004.932
Б.А. Алпатов, П.В. Бабаян, Ю.С. Коблов, В.С. Муравьев,
В.В. Стротов, А.Б. Фельдман
АВТОМАТИЗАЦИЯ РАЗРАБОТКИ И ИССЛЕДОВАНИЯ АЛГОРИТМОВ МАШИННОГО ЗРЕНИЯ ДЛЯ НАВИГАЦИИ БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ НА БАЗЕ СПЕЦИАЛИЗИРОВАННОГО ПРОГРАММНОГО КОМПЛЕКСА*
Рассматривается разработанный авторами программный комплекс «Навигация», предназначенный для автоматизации научных исследований по разработке алгоритмов машинного зрения для навигации беспилотных летательных аппаратов (БПЛЛ). Комплекс обеспечивает имитационное моделирование видеосъемки с борта БПЛА, реализует технологию подготовки полетных заданий и ряд алгоритмов определения местоположения и
*
Работа выполнена при поддержке Министерства образования и науки РФ, государственный контракт № 07.514.11.4034.
