Научная статья на тему 'Унифицированная компоновка комплексных интеллектуальных систем информационного обеспечения автопилотов мобильных средств'

Унифицированная компоновка комплексных интеллектуальных систем информационного обеспечения автопилотов мобильных средств Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
461
65
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
АВТОНОМНЫЕ ТРАНСПОРТНЫЕ СРЕДСТВА / СИСТЕМЫ ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ / СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ РЕАЛЬНОГО ВРЕМЕНИ / КОНФИГУРАЦИОННОЕ ПРОСТРАНСТВО / ПРОГРАММНЫЙ КАРКАС / ИНТЕРПРЕТИРУЮЩАЯ НАВИГАЦИЯ / AUTONOMOUS VEHICLES / INFORMATION SUPPORT SYSTEM / REAL TIME VISION SYSTEM / SOFTWARE PATTERN / INTERPRETING NAVIGATION / CONFIGURATION SPACE

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Соколов Сергей Михайлович, Богуславский Андрей Александрович

В работе анализируется процесс разработки и компоновки систем информационного обеспечения мобильных средств с повышенной степенью автономности и полностью автономных. Рассматриваются современные тенденции в создании подобных систем, приводятся примеры из мирового и отечественного опыта разработки. Для повышения эффективности процессов создания интеллектуальных автопилотов мобильных средств предлагается ввести в рассмотрение пространство конфигураций подобных систем. Осями пространства являются: аппаратные средства, модели среды функционирования и алгоритмическое обеспечение. Точками этого пространства являются «точки сборки» конкретных прикладных систем информационного обеспечения в составе систем управления мобильными средствами. Конфигурационное пространство позволяет конструктивно разложить процесс создания систем информационного обеспечения на составляющие, качественно и количественно с помощью матриц соответствия оценивать возможные варианты компоновки конкретной системы. Даются рекомендации и предлагаются решения по компонентам по каждой из осей конфигурационного пространства. Закладываются основы формирования «куба согласования» программно-аппаратных компоновок систем информационного обеспечения в составе интеллектуальных систем управления мобильными средствами. В подходах к повышению эффективности, как самого процесса создания, так и результирующих систем акценты делаются на использование в качестве основы информационных систем многофункциональных систем технического зрения реального времени и программно-аппаратной унификации предлагаемых решений. По аппаратным составляющим подробно разбираются компоновки систем технического зрения реального времени. Построение моделей представления внешнего мира предлагается основывать на концепции интерпретирующей навигации. В алгоритмическом обеспечении объединение разно уровневых алгоритмов обработки предлагается реализовывать на основе крупномасштабных каркасов и унификации программных реализаций. Приводятся примеры авторского использования описанных подходов и решений.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Соколов Сергей Михайлович, Богуславский Андрей Александрович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

THE UNIFIED CONFIGURATION OF COMPLEX INTELLECTUAL INFORMATION SUPPORT SYSTEMS OF MOBILE MEANS AUTOPILOTS

In work process of working out and configuration of mobile means information support systems with the raised degree of autonomy and completely autonomous is analyzed. Modern lines in creation of similar systems are considered, examples from world and domestic experience of working out are resulted. For increase of efficiency of creation of mobile means intellectual autopilots processes it is offered to enter similar systems configurations space into consideration. Space axes are: hardware/sensor, functioning environment models and algorithmic maintenance. Points of this space are «assemblage points» concrete applied systems of information support as a part of control systems of mobile means. The configuration space allows spreading out structurally process of information support systems creation to components, qualitatively and quantitatively by means of conformity matrixes to estimate possible variants of concrete system configuration. Recommendations are made and decisions on components on each configuration space axes are offered. Formation bases of "a coordination cube» hardware-software information support systems configurations as a part of intellectual control systems of mobile means are put. In approaches to efficiency increase, both the process of creation, and resultants of systems accents become on use as the information systems basis of multipurpose real time vision system and hardware-software unification of offered decisions. On hardware components configurations a real time vision system in detail understand. Construction of models of an external world representation is offered to be based on the interpreting navigation concept. In algorithmic maintenance association differently levels processing algorithms is offered to be realized on the basis of large-scale patterns and unification of program realizations. Examples of author's use of the described approaches and decisions are resulted.

Текст научной работы на тему «Унифицированная компоновка комплексных интеллектуальных систем информационного обеспечения автопилотов мобильных средств»

УДК 681.518.3: 629.058: 629.053

С.М. Соколов, А. А. Богуславский

УНИФИЦИРОВАННАЯ КОМПОНОВКА КОМПЛЕКСНЫХ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ АВТОПИЛОТОВ МОБИЛЬНЫХ СРЕДСТВ*

В работе анализируется процесс разработки и компоновки систем информационного обеспечения мобильных средств с повышенной степенью автономности и полностью автономных. Рассматриваются современные тенденции в создании подобных систем, приводятся примеры из мирового и отечественного опыта разработки. Для повышения эффективности процессов создания интеллектуальных автопилотов мобильных средств предлагается ввести в рассмотрение пространство конфигураций подобных систем. Осями пространства являются: аппаратные средства, модели среды функционирования и алгоритмическое обеспечение. Точками этого пространства являются «точки сборки» конкретных прикладных систем информационного обеспечения в составе систем управления мобильными средствами. Конфигурационное пространство позволяет конструктивно разложить процесс создания систем информационного обеспечения на составляющие, качественно и количественно с помощью матриц соответствия оценивать возможные варианты компоновки конкретной системы. Даются рекомендации и предлагаются решения по компонентам по каждой из осей конфигурационного пространства. Закладываются основы формирования «куба согласования» программно-аппаратных компоновок систем информационного обеспечения в составе интеллектуальных систем управления мобильными средствами. В подходах к повышению эффективности, как самого процесса создания, так и результирующих систем акценты делаются на использование в качестве основы информационных систем многофункциональных систем технического зрения реального времени и программно-аппаратной унификации предлагаемых решений. По аппаратным составляющим подробно разбираются компоновки систем технического зрения реального времени. Построение моделей представления внешнего мира предлагается основывать на концепции интерпретирующей навигации. В алгоритмическом обеспечении объединение разно уровневых алгоритмов обработки предлагается реализовывать на основе крупномасштабных каркасов и унификации программных реализаций. Приводятся примеры авторского использования описанных подходов и решений.

Автономные транспортные средства; системы информационного обеспечения; системы технического зрения реального времени; конфигурационное пространство; программный каркас; интерпретирующая навигация.

S.M. Sokolov, A.A. Boguslavsky

THE UNIFIED CONFIGURATION OF COMPLEX INTELLECTUAL INFORMATION SUPPORT SYSTEMS OF MOBILE MEANS AUTOPILOTS

In work process of working out and configuration of mobile means information support systems with the raised degree of autonomy and completely autonomous is analyzed. Modern lines in creation of similar systems are considered, examples from world and domestic experience of working out are resulted. For increase of efficiency of creation of mobile means intellectual autopilots processes it is offered to enter similar systems configurations space into consideration. Space axes are: hardware/sensor, functioning environment models and algorithmic maintenance. Points of this space are «assemblage points» concrete applied systems of information support as a part of control systems of mobile means. The configuration space allows spreading out structurally process of information support systems creation to components, qualitatively and quantitatively by means of conformity matrixes to estimate possible variants of concrete system configuration. Recommendations are made and decisions on components on each configuration space axes are offered. Formation

* Работа выполнена при частичной поддержке РФФИ (гранты: № 15-08-06431, № 16-08-01282).

bases of "a coordination cube» hardware-software information support .systems configurations as a part of intellectual control systems of mobile means are put. In approaches to efficiency increase, both the process of creation, and resultants of systems accents become on use as the information systems basis of multipurpose real time vision system and hardware-software unification of offered decisions. On hardware components configurations a real time vision system in detail understand. Construction of models of an external world representation is offered to be based on the interpreting navigation concept. In algorithmic maintenance association differently levels processing algorithms is offered to be realized on the basis of large-scale patterns and unification of program realizations. Examples of author's use of the described approaches and decisions are resulted.

Autonomous vehicles; information support system; real time vision system; software pattern; interpreting navigation; configuration space.

Введение. Особенностью робототехники является комплексность, объединение достижений различных областей знания. Замена человека в его активностях в окружающем мире требует обеспечения восприятия этого мира и умения целенаправленно перемещаться в нём. Информационное обеспечение является важнейшей частью мобильных и практически главной частью автономных роботов. Ещё одной особенностью робототехники на современном этапе является переход из ряда чисто научных дисциплин и узкоспециальных сфер применения в разряд всё более востребованного средства решения широкого круга задач человеческой деятельности, включая задачи оборонного ведомства. Этот переход требует рассмотрения технологических и экономических аспектов создания робототехнических систем (РТС). На первый план выходят вопросы надёжности и экономической целесообразности создаваемых систем. Можно выделить два основных направления построения подобных систем. Первое (на наш взгляд доминирующее): развитие/обеспечение необходимой транспортной инфраструктуры, в которой происходит движение автономных/автоматических устройств. Второе направление - интеллектуализация автопилотов. Основной отличительной чертой этого направления является стремление преодолеть недостатки инфраструктуры или сложности внешних условий за счёт наращивания возможностей бортового анализатора.

К настоящему времени известно несколько проектов создания мобильных роботизированных систем с повышенной степенью автономности. После проведения соревнований по целенаправленным перемещениям автономных наземных транспортных средств под эгидой американского агентства передовых оборонных исследовательских проектов Пентагона DARPA (Defense Advanced Research Projects Agency) [1, 2] активизировались работы по созданию коммерческих версий подобных систем. Известная корпорация Google c 2010 года ведёт работы по проекту «самоуправляемого» легкового автомобиля [3, 4]. Американская автомобильная компания Oshkosh Truck Corporation разработала на базе тяжелого тягача транспортную машину-робота [5]. Прототип этого автомобиля участвовал в гонках DARPA 2004 и 2005 годов. Американская автомобильная компания Форд продемонстрировала автономный Ford на снегу - автовождение в сложных условиях наблюдения (на полигоне в Мичигане) [6]. Корейская компания Нисан на базе стандартного электромобиля Nissan Leaf разрабатывает автономный автомобиль, который дооснащён 12 видеокамерами, 5 радарами, 4 лидарами, несколькими вычислителями и проходит полигонные испытания [7]. Российская компания Cognitive Technologies в сентябре 2015 г. сообщила об испытаниях автономного Камаза на полигоне в Набережных Челнах (сообщение пресс-службы Cognitive Technologies), в октябре 2015 года появились сообщения об испытаниях беспилотного КАМАЗа на полигоне в Ногинске [8].

В качестве примеров одних из наиболее интересных, некоммерческих проектов автономных мобильных средств можно указать на два американских проекта, имеющих более чем десятилетнюю историю. Программа американского космического агентства NASA создания и использования марсоходов (1997 - по н.вр) [9]. Програм-

ма американского агентства DARPA создания беспилотных летательных аппаратов, в частности, проект X47B [10]. В научных публикациях много работ с описанием лабораторных макетов мобильных роботов с повышенной степенью автономности.

Решение задач информационного обеспечения интеллектуальных мобильных РТК требует объединения научно-технических достижений таких областей как сенсорика, вычислительная техника, механика, прикладная математика, теория управления, искусственный интеллект и ряд других. О сложности задач, которые стоят перед разработчиками подобных систем говорят и те ресурсы и время, которые выделяются разработчиками на достижение поставленных целей. Полная стоимость проекта NASA и Jet Propulsion Lab по созданию марсохода Curiosity Rover 2012 оценивается в 2,5 миллиарда американских долларов. Такие мощные компании как Google и Ford, имея за плечами более чем десятилетний опыт исследований, объединяют усилия по созданию автопилотируемого автомобиля [11]. Отечественная программа создания беспилотного транспорта оценивается в 300 миллиардов рублей. Росавтодор уже тратит ежегодно 4 миллиардов руб. на дорожную разметку для беспилотников [12].

Чтобы сориентироваться в многоразмерном пространстве проблем при решении конкретных практических задач интеллектуальной мобильной робототехники и наметить пути формирования технологий разработки, предлагаем структурировать многообразие составных частей систем информационного обеспечения (СИО) в составе систем управления такими системами и вести рассмотрение в конфигурационном пространстве. Каждая из осей этого пространства представляет собой множество возможных решений/компоновок соответствующих элементов. По одной - сенсоры, по другой - модели представления среды, по третьей - алгоритмы обработки информации. В условном кубе этого пространства могут строиться матрицы согласования - что с чем может работать. В этом же пространстве возможен выбор альтернативных путей сбора и обработки информации для интеллектуального управления целенаправленными перемещениями мобильных роботов (рис. 1).

Рис. 1. Конфигурационное пространство интеллектуальных систем информационного обеспечения мобильных средств

1 - набор аппаратных средств с фиксированными техническими характеристиками; 2 - база данных структурных/количественных описаний среды функционирования; 3 - набор алгоритмов решения целевой задачи. Отдельные координаты - в свою очередь являются точками в пространстве соответствующего научно-технического направления

Рассмотрение единиц измерения - качественных оценок компонент СИО мобильных средств по осям конфигурационного пространства проведём по одной схеме: перспективные тенденции и требования к соответствующим элементам; возможные пути их удовлетворения; примеры реализации (отдельные отсчёты по осям рассматриваемого пространства). В рассмотрении будем уделять специальное внимание унификации программно-аппаратных компонент как важному средству обеспечения надёжности и экономической целесообразности предлагаемых решений.

1. Аппаратное, сенсорное обеспечен бортовых СИО. Общий перечень средств сенсорного обеспечения систем управления автономных мобильных объектов в настоящее время достаточно чётко очерчен. Кратко его можно охарактеризовать так. Традиционные (активно используемые в серийно выпускаемых транспортных средствах) датчики внутреннего состояния систем мобильного средства плюс датчики внешней обстановки и расположения транспортного средства в ней. Для наземных транспортных средств такими датчиками являются радары (как правило, лидары), гироскопы, акселерометры, спутниковые навигационные системы и видеокамеры видимого и инфракрасного диапазона. Именно эта составляющая системы информационного обеспечения наземных беспилотных транспортных средств представляет основной интерес нашего рассмотрения. Для беспилотников в других средах (воздушных, подводных) этот состав несколько изменяется с учётом свойств среды (например, ультразвуковые датчики и гидролокаторы бокового обзора для подводных аппаратов, радиолокационные станции с фазированной решёткой, радио и барометрические высотомеры для летательных аппаратов), но не изменяет общесистемную программно-аппаратную архитектуру СИО интеллектуальных систем управления. Заметим, что характеристики используемых сенсоров тесно связаны с требованиями к мощностям бортовых вычислителей, обеспечивающих сбор и обработку соответствующих данных.

Анализ современного состояния разработок в области систем информационного обеспечения мобильных средств [1-12] позволяет выделить такие тенденции в комплектации мобильных средств сенсорными системами. На передний план выходят проблемы комплексирования:

♦ всех сенсорных систем;

♦ сенсорных систем различных диапазонов лучистой энергии;

♦ 2D и 3D данных.

Возрастание роли зрительных данных. Системы технического зрения (СТЗ) видимого, тепловизионного, радиолокационных диапазонов в комплексе или по отдельности становятся необходимой составляющей интеллектуальных автопилотов.

Остановимся более подробно на требованиях к самому распространённому виду СТЗ - СТЗ видимого диапазона. Как и для других бортовых сенсорных систем, на СТЗ распространяются требования по:

♦ массово/габаритным характеристикам;

♦ энергопотреблению;

♦ предоставлению данных в масштабе реального времени, определяемого перемещениями и другими действиями, выполняемыми мобильным средством;

♦ экономическая целесообразность.

Помимо этих, общих требований, следует указать на такие особенности видеокамер в составе СТЗ современных мобильных средств, как:

♦ повышение разрешающей способности (от 2 Мб и выше);

♦ произвольный доступ к элементам растра;

♦ выходной сигнал в унифицированный канал;

♦ чувствительность/динамический диапазон;

♦ автоматическое диафрагмирование;

♦ внешняя синхронизация;

♦ увеличение количества полей зрения (до нескольких стереопар);

♦ объединение/синтезирование данных различных диапазонов;

♦ комплексирование результатов обработки зрительных данных с данными других бортовых информационных систем и дальнометрическими данными.

Для обеспечения требований к аппаратным/сенсорным средствам при компоновке СИО мобильных средств активно используется средствам COTS технология - метод известный, хорошо зарекомендовавший себя при компоновке новых высокотехнологичных сложных систем. В сенсорном обеспечении в качестве средств сбора информации о внешней среде в масштабе реального времени хорошо зарекомендовали себя 3-х мерные датчики избирательного осмотра, в сочетании со зрительными данными о тех же областях пространства. В качестве примеров подобных решений можно указать, как получившие широкую известность устройства Lidar (для внешних out door применений), Kinect (для применения внутри помещений in door) и им подобные аналоги, так и авторские разработки систем технического зрения с управляемым структурированным подсветом на основе сферических двигателей прямого управления [13].

Требования к вычислительные ресурсам в составе СИО интеллектуальных мобильных средств тесно связанны с алгоритмическим обеспечением и будут рассмотрены во 3 разделе.

Универсальные ЭВМ на основе IBM PC совместимой архитектуре являются основой интеграции модульных решений (рис. 2). Мы предлагаем вычислительно-управляющую часть СТЗ реального времени (РВ) брать за основу компоновки вычислительной части системы информационного обеспечения интеллектульных систем управления. В следующих частях будут приведены примеры успешного применения такого подхода.

2. Алгоритмическое обеспечение СИО. Во множестве алгоритмов систем информационного обеспечения часто рассматривается структура из трёх уровней. Приведём эту структуру на примере алгоритмов систем технического зрения.

♦ Нижний уровень.

♦ Алгоритмы, обеспечивающие работу по сбору и обработке элементов растра, вычисление первичных признаков изображения.

♦ Средний уровень.

♦ Формирование полей характеристик из первичных признаков; описание объектов на изображении без использования особенностей решаемой целевой задачи.

♦ Верхний уровень.

♦ Распознавание объектов, информационное обеспечение целевой задачи автономного средства.

Мы будем придерживаться указанной классификации. При рассмотрении основных проблем технического зрения в современных интеллектуальных автопилотах и определении основных требований к ним, выделены наиболее специфические группы алгоритмов обнаружения и идентификации объектов на изображениях. В качестве критериев качества этих алгоритмов предлагается рассматривать робастность, локализация и вычислительная реализуемость, в частности, с такой характеристикой, как количество операций на точку обрабатываемого изображения. Эффективность выполнения этих требований зависит от выбранной технологии получения и первичной обработки входной информации о наблюдаемом

предметном пространстве, применяемых конструктивных решений и алгоритмов преобразования информации отображающей наблюдаемое предметное пространство. Все это в совокупности и определяет основные характеристики системы, такие как - инерционность, достоверность распознавания, точность выполняемых действий и техническая реализуемость.

Намечены пути удовлетворения требований к алгоритмическому обеспечению интеллектуальных мобильных средств.

♦ Рациональный отбор данных.

♦ Отбор эффективных алгоритмов обработки (АО) (кол-во операций на единицу данных/пикселов).

♦ Аппаратная реализация АО.

♦ Комплексирование СИО.

♦ Унификация решений.

Указанные пути отражаются в программно-аппаратной архитектуре. В частности, для реализации алгоритмов нижнего и среднего уровней активно используются такие аппаратные средства как:

♦ Многоядерность универсальных процессоров.

♦ GPU.

♦ Другие спецвидеопроцессоры.

♦ ПЛИС.

♦ Комбинации вышеназванного.

На рис. 4, 5 приведены примеры аппаратных решений на основе спецвидеопроцессора и различных комбинаций ПЛИС, цифрового сигнального процессора и внешней памяти.

» Video Input Interfaces: Up to 4ch

Рис. 4. Пример схемы спецвидеопроцессора

з

Рис. 5. Три варианта компоновок аппаратного средства реализации алгоритмов обработки изображений на основе комбинации ПЛИС, цифрового сигнального процессора и внешней памяти

Как показывает анализ имеющихся публикаций и материалов конференций, ряд задач компьютерного зрения, доведенных до стадии технологических решений.

♦ SLAM - технология одновременной реконструкции 3D сцены и оценки положения/параметров движения камеры.

♦ Привязка облаков точек к заданным 3D моделям.

♦ Распознавание характерных элементов городской среды для привязки видеоданных к карте.

♦ Выделение и прослеживание движущихся объектов.

♦ Использование правил анализа динамической сцены для генерации событий и сообщений в системах видеонаблюдения.

♦ Системы автоматического анализа специализированных видеоданных (например, некоторых типов спортивных игр).

♦ Выделение изменений в сцене.

♦ Обнаружение людей (пешеходов).

♦ Обнаружение и распознавание лиц.

♦ Поиск по сходству в коллекциях изображений.

♦ Общие успехи в распознавании визуальных образов (Deep Learning). Приведём примеры успешной реализации в практических задачах ряда алгоритмов информационного обеспечения мобильных средств.

Разработка: NASA и Jet Propulsion Lab

Назначение СТЗ: построение 3D-карты местности, навигация, обнаружение препятствий, одометрия.

Характерная скорость движения: 1 см/с

Стоимость разработки СТЗ:

600000$ + 1000000$ на разработку ПО и отладку

Полная стоимость проекта: 650 млн. $ за 2 ровера (Spirit и Opportunity) и посадочные аппараты.

(Источник: Univ. of Regina, Campion's Brag, Vol. 9, 2003)

Питание: солнечная батарея + литий-ионный аккумулятор Компьютер: процессор Power PC 20 МГц, 128 Мб RAM, 256 MB флэш-память.

3 стереопары:

1) впередсмотрящая под солнечной батареей (поле зрения 126 градусов, база 10 см),

2) назадсмотрящая под солнечной батарей (характеристики как у 1)

3) обзорная на мачте (45 градусов, база 20 см)

Камеры: 1024х1024 пиксела, ПЗС, 12-битные черно-белые изображения (Источник: Larry M. et al. Computer Vision on Mars (ICCV, 2007))

Разработка: NASA и Jet Propulsion Lab Размеры (Д/Ш/В): 3/2,7/2,2 м Вес: 900 кг

Назначение СТЗ: построение 3D-карты местности, навигация, обнаружение препятствий, одометрия (в целом аналогично MER 2003, но камеры цветные и в большем количестве). (17 камер) Скорость движения: до 4 см/с Полная стоимость проекта: 2,5 млрд. $

Northrop Grumman БЛА X-47B - взлет/посадка на авианосец

февраль 2011 г. - первый полет май 2013 г. - взлет с палубы авианосца июль 2013 г. - посадка на авианосец

БЛА X-47B - совместный полет с пилотируемым самолетом БЛА - дозаправка в воздухе

Предлагаемая реализация алгоритмического обеспечения

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Отличительные черты предлагаемого подхода к построению ПО для информационного обеспечения беспилотных мобильных средств.

♦ Программная архитектура ПО, обеспечивающая возможности кросс-платформенной разработки на базе универсальных ПК и быстрый перенос на специальные вычислительные платформы за счет разделения ПО на набор взаимодействующих параллельных подсистем.

♦ Специализация оригинального программного каркаса систем компьютерного зрения посредством расширения в рамках разработанной архитектуры ПО для взаимодействия с внешними подсистемами беспилотных средств.

♦ Расширяемая подсистема обработки зрительных данных от нескольких полей зрения, обеспечивающая обработку в реальном времени видеопоследовательностей от зрительных датчиков высокого разрешения (не менее 2 МПикс).

♦ Использование повторно используемых компонентов для обработки зрительных данных для прототипирования разрабатываемого ПО.

♦ Реализация специальных отладочных средств для обеспечения воспроизводимости функционирования ПО на этапе разработки и опытной эксплуатации.

Непосредственных аналогов для программного обеспечения в виде функционального каркаса и набора типовых модулей для беспилотных и полуавтоматических ТС и ЛА не имеется.

Известные решения из смежных предметных областей:

♦ Библиотеки функций, реализующие известные алгоритмы обработки изображений и компьютерного зрения (OpenCV, LeadTools, HALCON). Не содержат готовых приложений и реализаций архитектур прикладного уровня.

♦ Среды быстрой разработки приложений для обработки изображений (Matrox Assistant, National Instruments LabVIEW). Ориентированы на задачи промышленной автоматизации и использование закрытой программно-аппаратной платформы. Недоступны на уровне исходной тексты и не позволяют управлять порядком функционирования приложения в режиме реального времени.

♦ Средства макетирования алгоритмов (пакеты расширения MATLAB). Предназначены для отладки отдельных алгоритмов, требующих переноса или повторной реализации для использования в целевом приложении.

Приведённые средства хороши на этапе самых первых исследований, но при переходе к технологиям реализации от этих исследований к бортовым средствам оказывается большое расстояние, содержащие, за частую, плохо преодолимые препятствия в виде требований масштаба реального времени и согласованности всех частей.

По сравнению со всеми перечисленными решениями, предлагаемая программная система упрощает проектирование и внедрение информационных систем на основе обработки зрительной информации за счет использования отработанных программных компонентов и расширяемой программной модели.

3. Представление внешнего мира в системе информационного обеспечения автопилотов. Проблема описания внешнего мира в компьютерном представлении не нова и есть ряд подходов к её решению. Использование модели внешнего мира в бортовом вычислителе подвижного средства накладывает дополнительные ограничения, как на доступные вычислительные мощности, так и на масштаб реального времени, в котором требуется оперировать с этой моделью.

В наших исследованиях мы уделяем основное внимание интеллектуализации автопилотов на основе развития и объединения моделей внешней среды в системе информационного обеспечения (СИО). За основу СИО, как уже было сказано, берём систему компьютерного зрения реального времени.

Методы решения задач представления окружающего пространства и решения в нём навигационной задачи

СУМР

Оператор

тнс

Схема «навигационный крест». Здесь ГРНС - глобальная радионавигационная спутниковая система; ТНС - традиционная навигационная система, включающая в себя процессы счисления пути и подкорректировки по ориентирам; ИН - интерпретирующая навигация.

Представление об Окружающем Пространстве + Навигационная Задача

Комплектование данных (отнесение к

одному физическому объекту)

Г Архитектура

(компоновка/ комплекси-рование) модулей СУ

Г

СУ МР

Локальные манёвры Локализация + построение локальной модели среды (проходимость, безопасность) Планирование/ выбор пути

Решение навигационной задачи

интерфейс

оператор

Отображение образов объектов ОП

Всё должно исполняться на бортовых

вычислительных средствах (аппаратура + ПО) в реальном времени

Технология программирования

ООП

- Компонентный подход;

- Шаблоны ПО АИС

Разработка циклов реального времени Проектирование и реализация высокоуровневых алгоритмов обработки данных

В качестве основы построения модели внешнего мира при решении навигационных задач используем концепцию интерпретирующей навигации, которую развиваем с 80-х годов прошлого века. Основу этой концепции составляют следующие положения.

В качестве представления знаний о внешнем мире используется не количественная модель в абсолютной системе координат, а качественная модель в виде последовательности связных районов с одинаковым информационно-визуальным содержанием. Модель оформляется в виде графа информационной эквивалентности (ГИЭ).

Такое представление служит дополнением и развитием подходов SLAM в обеспечении целенаправленных перемещений мобильных средств в слабо структурированных, незнакомых средах.

Организация модели внешнего мира в виде ГИЭ экономична по отношению к вычислительным мощностям и позволяет унифицировать уровень планирования движения вне зависимости от реализации уровня выделения ориентиров в окружающем пространстве.

Язык управления движением в режиме телепрограммирования на основе интерпретирующей навигации более естественен для общения оператора с беспилотным транспортным средством, поскольку использует "общепринятую" логику объяснения пути на основе динамики изменения в процессе движения по этому пути видимых описаний среды на основе ориентиров.

Заключение. Предложенная методика компоновки систем информационного обеспечения мобильных средств на основе систем технического зрения реального времени на примере решения ряда задач показала свою плодотворность и продолжает развиваться. В настоящее время разрабатывается компоновка СИО для автопилота полностью беспилотного летательного аппарата (не телеуправляемого оператором с земли), автопилота для внутри цеховых и складских транспортных и погрузочных роботов, способных функционировать в заранее не доопределённой, динамической среде.

Вместе с тем, большой круг вопросов ещё требует своего разрешения. Это и построение более чётких метрик по осям предложенного конфигурационного пространства и построение матриц соответствия компонент систем информационного обеспечения и ряд других. На этом пути необходимо объединение усилий многих коллективов. Наметившаяся тенденция к формированию целевых программ робототехники вселяет оптимизм в дальнейшем развитии указанного направления.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. BuehlerM. et al. The 2005 DARPA Grand Challenge. Springer, 2007.

2. BuehlerM. et al. The DARPA Urban Challenge. Springer, 2009.

3. Сайт проекта «самоуправляемый» автомобиль (self-driving car). Режим доступа: https://www.google.com/selfdrivingcar.

4. John Markoff (October 9, 2010). "Google Cars Drive Themselves, in Traffic". The New York Times. Retrieved October 11, 2010.

5. Сообщение агентства Defence Talk. Режим доступа: https://lenta.ru/news/2006/01/26/ oshkosh.

6. Ford первым тестирует автономные автомобили в условиях снега. Раздел «новости» официального сайта компании Ford Motor Company. Режим доступа: http://www.ford.ru/AboutFord/News/Vehicle/2016/Vhcl_160113.

7. Максим Кадаков. Пересчитываем камеры самоуправляемого Nissan Leaf. За рулём. РФ. Режим доступа: http://www.zr.ru/content/articles/839794-derzhim-ruki-u-rulya-samoupravlyaemogo-nissan-leaf.

8. Беспилотный камаз готов к испытаниям. Раздел «новости» официального сайта компании КАМАЗ. Режим доступа: http://www.kamaz.ru/press/releases/bespilotnyy_kamaz_uzhe_ na_doroge.

9. ElleryA. Rover vision - fundamentals / Planetary Rovers, Springer, 2016.

10. США завершили палубные испытания беспилотника X-47B. Новостное агентство lenta.ru. Режим доступа: http://lenta.ru/news/2012/12/20/x47b/.

11. Компании Ford и Google объединят усилия по автономным машинам. Automotive News. Режим доступа: https://www.drive.ru/news/ford/567936dc95a65602f50000c2.html.

12. Анатолий Ализар. Беспилотные «Камазы» выезжают на дороги общего назначения. Geektimes. Режим доступа: https://geektimes.ru/post/264602/.

13. Краснобаев А.А. Обзор алгоритмов детектирования пр.остых элементов изображения и анализ возможности их аппаратной реализации // Препринт ИПМ им. М.В. Келдыша РАН.

- 2005. - № 114. - 20 с. - URL: http://keldysh.ru/papers/2005/prep114/prep2005_114.html.

14. Vasilyev A.I., Boguslavskiy A.A., Sokolov S.M. Parallel SIFT-detector implementation for images matching // Proc. of the 21st Conference on Computer Graphics and Vision, GraphiCon' 2011, September 26-30, 2011, Moscow. - P. 173-176.

15. Boguslavsky A.A., Sokolov S.M., Sazonov V. V. Computer Vision for Control and Research // of Mechanical Systems. Proc. of 8th Mechatronics Forum International Conference, University of Twente, Netherlands, June 24-26, 2002. - P. 1096-1105.

16. Boguslavsky A.A., Sokolov S.M., Trifonov O.V., Yaroshevsky V.S. Intellectual information system for mobile robot control // Proc. of the Intern. Conf. SCI2002, July 14-18, Orlando, Florida, USA, 2002.

17. Boguslavsky A.A., Sokolov S.M. Component Approach to the Applied Visual System Software Development // 7th World Multiconference on Systemics, Cybernetics and Informatics (SCI 2003), July 27-30, Orlando, Florida, USA, 2003.

18. Laplante P. Software engineering for image processing systems. CRC Press, 2004.

19. Wagner M. et al. Principles of Computer System Design for Stereo Perception // Carnegie-Mellon University Technical Report, CMU-RI-TR-02-01, 2002.

20. Scaramuzza D., Fraundorfer F. Visual Odometry. Part I // IEEE Robotics and Automation Magazine, December 2011. - P. 80-92.

21. Scaramuzza D., Fraundorfer F. Visual Odometry. Part II // IEEE Robotics and Automation Magazine, June 2012. - P. 78-90.

22. Rankin A. et al. Unmanned ground vehicle perception using thermal infrared cameras // Proc. SPIE Unmanned Systems Technology XIII, 2011(SPIE, 2011).

23. Sokolov S.M., Boguslavsky A.A. Intellectual Images Processing for a Realtime Recognition Problem // Proc. The 2nd Intern. Multi-Conf. on Complexity, Informatics and Cybernetics (IMCIC2011), Orlando, Florida, USA, March 27th-30th, 2011, Orlando, Florida, USA. - 2011.

- Vol. II. - P. 406-411.

24. Sokolov S.M., Boguslavsky A.A., Sazonov V.V., Triphonov O.V. On-board navigation based on accelerometers and vision system // Proc. of the 14th Mechatronics Forum International Conference (Mechatronics 2014), Karlstad University, Sweden, June 16-18, 2014. - P. 175-181.

25. Sokolov S.M., Boguslavsky A.A. , Vasilyev A.I., Trifonov O.V. Development of software and hardware of entry-level vision systems for navigation tasks and measuring. // Advances in Intelligent Systems and Computing (Springer). - 2013. - Vol. 208 AISC. - P. 463-476.

26. Sokolov S.M., Boguslavsky A.A., Platonov A.K., Kiy K.I., Gorelik L.I., Filachev А.М., Fumin A.I. An IR Channel-Based Automated Driver Assistance System // Proc. 12th Intern. Conf on Systemics, Cybernetics and Informatics (WMSCI 2008), Orlando, Florida, USA, June 29-July 2. - 2008. - Vol. III. - P. 368-373.

27. Sokolov S.M., Boguslavsky A.A., Kuftin F.A. Vision System for Relative Motion Estimation from Optical Flow. Proc. 13th Intern. Conf on Systemics, Cybernetics and Informatics (WMSCI 2009), Orlando, Florida, USA, July 10-13, 2009.

28. Baranov, S.N., Nikiforov V. V. Density of Multi-Task Real-Time Applications // Conference of Open Innovation Association, FRUCT, 2015-June (June). - P. 9-15.

29. Baranov S.N., Telezhkin A.M. Metrics for Software Development // SPIIRAS Proceedings.

- 2014. - Issue 5 (36). - P. 5-27.

30. Shin B.-K., Xu Z., Klette R. Visual lane analysis and higher-order tasks: a concise review // Machine Vision and Applications, April 2014.

31. Hillel A., Lerner R., Levi D., Raz G. Recent progress in road and lane detection: a survey // Machine Vision and Applications, February 2012.

32. Tumofte R., Zimmermann K., Van Gool L. Multi-view traffic sign detection, recognition, and 3D localisation // Machine Vision and Applications. - April 2014. - Vol. 25 (3). - P. 633-647.

33. BakA., Bouchafa S., AubertD. Dynamic objects detection through visual odometry and stereovision: a study of inaccuracy and improvement sources // Machine Vision and Applications.

- April 2014. - Vol. 25 (3). - P. 681-697.

34. Maimone M. et al. Autonomous Navigation Results from the Mars Exploration Rover (MER) Mission // Experimental Robotics IX, STAR 21, Springer-Verlag. - 2006. - P. 3-12.

35. Johnson A. et al. Design Through Operation of an Image-Based Velocity Estimation System for Mars Landing // International Journal of Computer Vision. - 2007. - No. 74 (3). - P. 319-341.

36. Howard T. et al. Enabling Continues Planetary Rover Navigation through FPGA Stereo and Visual Odometry // IEEE Aerospace Conference, Big Sky, Montana, 2012.

37. Matthies L. et al. Computer Vision on Mars // International Journal of Computer Vision. - October 2007. - No. 75 (1). - P. 67-92.

38. ElleryA. Rover vision - fundamentals // Planetary Rovers. Springer, 2016. - P. 199-262.

REFERENCES

1. Buehler M. et al. The 2005 DARPA Grand Challenge. Springer, 2007.

2. BuehlerM. et al. The DARPA Urban Challenge. Springer, 2009.

3. Sayt proekta «samoupravlyaemyy» avtomobil' (self-driving car) [The website of the project "driverless" car (self-driving car)]. Available at: https://www.google.com/selfdrivingcar.

4. John Markoff (October 9, 2010). "Google Cars Drive Themselves, in Traffic". The New York Times. Retrieved October 11, 2010.

5. Soobshchenie agentstva Defence Talk [The Agency Defence Talk]. Available at: https://lenta.ru/news/2006/01/26/ Oshkosh.

6. Ford pervym testiruet avtonomnye avtomobili v usloviyakh snega. Razdel «novosti» ofitsial'nogo sayta kompanii Ford Motor Company [Ford первым тестирует автономные автомобили в условиях снега. Раздел «новости» официального сайта компании Ford Motor Company]. Available at: http://www.ford.ru/AboutFord/News/Vehicle/2016/Vhcl_160113.

7. Maksim Kadakov. Pereschityvaem kamery samoupravlyaemogo Nissan Leaf. Za rulem. RF [Recalculate camera driverless Nissan Leaf. Behind the wheel. Of the Russian Federation]. Available at: http://www.zr.ru/content/articles/839794-derzhim-ruki-u-rulya-samoupravlyaemogo-nissan-leaf7.

8. Bespilotnyy kamaz gotov k ispytaniyam. Razdel «novosti» ofitsial'nogo sayta kompanii KAMAZ [Unmanned KAMAZ is ready for testing. News section of the official website of KAMAZ]. Available at: http://www.kamaz.ru/press/releases/bespilotnyy_kamaz_uzhe_ na_doroge.

9. Ellery A. Rover vision - fundamentals / Planetary Rovers, Springer, 2016.

10. SShA zavershili palubnye ispytaniya bespilotnika X-47B. Novostnoe agentstvo lenta.ru [The U.S. has finished testing the deck drone X-47B. News Agency lenta.ru]. Available at: http://lenta.ru/news/2012/12/20/x47b/.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

11. Kompanii Ford i Google ob"edinyat usiliya po avtonomnym mashinam. Automotive News [Ford and Google will join forces for Autonomous vehicles. Automotive News]. Available at: https://www.drive.ru/news/ford/567936dc95a65602f50000c2.html.

12. Anatoliy Alizar. Bespilotnye «Kamazy» vyezzhayut na dorogi obshchego naznacheniya. Geektimes [Unmanned KAMAZ trucks go on roads of General purpose. Geektimes]. Available at: https://geektimes.ru/post/264602/.

13. KrasnobaevA.A. Obzor algoritmov detektirovaniya pr.ostykh elementov izobrazheniya i analiz vozmozhnosti ikh apparatnoy realizatsii [An overview of detection algorithms etc. chili of image elements and analyze the possibility of their hardware implementation], Preprint IPM im. M.V. Keldysha RAN [Preprint IPM im. M. V. Keldysh Russian Academy of Sciences], 2005, No. 114, 20 p. Available at: http://keldysh.ru/papers/2005/prep114/prep2005_114.html.

14. Vasilyev A.I., Boguslavskiy A.A., Sokolov S.M. Parallel SIFT-detector implementation for images matching, Proc. of the 21st Conference on Computer Graphics and Vision, GraphiCon' 2011, September 26-30, 2011, Moscow, pp. 173-176.

15. BoguslavskyA.A., SokolovS.M., Sazonov V.V. Computer Vision for Control and Research, of Mechanical Systems. Proc. of 8th Mechatronics Forum International Conference, University of Twente, Netherlands, June 24-26, 2002, pp. 1096-1105.

16. Boguslavsky A.A., Sokolov S.M., Trifonov O.V., Yaroshevsky V.S. Intellectual information system for mobile robot control, Proc. of the Intern. Conf. SCI2002, July 14-18, Orlando, Florida, USA, 2002.

17. BoguslavskyA.A., Sokolov S.M. Component Approach to the Applied Visual System Software Development, 7th World Multiconference on Systemics, Cybernetics and Informatics (SCI 2003), July 27-30, Orlando, Florida, USA, 2003.

18. Laplante P. Software engineering for image processing systems. CRC Press, 2004.

19. Wagner M. et al. Principles of Computer System Design for Stereo Perception, Carnegie-Mellon University Technical Report, CMU-RI-TR-02-01, 2002.

20. Scaramuzza D., Fraundorfer F. Visual Odometry. Part I, IEEE Robotics and Automation Magazine, December 2011, pp. 80-92.

21. Scaramuzza D., Fraundorfer F. Visual Odometry. Part II, // IEEE Robotics and Automation Magazine, June 2012, pp. 78-90.

22. Rankin A. et al. Unmanned ground vehicle perception using thermal infrared cameras, Proc. SPIE Unmanned Systems Technology XIII, 2011(SPIE, 2011).

23. Sokolov S.M., Boguslavsky A.A. Intellectual Images Processing for a Realtime Recognition Problem, Proc. The 2nd Intern. Multi-Conf. on Complexity, Informatics and Cybernetics (IMCIC2011), Orlando, Florida, USA, March 27th-30th, 2011, Orlando, Florida, USA, 2011, Vol. II, pp. 406-411.

24. Sokolov S.M., Boguslavsky A.A., Sazonov V.V., Triphonov O.V. On-board navigation based on accelerometers and vision system, Proc. of the 14th Mechatronics Forum International Conference (Mechatronics 2014), Karlstad University, Sweden, June 16-18, 2014, pp. 175-181.

25. Sokolov S.M., Boguslavsky A.A. , Vasilyev A.I., Trifonov O.V. Development of software and hardware of entry-level vision systems for navigation tasks and measuring, Advances in Intelligent Systems and Computing (Springer), 2013, Vol. 208 AISC, pp. 463-476.

26. Sokolov S.M., Boguslavsky A.A., Platonov A.K., Kiy K.I., Gorelik L.I., Filachev А.М., Fumin A.I. An IR Channel-Based Automated Driver Assistance System, Proc. 12th Intern. Conf on Systemics, Cybernetics and Informatics (WMSCI 2008), Orlando, Florida, USA, June 29-July 2. 2008, Vol. III, pp. 368-373.

27. Sokolov S.M., Boguslavsky A.A., Kuftin F.A. Vision System for Relative Motion Estimation from Optical Flow. Proc. 13th Intern. Conf on Systemics, Cybernetics and Informatics (WMSCI 2009), Orlando, Florida, USA, July 10-13, 2009.

28. Baranov, S.N., Nikiforov V.V. Density of Multi-Task Real-Time Applications, Conference of Open Innovation Association, FRUCT, 2015-June (June), pp. 9-15.

29. Baranov S.N., Telezhkin A.M. Metrics for Software Development, SPIIRAS Proceedings, 2014, Issue 5 (36), pp. 5-27.

30. Shin B.-K., Xu Z., Klette R. Visual lane analysis and higher-order tasks: a concise review, Machine Vision and Applications, April 2014.

31. Hillel A., Lerner R., Levi D., Raz G. Recent progress in road and lane detection: a survey, Machine Vision and Applications, February 2012.

32. Tumofte R., Zimmermann K., Van Gool L. Multi-view traffic sign detection, recognition, and 3D localization, Machine Vision and Applications, April 2014, Vol. 25 (3), pp. 633-647.

33. BakA., Bouchafa S., AubertD. Dynamic objects detection through visual odometry and stereovision: a study of inaccuracy and improvement sources, Machine Vision and Applications, April 2014, Vol. 25 (3), pp. 681-697.

34. Maimone M. et al. Autonomous Navigation Results from the Mars Exploration Rover (MER) Mission, Experimental Robotics IX, STAR 21, Springer-Verlag, 2006, pp. 3-12.

35. Johnson A. et al. Design Through Operation of an Image-Based Velocity Estimation System for Mars Landing, International Journal of Computer Vision, 2007, No. 74 (3), pp. 319-341.

36. Howard T. et al. Enabling Continues Planetary Rover Navigation through FPGA Stereo and Visual Odometry, IEEE Aerospace Conference, Big Sky, Montana, 2012.

37. Matthies L. et al. Computer Vision on Mars, International Journal of Computer Vision, October 2007, No. 75 (1), pp. 67-92.

38. Ellery A. Rover vision - fundamentals, Planetary Rovers. Springer, 2016, pp. 199-262.

Статью рекомендовал к опубликованию д.т.н., профессор В.Х. Пшихопов.

Соколов Сергей Михайлович - Институт прикладной математики им. М.В. Келдыша

РАН; e-mail: [email protected]; 143900, Моск. обл,, г. Балашиха, ул. Некрасова, 11, кв. 17;

тел.: +79161220113; д.ф.-м.н.; профессор; зав. сектором.

Богуславский Андрей Александрович - e-mail: [email protected]; 140410, г. Коломна,

Московской обл. ул. Зеленая, 40, кв. 3; тел.: +79167379448; д.ф.-м.н.; в.н.с.

Sokolov Sergey Mikhailovich - Keldysh Institute of Applied Mathematics, Russian Academy of Sciences; e-mail: [email protected]; 143900, Moscow region, Balashikha, Nekrasov street, 11-17, Russia; phone: +79161220113; dr. of phys.-math. sc.; professor; head of division.

Boguslavsky Andrey Alexandrovich - e-mail: [email protected]; 140410, Moscow region, Kolomna, Zekenaya street, 40-3, Russia; phone: +79167379448; dr. of phys.-math. sc.; senior lecturer; leader scientist.

УДК 681.5

Ю.С. Смирнов, Е.В. Юрасова, А.С. Макеева

РАСШИРЕНИЕ ФУНКЦИОНАЛЬНЫХ ВОЗМОЖНОСТЕЙ ПРЕОБРАЗОВАТЕЛЕЙ «УГОЛ-ПАРАМЕТР-КОД» В СВЕТЕ ТЕОРИИ ОТНОСИТЕЛЬНОСТИ

Работа посвящена особенностям построения преобразователей «угол - параметр -код» (УПК). Показано, что традиционная структура, позволяющая формировать из выходных сигналов синусно-косинусного вращающегося трансформатора (СКВТ) только цифровой эквивалент перемещения достаточно проста. Современные зарубежные «Resolver-to-Digital Converter (RDC)» формируют, в отличие от одноканального варианта, цифровой эквивалент скорости. Это упрощает электромеханическую компоненту меха-тронных систем (МС) за счет исключения тахометра, связанного с рабочим механизмом и исполнительным электродвигателем через механическую передачу или непосредственно. В последнем случае традиционное использование тахометра на низких частотах вращения связано с принципиальными трудностями получения достоверной информации о скорости перемещения. Это ограничивает области применения прогрессивного безредукторного электропривода. Представленные построения своим непрерывным совершенствованием обязаны многочисленным применениям СКВТ. Их «долгожительство» определено замечательными свойствами, которые не превзойдены современными датчиками угла, основанными на иных физических принципах. До появления цифровых систем сельсины и СКВТ были наиболее точными и надежными аналоговыми первичными преобразователями углового положения. Созданные на основе этих преобразователей МС удовлетворяют самым высоким стандартам и способны успешно функционировать в широком диапазоне воздействий окружающей среды: температуры, влажности, вибраций и ударов. В силу этого с появлением цифровых систем, естественно, стали предприниматься попытки создания преобразователей с цифровым выходом, в которых базовый первичный преобразователь сохранялся. Развитие этого направление оказалось чрезвычайно успешным: в настоящее время созданы зарубежные и отечественные RDC, соперничающие с цифровыми кодирующими преобразователями в разрешении, точности и динамических показателях. По совокупности требуемых характеристик с ними не могут конкурировать никакие разновидности конвертеров угла.

Сельсины; синусно-косинусные вращающиеся трансформаторы; мехатронные системы; Resolver-to-Digital Converters; сенсоры электромашинные; оптоэлектронные и магнитного поля; энергоинформатика; единое информационное обеспечение.

Yu.S. Smirnov, E.V. Yurasova, A.S. Makeeva

EXTENDING FUNCTIONALITY "ANGLE-PARAMETER-CODE" TRANSDUCERS IN THE CONTEXT OF THE THEORY OF RELATIVITY

The research is devoted to the peculiarities of construction of "angle-parameter-code" transducers. It is shown that the traditional structure to form only a digital equivalent of movement from the output signals of the angle-component solver is rather simple. Modern foreign "Re-solver-to-Digital Converters" (RDC) form, unlike the single-channel analogue, a digital equiva-

i Надоели баннеры? Вы всегда можете отключить рекламу.