15Известия Кабардино-Балкарского научного центра РАН № 3 (89) 2019
ИНФОРМАТИКА. ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА. УПРАВЛЕНИЕ
УДК 004.5
DOI: 10.35330/1991-6639-2019-3-89-15-22
РАЗРАБОТКА ПРОГРАММНОЙ МОДЕЛИ СИСТЕМЫ УПРАВЛЕНИЯ РОБОТОМ-КОМБАЙНОМ1
О.В. НАГОЕВА, М.И. АНЧЕКОВ
Институт информатики и проблем регионального управления -филиал ФГБНУ «Федеральный научный центр «Кабардино-Балкарский научный центр Российской академии наук» 360000, КБР, г. Нальчик, ул. И. Арманд, 37-а E-mail: [email protected]
В статье рассматривается задача разработки программной модели системы управления роботом-комбайном.
Объектом исследования является аппаратно-программный комплекс для сканирования посадок и адаптивного управления роботом-комбайном.
Решение задачи управления базируется на применении распределенной адаптивной обучающейся автоматической системы МУРКА. С целью реализации кроссплатформенности и высоко-производительности разрабатываемого программного обеспечения были использованы библиотеки Qt, Boost, OpenMP, CUDA. Реализация программной имитационный среды основывается на движке Unity 3d и позволяет с высокой степенью детализации моделировать окружающую среду, в которой действует робот и которую он наблюдает посредством стереоскопического (бинокулярного) зрения. Имитационная среда позволяет предобучать системы распознавания, принятия решений и управления, что существенно сокращает стоимость разработки и внедрения программного обеспечения.
Разработанная программная модель позволяет решать задачи постановки миссии, контроля процесса выполнения и оперативной корректировки, взаимодействия с подсистемами высокоуровневого интерфейса, выполнения ситуативного анализа, синтеза плана действий. Приводятся описание модуля диагностики, который предоставляет доступ к сенсорным системам робота, и результаты испытания модуля зрения, который основывается на измерении цвето-температурных характеристик рассеянного огурцами и лиственной массой посадок света.
Ключевые слова: транспортные платформы, робототехнические системы, мультиагентная система, распознавание, адаптивная система управления.
Введение
Проблема повышения эффективности производства плодоовощной и ягодной продукции для обеспечения населения высококачественными и не зараженными вредными веществами продуктами питания из растительного сырья в настоящее время является особенно актуальной.
В отличие от существующей сельскохозяйственной техники [2, 3] массогабаритные характеристики робота-комбайна предусматривают способность не образовывать колеи при перемещении по посадкам, а также не создавать деформирующее воздействие на грунт, не наносить необратимые повреждения посадкам и способность без ущерба для урожайности многократного неповреждающего перемещения по посадкам в течение всего периода сбора урожая.
Соответственно применение робота-комбайна для уборки урожая сочноплодовой продукции обусловливает технологическую и экономическую эффективность прежде всего обеспечением своевременности уборки при исключении вытаптывания посадок.
1 Работа выполнена при поддержке грантов РФФИ №№ 18-01-00658, 19-01-00648
Автоматизацию обнаружения продукции, наведения манипулятора на продукцию, её захват, отделение и транспортировку в контейнер без повреждений обеспечивает адаптивная самообучаемая система управления эффекторами робота-комбайна [2]. Система вырабатывает управляющие команды на исполнительные органы на основе данных многомодальной системы распознавания образов и восстановления модели посадок [5].
Программное обеспечение для управления роботом-комбайном представляет собой распределенную адаптивную обучающуюся автоматическую систему на основе мультиа-гентной рекурсивной когнитивной архитектуры (МУРКА) [2]. Автоматическая система обеспечивает выполнение следующих функций:
- возможность постановки миссии (задачи);
- контроль процесса выполнения и оперативной корректировки с применением высокоуровневого интерфейса на основе графических средств ввода/вывода и ограниченного подмножества естественно-языковых конструкций;
- взаимодействие с подсистемами распознавания речи, распознавания видео, синтеза речи, понимания речи, ориентации и навигации;
- выполнение ситуативного анализа;
- синтез плана действий.
Программное обеспечение представляет собой программный комплекс, интегрирующий в единую программную архитектуру технологии обработки больших объемов данных (BigData) и технологии высокопроизводительных вычислений.
Для хранения информации об агентах используются распределенные документоориен-тированные СУБД.
Программное обеспечение АПК работает на вычислительных системах с многоядерной архитектурой, видеокартой NVIDIA с поддержкой технологии CUDA, объемом ОЗУ 4 Гб и интегрированным сетевым устройством, поддерживающим FastEthernet. Программное обеспечение совместимо с операционными системами Linux и Windows и обеспечивает передачу данных по стандартам IEEE 802.3u/afFastEthernet по сетевому кабелю 100BASETX с разъемами RJ-45.
Программный комплекс, реализованный на языке программирования C++, представляет собой консольное приложение, написанное с использованием следующих библиотек:
- Qt - для организации работы «клиент-серверной» части программного комплекса;
- Boost - для обеспечения сервисных функций;
- OpenMP -для организации высокопроизводительных вычислений для систем с общей памятью;
- CUDA - для организации высокопроизводительных вычислений на графических процессорах.
Все библиотеки, используемые при разработке программного комплекса, являются платформонезависимыми, что обеспечивает возможность компиляции программы на различных аппаратных платформах и в операционных системах.
Для взаимодействия пользователя с системой в состав программного модуля входит отдельный модуль - редактор мультиагентной когнитивной рекурсивной архитектуры. Интерфейс редактора реализован на основе библиотеки OpenSceneGraph. Интерфейс программы представлен на рисунке 1.
Таким образом, в рамках исследования разработана программная модель адаптивной системы управления роботом-комбайном, обеспечивающая работу мультиагентной рекурсивной когнитивной архитектуры [6]. Полученный инструментарий обеспечивает поддержку вычислительных систем разного типа, различных технологий высокопроизводительных вычислений и распределенное хранение данных.
Рис. 1. Интерфейс программы системы управления роботом-комбайном
Интерфейс управления Взаимодействие с роботом-комбайном осуществляется посредством интерфейса управления. Данная разработка позволяет контролировать процесс работы, совершать диагностику аппаратных частей, корректировать различные параметры. Программное обеспечение обладает сетевым модулем, позволяющим устанавливать дистанционное подключение к управляющей системе для дальнейшего получения информации. Кроссплатформенность интерфейса позволяет использовать его на различных платформах.
Модуль диагностики предоставляет доступ к сенсорным данным робота-комбайна для калибровки. Для удобства модуль диагностики разбит на несколько секций. Первая секция предоставляет суммарную информацию по всем сенсорным подсистемам (рис. 2).
Рис. 2. Первая секция модуля диагностики интерфейса управления робота-комбайна
Вторая секция располагает данными по типу датчиков (рис. 13).
Общая информация Управление Сенсорная информация по расположена.. Сенсорная информация по типу датчиков Дальномеры Энкодеры Питание Ориентация Перемещение
Дальномеры передние : Нет данных Дальномеры задние: Нет данных Дальномеры шасси-Ь: Нет данных Дальномеры пасси-Н: Нет данных Дальномеры шасси-М: Нет данных Дальномеры шасси-БЬ: Нет данных Дальномеры шасси-ВБ.: Нет данных
Рис. 3. Вторая секция модуля диагностики интерфейса робота-комбайна
Также в интерфейсе представлена схема основных звеньев робота-комбайна и каждого манипулятора в отдельности, что позволяет оценить работоспособность, не затрачивая дополнительное время.
Основной модуль позволяет поставить и прекратить выполнение задач перед роботом-комбайном посредством элементов интерфейса (рис. 4).
Рис. 4. Модуль интерфейса для отображения видеопотока с модуля машинного зрения робота-комбайна
В интерфейсе предусмотрено получение видеопотока с камер робота-комбайна, что позволяет отслеживать процесс и контролировать качество сбора.
Модуль зрения
В конструкции реализованы результаты измерений цвето-температурных контрастов на создаваемых различными видеосистемами изображениях продукции и элементов посадок
в естественном свете и с подсветками. Устройство сканирования включает приборы для искусственной подсветки посадок от источников с определёнными цветовыми температурами. За основу приняты данные измерений цвето-температурных характеристик рассеянного огурцами и лиственной массой посадок света спектрометрами HR4000 и NIR 512, регистрировавшими рассеянную посадками подсветку от перестраиваемого широкополосного источника света DH-2000-bal.
Модуль зрения состоит из следующих составляющих:
- система имитации среды с двумя активными камерами;
- система сбора данных из среды и подготовки для анализа;
- система предобработки данных на массово параллельных устройствах;
- система визуализации данных;
- система анализа и интеграции данных для построения виртуальной активной (нейронной) модели среды.
Система имитации среды построена на рендер движке Unity 3d. Он состоит из сцены (виртуального мира) и виртуальной модели робота-комбайна с двумя камерами, разнесенными на 100 мм, которыми можно управлять через систему команд. Изображение с камер робота-комбайна в активном режиме показано на рисунке 5.
Рис. 5. Изображение с камер робота-комбайна
Система сбора данных представляет собой телеметрию робота: она снимает все данные с датчиков и камер, затем конвертирует все это в формат обмена с разработанным авторским протоколом, отправляет по сети в центр обработки и ждет ответной команды управления с системы формирования команд.
Система предобработки данных принимает данные из сети и подготавливает данные для визуализации в нужном формате. Результат предобработки изображен на рисунке 6.
После того как данные готовы для 3D визуализации они передаются в соответствующую систему для построения 3D модели окружающей среды. Результат работы системы визуализации изображен на рисунке 7 (альфа-версия).
Рис. 6. Предварительная обработка изображения, полученного с камер и датчиков робота-комбайна
Рис. 7. 3В визуализация окружающего пространства, полученная в результате работы системы предобработки данных робота-комбайна
Точность распознавания посадок и восстановления их положения в виртуальном пространстве внутренней модели посадок оценивалась методом сравнения координат узловых точек посадок и их образов в виртуальном пространстве внутренней модели. При этом точность распознавания продукции и её координат в рабочем пространстве уборочной секции составила:
- для образцов продукции с размерами от 3-4 см до 4-5 см - порядка 55%;
- для образцов продукции с размерами от 4-5 см до 5-6 см - порядка 65%;
- для образцов продукции с размерами от 6-7 см до 7-8 см - порядка 75%;
- для образцов продукции с размерами от 8-9 см до 9-10 см - порядка 80%;
- для образцов продукции с размерами от 10-12 см до 12-15 см - порядка 95%;
- для образцов продукции с размерами от 15-16 см до 16-20 см - порядка 95%.
Таким образом, точность распознавания продукции товарных кондиций составила 75%-80%.
Используя построенную модель, система анализа и интеграции данных формирует
команды управления и возвращает их роботу-комбайну.
Заключение
Таким образом, разработана программная модель адаптивной системы управления роботом-комбайном, обеспечивающая работу мультиагентной рекурсивной когнитивной архитектуры. Полученный инструментарий обеспечивает поддержку вычислительных систем разного типа, различных технологий высокопроизводительных вычислений и распределенное хранение данных.
ЛИТЕРАТУРА
1. Мокаева А.А., Хамуков Ю.Х., Шауцукова Л.З. Разработка кинематической схемы системы тросового управления манипулятора типа «хобот» // Известия КБНЦ РАН. 2015. № 6.
2. Нагоев З.В. Интеллектика, или Мышление в живых и искусственных системах. Нальчик: Изд-во КБНЦ РАН, 2013. 211 с.
3. Проектирование полноприводных колесных машин. Т. 1. М.: Изд-во МГТУ, 2008. С. 25-56, 144-182, 435-485.
4. Проектирование полноприводных колесных машин. Т. 2. М.: Изд-во МГТУ, 2008. С. 152-490.
5. Ivanov P., Nagoev Z., Pshenokova I., Tokmakova D. Forming the Multi-Modal Situation Context in Ambient Intelligence Systems on the Basis of Self-Organizing Cognitive Architectures 5th World Congress on Information and Communication Technologies (WICT 2015) 14-16 December, 2015, Morocco.
6. Nagoev Z.V. Multiagent recursive cognitive architecture // Biologically Inspired Cognitive Architectures 2012, Proceedings of the third annual meeting of the BICA Society, in Advances in Intelligent Systems and Computing series, Springer, 2012. Pp. 247-248.
REFERENCES
1. Mokayeva A.A., Khamukov Yu.K., Shautsukova L.Z. Razrabotka kinematicheskoy skhemy sistemy trosovogo upravleniya manipulyatora tipa «khobot» [Development of the kinematic scheme of the cable management system of the trunk-type manipulator] // Izvestiya KBNTS RAN [News of the KBSC RAS]. № 6, 2015.
2. Nagoev Z.V. Intellektika, ili myshleniye v zhivykh i iskusstvennykh sistemakh [Intellectics, or thinking in living and artificial systems]. Nal'chik: Izd-vo KBNC RAN [Nalchik: Publishing house of KBSC RAS]. 2013. 211 p.
3. Proyektirovaniye polnoprivodnykh kolesnykh mashin [Designing of all-wheel drive wheeled vehicles]. T. 1. M.: Publishing House of Moscow State Technical University, 2008. P. 25-56, 144-182, 435-485.
4. Proyektirovaniye polnoprivodnykh kolesnykh mashin [Design of all-wheel drive wheeled vehicles]. T. 2. M.: Publishing House of Moscow State Technical University. 2008. P. 152-490.
5. Ivanov P., Nagoev Z., Pshenokova I., Tokmakova D. Forming the Multi-Modal Situation
Context in Ambient Intelligence Systems on the Basis of Self-Organizing Cognitive Architectures. 5th World Congress on Information and Communication Technologies (WICT 2015) 14-16 December, 2015, Morocco.
6. Nagoev Z.V. Multiagent recursive cognitive architecture // Biologically Inspired Cognitive Architectures 2012, Proceedings of the third annual meeting of the BICA Society, in Advances in Intelligent Systems and Computing series, Springer, 2012. Pp. 247-248.
DEVELOPMENT OF A SOFTWARE MODEL FOR A ROBOT COMBINE CONTROL SYSTEM
O.V. NAGOEVA, M.I. ANCHEKOV
Institute of Computer Science and Problems of Regional Management -branch of Federal public budgetary scientific establishment "Federal scientific center
"Kabardin-Balkar Scientific Center of the Russian Academy of Sciences" 360000, KBR, Nalchik, 37-a, I. Armand St.
E-mail: [email protected]
The article deals with the task of developing a software model of a robot combine control system.
The object of the research is a hardware-software complex for scanning of plantings and adaptive control of a robot combine.
The solution of the control problem is based on the application of the distributed adaptive learning automatic system MURKA. In order to implement the cross-platform and high-performance software being developed, Qt, Boost, OpenMP, CUDA libraries were used. The implementation of the software simulation environment is based on the Unity 3d engine and allows a highly detailed model to simulate the environment in which the robot operates and which it observes through stereoscopic (binocular) vision. The simulation environment allows to pre-teach systems of recognition, decision making and management, which significantly reduces the cost of developing and implementing software.
Keywords: transport platforms, robotic systems, multi-agent system, recognition, adaptive control system.
Работа поступила 31.05.2019 г.
