CC BY
33ISSN 1814-1196 Научный вестник НГТУ том 77, № 4, 2019, с. 55-70
http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. ll, No. 4, 2019, pp. 55-10
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
INFORMATICS, COMPPUTER ENGINEERING AND MANAGEMENT
УДК 004.82 DOI: 10.17212/1814-1196-2019-4-55-70
Коалиционная работа мобильных роботов и людей в социокиберфизической системе на базе онтологического подхода
Н.Н ТЕСЛЯ1'", М.Н ЧЕМОДАНОВ2'4, П.Н КРАСИЛЬНИКОВ2с
1 199178, РФ, г. Санкт-Петербург, 14-я линия B.O., 39, Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН)
190121, РФ, г. Санкт-Петербург, ул. Лоцманская, 3, Санкт-Петербургский государственный морской технический университет
a [email protected] b [email protected] c [email protected]
Мобильные роботы становятся в последние годы неотъемлемой частью жизни современного человека. Широкое распространение роботов-пылесосов, роботов-газонокосилок, роботов - мойщиков окон и других подобных устройств позволяет автоматизировать повседневные задачи человека. Революционный прогресс в области робототехники позволил создавать мощные ресурсоэффективные устройства, которые ориентированы на решение усложняющихся с каждым годом задач. При этом часто возникают задачи, для решения которых эффективно использовать несколько устройств, которые объединяются в коалиции между собой, а также с людьми. Для таких систем был предложен термин «социокиберфизические системы», тесно интегрирующий физические устройства с людьми и поддерживающий их взаимодействие в информационном пространстве. В статье представлен онтологоориентированный подход к совместной работе мобильных роботов в социокиберфизической системе. В качестве примера для такого взаимодействия был рассмотрен сценарий преодоления препятствий высокопроходимым мобильным роботом, взаимодействующим с квадрокоптером, для оценки этого препятствия и человеком-оператором, который берет на себя управление роботом в том случае, если преодоление препятствия в автоматическом режиме невозможно. Для апробации подхода были разработаны имитационные модели роботов в среде моделирования Gazebo, которые позволили проверить работоспособность предложенного подхода.
Ключевые слова: социокиберфизическая система, мобильные роботы, Gazebo, сценарий преодоления препятствий, онтология, контекст, коалиционная работа, информационное взаимодействие
Статья получена 02 сентября 2019 г. Работа выполнена при поддержке Программы фундаментальных научных исследований по приоритетным направлениям, определяемым Президиумом Российской академии наук, «Новые разработки в перспективных направлениях энергетики, механики и робототехники». Предложенный онтологический подход выполнен в рамках проекта РФФИ 16-29-04349. Имитационные модели роботов были спроектированы в рамках проекта РФФИ 17-29-07073.
ВВЕДЕНИЕ
Повсеместное развитие робототехники в последние годы непрерывно усложняет задачи, которые решаются мобильными роботами [1-3]. При этом появляются сложные задачи, которые требуют коалиционной работы нескольких гетерогенных роботов совместно с людьми.
В статье представлен подход к коалиционной работе мобильных роботов и людей в социокиберфизическим системе на базе онтологического подхода. Для проверки работоспособности подхода были разработаны их имитационные модели в среде моделирования Gazebo и реализован сценарий формирования коалиций мобильными роботами и человеком-оператором для преодоления препятствий.
Для взаимодействия роботов между собой, а также с другими информационными компонентами было предложено использовать концепцию социо-киберфизических систем, предполагающую наличие множества ресурсов, взаимодействующих между собой в информационном пространстве и управляющих устройствами в физическом пространстве в режиме реального времени. При этом такая система включает в себя также социальное пространство, которое объединяет в себе людей, участвующих в выполнении задач совместно с мобильными роботами. При этом они базируются на инфраструктурах, обеспечивающих связь, вычисления, управление и объединяющих сенсоры, вычислительные устройства, сервисы и средства коммуникаций [2]. В настоящей работе к физическим устройствам относятся мобильные роботы, управляемые соответствующими программными компонентами, однако в общем виде это любое управляемое устройство, совершающее некоторое воздействие или измеряющее параметры в физическом пространстве.
Статья организована следующим образом. В первом разделе рассматриваются актуальные исследования в области коалиционной работы мобильных роботов и робототехнического имитационного моделирования. Второй раздел посвящен предлагаемому подходу к формированию коалиций роботов и людей. Третий раздел описывает имитационную модель мобильных роботов в среде моделирования Gazebo. В четвертом разделе описан предложенный сценарий формирования коалиций для задачи преодоления препятствий мобильными роботами. В заключении представлены итоги, полученные в ходе работы над статьей.
1. ОБЗОР СОВРЕМЕННЫХ ИССЛЕДОВАНИЙ
В настоящее время основной интерес исследователей при решении задачи коалиционной работы мобильных роботов сосредоточен вокруг следующих вопросов: организация коалиции, обмен информации между участниками коалиции, распределение задач и ресурсов между участниками коалиции.
В процессе организации коалиции можно выделить два крупных направления: централизованная организация и децентрализованная организация [3]. Централизованная организация коалиции отличается наличием командного центра, на котором принимаются решения о составе коалиции, распределении задач и формируется план решения задачи. При этом командный центр может быть представлен как отдельным вычислительным устройством,
выполняющим только функции центра, так и роботом, выполняющим задания наравне с остальными [4]. Структура коалиции в этом случае может быть многоуровневой иерархической, в которой роботы на каждом нижележащем уровне подчиняются только одному центру их вышележащего уровня [5]. Децентрализованная организация коалиции подразумевает, как правило, отсутствие центра принятия решений, часто ориентируясь на биоинспириро-ванные методы организации совместной работы, такие как роевые и стайные [6, 7]. При этом роботы считаются равными по иерархии и руководствуются одинаковыми алгоритмами при принятии решения.
Обмен информации между участниками коалиции является важной составляющей коалиционного решения задачи, поскольку совместное решение задач требует оповещения участников коалиции о текущем состоянии решения задачи для организации слаженных действий либо контроля выполнения плана [10]. Обмен информацией может быть организован посредством общего централизованного хранилища информации на отдельном устройстве или распределением информации между членами коалиции [12]. Также рассматривается объединение двух подходов с образованием интеллектуальных пространств - создание общего хранилища информации, предоставляющего ссылки на ресурсы, которыми являются участники коалиции, что делает информацию распределенной между всеми участниками [11]. Существуют также решения на базе реег2реег сетей и распределенного реестра, обеспечивающие быстрое распределение информации между всеми участниками, дублируя при этом всю информацию на устройстве каждого участника [8, 9]. Решения на базе распределенного реестра также предоставляют защиту информации от перезаписи, что может быть полезно при организации коалиции с требованием обеспечения доверия между участниками без наличия единого удостоверяющего центра [9].
Тип организации коалиции также влияет на способы распределения задач и ресурсов между участниками коалиции. Централизованные иерархические коалиции, как правило, организуют работу посредством централизованного планирования при поступлении задачи. На вышестоящих узлах строится план работ с учетом возможностей нижестоящих узлов и ресурсов коалиции, в котором зафиксированы исполнители и порядок решения задач [13]. За счет этого обеспечивается гарантия выполнения этапов плана и всего плана к определенному сроку с точным прогнозом расходования ресурсов и выплаты вознаграждения, если это предусмотрено условиями задачи. Однако данное решение не является гибким, поскольку при возникновении нештатной ситуации происходит отклонение от плана с необходимостью его коррекции или полного перестроения. Децентрализованные коалиции основаны на адаптации участников к текущим условиям с отсутствием единого плана решения задачи [14, 15]. Это обеспечивает гибкость решения задачи в условиях частых изменений состава коалиции или доступных ресурсов, но ограничивает возможность прогнозирования момента решения задачи [16].
Также отдельное внимание следует уделить имитационному и визуальному моделированию взаимодействия роботов, поскольку данный подход существенно упрощает проверку гипотез за счет снижения стоимости разработки, а также наглядно представляет результаты работы предлагаемых гипотез. Часть исследователей разрабатывает собственные визуализации, отобра-
жая роботов условными знаками, поскольку рассматриваемые задачи не требуют детализации конструкции робота [3, 6]. Для детальной визуализации чаще всего используется пакет визуализации Gazebo в комбинации с управляющим кодом операционной системы робота (Robot operation system, ROS) для управления виртуальным роботом [17-20].
Резюмируя рассмотренные направления исследований, можно отметить, что в настоящее время основное внимание уделяется созданию децентрализованных коалиций роботов для решения общей задачи. Распределение задач и ресурсов между ними осуществляется на основе децентрализованного планирования для адаптации к изменяющемуся контексту задачи, при этом роботы принимают участие в решении задачи на основе имеющегося функционала и доступных ресурсов, таких как заряд батареи или рабочий ресурс устройств. Взаимодействие и обмен информацией между роботами осуществляется посредством общего хранилища, однако последние исследования смещены в сторону децентрализации на основе peer2peer модели и использования распределенных реестров. При отсутствии возможности проверки моделей взаимодействия на реальных роботах используются среды визуализации для моделирования роботов и их действий. Наиболее часто используемой связкой является среда моделирования Gazebo вместе с операционной системой для роботов ROS, реализующей функционал роботов.
2. ПОДХОД К ВЗАИМОДЕЙСТВИЮ РОБОТОВ И ЛЮДЕЙ
Онтологический подход к взаимодействию роботов и людей в социоки-берфизической системе (рис. 1) ориентирован на автоматическое формирование коалиций участников для решения возникающей задачи. Каждый участник социокиберфизической системы описывается с использованием онтологии, определяющей набор возможных действий, которые он может выполнять, и ограничений, которые должны быть удовлетворены для выполнения этих действий [21, 22]. Под онтологией понимается подробная спецификация модели предметной области. Она включает в себя словарь (т. е. список логических констант и предикатных символов) для описания предметной области и набор логических высказываний, формулирующих существующие в данной проблемной области ограничения и определяющих интерпретацию словаря. На основе онтологии и задачи, которая должна быть выполнена коалицией участников, формируется абстрактный контекст участника, который представляет собой срез его онтологии, релевантный задаче. На основе абстрактного контекста и оперативной информации (датчики, информационные ресурсы и т. п.) строится оперативный контекст, который публикуется в информационном пространство. Таким образом, информационное пространство содержит в себе базу знаний об участниках социокиберфизической системы с информацией об их текущем состоянии в данный момент времени. На основе этой базы знаний в информационном пространстве происходит поиск тех участников, которые способны решить задачу эффективным способом. Таким образом формируется виртуальная коалиция участников социокиберфи-зической системы, а физическая коалиция будет включать в себя тех участников, абстрактные контексты которых были затронуты при формировании виртуальной коалиции [23, 24].
Физическая коалиция
Робот
Робот
Информационный поток ^ S
Сопоставление онтологий
Рис. 1. Онтологический подход к взаимодействию роботов и людей в социокиберфизической системе
Fig. 1. Ontology-based approach to interaction of robots and people in cyber-
physical-social system
Сопоставление онтологий является ключевым для рассматриваемого подхода [25], так как в том случае, если онтологии двух роботов будут разработаны таким образом, что схожие их части не будут сопоставлены, то данные роботы не смогут участвовать в одной коалиции. Таким образом, можно констатировать факт того, что если онтологии будут разработаны на базе одной метаонтологии, то сопоставление будет работать эффективно. Однако если онтологии будут разработаны различными экспертами с использованием разнородных понятий, то вероятность сопоставления будет снижаться. Для этого авторами был разработан подход к сопоставлению онтологий на основе технологии краудсорсинга [26].
3. ИМИТАЦИОННЫЕ МОДЕЛИ МОБИЛЬНЫХ РОБОТОВ В СРЕДЕ GAZEBO
Для проведения экспериментов были реализованы следующие модели роботов в среде моделирования Gazebo [27] с использованием фреймворка ROS Melodic [28]. Использование вышеперечисленного программного обеспечения широко распространено в настоящее время в области моделирования робототехнических средств и включает в себя разнообразную библиотеку элементов и готовых аппаратов, позволяющих существенно сократить время разработки моделей.
Модель № 1. Робот-манипулятор повышенной проходимости, обладающий следующими характеристиками.
• Робот состоит из трех независимых частей: передней, центральной и задней.
• Робот имеет шесть колес с приводами на каждое колесо для перемещения на плоскости.
• Передняя и задняя части обладают механизмами поднимания / опускания для преодоления препятствий.
• На передней и задней частях робота расположены дальномеры для определения расстояния до объектов, направленные параллельно плоскости движения робота.
• Робот оснащен датчиком координат для отслеживания местоположения.
Модель № 2. Робот-квадрокоптер.
• Робот обладает функционалом стандартного квадрокоптера для перемещения в пространстве.
• Робот оснащен датчиком дальномера для сканирования препятствия, направленным вниз.
• Робот оснащен датчиком координат для отслеживания местоположения.
Модель № 3. Робот-скаут.
• Четырехколесный мобильный робот с функцией перемещения на плоскости.
• Робот оснащен датчиками дальномеров, расположенных по периметру корпуса робота для сканирования объектов.
• Робот оснащен датчиком координат для отслеживания местоположения.
Рассмотрим подробнее модель № 1, описывающую робота-манипулятора повышенной проходимости. Кинематическая схема робота, а также расположение сенсоров и обозначение частей модели приведено на рис. 2.
Как видно из схемы, робот состоит из трех частей: передней, центральной и задней. Робот обладает шестью независимыми мотор-колесами с приводами на каждом из них 1, а также двумя гидравлическими цилиндрами, отвечающими за линейные перемещения передней и задней частей относительно центральной части 2. Кроме того, робот обладает возможностью управления поворотом передней и задней частей в вертикальной оси.
Представленная модель робота (составные части, связи между ними, массогабаритные и расчетные параметры) определяется в следующем файле проекта: 6w_moon_walker/moon.src.urdf/rmoon.urdf. За управление отвечает MYROBOT_control/config/moon_control.yaml, в котором описаны ПИД-регу-ляторы приводов.
Для управления приводами робота был разработан интерфейс (ROS Node) на языке python (файл moon_controller/src/keyboard_control.py), обеспечивающий базовые функции управления роботом с использованием клавиатуры. В данном скрипте выполняется привязка нажатий клавиш к отправке команд в ROS topics. Команды управления роботом и описание их реализации приведено в таблице.
Рис. 2. Кинематическая схема робота-манипулятора:
1 - приводы колес; 2 - линейные приводы перемещения передней и задней частей; 3 - приводы вращения передней и задней частей в вертикальной плоскости; 4 - ультразвуковые дальномеры
Fig. 2. Kinematic scheme of manipulating robot:
1 - wheel drives; 2 - linear drives for moving front and back parts; 3 - drives for turning of front and back parts in vertical axis; 4 - ultrasonic sensors.
Команды управления моделью робота-манипулятора повышенной проходимости Commands for controlling the model of manipulating robot
№ Клавиши Движение
1 w / x Вперед / Назад
2 s Остановка
3 a / d Поворот влево / вправо
4 f / r Управление вертикальным углом
5 t / g Управление передним гидроцилиндром
6 y / h Управление задним гидроцилиндром
Модели роботов, реализующие функционал роботов квадрокоптера и скаута, были взяты из открытых библиотек для ROS и Gazebo и являются наиболее популярными на сегодняшний день для робототехнического моделирования в данных средах. Модель № 2, реализующая функционал робота квадрокоптера, была реализована на базе пакета hector_quadrotor [29]. Пакет hector quadrator был разработан в Дармштадтском техническом университете и содержит описание робота в формате urdf, а также параметры, необходимые для симуляции, пакет для телеуправления и большое количество пакетов для симуляции различных аспектов работы квадракоптера.
Модель № 3, реализующая функционал робота-скаута, была реализована на базе пакета husky_gazebo [30]. Пакет husky_gazebo разработан фирмой Clearpath Robotics для симуляции своего серийно изготавливаемого робота Husky и аналогичен пакету hector, содержит описание робота в формате urdf и различные примеры работы с роботом.
На рис. 3 показана схема управления роботом-манипулятором. В овалах представлены основные узлы модели ROS (ROS nodes), а в прямоугольниках - основные каналы передачи сообщений (ROS topics). Модуль (ROS Node) rocad_teleop отвечает за управление роботом с клавиатуры, а модуль gazebo является стандартным модулем симулятора Gazebo.
Рис. 3. Схема каналов (ROS topic) передачи данных в модели робота-
манипулятора
Fig. 3. ROS topics scheme for data transfer in manipulating robot model
Для управления роботом используются следующие каналы сообщений: управление скоростями вращения колес /moon/[*1][*2]Wheel_j/command, где [*1] - это задняя, средняя или передняя часть модели, а [*2] - левая или правая сторона робота.
Для управления задними и передними гидроцилиндрами используются каналы /тооп/ай/сотшаМ и /тоопЯоге/соттаМ соответственно. Канал /moon/LefttoRight/command отвечает за сгибание робота в центральной части.
Чтобы получать информацию о стоянии робота, необходимо подписаться на канал /тооп/^П^а1е. Информацию от заднего и переднего дальномеров можно получить по каналам /тооп/8опаг_ай и /тооп^опаМгэге соответственно.
4. СЦЕНАРИЙ ВЗАИМОДЕЙСТВИЯ РОБОТОВ
Для оценки предложенного подхода и имитационной модели был предложен сценарий формирования человеко-машинных гетерогеннтых коалиций для задачи преодоления препятствий роботом-манипулятором повышенной проходимости. Данный колесный робот способен преодолевать сложные препятствия, высота которых больше, чем радиус его колеса, за счет подъема передней и задней частей и приводов на все шесть колес. При этом управление данным роботом человеком-оператором является сложным процессом, поскольку предполагает одновременное управление подвижностью большого числа элементов.
В рассматриваемом сценарии предложено динамически формировать человеко-машинную коалицию для совместной работы по преодолению препятствия в зависимости от контекста. В такую коалицию будет обязательно входить робот-манипулятор, робот-квадрокоптер или робот-скаут в зависимости от препятствия, с которым столкнулся робот-манипулятор, и местности, на которой они находятся, и опционально человек-оператор. Подробная схема предложенного сценария представлена на рис. 4.
èwppGfoi
пространство роботы шшш
—Публикация задачи исследования местности-*
О—
о-
_ Уведомление пользователя о_ непреодолимом Препятствии
Публикация правил для преодоления препятствия
I 1рсдостаалеиие информации о местности
Публикация контекста робота-
—Уведомление о нойон ыдаче-ь
Публикация информации о препятствии на пути робота
—Публикация контекста робота—
| Действия в физическом пространстве
—Уведомление о препятствии на пути робота-Публикация намерений-
Измерение перпятсгви*
-Правим поведения робота для преодоления прелятет
О
Уведомление робота о ■правилах для преодоления—* препятствия
Публикация информации о местности
Действия в физическом пространстве для преодоления препятствия
Действия в фнмчесюм пространстве для исследования мест1кктн
Рис. 4. Сценарий формирования человеко-машинной гетерогенной коалиции Fig. 4. Scenario for human-machine coalition formation
Взаимодействие участников сценария осуществляется на базе платформы Smart-M3 [31]. Данная платформа является свободно распространяемым программным обеспечением для реализации концепции интеллектуальных пространств. Основной идеей этой концепции является возможность публикации / подписки информации и знаний участников коалиции с использованием семантических информационных брокеров посредством RDF-онтологий. Примером такой информации может служить следующий RDF-триплет:
<"robot", "task", "goToLocation">.
В данном случае субъект "robot" описывает конкретного робота, который должен проследовать в конкретную точку ("goToLocation") на плоскости для выполнения задачи "task".
В то же время объект "goToLocation" является субъектом для следующего триплета:
<"goToLocation", "coordinates", "40; 200">.
Участники, подключенные к платформе Smart-M3, имеют возможность подписываться на RDF-триплеты, которые публикуются другими участниками в информационном пространстве, и получать уведомления о появлении такой информации.
Пример симуляции разработанных моделей роботов для задачи коалиционной работы мобильных роботов при преодолении препятствий приведен на рис. 5. Робот-манипулятор повышенной проходимости передвигается на плоскости и сталкивается с препятствием. Задачей робота-квадрокоптера и робота-скаута является сканирование препятствия таким образом, чтобы роботу-манипулятору было понятно, каким образом его преодолеть или констатировать факт невозможности преодоления препятствия в автоматическом режиме и необходимости прибегнуть к помощи человека-оператора.
Рис. 5. Пример симуляции разработанных моделей роботов для задачи коалиционной работы мобильных роботов при преодолении препятствий
Fig. 5. Example of the developed models simulation for the obstacle overcoming task
ЗАКЛЮЧЕНИЕ
В статье предложен подход к коалиционной работе мобильных роботов и людей в социокиберфизических системах. Подход базируется на основе онтологического моделирования возможностей и ограничений мобильных роботов. Подход был апробирован при реализации сценария взаимодействия роботов и человека-оператора для задачи преодоления препятствий роботом-манипулятором повышенной проходимости, который работает совместно с роботом-квадрокоптером или роботом-скаутом. Робот-манипулятор способен преодолевать сложные препятствия, высота которых больше, чем радиус его колеса, за счет подъема передней и задней частей и приводов на все шесть колес. При этом управление данным роботом человеком-оператором является сложным процессом, поскольку предполагает одновременное управление подвижностью большого числа элементов. Сценарий был апробирован в среде моделирования Gazebo. Для этой цели была разработана иммитационная модель робота-манипулятора. Модели робота-квадрокоптера и робота-скаута были взяты стандартные.
СПИСОК ЛИТЕРАТУРЫ
1. Негрете М., СаважХ., Контрерас-Толедо Л.Э. Система планирования движения бытового сервисного робота на основе алгоритмов пространственного представления и активной навигации // Труды СПИИРАН. - 2018. - Вып. 5 (60). - С. 5-38. - Текст англ.
2. Безрук Г.Г., Мартынова Л.А., Саенко И.Б. Динамический метод поиска антропогенных объектов в морском дне с использованием автономных необитаемых подводных аппаратов // Труды СПИИРАН. - 2018. - Вып. 3(58). - С. 203-226.
3. Пшихопов В.Х., Медведев М.Ю. Групповое управление движением мобильных роботов в неопределенной среде с использованием неустойчивых режимов // Труды СПИИРАН. -2018. - Вып. 5 (60). - С. 39-63.
4. Многоуровневая самоорганизация ресурсов киберфизической системы: контекстно-ориентированный подход и реализация / А.В. Смирнов, А.М. Кашевник, С.А. Михайлов, М.Д. Миронов // Искусственный интеллект и принятие решений. - 2015. - Вып. 4. - С. 3-11.
5. Guerrero J., Oliver G., Valero O. Multi-robot coalitions formation with deadlines: complexity analysis and solutions // Plos One. - 2017. - Vol. 12, N 1. - P. 1-26.
6. Koes M, Nourbakhsh I, Sycara K. Heterogeneous multirobot coordination with spatial and temporal constraints // 20th National Conference on Artificial Intelligence (AAAI). - Boston, USA, 2005. - P. 1292-1297.
7. Yu L, Cai Z. Robot exploration mission planning based on heterogeneous interactive cultural hybrid algorithm // 5th International Conference on Natural Computation. - Tianjin, China, 2009. -P. 583-587.
8. Qian B., ChengH.H. Bio-inspired coalition formation algorithms for multirobot systems // Journal of Computing and Information Science in Engineering. - 2018. - Vol. 18, N 2. - P. 1-8.
9. LiangX., Xiao Y. Studying bio-Inspired coalition formation of robots for detecting intrusions using game theory // IEEE Transactions on Systems, Man, and Cybernetics, Part B. - 2010. - Vol. 40, N 3. - P. 683-693.
10. A block chain based architecture for asset management in coalition operations / D. Verma, N. Desai, A. Preece, I. Taylor // Proceedings of SPIE. - 2017. - Vol. 10190. - P. 01900Y-101900Y-9.
11. FerrerE.C. The blockchain: a new framework for robotic swarm systems // Proceedings of the Future Technologies Conference (FTC) 2018. - Cham: Springer, 2019. - Vol. 2. - P. 1037-1058. -(Advances in Intelligent Systems and Computing; vol. 881).
12. Shabanov V., Ivanov D. Organization of information exchange in coalitions of intelligent mobile robots // 2019 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2019. - Sochi, Russia, 2019. - P. 1-5.
13. Smart-M3-based robots self-organization in pick-and-place system / A. Smirnov, A. Ka-shevnik, N. Teslya, S. Mikhailov, A. Shabaev // 2015 17th Conference of Open Innovations Association (FRUCT). - Yaroslavl, Russia, 2015. - P. 210-215.
14. Hartanto R., Eich M. Reliable, cloud-based communication for multi-robot systems // 2014 IEEE International Conference on Technologies for Practical Robot Applications (TePRA). - Wo-burn, MA, USA, 2014. - P. 1-8.
15. Cloud-based task planning for smart robots / E. Tosello, Z. Fan, A.G. Castro, E. Pagello // Intelligent Autonomous Systems 14. - Cham: Springer, 2017. - P. 285-300. - (Advances in Intelligent Systems and Computing; vol. 531).
16. IvanovD. Decentralized planning of intelligent mobile robot's behavior in a group with limited communications // Advances in Intelligent Systems and Computing. - Cham: Springer, 2019. - Vol. 875. - P. 418-427.
17. Task allocation of intelligent warehouse picking system based on multi-robot coalition / F. Xue, H. Tang, Q. Su, T. Li // KSII Transactions on Internet and Information Systems. - 2019. -Vol. 13, N 7. - P. 3566-3582.
18. AlkilabiM.H.M., Narayan A., Tuci E. Cooperative object transport with a swarm of e-puck robots: robustness and scalability of evolved collective strategies // Swarm Intelligence. - 2017. -Vol. 11, N 3-4. - P. 185-209.
19. Multi-robot mission planning with static energy replenishment / B. Li, B. Moridian, A. Kamal, S. Patankar, N. Mahmoudian // Journal of Intelligent and Robotic Systems. - 2019. -Vol. 95 (2). - P. 745-759.
20. Guiding autonomous exploration with signal temporal logic / F.S. Barbosa, D. Duberg, P. Jensfelt, J. Tumova // IEEE Robotics and Automation Letters. - 2019. - Vol. 4, N 4. -P. 3332-3339.
21. Robust collaborative object transportation using multiple MAVs / A. Tagliabue, M. Kamel, R. Siegwart, J. Nieto // International Journal of Robotics Research. - 2019. - Vol. 38 (9). -P. 1020-1044.
22. A complete workflow for automatic forward kinematics model extraction of robotic total stations using the Denavit-Hartenberg convention / C. Klug, D. Schmalstieg, T. Gloor, C. Arth // Journal of Intelligent and Robotic Systems. - 2018. - Vol. 95. - P. 311-329.
23. Калязина Д., Кашевник А. Разработка и оценка онтологии социокиберфизической системы на основе анализа типовых сценариев использования мобильных роботов // Научный вестник НГТУ. - 2019. - № 2 (75). - С. 21-36. - DOI: 10.17212/1814-1196-2019-2-21-36.
24. PetrovM., KashevnikA. Ontology-based indirect interaction of mobile robots for joint task solving: a scenario for obstacle overcoming // MATEC Web of Conferences. - 2017. - Vol. 113. -Art. 02013. - P. 1-6.
25. Kashevnik A., Teslya N. Blockchain-oriented coalition formation by CPS resources: onto-logical approach and case study // Electronics. - 2018. - Vol. 7 (5). - P. 1-16.
26. Context-based coalition creation in human-robot systems: approach and case study / Smirnov A., Kashevnik A., Petrov M., Parfenov V. // Interactive Collaborative Robotics: 2nd International Conference, ICR-2017: Proceedings. - Cham: Springer, 2017. - P. 229-238. - (Lecture Notes in Artificial Intelligence; vol. 10459).
27. Ontology matching for socio-cyberphysical systems: an approach based on background knowledge / A. Smirnov, N. Teslya, S. Savosin, N. Shilov // Internet of Things, Smart Spaces, and Next Generation Networks and Systems. ruSMART 2017, NsCC 2017, NEW2AN 2017. - Cham: Springer, 2017. - P. 29-39. - (Lecture Notes in Computer Science; vol. 10531).
28. Kashevnik A., Smirnov A., Teslya N. Ontology-based interaction of mobile robots for coalition creation // International Journal of Embedded and Real-Time Communication Systems. - 2018. -Vol. 9 (2). - P. 63-78.
29. Среда моделирования Gazebo [Электронный ресурс]: web-сайт. - URL: http://gazebosim.org/ (дата обращения: 12.12.2019).
30. Фреймворк ROS Melodic [Электронный ресурс]. - URL: http://wiki.ros.org/melodic (дата обращения: 12.12.2019).
31. Пакет hector_quadrotor [Электронный ресурс]. - URL: http://wiki.ros.org/hector_ quadrotor (дата обращения: 12.12.2019).
32. Пакет husky_gazebo [Электронный ресурс]. - URL: http://wiki.ros.org/husky_ gazebo/Tutorials/Simulating%20Husky (дата обращения: 12.12.2019).
33. Korzun D.; KashevnikA.; Balandin S. Novel design and the applications of smart-M3 platform in the internet of things: emerging research and opportunities. - Hershey, PA: IGI Global, 2017. - 150 p. - (Advances in Web Technologies and Engineering). - ISBN 9781522526537.
Тесля Николай Николаевич, старший научный сотрудник Санкт-Петербургского института информатики и автоматизации Российской академии наук (СПИИРАН). Основные направления научных исследований: робототехника, умный город, онтологическое моделирование, управление знаниями, интеллектуальные транспортные системы. Имеет 62 публикации. E-mail: [email protected]
Чемоданов Михаил Николаевич, начальник студенческого конструкторского бюро Санкт-Петербургского государственного морского технического университета. Основное направление научных исследований - робототехника, моделирование. Имеет 10 публикаций. E-mail: [email protected]
Красильников Павел Николаевич, студент Санкт-Петербургского государственного морского технического университета. Основное направление научных исследований -робототехника, моделирование. E-mail: [email protected]
Teslya Nikolai Nikolaevich, a senior research fellow in St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPII RAS). The main field of his research is robotics, a smart city, ontological modeling, knowledge management, and intelligent transport systems. He is the author of 62 publications. E-mail: [email protected]
Chemodanov Mikhail Nikolaevich, head of the students' design bureau, St. Petersburg state marine technical university (SMTU). The main field of his research is robotics and modeling. He has published 10 research papers. E-mail: [email protected]
Krasilnikov Pavel Nikolaevich, student, St. Petersburg state marine technical university (SMTU). The main field of his research is robotics and modeling. E-mail: [email protected]
DOI: 10.17212/1814-1196-2019-4-55-70
Coalition-oriented mobile robot and people operation in social cyber-physical-systems based on the ontological approach"
N.N. TESLYA1,a, M.N. CHEMODANOV2'b, P.N. KRASILNIKOV2'0
1 St. Petersburg Institute for Informatics and Automation RAS, 39, 14 Line, St. Petersburg, 199178, Russian Federation
2 St. Petersburg State Marine Technical University, 3 Lotsmanskaya Street, St. Petersburg, 190121, Russian Federation
a [email protected] b [email protected] c [email protected] Abstract
In recent years mobile robots have become an important part of human life. A widespread use of vacuum cleaners, lawnmowers, window cleaning robots and other similar devices allows us to automate everyday human tasks. Revolutionary progress in the field of robotics allowed us to create powerful resource-efficient devices that are focused on solving tasks getting more complicated every year. At the same time, problems often arise for whose solution it is effective to use several devices that are combined in a coalition among themselves, as well as with people. For such systems, the term socio-cyber-physical systems was proposed, which closely integrate physical devices with people and support their interaction in the information space. The paper presents an ontology-oriented approach to the joint work of mobile robots in a socio-cyber-physical system. As an example of such interaction, the scenario of overcoming obstacles by a high-pass mobile robot interacting with a quadcopter to assess this obstacle and a human operator who takes control of the robot if it is impossible to overcome the obstacle in an automatic mode was considered. To test the approach, simulation models of robots were developed in the Gazebo simulation environment, which allowed us to test the efficiency of the proposed approach.
Keywords: socio-cyber-physical system, mobile robots, ontology, Gazebo, obstacle overcoming scenario
REFERENCES
1. Negrete M., Savage J., Contreras L. A motion-planning system for a domestic service robot. Trudy SPIIRAN - SPIIRAS Proceedings, 2018, iss. 5 (60), pp. 5-38.
2. Bezruk G.G., Martynova L.A., Saenko I.B. Dinamicheskii metod poiska antropogennykh ob"ektov v morskom dne s ispol'zovaniem avtonomnykh neobitaemykh podvodnykh apparatov [Dynamic method of searching anthropogenic objects in seabed with use of autonomous underwater vehicles]. Trudy SPIIRAN - SPIIRAS Proceedings, 2018, iss. 3 (58), pp. 203-226.
3. Pshikhopov V.Kh., Medvedev M.Yu. Gruppovoe upravlenie dvizheniem mobil'nykh robotov v neopredelennoi srede s ispol'zovaniem neustoichivykh rezhimov [Group control of autonomous robots motion in uncertain environment via unstable modes]. Trudy SPIIRAN - SPIIRAS Proceedings, 2018, iss. 5 (60), pp. 39-63.
4. Smirnov A.V., Kashevnik A.M., Mikhailov S.A., Mironov M.D. Mnogourovnevaya samoor-ganizatsiya resursov kiberfizicheskoi sistemy: kontekstno-orientirovannyi podkhod i realizatsiya [Multi-level cyber-physical system resources self-organization: context-oriented approach and implementation]. Iskusstvennyi intellekt i prinyatie reshenii - Artificial Intelligence and Decision Making, 2015, iss. 4, pp. 3-11.
*
Received 02 September 2019. Research is carried out in SPIIRAS with financial support of the Russian Foundation for Basic Research (grants ## 16-29-04349 and 19-07-00670) and the Russian State Research # 0073-20190005.
5. Guerrero J., Oliver G., Valero O. Multi-robot coalitions formation with deadlines: complexity analysis and solutions. Plos One, 2017, vol. 12, no. 1, pp. 1-26.
6. Koes M, Nourbakhsh I, Sycara K. Heterogeneous multirobot coordination with spatial and temporal constraints. 20th National Conference on Artificial Intelligence (AAAI), Boston, USA, 2005, pp. 1292-1297.
7. Yu L, Cai Z. Robot exploration mission planning based on heterogeneous interactive cultural hybrid algorithm. 5th International Conference on Natural Computation, Tianjin, China, 2009, pp. 583-587.
8. Qian B., Cheng H.H. Bio-inspired coalition formation algorithms for multirobot systems. Journal of Computing and Information Science in Engineering, 2018, vol. 18, no. 2, pp. 1-8.
9. Liang X., Xiao Y. Studying bio-Inspired coalition formation of robots for detecting intrusions using game theory. IEEE Transactions on Systems, Man, and Cybernetics, Part B, 2010, vol. 40, no. 3, pp. 683-693.
10. Verma D., Desai N., Preece A., Taylor I. A block chain based architecture for asset management in coalition operations. Proceedings of SPIE, 2017, vol. 10190, pp. 01900Y-101900Y-9.
11. Ferrer E.C. The blockchain: a new framework for robotic swarm systems. Proceedings of the Future Technologies Conference (FTC) 2018. Cham, Springer, 2019, vol. 2, pp. 1037-1058.
12. Shabanov V., Ivanov D. Organization of information exchange in coalitions of intelligent mobile robots. 2019 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM2019, Sochi, Russia, 2019, pp. 1-5.
13. Smirnov A., Kashevnik A., Teslya N., Mikhailov S., Shabaev A. Smart-M3-based robots self-organization in pick-and-place system. 2015 17th Conference of Open Innovations Association (FRUCT), Yaroslavl, Russia, 2015, pp. 210-215.
14. Hartanto R., Eich M. Reliable, cloud-based communication for multi-robot systems. 2014 IEEE International Conference on Technologies for Practical Robot Applications (TePRA), Woburn, MA, USA, 2014, pp. 1-8.
15. Tosello E., Fan Z., Castro A.G., Pagello E. Cloud-based task planning for smart robots. Intelligent Autonomous Systems 14. Cham, Springer, 2017, pp. 285-300.
16. Ivanov D. Decentralized planning of intelligent mobile robot's behavior in a group with limited communications. Advances in Intelligent Systems and Computing. Cham, Springer, 2019, vol. 875, pp. 418-427.
17. Xue F., Tang H., Su Q., Li T. Task allocation of intelligent warehouse picking system based on multi-robot coalition. KSII Transactions on Internet and Information Systems, 2019, vol. 13, no. 7, pp. 3566-3582.
18. Alkilabi M.H.M., Narayan A., Tuci E. Cooperative object transport with a swarm of e-puck robots: robustness and scalability of evolved collective strategies. Swarm Intelligence, 2017, vol. 11, no. 3-4, pp. 185-209.
19. Li B., Moridian B., Kamal A., Patankar S., Mahmoudian N. Multi-robot mission planning with static energy replenishment. Journal of Intelligent and Robotic Systems, 2019, vol. 95 (2), pp. 745-759.
20. Barbosa F.S., Duberg D., Jensfelt P., Tumova J. Guiding autonomous exploration with signal temporal logic. IEEE Robotics and Automation Letters, 2019, vol. 4, no. 4, pp. 3332-3339.
21. Tagliabue A., Kamel M., Siegwart R., Nieto J. Robust collaborative object transportation using multiple MAVs. International Journal of Robotics Research, 2019, vol. 38 (9), pp. 1020-1044.
22. Klug C., Schmalstieg D., Gloor T. Arth C. A complete workflow for automatic forward kinematics model extraction of robotic total stations using the Denavit-Hartenberg convention. Journal of Intelligent and Robotic Systems, 2018, vol. 95, pp. 311-329.
23. Kalyazina D.M., Kashevnik A.M. Razrabotka i otsenka ontologii sotsio-kiberfizicheskoi sistemy na osnove analiza tipovykh stsenariev ispol'zovaniya mobil'nykh robotov [Development and evaluation of cyber-physical-social system ontology based on the analysis of typical scenarios for mobile robots interaction]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo uni-versiteta - Science bulletin of the Novosibirsk state technical university, 2019, no. 2 (75), pp. 21-36. DOI: 10.17212/1814-1196-2019-2-21-36.
24. Petrov M., Kashevnik A. Ontology-based indirect interaction of mobile robots for joint task solving: a scenario for obstacle overcoming. MATEC Web of Conferences, 2017, vol. 113, art. 02013, pp. 1-6.
25. Kashevnik A., Teslya N. Blockchain-oriented coalition formation by CPS resources: onto-logical approach and case study. Electronics, 2018, vol. 7 (5), pp. 1-16.
26. Smirnov A., Kashevnik A., Petrov M., Parfenov V. Context-based coalition creation in human-robot systems: approach and case study. Interactive Collaborative Robotics: 2nd International Conference, ICR-2017: Proceedings. Cham, Springer, 2017, pp. 229-238.
27. Smirnov A., Teslya N., Savosin S., Shilov N. Ontology matching for socio-cyberphysical systems: an approach based on background knowledge. Internet of Things, Smart Spaces, and Next Generation Networks and Systems. ruSMART 2017, NsCC 2017, NEW2AN 2017. 2017. Cham, Springer, 2017, pp. 29-39.
28. Kashevnik A., Smirnov A., Teslya N. Ontology-based interaction of mobile robots for coalition creation. International Journal of Embedded and Real-Time Communication Systems, 2018, vol. 9 (2), pp. 63-78.
29. Modelling framework Gazebo: website. Available at: http://gazebosim.org/ (accessed 12.12.2019).
30. FrameworkROSMelodic. Available at: http://wiki.ros.org/melodic (accessed 12.12.2019).
31. Packet hector quadrotor. Available at: http://wiki.ros.org/hector_quadrotor (accessed 12.12.2019).
32. Packet husky_gazebo. Available at: http://wiki.ros.org/husky_gazebo/Tutorials/Simula-ting%20Husky (accessed 12.12.2019).
33. Korzun D.; Kashevnik A.; Balandin S. Novel design and the applications of smart-M3 platform in the internet of things: emerging research and opportunities. Hershey, PA, IGI Global, 2017. 150 p. ISBN 9781522526537.
Для цитирования:
Тесля Н.Н., Чемоданов М.Н., Красильников П.Н. Коалиционная работа мобильных роботов в социокиберфизической системе на базе онтологического подхода // Научный вестник НГТУ. - 2019. - № 4 (77). - С. 55-70. - DOI: 10.17212/1814-1196-2019-4-55-70.
For citation:
Teslya N.N., Chemodanov M.N., Krasilnikov P.N. Koalitsionnaya rabota mobil'nykh robotov v sotsio-kiberfizicheskoi sisteme na baze ontologicheskogo podkhoda [Coalition-oriented mobile robot and people operation in social cyber-physical-systems based on the ontological approach]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Science bulletin of the Novosibirsk state technical university, 2019, no. 4 (77), pp. 55-70. DOI: 10.17212/1814-1196-20194-55-70.
ISSN1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 77, No 4, 2019, pp. 55-70
