18Известия Кабардино-Балкарского научного центра РАН № 6(110) 2022
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИ
УДК: 004.89 Обзорная статья
DOI: 10.35330/1991-6639-2022-6-110-134-143
Формализация рабочего пространства и онтология технологического процесса для выполнения технологических работ коллаборативной робототехнической ячейкой*
М. А. Шереужев, Л. А. Пак, П. Д. Карасев, А. О. Винокуров
Московский государственный технологический университет «СТАНКИН» 127055, Россия, Москва, Вадковский переулок, 1
Аннотация. В статье рассмотрены задачи, которые необходимо решать при использовании коллаборативной робототехники. Представлены способы формализации среды по различным признакам: через семантику среды, по типу организации безопасного взаимодействия, по классам взаимодействия человека и робота. Предложены способы формализации детерминированных элементов среды и недетерминированных элементов среды, таких как человек. Проведено антологическое описание технологического процесса и приведен пример онтологии на базе процесса клепки фюзеляжа вертолета с использованием симуляции.
Ключевые слова: коллаборативная робототехника, робототехнические системы, индустрия 4.0, моделирование, коботы, промышленная революция
Поступила 02.12.2022, одобрена после рецензирования 09.12.2022, принята к публикации 15.12.2022
Для цитирования. Шереужев М. А., Пак Л. А., Карасев П. Д., Винокуров А. О. Формализация рабочего пространства и онтология технологического процесса для выполнения технологических работ коллаборативной робототехнической ячейкой // Известия Кабардино-Балкарского научного центра РАН. 2022. N° 6(110). С. 134-143. DOI: 10.35330/1991-6639-2022-6-110-134-143
MSC 68Т40; 68Т20 Review article
Formalizing of the workspace and the ontology of the technological process for the performance of technological work by a collaborative robotic cell*
M.A. Shereuzhev, L.A. Pak, P.D. ^rasev, А.О. Vinokurov
Moscow State University of Technology "STANKIN" 127055, Russia, Moscow, 1 Vadkovsky lane
AAbstract. The article considers the tasks that need to be solved when using collaborative robotics. Methods for formalizing the environment according to various criteria are presented: through the semantics of the environment, according to the type of organization of safe interaction, according to the classes of interaction between a person and a robot. Methods for formalizing deterministic elements of the environment and non-deterministic elements of the environment, such as a person, are proposed. An anthological
© Шереужев М. А., Пак Л. А., Карасев П. Д., Винокуров А. О., 2022
* Работа выполнена при поддержке Минобрнауки России в рамках выполнения государственного задания (FSFS-2021-0004).
* The work was supported by the Russian Ministry of Education and Science as part of the state task (FSFS-2021-0004).
description of the technological process was carried out and an example of an ontology based on the process of riveting the helicopter fuselage using simulation is presented.
Keywords: collaborative robotics, robotic systems, industry 4.0, modeling, cobots, industrial revolution
Submitted 02.12.2022, approved after reviewing 09.12.2022, accepted for publication 15.12.2022
For citation. Shereuzhev M.A., Pak L.A., Karasev P.D., Vinokurov A.O. Formalizing of the workspace and the ontology of the technological process for the performance of technological work by a collaborative robotic cell.
News of the Kabardino-Balkarian Scientific Center of RAS. 2022. No. 6(110). Pp. 134-143. DOI: 10.35330/19916639-2022-6-110-134-143
Введение
Рабочие ячейки, состоящие из людей и роботов, работающих совместно, представляют собой новую организацию труда для малых, средних и крупных предприятий, занимающихся сборкой продукции. Совместная работа человека и робота дает преимущества для промышленных приложений в плане скорости, эффективности и лучшего качества производства. Особенно высоких преимуществ от совместной работы человека и робота удается достичь при сборочных операциях с малыми объемами производства. Сборка малых объемов характеризуется ограниченной стандартизацией процедур, частой изменчивостью характеристик продукции, отсутствием инструментов и кронштейнов для подбора и размещения собираемых деталей. Полностью автоматизированные роботизированные участки требуют определения строгих рабочих процедур, которые редко встречаются при мелкосерийной сборке.
При небольших объемах производства некоторые производственные операции (например, загрузка и разгрузка, контроль деталей, очистка деталей, комплектация) в основном выполняются вручную. Многие из этих операций выполняются роботами на линиях массового производства, таких как конвейеры автомобильной промышленности. Этот факт ясно показывает потенциал внедрения роботов для выполнения нескольких повторяющихся производственных операций. Создание роботизированных рабочих ячеек не является целесообразным вариантом для большинства предприятий с малыми объемами производства, поскольку экономическая эффективность использования роботов часто подрывается затратами на реализацию полностью автоматической робототехнической ячейки и затратами на ее перепрограммирование для каждой новой задачи. Коллабора-тивная робототехническая ячейка решает эти проблемы, полагаясь на человеческий труд для выполнения задач, которые слишком дороги для автоматизации. Совместная работа человека и робота после решения вопросов безопасности позволяет использовать ловкость человека и машинную силу и точность, присущую роботам.
Для организации коллаборативного взаимодействия робота и человека необходимо:
• формализовать рабочее пространство для системы управления робота. При этом рабочее пространство будет состоять из внешней среды и людей, работающих в связке с роботом;
• описать онтологию технологического процесса.
Новизна статьи заключается в проработке вопросов формализации рабочего пространства и реализации описания онтологии технологического процесса, при котором происходит взаимодействие коллаборативной ячейки и человека на примере операции сверловки и клепки фюзеляжа летательного аппарата.
Материалы и методы
Формализация рабочей среды функционирования коллаборативной робототехни-ческой ячейки.
Формализация рабочего пространства для коллаборативной робототехнической ячейки представляет собой сложный многоуровневый процесс. Процесс включает в себя описание семантики среды, описание организации безопасного взаимодействия коллаборативного робота и человека, описание классов взаимодействия робота и человека.
1. Формализация рабочей среды через семантическое описание.
Семантика может иметь два типа представления:
• геометрическое представление;
• многомодальное представление.
При геометрическом представлении среда может быть представлена четырьмя вложенными пространствами в зоне взаимодействия коллаборативного робота и человека:
1) максимальное пространство - полный объем пространства с учетом объема деталей, который максимально может быть использован коллаборативным роботом;
2) запретное пространство - часть максимального пространства, доступ к которому для человека ограничен при работе робота;
3) пространство операций - часть запретного пространства, которую коллаборативный робот использует для совершения действий;
4) коллаборативное пространство - часть пространства операций, предназначенная для безопасной совместной деятельности человека и робота.
При многомодальном семантическом представлении геометрической моделью внешней среды являются: геометрическое описание рабочей среды, разрешенные и запрещенные для движения области и объекты для взаимодействия [1]. Геометрической и временной оценкой среды являются обобщения данных сенсоров совместно с геометрической моделью внешней среды и символьным описанием состояния внешней среды.
2. Типы организации безопасного взаимодействия коллаборативного робота и человека.
Выделяют два вида обеспечения безопасности при совместной работе коллаборативного
робота и человека:
1) активная безопасность для своевременного обнаружения неизбежных столкновений между людьми и оборудованием и контролируемого прекращения эксплуатации. Для этого могут быть использованы датчики приближения, системы наблюдения и датчики силы/контакта;
2) адаптивная безопасность для вмешательства в работу аппаратного оборудования и применения корректирующих действий, приводящих к предотвращению столкновений без остановки работы устройства.
3. Классы взаимодействия человека и робота.
Выделяют три класса возможного взаимодействия человека и робота:
1) Сосуществование. Во время сосуществования коллаборативный робот и человек разделяют одно рабочее пространство в течение общего рабочего времени.
2) Кооперация. Во время кооперации коллаборативный робот и человек работают над достижением одной цели, разделяя общее рабочее время и рабочее пространство.
3) Коллаборация. Во время коллаборации коллаборативный робот и человек обязательно имеют контакт, помимо общей цели, рабочего времени и рабочего пространства.
Для полной формализации рабочего пространства необходимо формализовать все элементы данной среды, которые могут быть детерминированными и недетерминированными.
Формализация детерминированных элементов среды
Детерминированными элементами среды можно считать элементы среды, состояние которых в любой момент времени в будущем может быть точно оценено с заранее известной погрешностью. Такими элементами могут быть, например, подвижные РТС и их части, объекты, над которыми производится работа, инструмент и т.д.
При необходимости формализации поведения детерминированного элемента среды необходимо составить модель поведения (движения) данного элемента в виде дифференциальных или разностных уравнений, которая сможет отражать реальное поведение элемента с необходимой точностью.
При этом возможно использование кинематической и динамической модели движения объекта. Первая является более простым решением и используется там, где для описания элемента не требуется рассмотрение сил, действующих на него со стороны других элементов среды. Динамическая модель является более сложной как в создании, так и при вычислении состояния элемента с помощью нее, но при этом может быть сильно точнее кинематической модели для конкретного рассматриваемого случая.
Составив модель движения элемента (кинематическую или динамическую), состояние элемента среды в каждый момент времени может быть вычислено с помощью решения дифференциальных (разностных) уравнений, описывающих поведение данного элемента.
Формализация недетерминированных элементов среды
Примером недетерминированного элемента среды является человек. Полная формализация поведения человека является одной из ключевых задач в организации коллаборатив-ного взаимодействия [2]. Ввиду недетерминированности этого поведения задача совместного функционирования человека и робота в единой среде значительно усложняется.
Существуют различные методы формализации поведения человека: когнитивные, аналитические, вероятностные. Стоит отметить, что задача формализации и моделирования поведения человека [3] подразумевает необходимость описания нормального поведения человека при выполнении рабочих задач, для повышения безопасности и адекватности взаимодействия робота и человека также требуется расчет вероятности происхождения ошибочных действий. В рамках коллаборативной робототехники модели поведения должны стремиться к универсальной. Таким образом, не каждая существующая модель может быть применена в данном случае.
Когнитивные модели поведения человека, на примере SOAP, ACT_R и PUM, представляют собой обоснования и знания, лежащие в основе человеческого поведения [4]. Такие модели являются очень детализированными и большими, но для использования в рамках коллаборативной робототехнической системы необходимо провести формализацию и абстрагирование, что является очень сложным и трудоемким процессом, требующим высокой квалификации специалистов, которые должны понимать и уметь модифицировать модель. Аналитические модели рассматривают отдельные атомарные действия каждой задачи и отличаются сильной связанностью с ситуацией, под которую были спроектированы. Таким образом, модели данного типа не особо подходят под описание человека для коллаборатив-ного взаимодействия ввиду своей неуниверсальности. Вероятностные модели очень похожи на решение проблем для описания недетерминированного поведения путем распределения вероятностей тех или иных действий и их результатов. Отдельно стоит выделить когнитивные модели или аналитические модели с вероятностным распределением (например, CREAM и SHERPA соответственно) [4]. Однако для построения данного типа моделей необходимо собрать надежные и достаточно большие наборы данных, которые послужат
для получения параметров распределения вероятностей. Данное требование сильно усложняет получение хороших моделей данным методом.
Как уже было упомянуто выше, необходимо не забывать про формализацию ошибочного поведения человека. Многие из представленных на сегодня методов имеют такую возможность.
Онтологическое описание технологического процесса (качественный подход к распределению задач в коллаборативной системе)
Основная задача коллаборативного взаимодействия - это выполнение какого-либо технологического процесса. Поэтому распределение задач в первую очередь проецируется на выбранный технологический процесс.
Процесс распределения задач можно разбить на 3 шага: декомпозиция задачи, статическое распределение и динамическое распределение. При первом шаге задачу можно разбивать на подзадачи, подпроцессы или подфазы [5-7]. Также задачи могут разбиваться согласно оборудованию или типам деталей, с которым необходимо взаимодействовать.
Следующим шагом следует статическое распределение. Под статическим подразумевается то, что план операций разрабатывается заранее и не планируется изменять в процессе. В целом операции можно классифицировать на следующие типы: выполняемые только человеком, выполняемые только роботом, выполняемые человеком или роботом. На выбор классификации не должен влиять тот факт, как именно при этом взаимодействуют робот и человек: совместно выполняют задачу или выполняют разные задачи, но в одной области действия. таким образом, необходимо определить показатели для операции, на основе которых будет классифицироваться операция. тут подходов может быть два: количественная и качественная оценка.
В работе [8] рассматривается качественное распределение задач на основе процесса сварки, для которого выделили следующие базовые операции: поиск инструмента для выполнения операции, установка зажима, операция сварки, фиксация опоры. Для всех этих операций выделили общие показатели. Авторы отмечают, что безопасность робота не учитывается, так как это относиться к требованиям самого робота, а не к технологической операции. Значения показателей могут быть как логическими (например, точность и ловкость), так и дискретными (например, вес детали). На основе полученных показателей каждая операция получает свою классификацию: выполняется человеком (Ч), выполняется роботом (Р), выполняется любым из двух (Ч/Р) или выполняется совместно (Ч+Р). После этого уже формируется диаграмма действий для совместной работы робота и человека.
Качественный метод в отличие от количественного больше ориентируется на опыт в технологическом процессе, поэтому больше подходит для роботизации существующих процессов. Также он более прост в использовании.
Пример онтологии на примере технологии сверловки и клепки фюзеляжа
летательного аппарата
Рассмотрим процесс клепки и сверловки и построим распределение задач по методу, описанному в работе [9], где представлен сценарий рассматриваемой технологической операции. Пример принципа коллаборативной сверловки и клепки1 представлен на рисунке 1.
1 Aerospace structure riveting [Электронный ресурс]: URL https://collaborate-project.eu/cases/aerospace-struc-ture-riveting/ (дата обращения: 15.12.2022)
Рис. 1. Пример принципа коллаборативной сверловки Fig. 1. An example of the principle of collaborative drilling
Можно заметить, что операции отличаются не только монотонностью (сверловка, проверка качества) и приложением больших усилий (зажим клепок), но и вредны для здоровья (нанесение герметика). Следовательно, необходимо перенести часть работ на робота, который возьмет на себя большинство легкодоступных точек. А в местах, сложных для проведения сборочной операции, работу будет выполнять человек [10].
Перейдем к формированию диаграммы действий по способу, рассмотренному в [8]. Необходимо выделить следующие базовые операции: сверловка корпуса, установка заклепки, зажим заклепки, проверка соединения, выдавливание заклепки, запечатывание заклепки. Для них в рамках предложенного технологического процесса выделим следующие признаки: механическая отдача (М), затрудненность проведения операции по месту (З), корпоративность (К), опасность процесса (О), ловкость (Л) и точность (Т). На основе данных признаков можно сформулировать распределение операций по классам (табл. 1). Таким образом можно сформулировать и диаграмму действий (рис. 2).
Таблица 1. Классификации операций технологического процесса сборки фюзеляжа летательного аппарата
Table 1. Classification of operations of the technological process of assembling the fuselage of the aircraft
Операция М З О К Л Т Класс
Сверловка 1 1 0 0 0 1 Ч/Р
Установка заклепки 0 1 0 0 1 1 Ч/Р
Зажим заклепки 1 1 0 1 1 0 Ч+Р, Ч+Ч
Проверка соединения 0 0 0 0 0 0 Ч
Выдавливание заклепки 1 1 0 0 0 0 Ч/Р
Запечатывание заклепки 0 0 1 0 0 0 Р
Рис. 2. Диаграмма действий при сборке фюзеляжа летательного аппарата коллаборативной робототехнической ячейкой
Fig. 2. Diagram of actions during the assembly of the aircraft fuselage by a collaborative robotic cell
Динамическое распределение задач будет уже основываться на диалоге между участниками. Оно может как запустить какое-то заранее сформулированное статическое распределение, либо оказать воздействие на текущее уже запущенное распределение операций. Данный тип очень сильно зависит от дополнительных технических возможностей. Так, например, возможна установка нескольких камер в коллаборативной ячейке, чтобы отслеживать жесты, эмоции, направление взгляда человека. Эту информацию можно использовать для изменения маршрута робота или установления зрительного контакта для считывания голосовых или жестовых команд.
Из вышесказанного можно сделать вывод, что всю работу коллаборативной ячейки возможно представить виде диаграммы сценариев как для робота, так и для человека. Таким образом, в данном случае применимы конечные автоматы.
Приведенный пример онтологии был частично реализован в симуляторе Gazebo 11, в котором присутствовали оператор, коллаборативная ячейка, состоящая из подвижного шасси, стреловидного крана и манипулятора, и фюзеляж вертолета (рис. 3).
В процессе данной симуляции задачами робота являлись задачи из диаграммы действий, представленной на рисунке 2. На данном этапе симуляция производилась с телеуправляемым роботом, то есть роботом управлял человек. В дальнейшем робота планируется оснастить системой технического зрения и алгоритмами планирования и управления для того, чтобы он мог выполнять свои задачи полностью автономно.
Рис. 3. Симулятор с коллаборативной ячейкой, оператором и фюзеляжем вертолета Fig. 3. Simulator with a collaborative cell, an operator and a helicopter fuselage
Вывод
В ходе работы был рассмотрен процесс формализации рабочей среды функционирования коллаборативной робототехнической ячейки и описана онтология технологического процесса сверловки и клепки фюзеляжа летательного аппарата.
Примененный в статье подход к описанию технологического процесса для определения целесообразности назначения операций человеку и коллаборативному роботу позволяет однозначно определить последовательность действий при выполнении операций сверловки и клепки.
Рассмотренные подходы применимы для иных отраслей и областей деятельности, где целесообразно использование коллаборативных роботов и возможна формализация рабочего пространства и процессов выполнения технологических операций.
В дальнейшем планируется разработка программного обеспечения управления технологическим процессом и проверка функционирования с применением имитационного моделирования.
СПИСОК ЛИТЕРАТУРЫ
1. Ермишин К. В., Ющенко А. С. Коллаборативные мобильные роботы - новый этап развития сервисной робототехники // Робототехника и техническая кибернетика. 2016. № 3(12). С. 5-7.
2. Серебренный В. В., Шереужев М. А. Основные вопросы разработки коллаборативных робототехнических систем промышленного назначения // Информатика. Вычислительная техника. Управление. 2018. № 6-3. С. 107-111.
3. Тарасов В. Б. Гибридный интеллект и коллаборативная робототехника: расширенный партнерский интерфейс в системах «человек - робот» // Мягкие измерения и вычисления. 2020. № 4. С. 50-54.
4. Askarpour M. How to Formally Model Human in Collaborative Robotics. arXiv:2012.01647. 2020. Pp. 2-4.
5. Галин Р. Р., Серебренный В. В., Тевяшов Г. К., Широкий А. А. Взаимодействие человека и робота в коллаборативных робототехнических системах // Известия Юго -Западного государственного университета. 2020. № 4. С. 183-189.
6. Серебренный В. В. Коллаборативные мультиагентные системы - альтернатива полной автоматизации производства // Мехатроника. Автоматизация. Управление. 2020. № 7. С. 11-17.
7. Ющенко А. С. Коллаборативная робототехника и человеческий фактор // Актуальные проблемы психологии труда, инженерной психологии и эргономики / Под редакцией А. А. Обоз-нова, А. Л. Журавлева. Москва: Институт психологии РАН, 2020. С. 88-91.
8. Antonelli D., Bruno G. Dynamic Distribution of Assembly Tasks in a Collaborative Work-cell of Humans and Robots. FME Transactions. 47(4). 2019. Pp. 725-728.
9. Luxenburger A. [et al]. Extended Abstract: Augmented Reality for Human-Robot Cooperation in Aircraft Assembly. IEEE International Conference on Artificial Intelligence and Virtual Reality. 2019. Pp. 241-242.
10. Мокаева А. А., Серебренный В. В., Лапин Д. В. Повышение производительности труда за счет использования коллаборативной робототехники // Известия ЮФУ. Технические науки. 2019. № 7. С. 93-95.
Информация об авторах
Шереужев Мадин Артурович, ст. преподаватель кафедры «Робототехнические системы и ме-хатроника», Московский государственный технический университет имени Н. Э. Баумана;
105005, Россия, Москва, улица 2-я Бауманская, 5, корпус 1;
инженер кафедры «Робототехника и мехатроника», Московский государственный технологический университет «СТАНКИН»;
127055, Россия, Москва, Вадковский переулок, 1;
[email protected], ORCID: https://orcid.org/0000-0003-2352-992X
Пак Леонард Алексеевич, инженер, Московский государственный технологический университет «СТАНКИН»;
127055, Россия, Москва, Вадковский переулок, 1;
[email protected], ORCID: https://orcid.org/0000-0002-7192-1291
Карасев Павел Дмитриевич, инженер, Московский государственный технологический университет «СТАНКИН»;
127055, Россия, Москва, Вадковский переулок, 1;
[email protected], ORCID: https://orcid.org/0000-0002-7316-8491
Винокуров Артем Олегович, инженер, Московский государственный технологический университет «СТАНКИН»;
127055, Россия, Москва, Вадковский переулок, 1;
[email protected], ORCID: https://orcid.org/0000-0002-8200-3509
REFERENCES
1. Ermishin K.V., Yushchenko A.S. Collaborative mobile robots - a new stage in the development of service robotics. Robotics and technical cybernetics. 2016. No. 3(12). Pp. 5-7. (In Russian)
2. Serebrenny V.V., Shereuzhev M.A. The main issues of the development of collaborative robotic systems for industrial use. Informatika. Computer Engineering. Control. 2018. No. 6-3. Pp. 107-111. (In Russian)
3. Tarasov V.B. Hybrid Intelligence and Collaborative Robotics: Extended Partner Interface in Human-Robot Systems. Soft Measurements and Computing. 2020. No. 4. P. 50-54. (In Russian)
4. Askarpour M. How to Formally Model Human in Collaborative Robotics. arXiv preprint arXiv:2012.01647. 2020. Pp. 2-4.
5. Galin R.R., Serebrenny V.V., Tevyashov G.K., Shirokiy A.A. Human-Robot Interaction in Collaborative Robotic Systems. Proceedings of the South-Western State University. 2020. No. 4. Pp. 183-189. (In Russian)
6. Serebrenny V.V. Collaborative multi-agent systems - an alternative to full automation of production. Mechatronics. Automation. Management. 2020. No. 7. Pp. 11-17. (In Russian)
7. Yushchenko A.S. Collaborative robotics and the human factor. Actual problems of labor psychology, engineering psychology and ergonomics / Edited by A.A. Oboznova, A.L. Zhuravlev. Moscow: Institute of Psychology RAS, 2020, Pp. 88-91. (In Russian)
8. Antonelli D., Bruno G. Dynamic Distribution of Assembly Tasks in a Collaborative Workcell of Humans and Robots, FME Transactions. 47(4). 2019. Pp. 725-728.
9. Luxenburger A. [et al]. Extended Abstract: Augmented Reality for Human-Robot Cooperation in Aircraft Assembly. IEEE International Conference on Artificial Intelligence and Virtual Reality. 2019. Pp. 241-242.
10. Mokaeva A.A., Serebrennyi V.V., Lapin D.V. Increasing labor productivity through the use of collaborative robotics. Izvestiya SFU. Technical science. 2019. No. 7. Pp. 93-95. (In Russian)
Information about the authors
Shereuzhev Madin Arturovich, Senior lecturer, Department «Robotic systems and mechatronics», Moscow State Technical University named after N.E. Bauman;
105005, Russia, Moscow, build. 5 corps 1 Baumanskaya street;
Engineer of the Department of Robotics and Mechatronics, Moscow State University of Technology "STANKIN";
127055, Russia, Moscow, 1 Vadkovsky Lane;
[email protected], ORCID: https://orcid.org/0000-0003-2352-992X
Pak Leonard Alekseevich, Engineer, Moscow State University of Technology "STANKIN";
127055, Russia, Moscow, 1 Vadkovsky Lane;
[email protected], ORCID: https://orcid.org/0000-0002-7192-1291
Karasev Pavel Dmitrievich, Engineer, Moscow State University of Technology "STANKIN";
127055, Russia, Moscow, 1 Vadkovsky Lane;
[email protected], ORCID: https://orcid.org/0000-0002-7316-8491
Vinokurov Artem Olegovich, Engineer, Moscow State University of Technology "STANKIN";
127055, Russia, Moscow, 1 Vadkovsky Lane;
[email protected], ORCID: https://orcid.org/0000-0002-8200-3509
