CC BY
19
Обзорная статья
УДК 004.75:519.687.1
ББК 32.972.5
Д 58
DOI: 10.53598/2410-3225-2023-4-331-44-51
Алгоритм и анализ сходимости модели федеративного обучения, использующейся в полете роя дронов
(Рецензирована)
Виталий Анатольевич Довгаль
Майкопский государственный технологический университет, Адыгейский государственный университет, Майкоп, Россия, [email protected]
Аннотация. Представлен анализ возможности применения сравнительно новой и хорошо зарекомендовавшей себя методики машинного обучения для распределенной системы сбора и обработки информации - федеративного обучения моделей, использующейся для выполнения полета роем дронов, как группы агентов с точки зрения передачи накопленных данных и обучения модели искусственного интеллекта. Описана схема работы федеративного обучения для группы беспилотных летательных аппаратов (БПЛА). Особое внимание уделено понятию конвергенции (сходимости) в машинном обучении.
Ключевые слова: беспроводные сети, беспилотные летательные аппараты, рой дро-нов, федеративное обучение, анализ конвергенции
Review Paper
Algorithm and convergence analysis of the federated learning model of flight a drone swarm
Vitaliy A. Dovgal
Maykop State Technological University, Adyghe State University, Maykop, Russia, [email protected]
Abstract. The purpose of this study is to review and analyze the application of a relatively new and well-proven machine learning methodology for a distributed information collection and processing system - federated model training used to fly a swarm of drones as a group of agents in terms of transferring accumulated data and training an artificial intelligence model. The scheme of federal training for a group of unmanned aerial vehicles (UAV) is described. Special attention is paid to the concept of convergence in machine learning.
Keywords: wireless networks, unmanned aerial vehicles, swarm of drones, federated learning, convergence analysis
Введение
Трендом последнего времени стало объединение беспилотных летательных аппаратов в группу, выполняющую совместный полет (стаю), что позволяет повысить эффективность использования этого вида транспортных средств - не только для осуществления доставки товаров, но и выполнения мониторинга земной поверхности, реализации поисковых миссий и т.п. [1, 2]. Предоставление этих услуг требует от роя дронов решения вычислительных задач, таких как согласованное планирование траектории, распознавание целей и локализация как отдельных агентов стаи, так и всего роя в целом. Для этого аппаратное обеспечение группы БПЛА должно обрабатывать поступающие от датчиков данные на основе использования машинного обучения (ML). Од-
нако мобильность беспилотных летательных аппаратов, а также нахождение их во время полета на большой высоте или на большом удалении накладывает ограничения на наличие непрерывного взаимодействия между группой дронов и наземными базовыми станциями (НБС). Поэтому использование централизованных подходов ML для выполнения задач, связанных с обучением, представляется весьма сложной задачей, особенно при передаче большого объема данных по беспроводным линиям связи. Использование распределенного и надежного машинного обучения с низкой задержкой на границе беспроводной сети (называемого периферийным машинным обучением) дает широкие возможности для решения указанной задачи [3].
В области распределенного машинного обучения некоторой совокупности объектов, использующих модель искусственного интеллекта, разработано несколько методик, учитывающих низкую пропускную способность применяющихся каналов связи, а также обеспечивающих легальность и конфиденциальность данных. Концепция федеративного обучения (federated learning, FL) является примером методик, в которых вместо отправки необработанных данных на центральный сервер передаются только обновления модели, что сокращает объем данных, передаваемых по каналам связи [4]. Кроме того, сохраняется конфиденциальность данных (необработанные данные остаются на локальном устройстве и доступны только зашифрованные обновления модели), а также обеспечивается их легализация (выдерживаются правила защиты данных, гарантирующие соблюдение законов о конфиденциальности на протяжении всего процесса федеративного обучения). Заметим, что использование федеративного обучения позволит каждому беспилотнику выполнять распределенные задачи ML, не полагаясь на какую-либо централизованную НБС.
Целью данной статьи является анализ возможности применения методики федеративного обучения интеллектуальной модели для группы дронов, выполняющих совместный полет, а также условие оценки функционирования распределенной системы, как комбинации туманных вычислений и искусственного интеллекта [5] на основе понятия «сходимость» (конвергенция).
1. Федеративное обучение интеллектуальной модели для обработки данных
Федеративное обучение (FL) - это концепция распределенной информационной системы машинного обучения без совместного использования локальных наборов данных с централизованным контролем, учитывающей низкую скорость передачи данных между агентами, а также необходимость обеспечения защиты информации в процессе обучения [6]. Выделенный пограничный сервер является мощным и безопасным сервером, расположенным на границе сети, ближе к конечным пользователям, который обеспечивает более быструю доставку контента, малую задержку и повышенную производительность приложений и служб.
Федеративное машинное обучение - это совместный подход, при котором несколько дронов обучают общую модель, не обмениваясь своими исходными данными. Вместо этого каждый БПЛА обучает модель, используя свои локальные данные, и передает центральному дрону только обновления модели, что и обеспечивает обучение с сохранением конфиденциальности, а также позволяет центральному беспилотнику агрегировать обновления модели и улучшать общую модель.
БПЛА может использовать сеть внутри роя для обмена с другими беспилотни-ками параметрами FL, относящимися к изученным моделям. По мере осуществления процесса обучения беспилотники в рое могут достигать консенсуса по своим коллективным учебным задачам, например, планированию траектории или распознаванию цели. Однако такие факторы беспроводной сети, как уровень сигнала, задержка и пропускная способность, могут влиять на конвергенцию федеративного машинного обуче-
ния: ненадежные или медленные беспроводные соединения могут приводить к задержкам связи и потере данных, что может препятствовать синхронизации обновлений модели и замедлять процесс конвергенции.
Кроме того, высокая мобильность беспилотных летательных аппаратов и другие факторы, такие как ветер и механические вибрации, могут создавать проблемы для конвергенции федеративного обучения. Постоянное перемещение может привести к нестабильным сетевым подключениям, более высоким задержкам связи и прерывистой доступности данных, что может негативно повлиять на синхронизацию обновлений моделей и замедлить конвергенцию. Кроме того, ветер и вибрация могут вносить шум и изменчивость в данные, влияя на точность и согласованность общей модели.
2. Схема федеративного обучения модели для роя дронов
Рассмотрим рой дронов, объединяемых беспроводной сетью и выполняющих полет на одной высоте, как показано на рисунке 1. Рой БПЛА состоит из лидера и набора ведомых летательных аппаратов [7]. Каждый ведомый сохраняет заданную до лидера дистанцию и установленную скорость. Во время полета роя каждый ведомый беспилотный летательный аппарат обучает модель, используя свои локальные данные, учитывая такие факторы, как схема полета, показания датчиков, совместное распознавание целей и условия окружающей среды. Беспилотники периодически обмениваются обновлениями модели по восходящей линии связи с центральным дроном, который агрегирует эти обновления для улучшения общей модели (рис. 1).
Ведомый дрон
Рис. 1. Модель коммуникации и машинного обучения роя дронов Fig. 1. The drone swarm communication and machine learning model
Таким образом, в контексте группы беспилотных летательных аппаратов федеративное машинное обучение позволяет дронам извлекать выгоду из коллективного разума группы, сохраняя конфиденциальность данных и снижая затраты на связь.
В целом федеративное обучение обеспечивает распределенное и совместное обучение среди беспилотных летательных аппаратов, что, безусловно, улучшает работу группы. Федеративное обучение в контексте скоординированного полета беспилотных летательных аппаратов включает следующие этапы.
1. Инициализация: каждый БПЛА начинает со своей собственной локальной модели, которая предварительно обучается с использованием репрезентативного набора данных, и эта модель служит отправной точкой для объединенного обучения.
2. Локальное обучение: каждый дрон самостоятельно собирает данные со своих датчиков во время выполнения полетов, на основе которых он обучает свою локальную модель, обновляя ее параметры для повышения производительности.
3. Агрегирование моделей: периодически беспилотники обмениваются данными друг с другом для агрегирования обновлений своих моделей (вместо обмена необработанными данными осуществляется обмен только обновленными параметрами модели, что позволяет уменьшить объем данных, передаваемых по каналам связи, и обеспечить эффективное использование полосы пропускания).
4. Обновление глобальной модели: агрегированные обновления моделей со всех БПЛА объединяются для создания глобальной модели, которая представляет собой коллективные знания и опыт всех дронов, участвующих в согласованном полете. Затем глобальная модель передается обратно каждому беспилотнику.
5. Интеграция локальной модели: каждый дрон интегрирует глобальную модель в свою локальную модель, объединяя коллективные знания со своим индивидуальным обучением, что позволяет беспилотникам извлекать выгоду из информации, полученной другими беспилотниками в процессе обучения.
6. Итеративный процесс: шаги со второго по пятый повторяются итеративно, позволяя дронам непрерывно изучать и обновлять свои модели на основе собственных данных датчиков и коллективных знаний от других беспилотников, что обеспечивает адаптивное принятие решений и повышает эффективность скоординированного полета.
Используя федеративное обучение, летательные аппараты могут обучать свои модели локально, снижая потребность в передаче данных и минимизируя задержку связи. Непрерывное обучение и обмен обновлениями моделей позволяют принимать решения в режиме реального времени, повышая эффективность скоординированных полетов.
Преимущества федеративного машинного обучения для группы беспилотных летательных аппаратов по сравнению с традиционным централизованным обучением включают в себя [6]:
1. Сохранение конфиденциальности: FL позволяет каждому дрону обучать модель локально, не передавая свои исходные данные, обеспечивая конфиденциальность и безопасность данных;
2. Децентрализованное обучение: при федеративном обучении процесс обучения распределяется между беспилотниками, что позволяет ускорить обучение и снизить потребность в передаче данных;
3. Адаптивность: общая модель может постоянно обновляться и совершенствоваться на основе индивидуального опыта и наблюдений за каждым беспилотником, повышая общую производительность.
Недостатки федеративного машинного обучения для группы беспилотных летательных аппаратов включают:
1. Коммуникационные ограничения: прерывистое подключение и ограниченная пропускная способность беспроводных сетей, используемых беспилотными летательными аппаратами, могут приводить к задержкам связи, что приводит к замедлению конвергенции и синхронизации моделей;
2. Разнородные данные: беспилотники могут иметь различное распределение данных из-за различных схем полета, условий окружающей среды и возможностей датчиков.
3. Понятие конвергенции (сходимости) в машинном обучении
Федеративное обучение, как важная и многообещающая схема обучения в технологии Интернета вещей (IoT), позволяет устройствам совместно строить модель обучения, не делясь своими необработанными наборами данных. Однако, поскольку обучающие данные в FL не собираются и не хранятся централизованно, FL-обучение требует частого обмена моделями, на что в значительной степени влияет сеть беспроводной связи. При этом ограниченная пропускная способность и случайная потеря пакетов лимитируют взаимодействие при обучении. Между тем недостаточная синхронизация
сообщений между распределенными клиентами также может повлиять на конвергенцию FL.
Формулируя проблему обучения, необходимо создать функцию потерь, которая использует веса модели в качестве параметров. Обратное распространение начинается в произвольной точке на многообразии ошибок, определяемом функцией потерь, и с каждой итерацией намеревается приближаться к точке, которая минимизирует значение ошибки, обновляя веса. По существу, для каждого возможного набора весов, который может иметь модель, существует соответствующее значение для данной функции потерь, и наша цель состоит в том, чтобы найти минимальную точку на этом многообразии.
Сходимость - математически наиболее распространенный термин при изучении рядов и последовательностей. Говорят, что модель сходится, когда сходится ряд
s(n) = lossWn (й y),
где (On - набор весов после n-й итерации обратного распространения ошибки обучения, loss - функция потерь, отображающая некоторое событие в виде действительного числа, понимаемая интуитивно как некоторая «стоимость», связанная с событием, а s(n) - n-й член ряда. Ряд, конечно, является бесконечным только в том случае, если предполагается, что loss = 0 (на самом деле такое условие никогда не достигается, но после этого скорость обучения продолжает снижаться).
По сути, это означает, что модель сходится, когда ее функция потерь (функция стоимости, разница между прогнозом модели и объективными значениями данных) фактически приближается к минимумам (локальным или глобальным) с тенденцией к снижению [8]. На самом деле строго сходящаяся модель встречается нечасто, но конвергенция обычно используется аналогично выпуклому анализу. Строго говоря, задача состоит в том, чтобы показать, насколько близка модель к идеальному сценарию выпуклости или, в данном случае, конвергенции.
Проблема планирования беспроводной сети для FL-обучения требует решения в два этапа:
1) требуется теоретический анализ сходимости модели обучения;
2) на основе анализа конвергенции должна быть разработана сетевая модель для реализации FL, и настройки в ней будут оптимизированы соответствующим образом.
Поясним понятие «конвергенция». В контексте работы конвергенция означает, что последовательность терминов, индексированных N(Xi, X2, X3, ...) стремится к определенному фиксированному значению, например, X при N^ro, но может не достигать его.
В области машинного обучения обычно рассматриваются вероятностные (стохастические) модели, в которых учитываются случайные факторы, а сходимость здесь классифицируется четырьмя типами [9]:
1. Сходимость по вероятности: при N^ro вероятность того, что Xn (последовательность случайных величин) будет очень близка к X, также увеличивается, то есть P(a:[\XN(a)-X(a)\>при N^ro (такой тип сходимости в основном используется в теории статистического обучения);
2. Сходимость почти наверное: при N^ro вероятность того, что Xn (последовательность случайных величин) будет очень близка к X, равна 1 (здесь нет вероятности, которая близка к X, мы прямо говорим, что она должна быть близка к X), то есть P(w:[|XN(w)-X(w)|>e"])=0 при N^ro. Это более сильная проверка предыдущей сходимости, и это тип конвергенции, который используется в обучении с подкреплением
(RL);
3. Конвергенция по распределению (слабо сходящаяся) - распределение последовательности случайных величин стремится к определенному распределению, то есть
NmFX„ = fx ;
N ^x "
4. Сходимость в r-й момент: последовательность случайных величин будет сходиться к определенному среднему значению по мере того, как последовательность будет стремиться к бесконечности или, проще говоря:
Hm£[| ] = 0,
N ^x 1 1
где л - значение, к которому сходятся случайные величины в момент r.
В контексте машинного обучения можно принять L(cn, yn, xn) вместо XN, где con, yn, xn будет решением на следующем шаге, и можно проверить, удовлетворяет ли он какому-либо из вышеупомянутых условий сходимости, используя некоторые достаточные условия. Обратим внимание на то, что когда мы выполняем выпуклую оптимизацию, имеется в виду сходимость типа «почти наверное» (если используемый метод работает), в то время как для стохастического градиентного спуска (stochastic gradient descent, SGD) из-за стохастичности можно было бы сформулировать его в терминах сходимости по вероятности. Заметим, что SGD - это оптимизационный алгоритм, обычно используемый в машинном обучении, который случайным образом выбирает подмножество обучающих данных, называемое мини-пакетом, для вычисления градиента и итеративного обновления параметров модели, что помогает ускорить процесс обучения и является особенно полезным для больших наборов данных.
В качестве конкретного примера можно привести парадигму обучения вероятно приближенно корректного обучения (ВПК-обучение, PAC, англ. Probably Approximately Correct learning, PAC learning) - схему машинного обучения, которая является теоретической основой машинного обучения, фокусирующейся на обучении на конечном наборе обучающих примеров, представляющих неизвестную целевую концепцию [10]. Ее суть состоит в том, чтобы найти гипотезу, которая с высокой вероятностью аппроксимирует целевую концепцию, учитывая определенный уровень достоверности и допуск к ошибкам. Целью обучения PAC является установление границ размера выборки, необходимого для обучения, и ошибки обобщения гипотезы. Не вдаваясь в подробности, идея обучения PAC заключается в следующем: с увеличением размера набора данных возрастает наша уверенность в применяемом классификаторе, что может быть интерпретировано как своего рода сходимость по вероятности с фактической потерей в качестве случайной величины, в то время как сходимость Q-learning является сходимостью «почти наверное» при некоторых предположениях (Q-обучение является алгоритмом обучения с подкреплением, который позволяет агенту изучать оптимальные действия в среде марковского процесса принятия решений (MDP)).
Анализ конвергенции модели федеративного машинного обучения в группе беспилотных летательных аппаратов, выполняющих совместный полет, имеет решающее значение для обеспечения эффективности общей модели. В случае медленной или нестабильной конвергенции может появиться несогласованность между беспилотниками, что повлияет на их скоординированные действия и принятие решений. Следовательно, для оптимизации процесса обучения и получения синхронизированных и точных моделей среди беспилотников необходим тщательный анализ сходимости.
Заключение
В данном исследовании рассмотрена концепция федеративного обучения и возможность реализации FL-модели для роя беспилотных летательных аппаратов, выполняющих самостоятельный полет как группа агентов. Кроме того, проведен анализ понятия сходимости для изучения ее влияния на создаваемую FL-модель. Оптимизируя показатели конвергенции FL-модели, можно гарантировать стабильность системы управления дронами и возможность обеспечить контроль потребления энергии каждым беспилотником.
Таким образом, федеративное обучение дает возможность повысить эффективность скоординированного полета дронов, позволяя каждому транспортному средству обучать свою собственную локальную модель, используя собственные данные датчиков. Обмен только обновлениями модели (вместо необработанных данных) сокращает затраты на связь и обеспечивает обучение в режиме реального времени и принятие решений во время скоординированных полетов [11].
Федеративное обучение может повысить действенность скоординированного полета беспилотных летательных аппаратов несколькими способами:
1. Каждый БПЛА может обучать свою собственную локальную модель, используя собственные данные датчиков, что устраняет необходимость передавать большие объемы необработанных данных на центральный сервер, а это в свою очередь уменьшает пропускную способность связи и проблемы с задержкой;
2. Федеративное обучение позволяет каждому беспилотнику непрерывно изучать и обновлять свою модель в режиме реального времени во время скоординированного полета, что позволяет принимать адаптивные решения на основе самых последних и актуальных данных, гарантируя, что беспилотники могут быстро реагировать на изменяющиеся условия и эффективно принимать скоординированные решения.
Кроме того, федеративное обучение способствует обеспечению конфиденциальности данных: вместо обмена конфиденциальными данными датчиков дроны обмениваются только зашифрованными обновлениями моделей, что гарантирует защищенность индивидуальных данных в соответствии с правилами конфиденциальности.
Примечание
1. Dovgal V.A. A Scheme of Data Analysis by Sensors of a Swarm of Drones Performing a Search Mission Based on a Fog Architecture Using the Internet of Things // Proceedings - 2022: International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2022, Sochi, On May, 16-20. Sochi, 2022. P. 1073-1078. DOI: 10.1109/ICIEAM54945.2022.9787201
2. Dovgal V.A. Making decisions about the placement of unmanned aerial vehicles based on the implementation of an artificial immune system in relation to information processing // Proceedings -2021: International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2021, Sochi, On May, 17-21. Sochi, 2021. P. 828-833. DOI: 10.1109/ICIEAM51226.2021.9446353
3. Wireless Network Intelligence at the Edge / J. Park, S. Samarakoon, M. Bennis, M. Debbah // Proceedings of the IEEE. 2019. Vol. 107, No. 11. P. 2204-2239. DOI: 10.1109/JPROC.2019.2941458
4. Federated Learning: Strategies for Improving Communication Efficiency / J. Konecny, H. Brendan McMahan, Felix X.Yu [et al.]. URL: https://arxiv.org/pdf/1610.05492.pdf (дата обращения: 25.11.2023).
5. Довгаль В.А., Довгаль Д.В. Использование туманных вычислений в облаке вещей для обработки информации при оптимизации размещения беспилотных летательных аппаратов // Информационные системы и технологии в моделировании и управлении: сб. тр. V Междунар. науч.-практ. конф., Ялта, 20-22 мая 2020 года. Ялта: Типография «Ариал», 2020. С. 24-28.
6. Довгаль В. А. Анализ реализации федеративного обучения в граничных вычислениях с помощью FL-протокола // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2022. Вып. 4 (311). С. 60-65. DOI: 10.53598/2410-3225-2022-4-311-60-65
7. Dovgal V. A. Swarm learning based on the artificially intelligent edge // CEUR Workshop Proceedings. Сер.: DLT 2021. Selected Papers of the 6th International Scientific and Practical Conference "Distance Learning Technologies". Yalta, 2021. P. 260-265.
8. Convergence в машинном обучении простыми словами. URL: https://dzen.ru/a7ZBbUFeljbQP4Gcmd (дата обращения: 25.11.2023).
9. Жуковский М.Е. Теория вероятностей. Конспект лекций. МФТИ, 2017. URL: https://mipt.ru/diht/students/courses/probability_zhukovsky.pdf (дата обращения: 01.12.2023).
10. Borchmann D., Hanika T., Obiedkov S. Probably approximately correct learning of Horn envelopes from queries // Discrete Applied Mathematics. 2019. Vol. 257. DOI: 10.1016/j.dam.2019.02.036
11. Довгаль В.А., Довгаль Д. В. Модель взаимодействия анализирующих туманно-облачных вычислений для обработки информации о положении беспилотных летательных аппаратов // Осенние математические чтения в Адыгее: материалы III Междунар. науч. конф. Майкоп, 2019. С. 149-154.
References
1. Dovgal V.A. A Scheme of Data Analysis by Sensors of a Swarm of Drones Performing a Search Mission Based on a Fog Architecture Using the Internet of Things // Proceedings - 2022: International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2022, Sochi, On May, 16-20. Sochi, 2022. P. 1073-1078. DOI: 10.1109/ICIEAM54945.2022.9787201
2. Dovgal V.A. Making decisions about the placement of unmanned aerial vehicles based on the implementation of an artificial immune system in relation to information processing // Proceedings -2021: International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2021, Sochi, On May, 17-21. Sochi, 2021. P. 828-833. DOI: 10.1109/ICIEAM51226.2021.9446353
3. Wireless Network Intelligence at the Edge / J. Park, S. Samarakoon, M. Bennis, M. Debbah // Proceedings of the IEEE. 2019. Vol. 107, No. 11. P. 2204-2239. DOI: 10.1109/JPROC.2019.2941458
4. Federated Learning: Strategies for Improving Communication Efficiency / J. Konecny, H. Brendan McMahan, Felix X.Yu [et al.]. URL: https://arxiv.org/pdf/1610.05492.pdfCaccess date: 25/11/2023).
5. Dovgal V.A., Dovgal D.V. Using fog computing in the cloud of things for information processing when optimizing the placement of unmanned aerial vehicles // Information systems and technologies in modeling and control: coll. of proceedings of the 5 th International scient. and pract. conf., Yalta, May 20-22, 2020. Yalta: Arial Printing House, 2020. P. 24-28.
6. Dovgal V. A. Analysis of the implementation of federated learning in boundary computing using the FL protocol // The Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2022. Iss. 4 (311). P. 60-65. DOI: 10.53598/2410-3225-2022-4-311-60-65
7. Dovgal V. A. Swarm learning based on the artificially intelligent edge // CEUR Workshop Proceedings. Сер.: DLT 2021. Selected Papers of the 6th International Scientific and Practical Conference "Distance Learning Technologies". Yalta, 2021. P. 260-265.
8. Convergence in machine learning in simple words. URL: https://dzen.ru/a/ZBbUFeljbQP4Gcmd (access date: 25/11/2023).
9. Zhukovsky M.E. Probability theory. Lecture notes. MFTI, 2017. URL: https://mipt.ru/diht/students/courses/probability_zhukovsky.pdf (access date: 25/11/2023).
10. Borchmann D., Hanika T., Obiedkov S. Probably approximately correct learning of Horn envelopes from queries // Discrete Applied Mathematics. 2019. Vol. 257. DOI: 10.1016/j.dam.2019.02.036
11. Dovgal V.A., Dovgal D.V. Model of interaction of analyzing fog-cloud computing for processing information about the position of unmanned aerial vehicles // Autumn mathematical readings in Adygea: materials of the 3rd International scient. conf. Maykop, 2019. P. 149-154.
Статья поступила в редакцию 29.11.2023; одобрена после рецензирования 05.12.2023; принята к публикации 06.12.2023.
The article was submitted 29.11.2023; approved after reviewing 05.12.2023; accepted for publication 06.12.2023.
© В.А. Довгаль, 2023
