CC BY
6
Молодой исследователь Дона. 2024;9(2):33-36. elSSN2500-1779
ТЕХНИЧЕСКИЕ НАУКИ
УДК 004.89
Нейросеть для отслеживания положения человека в интеллектуальной системе «АвтоSentinel»
С.С. Пономаренко, И.С. Селиверстов, А.И. Изюмов
Донской государственный технический университет, г. Ростов-на-Дону, Российская Федерация Аннотация
«АвтоSentinel» — это система мониторинга состояния водителя на базе искусственного интеллекта и компьютерного зрения. С помощью алгоритмов и многослойных нейросетей система распознает потенциально опасные события, мгновенно оповещает о них водителя и предотвращает происшествия на дорогах. В настоящее время интеллектуальная система «АвтоSentinel» является важным инструментом для предотвращения опасных ситуаций на автомобильных дорогах, связанных с усталостью водителя. В статье освещаются технологические особенности, архитектура нейросети системы «АвтоSentinel» и ее роль в обеспечении точного мониторинга водителя. Подробное рассмотрение этих аспектов помогает понять важность интеграции нейротехнологий в системы безопасности на дорогах. Целью исследования явился анализ нейросети в структуре системы «АвтоSentinel» в контексте определения положения тела водителя.
Ключевые слова: нейросеть, АвтоSentinel, python, дорожная безопасность, mediapipe, определение положения тела
Для цитирования. Пономаренко С.С., Селиверстов И.С. Нейросеть для отслеживания положения человека в интеллектуальной системе. Молодой исследователь Дона. 2024;9(2):33-36.
Neural Network for Tracking the Position of a Person in the AutoSentinel Intelligent System
Sergei S. Ponomarenko, Igor S. Seliverstov, Andrei I. Izyumov
Don State Technical University, Rostov-on-Don, Russian Federation
Abstract
AvtoSentinel is a driver condition monitoring system based on artificial intelligence and computer vision. It uses algorithms and multi-layered neural networks to recognize potentially dangerous events and instantly notify the driver about them, thereby preventing accidents on the road. Currently, the intelligent AutoSentinel system is an important tool in preventing dangerous situations on the roads associated with driver fatigue. The article highlights the technological features, the architecture of the AvtoSentinel system neural network and its role in ensuring accurate monitoring of the driver. A detailed analysis of these aspects helps to understand the importance of integrating neural technologies into road safety systems. The aim of the study was to analyze the neural network in the structure of the AutoSentinel system in the context of determining the driver's position.
Keywords: neural network, AutoSentinel, python, road safety, mediapipe, body position detection
For citation. Ponomarenko SS, Seliverstov IS, Izyumov AI. Neural Network for Tracking the Position of a Person in the AutoSentinel Intelligent System. Young Researcher of Don. 2024;9(2):33-36.
Введение. «АвтоSentinel» — это система мониторинга состояния водителя, основанная на технологиях Й
.la
искусственного интеллекта, интернета вещей и компьютерного зрения. С помощью, постоянно обучающейся g
нейросети система распознает ряд потенциально опасных событий, включая засыпание, отвлечение внимания, §
использование мобильного телефона и другие, и, тем самым, предотвращает происшествия на дорогах. ^з
Цель исследования — анализ роли нейросети в структуре системы «АвтоSentinel» в контексте определения ^
положения тела водителя. Авторы проанализировали эффективность и значимость нейросетевого подхода для spt
точного мониторинга водителей в реальном времени. В статье разобраны технологические аспекты, выделены h ключевые преимущества и перспективы развития данной системы.
© Пономаренко С.С., Селиверстов И.С., 2024
Е
¡3
о
&
Основная часть. Командой авторов данной статьи была разработана нейросеть, предназначенная для точного определения положения тела водителя в реальном времени. Данная нейросеть была создана с использованием языка программирования Python и инструментов, предоставленных библиотекой Mediapipe.
Python был выбран как язык программирования в силу его гибкости, обширной поддержки и простоты в использовании. Библиотека Mediapipe стала ключевым инструментом для исследования благодаря своим продвинутым возможностям в области компьютерного зрения и распознавания жестов. Эта комбинация позволила эффективно решать сложные задачи определения положения тела.
Разработки включают в себя нейросеть с трехмерным выходом, обеспечивающим определение положения тела водителя по трём координатам в реальном времени. Mediapipe предоставляет готовые модели и алгоритмы, которые были адаптированы и оптимизированы для конкретных целей. Нейросеть отображает 33 3D-ориентира и маску сегментации фона на всем теле из RGB-фреймов. В результате строится топология ключевых точек (рис. 1).
0. Nose 17. Right pinky knuckle #1
1. Right eye inner 18. Left pinky knuckle #1
2. Right eye 19. Right index knuckle #1
3. Right eye outer 20. Left index knuckle #1
4. Left eye outer 21. Right thumb knuckle #2
5. Left eye 22. Left thumb knuckle #2
6. Left eye outer 23. Right hip
7. Right ear 24. Left hip
8. Left ear 25. Right knee
9. Mouth right 26. Left knee
10. Mouth left 27. Right ankle
11. Right shoulder 28. Left ankle
12. Left shoulder 29. Right heel
13. Right elbow 30. Left heel
14. Left elbow 31. Right foot index
15. Right wrist 32. Left foot index
16. Left wrist
31 29 30 зг
Рис. 1. Топология ключевых точек [1]
Одним из ключевых преимуществ рассматриваемой нейросети является высокая точность в определении положения тела при быстрой обработке видеопотока в реальном времени. Это критически важно для эффективного функционирования системы «АвтоSentmel» в реальных дорожных условиях. Пример работы нейросети в реальных условиях изображен на рис. 2.
Рис. 2. Пример работы нейросети
Разработанная нейросеть успешно интегрируется в систему «АвтоSentmel», предоставляя необходимые данные для анализа и мониторинга водителя. Это включает в себя моменты, когда водитель может быть в положении, предполагающем усталость, что позволяет системе реагировать соответствующим образом для предотвращения возможных аварий. На данном этапе разработки нейросеть отслеживает положение головы человека, сравнивая его с обычным положение (рис. 3), а также прогнозирует несколько степеней усталости: лёгкую сонливость (рис. 4), засыпание (рис. 5) и непосредственно сон (рис. 6). На последующих этапах разработки планируется отслеживание большего количества ключевых точек для более точного прогнозирования состояния водителя.
Молодой исследователь Дона. 2024;9(2):33-36. eISSN2500-1779
Рис. 3. Определение нейросетью нормального положения головы человека
Рис. 4. Определение нейросетью лёгкого засыпания
Рис. 5. Определение нейросетью состояния засыпания
Нейросеть делает свой прогноз о состоянии человека, опираясь на угол наклона его головы и на степень закрытия глаз. Соответственно, если человек сидит прямо и его глаза полностью открыты, то нейросеть понимает, что человек бодрствует. Если человек сидит со слегка опущенной головой, то идентифицируется стадия лёгкого засыпания. Когда он сильно опускает голову и прикрыл глаза, значит он засыпает. И если человек опустил голову и полностью закрыл глаза, идентифицируется стадия сна.
Заключение. В результате проведенного исследования и разработки нейросети для определения положения тела в реальном времени было зафиксировано нескольких ключевых моментов, которые отражают важность и перспективность данного проекта:
- разработанная нейросеть, основанная на библиотеке Mediapipe и реализованная на языке программирования Python, обеспечивает высокую точность в определении положения тела водителя в реальном времени. Это открывает новые возможности для превентивного действия системы «АвтоSentinel» в предотвращении аварий, связанных с усталостью водителей;
- разработанная нейросеть успешно интегрирована в систему «АвтоSentinel», предоставляя этой интеллектуальной системе необходимые данные для эффективного мониторинга водителей на дорогах.
Авторы планируют продолжить работу над оптимизацией нейросети, для улучшения её производительности и точности. Дальнейшие доработки будут направлены на адаптацию к различным дорожным сценариям и условиям.
Список литературы
1. Bazarevsky V., Grishchenko I. On-device, real-time body pose tracking with MediaPipe BlazePose. Google Research. URL: https:/Mog.research.google/2020/08/on-device-real-time-body-pose-tracking.html (дата обращения: 15.01.2024)
Об авторах:
Сергей Сергеевич Пономаренко, магистрант кафедры робототехники и мехатроники Донского государственного технического университета (344003, РФ, г. Ростов-на-Дону, пл. Гагарина, 1), [email protected]
Игорь Сергеевич Селиверстов, магистрант кафедры робототехники и мехатроники Донского государственного технического университета (344003, РФ, г. Ростов-на-Дону, пл. Гагарина, 1), temaseliv@mail. ru
Изюмов Андрей Игоревич, доцент кафедры робототехники и мехатроники Донского государственного технического университета (344003, РФ, г. Ростов-на-Дону, пл. Гагарина, 1) Andrei-Igorevich1991 @yandex.ra
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.
Все авторы прочитали и одобрили окончательный вариант рукописи.
About the Authors:
Sergei S. Ponomarenko, Master's degree student of the Robotics and Mechatronics Department, Don State Technical University (1, Gagarin Sq., Rostov-on-Don, 344003, RF), [email protected]
Igor S. Seliverstov, Master's degree student of the Robotics and Mechatronics Department, Don State Technical University (1, Gagarin Sq., Rostov-on-Don, 344003, RF), temaseliv@mail. ru
Andrei I. Izyumov, Associate Professor of the Robotics and Mechatronics Department, Don State Technical University (1, Gagarin Sq., Rostov-on-Don, 344003, RF) Andrei-Igorevich1991 @yandex.ru
Conflict of interest statement: the authors do not have any conflict of interest.
All authors have read and approved the final manuscript.
a
u o
ptt th
