CC BY
79
УДК 004.93'1
DOI: 10.14529/cmse190303
ОБЗОР ПОДХОДОВ И ПРАКТИЧЕСКИХ ОБЛАСТЕЙ ПРИМЕНЕНИЯ РАСПОЗНАВАНИЯ ВИДОВ ФИЗИЧЕСКОЙ АКТИВНОСТИ ЧЕЛОВЕКА
© 2019 Е.С. Тарантова, К.В. Макаров, А.А. Орлов
Муромский институт (филиал) ФГБОУ ВО «Владимирский государственный университет имени А.Г. и Н.Г. Столетовых» (602264 Муром, ул. Орловская, д. 23) E-mail: [email protected], [email protected], [email protected]
Поступила в редакцию: 21.01.2019
Распознавание видов физической активности человека является одним из актуальных направлений исследования в области машинного обучения, так как результаты распознавания необходимы при решении многих практических задач. В статье приводится обзор подходов и практических областей применения методов распознавания видов физической активности человека. Рассматриваются датчики, используемые для распознавания видов физической активности человека, и представлены критерии их выбора. Представлены возможные пути решения проблемы выбора места размещения и ориентации носимых датчиков. В статье рассматриваются основные этапы распознавания видов физической активности человека. Представлены извлекаемые признаки и методы их отбора для повышения точности классификации видов физической активности человека и снижения вычислительных затрат за счет уменьшения числа признаков. Сформулированы достоинства и недостатки популярных методов классификации. Рассматриваются метрики, используемые для оценки качества обучения модели классификации. Наиболее применяемой метрикой качества является кривая ошибок. Также представлены практические задачи, в которых необходимы результаты распознавания видов физической активности человека. Основными областями применения метода распознавания являются медицина, производство, фитнес и безопасность людей. В заключении представлены возможные направления будущих исследований.
Ключевые слова: распознавание образов, машинное обучение, виды физической активности человека.
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Тарантова Е.С., Макаров К.В., Орлов А.А. Обзор подходов и практических областей применения распознавания видов физической активности человека // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2019. Т. 8, № 3. С. 43-57. DOI: 10.14529/cmse190303.
Введение
Распознавание видов физической активности человека является одной из актуальных задач в области машинного обучения из-за сложности и разнообразия видов физической активности, выполняемых человеком.
Целью распознавания является определение деятельности человека на основе данных датчиков для последующего анализа системой с учетом практической задачи. Сложный и изменчивый характер данных об активности создает многочисленные проблемы, которые влияют на производительность систем, используемых для решения практических задач. При проведении распознавания видов активности человека также возникают трудности из-за большого разнообразия датчиков для распознавания и вари-
антов их расположения, выбора информативных признаков для обучения и методов классификации.
В статье представлен обзор этапов распознавания видов физической активности с использованием датчиков и методов машинного обучения, а также обзор практических задач, требующих применения метода распознавания физической активности человека.
Статья организована следующим образом. В разделе 1 будут рассмотрены классификации видов активности человека, датчики, используемые для распознавания видов активности, расположение датчиков, их ориентация и этапы проведения распознавания видов физической активности человека.
Раздел 2 будет посвящен практическим задачам в различных областях жизни человека, которые требуют применения метода распознавания физической активности человека. В заключении подводятся итоги и описываются возможные направления будущих исследований.
1. Обзор этапов распознавания видов физической активности человека
1.1. Виды физической активности
В работах [34, 38] предлагают способ классификации активности путем ее группировки по продолжительности и сложности. Таким образом, в работе выделяют виды активности низкого уровня и высокого уровня.
К активности низкого уровня относятся такие виды активности, которые состоят из одного повторяющегося действия. Примерами видов активности низкого уровня являются ходьба, бег, приседания, ходьба по лестнице.
Активность высокого уровня — состоит из набора активностей низкого уровня. Продолжительность активности высокого уровня обычно больше, чем активности низкого уровня. Примерами видов активности высокого уровня являются готовка, уборка, поход в магазин.
В статье [10] распознавали активности высокого уровня и низкого уровня. В ходе исследования было выявлено, что виды активности низкого уровня распознаются с точностью около 93 %, а виды активности высокого уровня — 50 %.
Такая низкая точность связана с тем, что разными людьми вид активности высокого уровня может быть выполнен многими различными способами.
В статье [25] выделяют несколько групп активности в зависимости от практического применения. Классификация видов активности с учетом практического применения представлена в табл. 1.
1.2. Датчики, используемые для распознавания видов активности
Для решения задачи распознавания видов физической активности обычно применяют два типа датчиков: носимые датчики и датчики окружающей среды, например, как в работе [31]. Носимые датчики — это датчики, которые закреплены на человеке. Датчики окружающей среды — это датчики, которые расположены вокруг человека.
Носимые датчики делятся на два вида: датчики движения и физиологические датчики.
Датчики движения — это недорогие и небольшие датчики, которые измеряют ускорение и вращательные силы и, как правило, характеризуются низким потреблением энергии. К датчикам движения относятся акселерометры, гироскопы.
По полученным данным с этих датчиков можно с высокой точностью распознавать виды активности низкого уровня, как указано в работах [16, 28]. Однако при распознавании видов активности высокого уровня до сих пор возникают трудности.
Таблица 1
Виды активности с учетом практического применения
Практическое применение Виды активности
Передвижение Ходьба, бег, сидит, стоит, лежит, ходьба по лестнице, передвижение на эскалаторе, передвижение на лифте
Транспорт Езда на автобусе, езда на велосипеде, вождение автомобиля
Ежедневные занятия Еда, питье, работа на компьютере, просмотр телевизора, чтение, чистка зубов, уборка
Фитнес Гребля, поднятие тяжестей, спиннинг, скандинавская ходьба, отжимания
Физиологические датчики — это устройства для восприятия различных проявлений жизнедеятельности человека и их преобразования в электрические или другие сигналы. Примерами физиологических датчиков служат датчики электрокардиограммы, сердечного ритма.
Физиологические датчики не предоставляют достаточной информации для распознавания видов активности, поскольку люди могут выполнять каждое действие в различных условиях. Однако физиологические датчики используют для дополнения показаний датчиков движения. Например, ходьбу и ходьбу с переносом тяжести практически невозможно различить, используя только датчики движения. Однако разница может наблюдаться в отдельных физиологических сигналах, как, например, в работе [31].
К датчикам окружающей среды можно отнести датчики температуры, влажности, освещенности, камеры, микрофоны и датчики предметов, окружающих человека.
Как и в случае физиологических датчиков, датчики температуры, влажности, и освещенности отдельно не предоставляют достаточной информации для распознавания.
Преимущество камер и датчиков окружающих предметов в том, что данные с этих датчиков позволяют распознать виды активности высокого уровня.
Однако у данных датчиков есть ряд недостатков:
1. Методы обработки информации с датчиков требуют больших вычислительных затрат.
2. Распознавать виды активности невозможно, если человек находится вне досягаемости датчиков.
1.3. Выбор датчиков для распознавания видов активности человека
В работе [31] предлагается ряд критериев для выбора датчиков, необходимых для распознавания видов активности человека:
1. Вопросы конфиденциальности (сколько и как конфиденциальная информация записывается и хранится датчиком).
2. Удобство и простота настройки датчика (в случае носимых датчиков пользователь должен иметь возможность надевать датчики без посторонней помощи и в короткие сроки).
3. Техническое обслуживание датчика (время автономной работы, насколько легко отремонтировать компоненты датчика).
4. Стоимость датчика (насколько дорого заменить датчик в случае выхода из строя или потери датчика).
5. Вычислительная сложность при обработке информации датчика.
Таким образом, исходя из данных требований, преимуществ и недостатков рассмотренных датчиков, для распознавания видов активности человека следует применять сочетание датчиков движения, физиологических датчиков, а также датчиков окружающих предметов.
В работах по распознаванию видов активности часто используют датчики смартфона, так как большинство смартфонов оснащены различными датчиками, а в частности акселерометром, гироскопом, удобны для человека из-за постоянного присутствия смартфона в его жизни, а также возможна обработка полученных данных непосредственно на смартфоне, как это описано в статье [40].
1.4. Размещение и ориентация датчиков
Выбор места размещения датчиков, таких как акселерометр и гироскоп, является одной из проблем в задаче распознавания видов активности человека, так как разные части тела человека обеспечивают различную чувствительность к видам активности.
В работах по распознаванию видов активности человека [14, 15, 18, 20, 37, 39] датчики размещали на следующих частях тела человека: руки, запястье, грудь, пояс, лодыжки, а также в карманах, расположенных в районе бедра человека.
В статье [20] проводят анализ зависимости точности от размещения датчиков. Лучшая точность обеспечивается при размещении датчиков в карманах (98,85 % и 98,03 %).
В результате проведенного анализа можно сделать вывод о необходимости выбора оптимального положения датчиков в зависимости от практической задачи и видов активности, которые должны быть распознаны.
Датчики, такие как акселерометр и гироскоп, чувствительны к изменениям ориентации в телефоне, которая влияет на результаты распознавания активности. При небольшом изменении ориентации, произойдет значительное изменение сигнала датчика. Это изменение также повлияет на скорость распознавания.
Фиксированная ориентация смартфона ограничивает свободу использования человеком телефона. Это делает систему менее привлекательной и менее практичной для пользователей.
Таким образом, система распознавания активности должна быть инвариантна к ориентации в противном случае, пользователи должны будут разместить датчики в определенной ориентации для успешного распознавания активности.
1.5. Выбор частоты дискретизации
Частота дискретизации играет значительную роль в процессе распознавания активности. Чем выше частота, тем выше точность классификации.
Во многих работах [7, 33, 36] частота дискретизации составляет от 20 Гц до 50 Гц. Низкую частоту дискретизации используют для экономии заряда батареи смартфона. Однако есть ряд работ [21, 32], где частота дискретизации составляет 100 Гц.
В статье [22] проведено исследование по оптимизации частоты дискретизации акселерометров в задаче распознавания видов активности человека. Было выявлено, что частота дискретизации, используемая в исследованиях, на 57 % выше, чем необходимо, что приводит к увеличению неоправданных вычислительных затрат.
В любом случае, частота дискретизации в диапазоне от 2 Гц до 100 Гц подходит для распознавания видов активности человека.
1.6. Предварительная обработка данных и сегментация
Предварительная обработка представляет собой процесс обработки неполных данных, устранения выбросов и нормализации данных с использованием различных методов предварительной обработки, например, фильтра высоких и низких частот.
Также на данном этапе происходит синхронизация данных с различных датчиков. Чтобы избежать взаимодействия с переходными процессами удаляются 10 секунд от начала и конца каждой активности.
Сегментация временного ряда — это процесс разбиения временного ряда на значимые сегменты. Размер окна, которое нужно захватить и обработать, обычно составляет от 1 до 10 секунд, как в работе [27]. Если длина окна становится слишком большой, вероятность того, что данное окно содержит более одного вида активности, увеличивается. Если длина окна слишком маленькая, то возникают проблемы связанные с повышением вычислительной сложности из-за частого запуска алгоритма распознавания. Кроме того, короткие временные окна могут не предоставлять достаточную информацию для полного описания выполняемой активности.
Таблица 2
Извлекаемые признаки
Статистические Частотные
Среднее значение Угловая скорость
Медиана Быстрое преобразование Фурье
Стандартное отклонение Дискретное косинусное преобразование
Пик абсолютных данных
Корреляция между осями
Градиент
Межквартильный диапазон
Среднее абсолютное отклонение
Эксцесс
Асимметрия
Среднеквадратичное значение
Минимальное значение
Максимальное значение
Диапазон значений
1.7. Методы извлечения и обработки признаков
Извлечение признаков — это процесс преобразования сегментированных данных временного ряда, специфических для предметной области, в набор признаков. Существует два метода извлечения признаков — статистический метод и преобразование данных в частотную область. В работах по распознаванию видов физической активности [3, 5, 8, 17, 23, 24, 29] извлекают признаки, которые представлены в табл. 2.
Некоторые признаки, вычисляемые на основе обработанного набора данных, могут быть избыточными или неинформативными, что может негативно повлиять на точность распознавания. Для того, чтобы выбрать информативные признаки и снизить вычислительные затраты за счет уменьшения числа признаков применяют методы отбора признаков, указанные в работах [8, 9, 31, 41].
В работе с помощью метода Relief-F вычисляется и нормализуется вектор весов признаков, а затем отбираются признаки, вес которых превышает значение заданного порога.
Метод Correlation-based Feature Selection (CFS) сочетает оценочную формулу с соответствующей корреляционной мерой и эвристической стратегией поиска.
Метод Fast Correlation Based Filter начинает работать с полным множеством признаков, использует меру симметричной неопределенности для определения зависимостей между признаками и позволяет выбрать подмножество путем поиска и последовательного исключения малоинформативных признаков.
Метод Sequential forward feature selection (SFFS) на каждой итерации добавляет к набору признак, обеспечивающий наилучшую для данной итерации эффективность распознавания.
Генетический алгоритм моделирует процесс естественного отбора: получает последующее поколение признаков методом скрещивания, мутации и селекции и останавливает свою работу, если последующее поколение не улучшило максимальный из результатов.
Метод взаимной информации (Mutual Information) определяет нелинейную корреляционную зависимость взамен вычисления корреляции Пирсона «признак-признак» и «признак-метка».
1.8. Методы классификации
В работах по распознаванию видов физической активности применяются следующие методы классификации: деревья решений, метод k-ближайших соседей, метод опорных векторов, методы глубокого обучения. Достоинства и недостатки данных методов, указанные в работе [1], представлены в табл. 3.
Исходя из данной таблицы и результатов исследований, приведенных в работе [2], для распознавания видов физической активности лучше использовать метод опорных векторов. Метод опорных векторов позволяет проводить обучение в условиях поступления данных в реальном времени, обеспечивает уверенную классификацию и работает по малой выборке обучающих данных.
Таблица 3
Достоинства и недостатки методов классификации
Метод Достоинства Недостатки
Деревья решений Простая реализация, интерпретация и отсутствие подготовки данных для их дальнейшего использования. Работа с категориальными и интервальными переменными. Работа с большим объемом ин-формаци Отсутствие оптимальности дерева решений в целом, необходимость регулировки его длины. Переизбыток данных и плохая читабельность
Метод ^ближайших соседей Простота реализации, работа с большим количеством данных Необходимость начального определения точного числа классов. Предполагает сравнение нового неизвестного объекта с объектами из уже категоризован-ной выборки, что требует выполнения линейного числа операций
Метод опорных векторов Единственное верное решение, нахождение максимальной ширины полосы разделения, вследствие чего производится уверенная классификация. За счет использования ядра описывающего связь между элементами выборки, можно использовать гиперплоскости разной сложности Большая чувствительность к шумам, стандартизации исходных данных, отсутствие общего подхода к автоматическому выбору ядра в случае линейно неразделимости классов. Низкая скорость обучения
Методы глубокого обучения Можно легко обновлять новыми данными с помощью пакетного распространения. Архитектура может быть адаптирована ко многим типам проблем, а скрытые слои уменьшают потребность в проектировании признаков Требуют очень большого объема данных, значительных вычислительных ресурсов и большего опыта для настройки
1.9. Метрики качества обучения
Для оценки качества классификации используется следующий ряд метрик: доля правильных ответов метода (Accuracy), точность (Precision), полнота (Recall), F-мера (F_measure) и ROC-кривая (Receiver Operating Characteristic).
Матрица ошибок — это способ разбить объекты на четыре категории в зависимости от комбинации ответа алгоритма. Для расчета значений данных метрик используются следующие элементы матрицы ошибок:
- True Positives (TP) — количество положительных экземпляров, которые были классифицированы как положительные.
- True Negatives (TN) — количество отрицательных экземпляров, которые были классифицированы как отрицательные.
- False Positives (FP) — количество отрицательных экземпляров, которые были классифицированы как положительные.
- False Negatives (FN) — количество положительных экземпляров, которые были классифицированы как отрицательные.
Доля правильных ответов (accuracy) — одна из самых простейших оценок, так как дает некорректный результат в задачах с неравными классами.
TP+TN ч
Accuracy =--( 1 )
J TP+TN+FP+FN у '
Точность системы в пределах класса — это доля объектов действительно принадлежащих данному классу относительно всех объектов, которые система отнесла к этому классу. Точность, которую часто называют положительной прогностической величиной, представляет собой отношение правильно классифицированных положительных случаев к общему числу случаев, классифицированных как положительные.
Precision = ТР (2)
TP+FP у '
Полнота системы — это доля найденных классификатором объектов, принадлежащих классу, относительно всех объектов этого класса в тестовой выборке.
TP
Recall = —(3)
TP+FN v '
F-мера представляет собой гармоническое среднее между точностью и полнотой. Она стремится к нулю, если точность или полнота стремится к нулю.
„ „ Precision •Recall
F_measure = 2----(4)
Precision+Recall '
Кривая ошибок или ROC-кривая — графическая характеристика качества классификатора, зависимость доли верных положительных классификаций от доли ложных положительных классификаций.
AUC-ROC (или ROC AUC) — площадь (Area Under Curve) под кривой ошибок. Данная кривая представляет собой линию от (0,0) до (1,1) в координатах True Positive Rate (TPR) и False Positive Rate (FPR).
TP
TPR (5)
TP+FN v '
FP , ч
FPR = (6)
FP+TN v '
В исследованиях по распознаванию видов физической активности человека для оценки работы метода классификации наиболее часто применяют кривую ошибок.
2. Обзор практических задач, требующих применения
метода распознавания физической активности человека
2.1. Фитнес
Для того чтобы предотвратить заболевания все здоровые люди нуждаются в выполнении физической активности в течение 30 минут в течение пяти дней в неделю. Для удобства отслеживания выполняемых видов физической активности создаются приложения-трекеры.
Одной из значимых областей применения распознавания видов активности человека является мониторинг уровня его физической активности. В качестве примера можно рассмотреть систему Fitbit, описанную в работе [13], которая представляет собой небольшое устройство, содержащее 3D-датчик движения. SmartTrack автоматически распознает и записывает активность, а также фиксирует статистические данные: продолжительность активности, сожженные калории и частоту сердечного ритма. Данная система позволяет распознать следующие виды активности: ходьба, бег, танцы, езда на велосипеде, теннис, баскетбол, футбол, плавание. По умолчанию SmartTrack распознает активность, только когда человек выполнял ее в течение 15 минут.
Помимо приложений, контролирующих физическую активность человека в целом, существуют приложения мониторинга конкретных видов спорта.
В статье [4] анализируют прыжки с трамплина из данных датчика ускорения расположенного на теле спортсмена. С датчиками, прикрепленными к ногам, рукам и груди спортсмена, авторы могли распознавать характерные особенности движения и извлекать биомеханические описательные параметры.
2.2. Медицина
В области медицины приложения для распознавания физической активности также играют важную роль, так как позволяют дистанционно контролировать корректность выполнения рекомендаций или плана, назначенного врачом, тем самым сокращая время пребывания пациента в больнице.
После перенесенной болезни пациенту необходимо пройти реабилитацию. Физическая телереабилитация подразумевает дистанционный мониторинг выполнения пациентом физических упражнений с целью восстановления здоровья, физического состояния и его трудоспособности.
Продукт VirtualRehab Body [42] это комплекс лечебных модулей для реабилитации верхних и нижних конечностей тела. Он используется по всему миру в стационарных, амбулаторных и домашних условиях.
Комплекс включает в себя три модуля: оценки, фитнес-игры и упражнения. Для обнаружения движений используется единственная камера. Отсутствие необходимости прикреплять датчики к пациенту обеспечивает быструю настройку и простоту использования.
В работах [11, 19] разработан прототип контекстной системы напоминания для выполнения ежедневной деятельности. Эта система помогает пожилым людям с деменцией самостоятельно выполнять различную ежедневную активность, вместо того, чтобы полагаться на опекунов.
2.3. Производство и услуги
Факт нахождения человека на рабочем месте не подразумевает того, что работник эффективно выполняет свои обязанности. Распознавание видов активности в сфере производства и услуг позволит контролировать эффективности работы сотрудников, выявлять нелояльных сотрудников, некачественное выполнение работы и мошеннические схемы. На основе полученных данных руководители организаций и предприятий смогут своевременно принимать меры по оптимизации работы персонала и повысить эффективность производственных процессов.
В статье [35] распознают активность работников на интеллектуальном производстве с использованием сигналов инерциальных датчиков. На основе полученных данных распознаются 6 видов активности в задачах сборки.
В статье [12] демонстрируются возможности системы распознавания видов активности для мониторинга персонала больницы.
2.4. Безопасность
Еще одной важной областью, в которой применяется распознавание видов физической активности, является выявление потенциально опасных ситуаций в жизни человека.
В статье [26] распознают виды активности для автоматической генерации отчетов после патрулирования, чтобы провести анализ происходящего во время патрулирования в течение нескольких часов.
В работе [30] представлен алгоритм обнаружения падения человека. Этот алгоритм извлекает признаки только в том случае, если человек находится в активном состоянии. Обнаружив падение человека, система может оповестить родственников или персонал больницы об опасной ситуации.
В работе [6] представлена система распознавания агрессивного поведения человека с использованием одной или нескольких камер. Данная система распознает акты вандализма и боевые действия. Подобные системы применяются для распознавания агрессивного поведения в метро, аэропортах, банках, тюрьме.
Заключение
Таким образом, в задачах распознавания видов физической активности выделяют два вида активностей, которые подлежат распознаванию: активности низкого уровня и высокого уровня.
Для получения данных, необходимых для распознавания видов физической активности человека, следует применять сочетание датчиков движения, физиологических датчиков, а также датчиков окружающих предметов.
Система распознавания видов активности должна быть инвариантна к ориентации и положению датчиков, в противном случае, пользователи должны будут разместить датчики в определенной позиции и ориентации для успешного распознавания видов активности.
Для распознавания видов активности целесообразно использовать частоту дискретизации в диапазоне от 2 Гц до 50 Гц. Полученные данные с датчиков необходимо предварительно обработать с целью обработки неполных данных, устранения выбросов и нор-
мализации данных. Размер окна, которое нужно захватить и обработать, обычно составляет от 1 до 10 секунд.
Для того, чтобы повысить точность классификации, из полученных данных извлекают признаки. Существует два метода извлечения признаков - статистический метод и преобразование данных в частотную область.
Для того, чтобы выбрать информативные признаки и снизить вычислительные затраты за счет уменьшения числа признаков применяют методы отбора признаков.
В качестве метода классификации при решении задачи распознавания видов физической активности человека с носимых датчиков предлагается использовать метод опорных векторов. Метод опорных векторов позволяет проводить обучение в условиях поступления данных в реальном времени, обеспечивает уверенную классификацию и работает по малой выборке обучающих данных. Для оценки работы метода классификации предлагается использовать кривую ошибок.
Таким образом, проведя обзор подходов и практических областей применения распознавания видов физической активности человека, были определены основные проблемы и направления будущих исследований:
1. Данные обучающей выборки в аналогичных исследованиях собираются в лабораторных условиях, из-за этого в реальных условиях жизни виды активности распознаются с низкой точностью.
2. Высокая вычислительная сложность распознавания из-за расчета лишних неинформативных признаков.
3. Низкая точность распознавания видов активности высокого уровня.
4. Использование большого количества датчиков, которые не способствуют распознаванию видов физической активности человека.
Литература/References
1. Баев Н.О. Использование метода опорных векторов в задачах классификации // Международный журнал информационных технологий и энергоэффективности. 2017. Т. 2, № 2(4). С. 17-21. [Baev N.O. Support Vector Machines in Image Classification. Mezhdunarodnyy zhurnal informatsionnykh tekhnologiy i energoeffektivnosti [International Journal of Information Technologies and Energy Efficiency]. 2017. no. 2(4). pp. 17-21. (in Russian).]
2. Тарантова Е.С., Макаров К.В. Выбор признаков и метода классификации видов физической активности в задаче построения телереабилитационной системы // Известия Юго-Западного государственного университета. Серия: Управление, Вычислительная техника, Информатика. Медицинское приборостроение. 2018. Т. 8, №1(26). С. 54-62. [Tarantova E.S., Makarov K.V. Feature Selection and Choosing the Method for Physical Activity Classification in the Task of Building the Telerehabilita-tion System. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. Seriya: Uprav-leniye, Vychislitel'naya tekhnika, Informatika. Meditsinskoye priborostroyeniye [News of South-West State University. Series: Management, Computer Engineering, Computer Science. Medical Instrument]. 2018. vol. 8, no. 1(26). pp. 54-62. (in Russian).]
3. Altun K., Barshan B. Human Activity Recognition Using Inertial/Magnetic Sensor Units // Springer-Verlag Berlin Heidelberg. 2010. P. 38-51. DOI: 10.1007/978-3-642-14715-9_5.
4. Bächlin M., Kusserow M, Tröster G., et al. Ski Jump Analysis of an Olympic Champion with Wearable Acceleration Sensors // International Symposium on Wearable Computers (ISWC), Oct. 10-13, 2010, Seoul, South Korea. DOI: 10.1109/iswc.2010.5665851.
5. Bayat A., Pomplun M., Tran D.A. A Study on Human Activity Recognition Using Ac-celerometer Data from Smartphones // The 9th International Conference on Future Networks and Communications (FNC'14)/The 11th International Conference on Mobile Systems and Pervasive Computing (MobiSPC'14)/Affiliated Workshops. Procedia Computer Science, Aug. 17-20, 2014, Niagara Falls, Canada. Vol. 34. P. 450-457. DOI: 10.1016/j.procs.2014.07.009.
6. Bremond F., Thonnat M., Züniga M. Video-understanding Framework for Automatic Behavior Recognition // Behavior Research Methods. 2006. Vol. 38. P. 416-426. DOI: 10.3758/bf03192795.
7. Bulling A., Blanke U., Schiele B. A Tutorial on Human Activity Recognition Using Body-worn Inertial Sensors // ACM Computing Surveys (CSUR). 2014. Vol. 46. P. 133. DOI: 10.1145/2499621.
8. Capela N.A., Lemaire E.D., Baddour N. Feature Selection for Wearable Smartphone-Based Human Activity Recognition with Able Bodied, Elderly, and Stroke Patients // PLoS ONE. 2015. Vol. 10. DOI: 10.1371/journal.pone.0124414.
9. Chandrashekar G., Sahin F. A Survey on Feature Selection Methods // Computers and Electrical Engineering. 2014. Vol. 40. P. 16-28. DOI: 10.1016/j.compeleceng.2013.11.024.
10. Dernbach S., Das B., Krishnan N.C., et al. Simple and Complex Activity Recognition through Smart Phones // 2012 Eighth International Conference on Intelligent Environments, Jun. 26-29 2012, Guanajuato, Mexico. DOI: 10.1109/IE.2012.39.
11. Du K., Zhang D., Musa M.W., et al. Handling Activity Conflicts in Reminding System for Elders with Dementia // 2008 Second International Conference on Future Generation Communication and Networking, Dec. 13-15, 2008, Hainan Island, China. P. 416-421. DOI: 10.1109/FGCN.2008.117.
12. Favela J., Tentory M., Castro L.A., et al. Activity Recognition for Context-aware Hospital Applications: Issues and Opportunities for the Deployment of Pervasive Networks // Mobile Networks and Applications. 2007. P. 155-171. DOI: 10.1007/s11036-007-0013-5.
13. Fitbit Inc. Fitbit Official Site for Activity Trackers & More // Fitbit. URL: https://www.fitbit.com/home (дата обращения: 30.10.2018).
14. Frank K., Röckl M., Nadales M.J.V., et al. Comparison of Exact Static and Dynamic Bayesian Context Inference Methods for Activity Recognition // 2010 8th IEEE International Conference on Pervasive Computing and Communications Workshops (PERCOM Workshops), March 29 -April 2, 2010, Mannheim, Germany. P. 189-195. DOI: 10.1109/percomw.2010.5470671.
15. Gao L., Bourke A.K., Nelson J. Evaluation of Accelerometer Based Multi-sensor Versus Single-sensor Activity Recognition Systems // Medical Engineering and Physics. 2014. Vol. 36. P. 779-785. DOI: 10.1016/j.medengphy.2014.02.012.
16. Guo J., Zhou X., Sun Y., et al. Smartphone-Based Patients' Activity Recognition by Using a Self-Learning Scheme for Medical Monitoring // Journal of Medical Systems. 2016. Vol. 40. P. 140. DOI: 10.1007/s10916-016-0497-2.
17. He Y., Li Y. Physical Activity Recognition Utilizing the Built-in Kinematic Sensors of a Smartphone // International Journal of Distributed Sensor Networks. 2013. Vol. 4. DOI: 10.1155/2013/481580.
18. He Z-Y., Jin L-W. Activity Recognition from Acceleration Data Using AR Model Representation and SVM // 2008 International Conference on Machine Learning and Cybernetics, Jul. 12-15, 2008, Kunming, China. DOI: 10.1109/icmlc.2008.4620779.
19. Hua S., Kim S.J., Kawanishi N., et al. A Context-aware Reminding System for Daily Activities of Dementia Patients // 27th International Conference on Distributed Computing Systems Workshops (ICDCSW'07), Jun. 22-29, 2007, Toronto, Ont., Canada. DOI: 10.1109/icdcsw.2007.8.
20. Janidarmian M., Fekr A.R., Radecka K., et al. A Comprehensive Analysis on Wearable Acceleration Sensors in Human Activity Recognition // Sensors. 2017. Vol. 17. DOI: 10.3390/s17030529.
21. Kao T.P., Lin C.W., Wang J.S. Development of a Portable Activity Detector for Daily Activity Recognition // 2009 IEEE International Symposium on Industrial Electronics (ISlE 2009), Jul. 5-8, 2009 Seoul, South Korea. P. 115-120. DOI: 10.1109/isie.2009.5222001.
22. Khan A., Hammerla N., Mellor S., et al. Optimising Sampling Rates for Accelerometer-Based Human Activity Recognition // Pattern Recognition Letters. 2016. P. 33-40. DOI: 10.1016/j.patrec.2016.01.001.
23. Khan A.M., Lee Y-K., Lee S.Y., et al. A Triaxial Accelerometer-based Physical-activity Recognition via Augmented-signal Features and a Hierarchical Recognizer // IEEE Transactions on Information Technology in Biomedicine. 2010. Vol. 14. P. 1166-1172. DOI: 10.1109/titb.2010.2051955.
24. Khan A.M., Siddiqi M.H., Lee S.W. Exploratory Data Analysis of Acceleration Signals to Select Light-weight and Accurate Features for Real-time Activity Recognition on Smartphones // Sensors. 2013. Vol. 13. P. 13099-13122. DOI: 10.3390/s131013099.
25. Lara O.D., Labrador M.A. A Survey on Human Activity Recognition Using Wearable Sensors // IEEE Communications Surveys and Tutorials. 2013. Vol. 15. P. 1192-1209. DOI: 10.1109/surv.2012.110112.00192.
26. Minnen D., Westeyn T., Ashbrook D., et al. Recognizing Soldier Activities in the Field // 4th International Workshop on Wearable and Implantable Body Sensor Networks (BSN 2007). March 26-28, 2007, RWTH Aachen University, Germany. P. 236241. DOI: 10.1007/978-3-540-70994-7_40.
27. Morales J., Akopian D. Physical Activity Recognition by Smartphones, a Survey // Bio-cybernetics and Biomedical Engineering. 2017. Vol. 37. P. 388-400. DOI: 10.1016/j.bbe.2017.04.004.
28. Murao K., Terada T. A Recognition Method for Combined Activities with Accelerome-ters // UbiComp '14 Adjunct Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct Publication, Sept. 13-17, 2014, Seattle, Washington. P. 787-796. DOI: 10.1145/2638728.2641304.
29. Ortiz J.L.R. Smartphone-based Human Activity Recognition. SPRINGER, 2015. 133 p.
30. Putra I.P.E.S., Brusey J., Gaura E., et al. An Event-triggered Machine Learning Approach for Accelerometer-based Fall Detection // Sensors. 2017. Vol. 18. P. 1-18. DOI: 10.3390/s18010020.
31. Reiss A. Personalized Mobile Physical Activity Monitoring for Everyday Life, 2014. 176 p.
32. Reiss A., Stricker D. Creating and Benchmarking a New Dataset for Physical Activity Monitoring // PETRA '12 Proceedings of the 5th International Conference on PErvasive Technologies Related to Assistive Environments, Jun. 6-8, 2012, Heraklion, Crete, Greece. DOI: 10.1145/2413097.2413148.
33. Siirtola P., Röning J. Recognizing Human Activities User-independently on Smartphones Based on Accelerometer Data // International Journal of Interactive Multimedia and Artificial Intelligence. 2012. Vol. 1. P. 38. DOI: 10.9781/ijimai.2012.155.
34. Tam D., Huynh G. Human Activity Recognition with Wearable Sensors // TU Darmstadt. 2008. 147 p.
35. Tao W., Lai Z-H., Leu M.C., et al. Worker Activity Recognition in Smart Manufacturing Using IMU and sEMG Signals with Convolutional Neural Networks // 46th SME North American Manufacturing Research Conference, Jun. 18-22, 2018, Texas, USA. P. 11591166. DOI: 10.1016/j.promfg.2018.07.152.
36. Twomey N., Diethe T., Kull M., et al. The SPHERE Challenge Activity Recognition with Multimodal Sensor Data. 2016. 14 p.
37. Uddin M., Salem A., Nam I., et al. Wearable Sensing Framework for Human Activity Monitoring // WearSys '15 Proceedings of the 2015 Workshop on Wearable Systems and Applications. May 18, 2015, Florence, Italy. P. 21-26. DOI: 10.1145/2753509.2753513.
38. Walse K., Dharaskar R.V. A Survey on Human Activity Recognition Using Smartphone // International Journal of Advance Research in Computer Science and Management Studies. 2017. Vol. 5. P. 118-125.
39. Yang A.Y., Jafari R., Sastry S.S., et al. Distributed Recognition of Human Actions Using Wearable Motion Sensor Networks // Journal of Ambient Intelligence and Smart Environments. 2009. Vol. 1. P. 103-115.
40. Yu H., Cang S., Wang Y. A Review of Sensor Selection, Sensor Devices and Sensor Deployment for Wearable Sensor-based Human Activity Recognition Systems // 2016 10th Int. Conf. on Software, Knowledge, Information Management & Applications (SKIMA), Dec. 15-17, 2016, Chengdu, China. P. 250-257. DOI: 10.1109/skima.2016.7916228.
41. Zhang M., Sawchuk A.A. Feature Selection-Based Framework for Human Activity Recognition Using Wearable Multimodal Sensors // 6th International ICST Conference on Body Area Networks. 12 Jun. 2012. DOI: 10.4108/icst.bodynets.2011.247018.
42. VirtualRehab Body — Upper and Lower Extremity Therapy for Various Neuromotor Impairments. URL: https://evolvrehab.com/virtualrehab/virtualrehab_body/ (дата обращения: 14.01.2019).
Тарантова Елена Сергеевна, магистрант, кафедра физики и прикладной математики, Муромский институт (филиал) ФГБОУ ВО «Владимирский государственный университет имени А.Г. и Н.Г Столетовых» (Муром, Российская Федерация)
Макаров Кирилл Владимирович, к.т.н., доцент, кафедра физики и прикладной математики, Муромский институт (филиал) ФГБОУ ВО «Владимирский государственный университет имени А.Г. и Н.Г. Столетовых» (Муром, Российская Федерация)
Орлов Алексей Александрович, д.т.н., доцент, кафедра физики и прикладной математики, Муромский институт (филиал) ФГБОУ ВО «Владимирский государственный университет имени А.Г. и Н.Г. Столетовых» (Муром, Российская Федерация)
DOI: 10.14529/cmse190303
SURVEY ON APPROACHES AND PRACTICAL AREAS OF HUMAN ACTIVITY RECOGNITION APPLICATION
© 2019 E.S. Tarantova, K.V. Makarov, A.A. Orlov
Murom Institute (branch) Federal State Budgetary
Educational Institution of Higher Education "Vladimir State University named after
Alexander and Nikolay Stoletovs" (st. Orlovskaya 23, Murom, 602264 Russia) E-mail: [email protected], [email protected], [email protected]
Received: 21.01.2019
Human activity recognition is one of the relevant fields of research in machine learning since recognition results are necessary for solving many practical problems. The article provides a survey on approaches and areas of practical application of methods for human activity recognition. The sensors used for human activity recognition are considered, and the criteria for their selection are presented. Possible solutions to the problem of choosing the location and orientation of wearable sensors are presented. The main stages of human activity recognition are discussed in the article. Extracted features and methods of their selection to increase the accurate classification of human activity recognition and reduce computational complexity by cutting down the number of features are presented. The advantages and disadvantages of popular classification methods are formulated. The metrics used to evaluate the quality of learning classification models are considered. The most commonly used quality metric is the error curve. Practical tasks in which the results of human activity recognition are needed are also presented. The main areas of human activity recognition application are medicine, manufacturing, fitness, and safety of people. In conclusion, possible future research directions are presented.
Keywords: pattern recognition, machine learning, types of human physical activity.
FOR CITATION
Tarantova E.S., Makarov K.V., Orlov A.A. Survey on Approaches and Practical Areas of Human Activity Recognition Application. Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering. 2019. vol. 8, no. 3. pp. 43-57. (in Russian) DOI: 10.14529/cmse190303.
This paper is distributed under the terms of the Creative Commons Attribution-Non Commercial 3.0 License which permits non-commercial use, reproduction and distribution of the work without further permission provided the original work is properly cites.
