CC BY
21
УДК 004.932
М.Ю. Катаев, Н.Г. Катаева, А.П. Коробко, Т.М. Шаймарданов
Методика построения фронтальной скелетной модели фигуры человека по изображениям
Цель работы связана с разработкой методики и алгоритмов построения фронтальной скелетной модели человека в процессе движения по последовательности изображений. Произведен обзор методов, применяемых для анализа походки человека и построения различного рода скелетных моделей. На основе полученных изображений строится скелетная модель человека, которая позволяет детализировать отдельные элементы активности человека в процессе движения.
Ключевые слова: изображение, фигура человека, фронтальное направление, скелетная модель. ао1: 10.21293/1818-0442-2017-20-4-109-112
В настоящий информационный век возникает все больше и больше разнородной информации, которую необходимо научиться обрабатывать и анализировать. Человек пытается познать не только окружающий его мир, но и самого себя. Одним из направлений изучения человека является его двигательная активность, которая составляет одну из частей биометрических данных. Эти данные могут использоваться в различных областях науки и практики, но главными из них на сегодняшний момент являются спорт [1], медицина [2-6] и идентификация личности [7].
Объектом данной работы является двигательная деятельность человека, одной из основных функций которой является ходьба как вид перемещения в пространстве. Особенность поз и движений человека во время ходьбы называют его походкой. Параметры походки и их анализ могут быть полезны в спорте, медицине (для определения состояния пациента, постановки диагноза, реабилитации и др.), решения задач контроля. Походка уникальна для каждого человека, т.к. зависит от множества факторов: пола, возраста, роста, веса, формы фигуры, заболеваний, травм, нервного состояния и др. Вследствие этого походка человека не является статичной, и она может меняться в зависимости от изменения различного рода факторов.
При долговременном изучении двигательной активности, достигнутых результатов, в этом направлении в настоящее время остаются не решенными вопросы диагностических возможностей результатов измерения параметров походки и их пространственно-временного анализа. Существуют не только методические, но и технические трудности, которые ограничивают применение результатов изучения двигательной активности человека [8-13].
Одной из методических проблем является отсутствие простых, надежных способов получения информации о параметрах походки человека. Целью данной работы является методика обработки видеоданных походки человека, на котором нет специальных датчиков или маркеров, с целью построения фронтальной скелетной модели фигуры человека.
Двигательная деятельность человека
Объектом данного исследования является двигательная деятельность человека. Двигательное дей-
ствие - это целенаправленный двигательный акт (поведенческий двигательный акт, сознательно осуществляемый в целях решения какой-либо двигательной задачи), который состоит из последовательного и регулярного набора движений, формирующих шаговую активность движения. В процессе ходьбы человек задействует как верхние, так и нижние конечности. Каждый человек в процессе ходьбы выполняет ряд стереотипных движений, которые циклически повторяются. Совокупность таких движений выделяется в понятие, которое называется походкой человека, она индивидуальна для каждого индивида и непроизвольно воспроизводится при ходьбе.
Ходьба представляет собой хорошо автоматизированную циклическую локомоцию. Функционально правая и левая ноги практически идентичны, имеются лишь незначительные физиологические асимметрии. Рассмотрим ходьбу с точки зрения цикла шага и его основных параметров. В первую очередь нас будут интересовать временные и пространственные характеристики.
Основной функциональной единицей ходьбы является цикл шага, время от первого контакта с опорой одной ноги до следующего контакта этой же ногой. Цикл шага для ноги состоит из двух основных периодов (фаз): периода опоры и периода переноса. Важными характеристиками походки также могут служить изменение центра тяжести (ЦТ) при ходьбе, а также изменения углов опорных точек (наклоны спины, шеи, изгиб в колене и т.д.).
Центр тяжести человека при ходьбе совершает как боковые, так и вертикальные колебания. Вертикальные колебания могут достигать величины 4 см у взрослого человека, при этом туловище опускается больше всего во время двойной опоры. Боковые движения (качания в стороны) доходят до 2 см. Это хорошо видно, если изобразить колебания ЦТ и такты шага рядом друг с другом, как на рис. 1, а, при фронтальной, а на рис. 1, б - при сагиттальной съемке движения человека.
Из рис. 1, а, б хорошо видно, что вертикальные и боковые движения центра тяжести совершают подобные пространственные перемещения. Отметим, что наиболее изученным направлением является
двигательная активность человека, полученная во фронтальной плоскости измерений.
человека, это можно осуществить с помощью морфологических преобразований (рис. 2).
б
Рис. 1. Положение центра тяжести в различных тактах шага человека во фронтальной (а) и сагиттальной (б) плоскостях
Выделение фигуры человека на изображении
В данном исследовании рассматривается метод видеорегистрации движения человека [14, 15], преимущества которого перед другими в следующем: отсутствие физического контакта, обследуемого с регистрируемой аппаратурой; наличие полной пространственно-временной картины двигательных актов; малый вес маркеров и другого оборудования, носимого человеком (либо их полное отсутствие).
В данной работе используются данные из базы снимков походки CASIA [http://www.cbsr.ia.ac.cn]. База состоит из снимков походки нескольких человек, которые совершают по 4 прохода в сагиттальной плоскости, в том числе и фронтальной. Изображение (из базы данных CASIA) представляет собой сцену, при которой человек делает 4-5 шагов. Эти снимки были предварительно обработаны и бинаризованы - выделены фон и объект (фигура человека). Предварительная обработка включает операцию с переходом от цветового пространства RGB-изобра-жения к IUV и использованием далее компоненты I, с выравниванием контраста и применением методики «серый мир» [16]. После этих манипуляций с изображениями проводились пороговая бинаризация и удаление артефактов с помощью пространственной фильтрации. Полученные изображения представлены на рис. 1. Далее нами проводилось выделение на изображении фигуры человека и запись ее в прямоугольную матрицу размером (126*55), ноль обозначает фон, а единица - это фигура человека.
Серьезной проблемой при выделении фигуры человека являются искажения при ее выделении из видеокадра. Для борьбы с подобными искажениями необходимо проводить изменения формы фигуры
а б
Рис. 2. Изображение до (а) и после (б) морфологических преобразований
Из рис. 2 видно, что морфологические операции позволяют получить качественно лучшую модель фигуры человека за счет заполнения пустот, образующихся на бинаризованной фигуре человека, а также сделать ее более гладкой.
Нами предлагается методика построения скелетной модели, где основной точкой фигуры человека является центр тяжести (с координатами (1Х, 1у)). Для этих целей нами рассмотрен типовой алгоритм по следующим формулам:
им им
II'-1(и) II ] -пи)
= i=i j=1
х N M
j = i=1 j=1
Jy N M
(1)
Ц/OJ) Ц/O-J)
1=1J=1 1=1J=1
где i - индекс по строкам; J - по столбцам и I(i, J) -это бинарное изображение (0 - фон и 1 - фигура человека).
Построение скелетной модели Изучение временного поведения центра тяжести позволяет получать множество информации о походке человека. Однако походка человека связана с включением всей фигуры человека в двигательные акты, что невозможно определить, исследуя лишь центр тяжести. Поэтому, кроме ЦТ, осуществляется построение скелетной модели человека на основе бинаризированных изображений, чтобы более глубоко исследовать движение человека и выявить особенности походки.
Скелетную модель можно изобразить с различным количеством степеней свободы (DOF - degrees of freedom). Минимальным количеством DOF можно считать число три, линию спины (от головы до таза) и линию на каждую ногу от таза до лодыжки. В 5 DOF каждая линия для ноги разбивается на две линии - линия бедра и голени. В 6 DOF центральная линия делится на линию спины (от шеи до таза) и на линию головы (от кончика головы до шеи) и т.д. Подключение рук в скелетной модели приводит к расширению степеней свободы. Классическая ске-
летная модель, воспроизводимая широко известным оборудованием Кшей, содержит 21 степень свободы.
Главной задачей этапа построения скелетной модели является нахождение опорных точек и линий, их соединяющих. Основой для определения этих точек может служить знание о пропорциях фигуры человека, например, что высота человека равна примерно восьми, а ширина - трем размерам его «головы» (рис. 3).
а б
Рис. 3. Разбиение фигуры согласно пропорциям, связанным с размером головы человека: а - горизонтально (Н) и б - вертикально (V))
Далее, на основе полученной сетки (см. рис. 3), точки скелетной модели находятся как:
1) голова - середина блока 1Н-2У
2) шея - середина нижней линии блока 1Н-2У
3) плечи - середина блоков 2Н-^ справа и 2Н-3V слева;
4) локти - нижняя линия блока 3Н-^ справа и 3Н-3V слева;
5) кисти - в процессе движения положение кисти находится в разных участках блоков 5Н-^ и 5Н-3У
6) ЦТ - центр тяжести располагается в середине блока 5Н-2У
7) бедра - от центра тяжести до середины блоков 5Н-^ и 5Н-3У
8) колени - нижняя линия блока 6Н и середина блоков ^ и 3У
9) ступни - нижняя линия блока 8Н и середина блоков ^ и 3У
На рис. 4 показано построение скелетной модели по первым трем пунктам предлагаемого алгоритма.
/71
а б в
Рис. 5. Скелетная модель фигуры человека в процессе движения: а, б и в - различные акты движения
Приведенный выше алгоритм построения фронтальной модели более подходит для статической фигуры человека, которая показана на рис. 3, а, б. Абсолютно понятно, что в процессе движения происходит изменение отдельных элементов каждого участка скелетной модели, но каждый блок (прямоугольный участок на изображении фигуры человека), где происходит изменение, известен. Это обстоятельство дает возможность построить эффективный алгоритм построения скелетной модели фигуры человека (см. рис. 5, а-в), который нисколько не уступает алгоритму, который заложен в Kinect.
Операции математической морфологии, с помощью которых можно проводить различные сложные преобразования изображений, позволяют решать задачи выделение границ и скелетонизации. Для этих целей нами была использована библиотека Python функций - Scikit-image [http://scikit-image.oig]. Нами было выполнено использование этого подхода к получению скелетной модели фигуры человека (рис. 6, а, б).
Рис. 4. Пример построения элементов скелетной модели (голова, правое, левое плечо)
а б в
Рис. 6. Пример скелетонизации с помощью морфологических операций: а - бинаризованная фигура человека; б - удачно построенная скелетная модель и в - неудачно построенная скелетная модель
К сожалению, применение алгоритма скелето-низации c помощью морфологических операций не позволяет решить поставленную задачу в автоматическом режиме. Из рис. 6 видно, что получаемая скелетная модель не учитывает анатомию тела человека (см. рис. 6, б) и при даже незначительном за-шумлении силуэта (см. рис. 6, а) можно получить скелетную модель фигуры совершено неудовлетворительную (см. рис. 6, в).
Заключение
В результате проделанной работы получена методика, которая позволяет по бинаризованным изображениям фигуры человека во фронтальной плоскости построить скелетную модель. Проведенные массовые испытания предлагаемой методики позволяют утвердительно говорить об устойчивости воспроизведения скелетной модели, а также соответствии основным анатомическим особенностям фигуры человека. Приложение данной скелетной модели связано с определением углов отклонения каждой части скелетной модели в процессе движения и последующего их анализа. Результаты анализа могут быть востребованы в медицине, спорте или иных приложениях.
Литература
1. Дубровский В.И. Биомеханика / В.И. Дубровский, В.Н. Федорова. - М.: ВЛАДОС-ПРЕСС, 2003. - 672 с.
2. Boulgouris N.V. Gait recognition: A challenging signal processing technology for biometric identification / N.V. Boulgouris, H. Dimitrios, N.P. Konstantinos // IEEE Signal Processing Magazine. - 2005. - № 22(6). - P. 78-90.
3. Батышева Т.Т. Организация лаборатории клинического анализа движений / Т.Т. Батышева, JI.P. Русина, Д.В. Скворцов // Мед. помощь. - 2004. - № 2. - С. 41-44.
4. Ефимов А.П. Клинически значимые параметры походки / А.П. Ефимов // Травматология и ортопедия России. - 2012. - № 1 (63). - С. 60-65.
5. Бернштейн Н.А. Физиология движений и активность / Н.А. Бернштейн. - М.: Наука, 1990. - 495 с.
6. Скворцов Д.В. Клинический анализ движений, анализ походки. - М.: НПЦ «Стимул», 1996. - 344 с.
7. Hayfron-Acquah J. Automatic gait recognition by symmetry analysis / J. Hayfron-Acquah, M. Nixon, J. Carter // Pattern Recogn. Lett. - 2003. - № 24. - P. 2175-2183.
8. Frame difference energy image for gait recognition with incomplete silhouettes / C. Chen, J. Liang, H. Zhao, H. Hu, J. Tian // Pattern Recognition Letters. - 2009. -No. 30(11). - P. 977-984.
9. Cunado D. Automatic Extraction and Description of Human Gait Models for Recognition Purposes / D. Cunado, M. Nixon, J. Carter // Computer Vision and Image Understanding. - 2003. - № 90 (1). - P. 1-41.
10. Bobick A.F. The recognition of human movement using temporal templates / A.F. Bobick, J.W. Davis // IEEE Transactions on Pattern Analysis and Machine Intelligence. -2001. - № 23 (3). - P. 257-267.
11. Ekinci M. Human Identification Using Gait // Turk. J. Elec. Engin. - 2006. - № 14 (2). - P. 267-291.
12. Aggarwal J.K. Human activity analysis: a review / J.K. Aggarwal, M.S. Ryoo // ACM Computing Surveys. -2011. - No. 43 (3). - P. 16-43.
13. Boulgouris N.V. Human gait recognition based on matching of body components / N.V. Boulgouris, Z.X. Chi // Pattern Recognition. - 2007. - № 40(6). - P. 1763-1770.
14. Катаев М.Ю. Исследование двигательной активности человека на основе анализа видеоизображений. Аппаратно-программный комплекс / М.Ю. Катаев, Я.А. Хамаганов // Доклады ТУСУРа. - 2010. - № 1 (21), ч. 2. - С. 177-182.
15. Определение и анализ двигательной активности постинсультного пациента из потока изображений / М.Ю. Катаев, С.Г. Катаев, Н.Г. Катаева, В.А. Чистякова // Медицинская информатика. - 2012. - № 4 (34)/ - С. 43-50.
16. Абрамов М.О. Влияние методов предобработки на восстановление фигуры движущегося человека из потока изображений / М.О. Абрамов, М.Ю. Катаев // Доклады ТУСУРа. - 2014. - № 4(34). - С. 114-119.
Катаев Михаил Юрьевич
Д-р техн. наук, профессор каф.
автоматизированных систем управления (АСУ) ТУСУРа, профессор Юргинского технологического института (филиала) Национального исследовательского Томского политехнического университета Тел.: +7-960-975-27-85, +7-(382-2) 70-15-36 Эл. почта: kataev.m@sibmail.com
Катаева Надежда Григорьевна
Д-р мед. наук, профессор каф. неврологии и нейрохирургии Сибирского государственного медицинского университета Тел.: +7-(382-2) 53-04-23 Эл. почта: nadi-51@yandex.ru
Коробко Андрей Петрович
Сотрудник ООО «СТС», г. Томск
Тел.: +7-983-348-01-02
Эл. почта: Andrew.p.korobko@gmail.com,
Duhmaster@3dbin.com
Шаймарданов Тимур Маратович
Студент каф. АСУ ТУСУРа
Тел.: +7-913-119-82-99
Эл. почта: shaymardanov.timur@gmail.com
Kataev M.Yu., Kataeva N.G., Korobko A.P., Shaymardanov T.M.
Methodology to build a frontal skeletal model of a human figure during walking using images
The purpose of the work is to develop the methods and algorithms for building the human frontal skeleton model, in the process of walking, using the sequence of images. An overview of the methods used to analyze the human gait and the building of various types of skeleton models is presented. Based on the images obtained, a skeleton model of a human being is constructed.
Keywords: image, human figure, frontal direction, skeleton model.
