CC BY
30
УДК 004.932.2
ОБ АВТОМАТИЗАЦИИ ИЗВЛЕЧЕНИЯ И КЛАССИФИКАЦИИ АНТРОПОМЕТРИЧЕСКИХ ПРИЗНАКОВ
1 9
© Нгуен Тхе Лонг1, Нгуен Тху Хыонг2
Иркутский национальный исследовательский технический университет, 664074, Россия, г. Иркутск, ул. Лермонтова, 83.
Изложен метод измерения различных антропометрических признаков на основе анализа цифровых изображений. Для более эффективного измерения признаков авторы предлагают использовать субпиксельную обработку и анализ выпуклой оболочки. Использован подход, основанный на методе опорных векторов для нахождения кластеров отдельно для каждого пола. Алгоритм К-средних применен для выделения центроидов при определении характерных размеров одежды. Кластерный анализ антропометрических признаков показал неадекватность стандартных размеров, используемых в текстильной промышленности. Представлены результаты обработки реальных данных.
Ключевые слова: антропометрические признаки; метод К-средних; обработка изображения; кластерный анализ; метод опорных векторов.
ON AUTOMATION OF ANTHROPOMETRIC MEASUREMENTS EXTRACTION AND CLASSIFICATION Nguyen The Long, Nguyen Thu Huong
Irkutsk National Research Technical University, 83 Lermontov St., Irkutsk, 664074, Russia.
A digital image analysis-based method for measuring different anthropometric features is described. The authors propose to use sub-pixel processing and a convex hull analysis for better measuring of features. They use an approach based on support vector machines for the identification of clusters for each sex separately. K-means algorithm is used for centroid distinguishing under determination of the characteristic sizes of clothing. Cluster analysis of anthropometric measurements shows the inadequacy of standard sizes used in textile industry. The results of real data processing are provided.
Keywords: anthropometric features; k-means method; image processing; cluster analysis; support vector machines.
Разработка эффективных методов распознавания изображений является важной областью кибернетики. Теория таких методов базируется на методах машинного обучения и позволяет автоматически проводить анализ сцен изображений.
В последние годы автоматическое распознавание и извлечение признаков человеческого тела из 2й изображений человека широко используется во многих областях, таких как бесконтактные измерения размеров тела [8], построение Эй модели человека [9, 10, 5], анализ действий человека [15], анализ поз людей [14].
В этой статье мы предлагаем метод бесконтактного измерения размеров человека на основе анализа цифровых изображений человека. Вычитание фона используется для получения контуров. Операторы обнаружения краев используются для представления кривых контура (силуэта). Дефекты выпуклой оболочки контура используются для извлечения антропометрических признаков, затем метод опорных векторов будет применяться для классификации пола.
Методы кластерного анализа позволили провести анализ пространства векторов признаков с целью нахождения кластеров, соответствующих наиболее характерным антропометрическим характеристикам людей, что позволяет вырабатывать рекомендации
для швейной промышленности, а также использовать и в других областях естествознания, таких, как, например, ауксология.
Все методы идентификации частей тела делятся на две большие категории: модельно-ориенти-рованные и методы обучения. Модельно-ориенти-рованные подходы являются методами типа «сверху-вниз», которые используются для получения предварительной информации о форме человеческого тела в различных позах и расположения конечностей в этих позах [1]. В машинном обучении реализовывается принцип обучения на данных, чтобы извлечь нужные знания из данных и использовать их в распознавании.
В [6] представлен эффективный подход для обнаружения силуэта, который используется для представления контурных характеристик формы тела человека в виде 8-связного цепного кода Фримэна [4]. Полезными оказываются классический алгоритм вычитания фона и детектор границ Кэнни, используемый для представления кривых силуэта. Затем кривые разлагают в ряд сегментов. Таким образом, особые правила для измерения различий между направлениями сегментов используются для извлечения признаков. Однако такой подход имеет высокую чувствительность к шуму.
1Нгуен Тхе Лонг, аспирант, тел.: 89648105759, e-mail: [email protected] Nguyen The Long, Postgraduate, tel.: 89648105759, e-mail: [email protected]
2Нгуен Тху Хыонг, аспирант, тел.: 89246039341, e-mail: [email protected] Nguyen Thu Huong, Postgraduate, tel.: 89246039341, e-mail: [email protected]
Контур тела также подразделяется на части [12]. Разложение на части основано на определении границ каждого сегмента на контуре. В качестве критерия границы деления сегментов в этой статье предложено использовать значения выпуклости и кривизны контура.
В [1] предложено решение задачи сегментации частей тела в случае зашумленных силуэтов изображений. В качестве признаков используется взвешенная радиальная гистограмма расстояний и направлений. Также используется скрытая марковская модель (СММ) для моделирования контура в виде определенных последовательностей. Общая модель обучается на синтетических данных со специальной маркировкой.
В работе [13] авторы используют метод сегментации на основе обработки данных суб-пикселей и относительно больших областей или сегментов.
В нашем подходе мы используем контуры объектов, найденных методом вычитания фона. Методы математической морфологии используется для фильтрации шумов от силуэта. Дополнительные морфологические операции, такие как эрозия, расширения, открытие и закрытие, осуществляется для уменьшения шума и для сглаживания контура силуэта. Выпуклая оболочка создается вокруг силуэта, а дефекты выпуклости использованы в качестве признаков для анализа (рис. 1). Индивидуальными признаками являются начальные и конечные точки выпуклости дефекта и места выпуклости дефекта.
Чтобы найти выпуклую оболочку контура, мы используем алгоритм Склански [16], который имеет О(ШодЫ) сложности.
Алгоритм вычитания фона основан на сравнении между двумя изображениями - переднего плана и фона Сцена картины фона получается, когда нет движения объекта [12, 13]. Обозначим за
¥С(х, у) значения интенсивности пикселя с координатами (х, у) на переднем плане изображения, принадлежащие интервалу [0,255] (8 бит), а за ВС(х, у) обозначим значения интенсивности фона изображения. Пиксель с координатами (х, у) располагается на переднем плане изображения доминирующего компонента, если он удовлетворяет оценке ^й(х, у) -ВБ(х, у)| > Т, где Т(х, у) является пороговым значением. Таким образом, мы строим бинарную маску по следующему правилу: пиксели помечены 1 и являются объектом, если 1Рв(х, у) - ВС(х, у)1>Т и не является объектом (метка 0), если 1Рв(х, у) - ВС(х, у)| < Т.
Обработку суб-пикселей мы использовали для повышения точности измерений. Обычная обработка изображения выполняется в единицах одного пикселя, а метод обработки суб-пикселей позволил нам проводить измерения с точностью до 0,01 пикселей (рис. 2).
Отметим, что суб-пиксельная обработка также чувствительна к шуму, являющемуся неизбежным при обработке изображений, не обладающих достаточным разрешением.
Извлечение признаков на основе выпуклости дефектов осуществляется по схеме (рис. 3). В нашем подходе контур тела описывается выпуклостью дефектов треугольников. Тела представлены треугольниками. Такие треугольники имеют три координаты: выпуклый дефект старт (х1, уД выпуклый дефект конец (х2, у2), и выпуклый дефект положения точек (х3, у3), соответственно помечены как P1, P2 и P3 показаны на рис. 4.
Мы определили области интересов, которые содержат части тела. Таким образом, мы получили 5 выпуклых областей с соответствующими условиями. Затем получили человеческое тело, в том числе грудь, талию и бедро. Наконец мы продолжили применять выпуклую оболочку, чтобы найти положение талии.
Рис. 1. Схема извлечения антропометрических признаков
Рис. 3. Блок-схема извлечения признаков на основе выпуклой оболочки
ID. 116] [272, 223 1288. 95 1 58
223 С268. 213 (269. 22 3 О
В. 213 C2S4. 22 3 [257. 223 О
4. 223 (66. 1123 (237. 92 3 S5
1123 [62. 1143 [65. 1133 О
116 3 (57, 123 3 (60. 118 3 О
1263 [202. 4893 [212. 1401 138
2. 489 3 [2Ш4, 493 3 [2Q3. 4903 в
Ь. 495 3 (209, 4973 [2в7, 495 3 О
9. 4973 [216. 498 3 [215. 4973
Б. 4983 [287. 5003 (258. 3183 181
4. 5003 [301. 499 3 [295. 499 3
2. 498 1 СЭ04. 49S 3 СЭОЗ. 49*73
495 3 [470. 1303 [313. 148 3 135
Рис. 4. Координаты: выпуклый дефект старт, выпуклый дефект конец, выпуклый дефект положения точек
После того как мы получили определенные координаты точек, мы выполнили расчет расстояний между точками в пикселях и преобразовали их в миллиметры. Выпуклый дефект треугольника определяется на основе данных (х1, у1), (х2, у2) и (х3, у3). Выпуклый дефект дает набор значений для каждого дефекта в виде вектора. Этот вектор содержит начальную и конечную точку линии дефекта в выпуклой оболочке. Эти точки указывают индексы координат точек контура. Эти точки могут быть легко получены с помощью начальных и конечных индексов дефекта, сформированных из вектора контура. Выпуклый дефект также включает индекс глубины точек в контуре и его значение отклонения от линии. Однако при таком подходе мы заинтересованы в двух треугольниках, имеющих наибольшую площадь. Очевидно, что этому соответствует треугольник «нога - подмышка - рука», включающий в себя расположение частей, которые мы хотим рассчитать: грудь, талия и бедро.
Таким образом, в этой статье мы предлагаем более простую и дешевую систему, по сравнению с другими системами [7]. В наших экспериментах использу-
ется одна цифровая камера, лист формата A4 (210x297 мм) для калибровки. Три измерения (окружность груди, окружность талии, бедер) были выбраны потому, что они имеют отношение к определению размеров одежды и классификации человека, что было главной целью нашей работы. В табл. 1 показаны результаты измерений частей человеческого тела с использованием метода выпуклой оболочки и ручного метода.
Появление погрешностей в основном вызвано низким разрешением камеры, отсутствием плотной одежды или шумами окружающей среды рядом с объектом. В нашем случае мы использовали базовую камеру телефона «Samsung Galaxy S4» с разрешением 13 мегапикселей. Антропометрические данные были получены путем аппроксимации формы соответствующей части тела. Например, окружность шеи была аппроксимирована по форме эллипса. Главные и второстепенные длины осей были получены от передних и боковых планов. Периметр грудной клетки определялся путем аппроксимации его формы в виде комбинации прямоугольника и эллипса (рис. 5).
Таблица 1
Результаты измерения частей человеческого тела_
Части человеческого тела Ручной метод Метод выпуклой оболочки
Грудь 87,98 см 88,12 см
Талия 67,95 см 68,05 см
Бедро 90,52 см 91,68 см
Грудь 88,64 см 89,02 см
Талия 66,61 см 67,13 см
Бедро 93,58 см 94,93 см
Грудь 87,22 см 88,15 см
Талия 67,19 см 67,96 см
Бедро 89,36 см 89,01 см
Грудь 88,16 см 89,46 см
Талия 65,64 см 66,42 см
Бедро 92,17 см 93,02 см
Грудь 90,36 см 91,23 см
Талия 71,44 см 70,82 см
Бедро 93,56 см 94,19 см
Грудь 86,94 см 87,12 см
Талия 67,68 см 68,12 см
Бедро 85,28 см 84,56 см
Рис. 5. Метод расчета окружность талии на основе эллипса формы
Для решения задач классификации мужчин/женщин с помощью метода опорных векторов (SVM) мы использовали один из наиболее популярных и эффективных методов машинного обучения - метод опорных векторов (SVM, Support vector machine), разработанный Владимиром Вапником [3]. Обзор других подходов, используемых для разработки систем автоматической классификации дефектов при разработке систем машинного зрения, представлен в монографии [17].
Наша цель состояла в использовании метода опорных векторов для классификации пола на основании антропометрических данных. Процесс работы метода SVM подразделяется на 2 этапа: обучение и тест.
Этап обучения: подготовка набора данных изображений мужчин и женщин. Затем выделяются 3 размера человеческого тела (груди, талии, бедра), и формируются векторы признаков в форме:
[Метка][индекс1] : [значение1][ индекс2] : [значе-ние2] ...,
[Метка][ индекс1] : [значение1][ индекс2] : [значе-ние2] ...,_
где метки: -1, 1(1 : муж.; -1 : жен.). Индекс 1, ... , индекс n: индекс признаков. Значение1, ..., значение n: значение признаков.
Выходным результатом процесса обучения является файл *.model, в котором содержится информация о модели классификации: ядра, маркеры, опорные векторов.
Этап теста: после извлечения признаков векторы антропологических признаков хранятся и используются для обучения. Мы построили пространство признаков (3D), основанное на данных груди, талии и бедер. Метод SVM был использован, чтобы найти разделяющую гиперплоскость, которую можно использовать для классификации новых антропометрических данных.
Библиотека «libSVM» была использована для опорных векторов [2]. Также были использованы следующие основные параметры опорных векторов: kernel type: радиальная базисная функция и у = 0,333. Результаты классификации SVM представлены на рис. 6.
Рис. 6. Результаты классификации SVM
В исследовании мы осуществляем кластеризацию данных размеров человеческого тела по методу К-средних, который был предложен МасОиееп в 1967 г. [11]. Метод основан на минимальном Евклидовом расстоянии между признаками объектов от центра группы/кластера элементов (центроида).
Данные антропологических признаков (груди, талии и др.) можно использовать для кластеризации размеров одежды: небольшой (Б), средний (М), большой (Ц, и т.д.
Было установлено, что наилучший результат можно получить на основе обучающих данных с большим количеством признаков.
Наша цель не только помочь дизайнерам подбирать одежду для мужчин и женщин, но также дать им возможность разрабатывать новые виды одежды на основе этих размеров. В зависимости от пожеланий клиентов мы можем выбрать размеры тела в качестве входных данных для программы кластеризации раз-
меров. На следующем этапе дизайнер может использовать антропометрические признаки при определении размеров человеческого тела, чтобы построить наглядное Эй-изображение одежды. Входными данными являются набор тестовых данных с размером 50x3, каждый столбец которого содержит значения признаков груди, талии, бедер. После использования алгоритма К-средних мы получили следующие результаты (рис. 7).
В швейной индустрии подходящий для клиентов дизайн одежды является одним из важных критериев, который способствует успеху. Наш подход сможет помочь дизайнерам лучше определять соответствие одежды для мужчин и женщин путем сочетания информации, основанной на измерении размеров человеческого тела (табл. 2) и анализа полученных антропометрических признаков и алгоритма К-средних для кластеризации форм тела.
Рис. 7. Результат кластеризации данных с обработкой 30. Каждый кластер - признак размеров
Таблица 2
Измерения размеров тела женщин и мужчин
Пол Размеры Грудь Талия Бедро
Жен. XS(36) 84-87 см 63-68 см 89-91,5 см
S(38) 89-91 см 71-76 см 94-96,5 см
M(40) 94-96 см 79-84 см 99-101,5 см
L(42) 99-101 см 86-89 см 104-106,5 см
XL(44) 104-06 см 91-96 см 109-111,5 см
2XL(46) 109-112 см 99-102 см 114-117 см
Муж. XS(36) 91,5-93,5 см 71-76 см 99-101,5 см
S(38) 93,5-96,5 см 76-81 см 101,5-104 см
M(40) 96,5-99 см 81-86 см 104-106,5 см
L(42) 101,5-104 см 86-91,5 см 106,5-109 см
XL(44) 106,5-109 см 91,5-99 см 109-117 см
2XL(46) 111,5-114 см 99-06,5 см 117-124,5 см
На основе нашего метода дизайнер может конструировать одежду с наиболее полным соответствием фигуре клиента.
Итак, классификация человека является полезным приложением для многих будущих сценариев взаимодействия человека с компьютером. Наш подход, представленный в этой статье, описывает классификацию людей на основе антропометрических признаков в сочетании с машинным обучением. Система извлекает ряд антропометрических признаков, включая грудь, талию и бедро. Вектор объектов строится в классифи-
каторе SVM для классификации результатов.
Мы также предлагаем метод с использованием антропометрических признаков и алгоритма K-средних для кластеризации размеров человеческого тела. На основе этих результатов мы надеемся построить программу, которую в будущем можно использовать в швейной индустрии. Авторы выражают благодарность доценту Сидорову Д.Н. за постановку задачи и внимание к работе.
Статья поступила 20.03.2015 г.
Библиографический список
1. Barnard M., Matilainen M., Heikkila J. Body part segmentation of noisy human silhouette images // Multimedia and Expo, IEEE International Conference on, IEEE, 2008. Р. 1189-1192.
2. Chang C.-C., Jen C. LIBSVM - A Library for Support Vector Machines [Электронный ресурс]. URL: http://www.csie.ntu.edu.tw/~cjlin/libsvm (15.01.2o15).
3. Cortes C., Vapnik V. Support-vector networks // Machine Learning, 1995. 20 (3). Р. 273-297.
4. Freeman H. On the encoding of arbitrary geometric configuration // IRE Transactions on Electronics Computers, Vol. EC-10, No. 2, 1961. Р. 264-268.
5. Han E. 3D body-scanning to help online shoppers find the perfect clothes fit // The Sydney Morning Herald, National: [Электронный ресурс]. URL: http://www.smh.com.au/national/ 3d-bodyscanning-to-help-online-shoppers-find-the-perfect-clothes-fit-20150117-12qmfs.html (18.01.2015).
6. Jiang L., Yao J., Li B., Fang F., Zhang Q., Meng M.Q.-H. Automatic body feature extraction from front and side images // Journal of Software Engineering and Applications 5 (12), 2013. Р. 94.
7. Kohlschetter T. Human Body Modelling by Development of the Automatic Landmarking Algorithm // Technical Report No. DCSE/TR-2012-11, August, 2012.
8. Lin Y.L., Wang M.J. Automatic Feature Extraction from Front and Side Images // International conference on Industrial Engineering and Engineering Management. Singapore, Dec. 2008. Р. 1949-1953.
9. Lin Y.L., Wang M.J. Constructing 3D Human Model from 2D images // International conference on Industrial Engineering and Engineering Management. Xiemen, Oct. 2010. Р. 1902-1906.
10. Lin Y.L., Wang M.J. Constructing 3D human model from front and side images // Expert Systems with Applications, Vol. 39, No. 5, April 2012. Р. 5012-5018.
11. MacQueen J.B. Some Methods for classification and Analysis of Multivariate Observations // Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability 1. University of California Press. Р. 281-297. MR 0214227. Zbl 0214.46201. Retrieved 2009-04-07.
12. Mittal A., Zhao L., Davis L.S. Human body pose estimation using silhouette shape analysis // Advanced Video and Signal Based Surveillance, 2003. Proceedings IEEE Conference on, IEEE, 2003. Р. 263-270.
13. Mori G., Ren X., Efros A.A., Malik J. Recovering human body configurations: Combining segmentation and recognition // Computer Vision and Pattern Recognition. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on, Vol. 2, IEEE, 2004. Р. 320-326.
14. Pickup D., Sun X., Rosin P.L., Martin R.R. SHREC'14 Track: Shape Retrieval of Non-Rigid 3D Human Models // Proc. of Eurographics Workshop on 3D Object Retrieval, 2014. Р. 101-110.
15. Rahman S.A., Cho S.-Y., Leung M.K.H. Recognizing human actions by analyzing negative spaces // IET Computer Vision, Vol. 6, No. 3, 2012. Р. 197-213.
16. Sklansky J. Finding the convex hull of a simple polygon // Pattern Recognition Letters, 1982. 1 (2). Р. 79-83.
17. Сидоров Д.Н. Методы анализа интегральных динамических моделей: теория и приложения // Иркутск: Изд-во ИГУ, 2013. 293 с.
