CC BY
169
УДК 004.932:004.4
Е. А. Эрман, Мамдух Мохаммед Гомаа Мохаммед
ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС ОБНАРУЖЕНИЯ ЛИЦ С ПОМОЩЬЮ МЕТОДА СРАВНЕНИЯ С ШАБЛОНАМИ
Среди различных методов распознавания лица человека и его деталей одним из наиболее перспективных является метод корреляции шаблона с изображением, который, однако, не лишен ряда недостатков. С целью их устранения предлагается программно-аппаратный комплекс для обнаружения области лица на изображении. Комплекс представляет собой камеру высокого разрешения, совмещенную с управляющим устройством, которое делает фотоснимки и выдает на выходе связку «лицо - фото». Программная часть для определения использует модификацию метода обнаружения лиц, основанного на комбинации алгоритма сегментации по цвету кожи и алгоритма сравнения с шаблоном. Преимущество предлагаемого решения по сравнению с аналогами состоит в том, что его реализация позволяет фиксировать множественные лица, попадающие в зону действия камеры, а используемый в программной части комплекса алгоритм позволяет минимизировать ошибки первого и второго рода: экспериментально доказано, что применение предложенного подхода позволяет выявлять до 95,64 % лиц на зашумленных и искаженных изображениях.
Ключевые слова: программно-аппаратный комплекс, обнаружение лиц, цветовые пространства, сравнение с шаблоном, связанные компоненты, коэффициент корреляции.
Введение
Задача обнаружения лица на изображении является простой для человеческого зрения, однако при построении реальной автоматической системы обнаружения лиц необходимо учесть следующее [1]:
— сильно варьирующийся размер области лица, в сочетании с большим количеством лиц на одном изображении, в значительной степени осложняет возможность распознавания;
— ориентация лиц на изображении не всегда строго вертикальная - в большинстве случаев они повернуты под неизвестным углом, что вносит дополнительные погрешности при распознавании лиц;
— различные условия освещенности (тип, количество и направление источников света, их цвет и яркость, наличие теней, цветовой баланс камеры, искажение изображения, привносимое оптической системой и пр.) в значительной степени влияют на получающееся изображение лица;
— возможное присутствие индивидуальных особенностей (усы, борода, очки, морщины и т. д.) существенно осложняет автоматическое распознавание;
— изменение выражения лица может сильно сказаться на том, как лицо выглядит на изображении;
— часть лица может быть невидимой (закрыта другими предметами);
— фон (фиксированный, контрастный однотонный, слабоконтрастный, зашумленный и т. п.) может вносить погрешности в работу алгоритмов распознавания лиц.
Существуют различные подходы к решению задачи по распознаванию лица человека и его деталей. Один из них заключается в поиске на изображении заданных шаблонов лиц или их отдельных частей [2]. Для поиска соответствия шаблона участкам изображения могут использоваться различные методы, например простое вычитание изображений [3-5]. Одним из наиболее перспективных методов такого поиска является корреляция шаблона с изображением [6, 7].
В рамках традиционного подхода выделяют процесс распознавания лиц на изображении и получение самого изображения (фотосъемку). Кроме того, существующие алгоритмы распознавания лиц рассчитаны на то, что лицо человека располагается на изображении строго фронтально (анфас), и это затрудняет их использование в реальной жизни при большом потоке людей, проходящих мимо камеры.
С учетом вышеизложенного актуальной является задача создания программно-аппаратного комплекса, который в автоматическом режиме позволял бы выделять лица проходящих мимо него людей и передавать для дальнейшей обработки не просто фотоизображение, а связку «лицо - фото».
Модель программно-аппаратного комплекса обнаружения лиц
Программно-аппаратный комплекс состоит из камеры высокого разрешения и блока управления, в состав которого входят различные программные модули (рис. 1).
1. Модуль обнаружения статичного изображения (МоСИ), предназначенный для получения с камеры потока статических изображений через заданные промежутки времени. Промежутки времени могут изменяться оператором комплекса в зависимости от задач исследования. Выходными данными модуля являются изображения и параметры съемки (яркость, контрастность, цветность и т. п.), этот модуль может быть реализован в виде программируемой логической интегральной схемы (ПЛИС).
2. Модуль обнаружения лиц (МоЛ), предназначенный для выделения лиц на изображениях, полученных от МоСИ.
Рис. 1. Блок-схема программно-аппаратного комплекса
В результате обработки выходными данными МоЛ являются фрагменты изображения, содержащие лица.
Для повышения качества обнаружения лиц на изображении в МоЛ предлагается использовать гибридный алгоритм обнаружения лица человека, который объединяет алгоритм сравнения с шаблоном лица и модифицированный алгоритм обнаружения кожи лица (рис. 2).
Рис. 2. Блок-схема гибридного алгоритма обнаружения лиц
Обнаружение кожи по цвету. Существует несколько цветовых пространств, которые могут быть использованы для выделения на изображении областей, содержащих кожу человека. К группе априорных относятся методы, которые в качестве модели цвета кожи используют явно заданный многогранник в заданном цветовом пространстве, т. е. заранее задается некоторый жесткий набор правил.
Для обнаружения кожи в рамках нашего исследования использовались цветовые модели с выделением нескольких блоков изображения. Это цветовые модели HSV и YIQ, для которых, в свою очередь, экспериментально установлены граничные условия для отнесения пикселов к цвету кожи. Например, пиксели изображения относятся к коже, если выполняется следующее условие:
(20 < I < 90) из YIQ и (0,20 < S < 0,75), (V > 0,35), (0 < H < 25) из YSV,
(1)
где I - синфазная цветоразность (цветовая модель YIQ); H - цветовой тон; S - насыщенность; V - значение цвета (цветовая модель HSV). Стандартным для большинства изображений является использование цветовой модели RGB (R, G, B - соответственно значения красной, зеленой и синей составляющих яркости пикселя). Компоненты HSV получаются из тройки RGB с помощью следующего преобразования [8, 9]:
H=cos
[(R - G) + (R - B)]
V((R - G)2 + (R - B)(G - B))
(2)
S = 1 - 3 •min (R, G, B); V = 1( R+G+B).
R+G+B 3
Конверсия в RGB из YIQ и обратно осуществляется по следующим формулам [10]:
Y 0,2990 0,5870 0,1140 R
I = 0,5957 - 0,2745 - 0,3213 G
Q 0,2115 - 0,5226 - 0,3111 B
(3)
Чтобы ускорить работу алгоритма, предлагается разделять изображение на блоки, каждый размерами 3 х 3 пикселя (рис. 3).
Рис. 3. Один блок пикселей для обнаружения кожи
Затем производится тестирование центрального пикселя. Если этот пиксель удовлетворяет условиям (1), то блок пикселей рассматривают как содержащий изображение кожи, в противном случае данный блок маркируется как не содержащий изображения кожи.
Математическая морфология. Математическая морфология используется для извлечения некоторых свойств изображения, полезных для его представления и описания (контуры, остовы и т. п.). Интерес представляют и морфологические методы, применяемые на этапах предварительной и итоговой обработки изображений, например морфологическая фильтрация, утолщение или утоньшение.
В рамках нашего исследования предлагается использовать морфологическое сужение (эрозию) и морфологическое расширение (дилатацию). Эрозия заключается в удалении точек
вдоль границ в бинарном изображении (т. е. в изображении, переведенном в двухцветную (черно-белую) цветовую схему). Дилатация заключается в добавлении точек вдоль границ бинарного изображения. Такая операция вызывает рост светлых областей на изображении и тем самым способствует объединению областей изображения (рис. 4).
9
Ш
а б в
Рис. 4. Объединение областей обнаружения: а — исходное изображение; б — обнаружение кожи; в — морфологические операции
В результате устраняются случайные помехи внутри ранее обнаруженных областей, которые определяются как кожа.
Связанные компоненты. После морфологической обработки дальнейший анализ бинарного изображения может быть произведён посредством выделения связанных компонентов на изображении. Два пиксела называются связанными, если они расположены в соседних ячейках. При этом вводится понятие 4- и 8-связанности. По вертикали и горизонтали соседствуют 4-связанные пиксели, 8-связанные пиксели соседствуют по горизонтали, вертикали и диагонали.
Исключение фрагментов, не относящихся к области лица. Для исключения фрагментов, которые были получены на предыдущих этапах и которые не относятся к области лица, можно использовать правила, предложенные в [11].
1. Исключаем из рассмотрения фрагменты, размер которых меньше чем 1/600 общего размера изображения в пикселях.
2. Соотношение между шириной и высотой фрагмента, содержащего лицо, должно удовлетворять следующим условиям:
или
ширина „ „
1 <—--< 1,5 ,
высота
0,6 < ширина < 2. высота
(2)
(3)
Экспериментальные исследования показали, что для фильтрации фрагментов изображения, полученных на предыдущих этапах, с целью исключения фрагментов, не содержащих изображение лица, лучшие результаты дает комбинация правил (2) и (3):
1 < ширина < 2
и исключение фрагментов, размер которых меньше 400 пикселей.
Для обнаружения границ лица в полученных фрагментах используется детектор пикселей границы на основе оператора Собеля [12].
высота
Сравнение с шаблоном лица. Недостаток метода обнаружения кожи - сложность распознавания границ области лица, связанная с тем, что данный метод основан только на классификации пикселов изображения с целью обнаружения областей, содержащих кожу.
Именно поэтому для обнаружения более точных границ лица и исключения «не-лиц» предлагается использовать метод сравнения с шаблонами.
Преимущество метода сравнения с шаблонами состоит в том, что его просто реализовать для определения расположения лица и отдельных фрагментов (нос, глаза, рот и т. д.).
Метод заключается в выделении областей лица на изображении и последующем сравнении этих областей для различных изображений.
Для тестирования был выбран готовый шаблон. Шаблон представляет собой изображение центральной части лица, содержащее его основные элементы: глаза, брови, нос и рот (рис. 5). Использование в качестве шаблона только центральной части лица позволяет устранить влияние наиболее непостоянных частей головы человека (верхних и нижних), содержащих прическу и (или) бороду. Обнаружение лица с помощью шаблона заключается в проверке каждой из областей изображения на соответствие заданному шаблону.
Рис. 5. Шаблон, используемый для обнаружения лиц
Шаблон масштабируется согласно высоте и ширине проверяемой области. Отнесение части изображения к области, содержащей лицо, производится путем расчета корреляции между исследуемой частью изображения и шаблоном. Для этого используется коэффициент корреляции г:
_п(£*у)-(£*)(£у)_ ^ ^
Г ~ . , -, — 1< г <1.
П(£X2)- (£X)2 \n(X y2)- (£ y)
п(
Экспериментально установлено, что лучшие результаты получаются, когда коэффициент корреляции г > 0,6.
Таким образом, программная часть МоЛ реализует следующий алгоритм:
1. Производится цветовая сегментация кожи на изображении.
2. Выполняется преобразование полученных областей с помощью операций математической морфологии.
3. Проводится анализ связанных компонент для выделения областей цвета кожи.
4. Из получившегося набора областей, потенциально содержащих лица, исключаются об-
ширина
ласти, для которых не выполняется условие 1 <—--< 2 или которые содержат меньше
высота
400 пикселей.
5. На получившемся после фильтрации (шаг 4) наборе областей производится обнаружение границ лиц.
6. Проводится дополнительная обработка с целью исключения неверно определенных лиц на базе метода сравнения с шаблоном.
Результаты экспериментов
На основе предлагаемого подхода был создан прототип программно-аппаратного комплекса обнаружения лиц. Для проведения апробации МоЛ было использовано 175 цветных изображений из базы данных, суммарно содержащей 252 лица.
На рис. 6 представлены примеры изображений из этой базы, на которых с помощью тестируемых алгоритмов были выделены лица, на рис. 7 - пример результата работы алгоритма обнаружения лиц для людей с черным цветом кожи.
Ф & ~ г 8
§
Рис. 6. Результаты работы алгоритма обнаружения лиц
Рис. 7. Результаты работы алгоритма обнаружения лиц для людей с черным цветом кожи
Для количественной оценки результатов работы предлагаемых алгоритмов используем понятие «точность обнаружения» [13]:
ТР
Точность обнаружения =-,
ТР + ЕЙ
где ТР (true positive - верные обнаружения) - число объектов, присутствующих на изображении и обнаруженных алгоритмом; FN (false negative - ложноотрицательные срабатывания) - число объектов, присутствующих на изображении, но не обнаруженных предложенным алгоритмом.
По нижеприведенной формуле можно провести итоговую оценку эффективности работы алгоритма, т. е. определить степень достоверности, %:
Степень достоверности = 100 - (AFN % + AFP %),
где
FP
AFP=-;
TP + FN
FN
AFN=--—
TP + FN
(FP (false positive - ложноположительные срабатывания) - число объектов, обнаруженных алгоритмом при их отсутствии на изображении).
Описанный алгоритм позволяет с высокой степенью достоверности обнаруживать несколько лиц на одном изображении. Итоговые результаты обнаружения лиц представлены в таблице.
Результаты работы алгоритма обнаружения лиц
Количество лиц Точность обнаружения AFN* AFP* Степень достоверности, %
247 5 6
252 95,64
98,02 1,98 2,38
* Над чертой - количество лиц; под чертой - в %.
Согласно данным таблицы, степень достоверности обнаружения лиц составляет 95,64 %, что подтверждает преимущество предлагаемого решения по сравнению с аналогами.
Заключение
Таким образом, по результатам исследований предложена модель программно-аппаратного комплекса обнаружения лиц на изображении и описан новый алгоритм выделения области лица на изображениях в режиме реального времени, основанный на комбинации алгоритмов обнаружения кожи и сравнения с шаблонами. Описанный программно-аппаратный комплекс позволяет обнаруживать приблизительно 95,64 % лиц, представленных на тестовом наборе.
СПИСОК ЛИТЕРА ТУРЫ
1. Yang M. Detecting Faces in Images: A Survey / M. Yang, D. Kriegman, N. Ahuja // Pattern Analysis and Machine Intelligence, IEEE Trans. 2002.Vol. 24, no. 1. P. 34-58.
2. Smita T. Face Detection using Combined Skin Color Detector and Template Matching Method / T. Smita, S. Varsha, S. Sanjeev // International Journal of Computer Applications. 2011. Vol. 26, no. 7. P. 5-8.
3. Strub L. Automated Facial Conformation for Model-Based Videophone Coding / L. Strub, J. Robinson // IEEE Int. Conf. on Image Processing - Washington D. C. 1995. Vol. 2. P. 587-590.
4. Brown L. A survey of image registration techniques / L. Brown // ACM Computing Surveys. 1992. Vol. 24, no. 1. P. 325-376.
5. Nazil P. An Overview on Template Matching Methodologies and its Applications / P. Nazil, K. Darshan, B. Is-han // International Journal of Research in Computer and Communication Technology. 2013. Vol. 2, no. 10. P. 988-995.
6. Hennecke M. Using deformable templates to infer visual speech dynamics / M. Hennecke, K. Prasad, D. Stork // In Proceedings of the 28th Annual Asilomar Conference on Signals, Systems, and Computers (Pacific Grove, CA). November 1994. P. 578-582.
7. Lam K. A Study on Similarity Computations in Template Matching Technique for Identity Verification / K. Lam, Y. Yeong, T. Yew, S. Chai, A. Suandi // International Journal on Computer Science and Engineering. 2010. Vol. 2, no. 8. P. 2659-2665.
8. Tarek Abd El-Hafeez. A new system for extracting and detecting skin color regions from pdf documents/ Tarek Abd El-Hafeez // International Journal on Computer Science and Engineering (IJCSE). 2010. Vol. 2, no. 9. P. 2838-2846.
9. Vezhnevets V. A survey on Pixel- Based Skin Color Detection Techniques / V. Vezhnevets, V. Sazonov, A. Andreeva // In Proceedings Graphicon '03, Moscow, Russia, 2003. P. 85-92.
10. Duan L. Adult image detection method base-on skin color model and support vector machine / L. Duan, G. Cui, W. Gao, H. Zhang // In Asian Conference on computer Vision, Melbourne, Australia. 2002. P. 797-800.
11. Zhengming L. Face Detection in Complex Background Based on Skin Color Features and Improved AdaBoost Algorithms / L. Zhengming, L. Xue, F. Tan // IEEE International Conference on Progress in Informatics and Computing - PIC, 2010. P. 723-727.
12. Duda R., Hart P. Pattern Classification and Scene Analysis / R. Duda, P. Hart. John Wiley and Sons, New York, 1973. P. 271-272.
13. Omaima N. A. Review of face detection systems based artificial neural networks algorithms/ N. A. Omaima // The International Journal of Multimedia & Its Applications. 2014. Vol. 6. P. 448-455.
Статья поступила в редакцию 28.03.2015, в окончательном варианте - 11.09.2015
ИНФОРМАЦИЯ ОБ АВТОРАХ
Эрман Евгений Анатольевич - Россия, 414056, Астрахань; Астраханский государственный университет; канд. техн. наук; доцент кафедры «Информационные технологии и безопасность»; [email protected].
Мамдух Мохаммед Гомаа Мохаммед — Россия, 414056; Астрахань; Астраханский государственный университет; аспирант кафедры «Информационные технологии и безопасность»; [email protected].
E. A. Erman, Mamdouh Mokhammed Gomaa Mokhammed
COMPUTER FACE DETECTION APPLIANCE BASED ON USING TEMPLATE MATCHING METHOD
Abstract. Among the various methods of recognizing a person's face and its details one of the most promising method is the correlation of the template with an image, which, however, is not without a number of drawbacks. In order to eliminate these drawbacks, it is proposed to use the appliance for the detection of the face area in the image. The complex is a high-resolution camera, combined with a control unit, which makes photos and outputs a bunch of "face - photo". The software part for detection uses a modification of the method of face detection based on a combination of the color segmentation and pattern matching algorithms. The advantage of the proposed solution compared to the peers is that its implementation allows you to record multiple faces falling within the range of the camera, and the algorithm, used in the software part of the complex, helps minimize Type I and Type II errors: it is experimentally proved that the application of the proposed approach can detect up to 95.64 % of those in the noisy and distorted images.
Key words: appliance, face detection, color spaces, template matching, connected component, correlation coefficient.
REFERENCES
1. Yang M., Kriegman D., Ahuja N. Detecting Faces in Images: A Survey. Pattern Analysis and Machine Intelligence, IEEE Trans., 2002, vol. 24, no. 1, pp. 34-58.
2. Smita T., Varsha S., Sanjeev S. Face Detection using Combined Skin Color Detector and Template Matching Method. International Journal of Computer Applications, 2011, vol. 26, no. 7, pp. 5-8.
3. Strub L., Robinson J. Automated Facial Conformation for Model-Based Videophone Coding. Conf. on Image Processing - Washington D. C., 1995, vol. 2, pp. 587-590.
4. Brown L. A survey of image registration techniques. ACM Computing Surveys, 1992, vol. 24, no. 1, pp. 325-376.
5. Nazil P., Darshan K., Ishan B. An Overview on Template Matching Methodologies and its Applications. International Journal of Research in Computer and Communication Technology, 2013, vol. 2, no. 10, pp. 988-995.
6. Hennecke M., Prasad K., Stork D. Using deformable templates to infer visual speech dynamics. In Proceedings of the 28th Annual Asilomar Conference on Signals, Systems, and Computers (Pacific Grove, CA), November 1994, pp. 578-582.
7. Lam K., Yeong Y., Yew T., Chai S., Suandi A. A Study on Similarity Computations in Template Matching Technique for Identity Verification. International Journal on Computer Science and Engineering, 2010, vol. 2, no. 8, pp. 2659-2665.
8. Tarek Abd El-Hafeez. A new system for extracting and detecting skin color regions from pdf documents. International Journal on Computer Science and Engineering (IJCSE), 2010, vol. 2, no. 9, pp. 2838-2846.
9. Vezhnevets V., Sazonov V., Andreeva A. A survey on Pixel- Based Skin Color Detection Techniques. In Proceedings Graphicon '03, Moscow, Russia, 2003, pp. 85-92.
10. Duan L., Cui G., Gao W., Zhang H. Adult image detection method base-on skin color model and support vector machine. In Asian Conference on computer Vision, Melbourne, Australia, 2002. P. 797-800.
11. Zhengming L., Xue L., Tan F. Face Detection in Complex Background Based on Skin Color Features and Improved AdaBoost Algorithms. IEEE International Conference on Progress in Informatics and Computing -PIC, 2010. P. 723-727.
12. Duda R., Hart P. Pattern Classification and Scene Analysis. John Wiley and Sons, New York, 1973. P. 271-272.
13. Omaima N. A. Review of face detection systems based artificial neural networks algorithms. The International Journal of Multimedia & Its Applications, 2014, vol. 6, pp. 448-455.
The article submitted to the editors 28.03.2014, in the final version - 11.09.2015
INFORMATION ABOUT THE AUTHORS
Erman Evgeniy Anatolievich — Russia, 414056, Astrakhan; Astrakhan State University; Candidate of Technical Sciences; Assistant Professor of the Department "Information Technologies and Security"; [email protected].
Mamdouh Mokhammed Gomaa Mokhammed — Russia, 414056, Astrakhan; Astrakhan State University; Postgraduate Student of the Department "Information Technologies and Security"; d oha_gomaa @yahoo.c om.
