CC BY
65
Доклады БГУИР
2015 № 7 (93)
УДК 681.3
ОБНАРУЖЕНИЕ ЛИЦА НА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ В БИОМЕТРИЧЕСКОЙ СИСТЕМЕ КОНТРОЛЯ ДОСТУПА
ИИ. ФРОЛОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 27 октября 2015
Приведены результаты исследования и модификации алгоритма обнаружения лица Виолы-Джонса, использованного в биометрической системе контроля доступа на базе технологии распознавания лиц.
Ключевые слова: распознавание лиц, обнаружение области интереса, контроль доступа.
Введение
Большинство биометрических систем контроля доступа имеют аналогичные функциональные модули: захват и предобработка изображения, обнаружение области интереса, редуцирование исходного пространства признаков, обучение или классификация объекта. В данной работе представлена модификация стандартного алгоритма Виолы-Джонса [1] для детекции лица в кадре, позволяющая получить повышение производительности до 15 % при обработке видеопоследовательности.
Описание алгоритма
При обработке видеопоследовательности требования по производительности повышаются и время обнаружения области интереса значительно сокращается по сравнению со статичным изображением. Получаемый кадр с видеокамеры либо из видеофайла поступает для обработки системой через равные промежутки времени, т.е. с определенной частотой. Минимальное значение показателя частоты кадров в видеопоследовательности, при которой видеоизображение будет восприниматься человеческим зрением как плавное и непрерывное, составляет 16 кадров в секунду (16 fps - frames per second). Оцифрованные видеоматериалы высокого качества для представления пользователю персонального компьютера обрабатываются с частотой 30 кадров в секунду. Частота кадров стандартной web-камеры (например, A4Tech PK-750MJ), использованной для проведения исследований и тестирования разработанных алгоритмов в режиме контроля доступа и идентификации личности, составляет 30 кадров в секунду (30 fps) для разрешения 320^240 пикселей и 15 кадров в секунду для разрешения 640*480 пикселей. В исследованиях использовался второй режим (15 fps для разрешения 640*480 пикселей), т.к. получаемые изображения с web-камеры в данном режиме в большей степени удовлетворяют международным стандартам [2-4].
В установленный промежуток времени смены кадров (для частоты 15 fps время для обработки одного кадра должно составлять не более 66 мс) система должна выполнять полный цикл обработки изображения и распознавания лица: обнаружение и локализация области интереса (лица), предобработка области интереса, редуцирование выделенной области и представление данных в виде сжатого вектора признаков, классификация полученного вектора и определение по номеру класса соответствующей личности.
Для реализации процедуры распознавания обнаружение лица в кадре для режима, близкого к режиму реального времени, должно осуществляться в пределах 20 мс, тогда для осуществления остальных операций выделяется около 40 мс. Наиболее соответствует вышеперечисленным требованиям по производительности алгоритм детекции лица Виолы-Джонса, основанный на применении каскадов слабых хааровских классификаторов. Однако данный детектор обладает недостаточной точностью поиска области интереса.
Для экспериментальной видеопоследовательности, полученной с web-камеры, размер кадра для частоты 15 fps равен 640^480 пикселей, что соответствует разрешению многих используемых камер наблюдения. При применении алгоритма Виолы-Джонса можно выполнять обнаружение лица и его трекинг практически в режиме реального времени. Количественная оценка скорости работы составляет 21-57 мс для поиска лица в кадре (рис. 1). Данные показатели, как было указано выше, являются недостаточными для осуществления процедуры распознавания в режиме реального времени.
С целью увеличения скорости детекции области интереса разработана модификация базового детектора лица Виолы-Джонса, основанная на изменении области обработки кадра и размеров обрабатываемого изображения. Алгоритм Виолы-Джонса на базе каскадов слабых хааровских классификаторов производит поиск лица путем сканирования всего изображения масками различного размера, причем устанавливается минимальный размер маски для поиска области интереса 20*20 пикселей. Исходя из данных особенностей базовой реализации алгоритма, можно выделить несколько параметров, изменение которых может привести к сокращению времени поиска.
Разрабатываемая система ориентирована, в первую очередь, на работу в стационарном режиме, т.е. будучи установленной в определенном месте не предполагает перемещения камеры в процессе работы системы. Данное накладываемое ограничение применимо для большинства устанавливаемых стационарных камер внутреннего и наружного наблюдения.
JSI*)
Рис. 1. Скорость обнаружения области лица базовым алгоритмом Виолы-Джонса на основе каскадов
слабых хааровских классификаторов
При поступлении изображения на вход системы перед поиском лица выполняются следующие элементы подготовки.
Шаг 1. Установление границ областей поиска, в которые потенциально может попасть изображение лица человека. Например, ограничение области поиска границами входной двери, рамкой металлодетектора и т.д.
Шаг 2. Обнаружение движения в ограниченной на шаге 1 области детекции: поиск лица не запускается до момента обнаружения движения и осуществляется только для обработки движущегося объекта.
Шаг 3. Уменьшение исходных размеров обрабатываемого изображения в 2-5 раз (в зависимости от используемой видеокамеры и начального разрешения изображения). Параметр устанавливается экспериментально.
Шаг 4. Определение размеров масок поиска лица на обрабатываемом изображении, которые могут быть реально использованы при обнаружении лица, например, в зависимости
от расстояния до камеры наблюдения. Когда камера устанавливается в закрытом помещении или просто обрабатывает ограниченное пространство (офис, автозаправка, магазин, паркинг), то можно определить минимальные и максимальные размеры лица, которое будет попадать в кадр, что позволяет избежать необходимости использовать маски всех размеров и, следовательно, уменьшить время обработки каждого кадра.
Основные преобразования связаны с изменением размера обрабатываемого изображения, а также с изменением размера маски сканирования. Поиск областей движения основан на выделении движения - динамической составляющей видеоизображения, основной задачей которого является уменьшение области поиска и, следовательно, увеличение производительности алгоритма. Для реализации данного подхода использована методика сравнения текущего кадра с моделью фона [5]. Для выделения области движения производится вычисление разности между обрабатываемым кадром и моделью фона с последующим пороговым разделением. Для обновления модели фона используется «сигма-дельта» фильтрация [6].
Рис. 2. Время обнаружения лица для модифицированного алгоритма
В результате внесения указанных изменений удалось достичь требуемого уровня времени обнаружения области интереса лица в диапазоне 12-17 мс (рис. 2 и табл. 1).
Таблица 1. Оценка быстродействия базового и модифицированного алгоритмов Виолы-Джонса
Алгоритм Время обнаружения лица в кадре, мс Среднее время обнаружения лица в кадре, мс
Алгоритм Виолы-Джонса 21-57 39
Модифицированный алгоритм Виолы-Джонса 13-17 15
При повышении производительности обнаруженная и локализованная область лица не соответствует границам, по которым в данной системе выполняется локализация области лица - по линиям надбровных дуг. В данном разделе вводятся корректирующие коэффициенты для определения координат левой верхней точки и длины стороны квадрата области интереса, наиболее соответствующей границам области лица по надбровным дугам. Рассчитанные корректирующие коэффициенты и математические зависимости получены эмпирическим путем и основаны на экспериментальных данных.
Экспериментальная часть
В экспериментах использована выборка 750 фронтальных фотопортретов, изображения которых, при необходимости, предварительно были повернуты таким образом, чтобы глаза находились на одной горизонтальной линии. С целью учета поворота головы при экспериментальном определении границ 250 изображений лица имеют поворот головы вправо не превышающий 10°, и 250 изображений имеют поворот головы влево не превышающий 10°, и 250 изображений не имеют поворота головы (0°); наклон головы не принимался во внимание
ввиду незначительного влияния, но контролировался в допустимом диапазоне от -15° до +15° наклона вверх-вниз вокруг горизонтальной оси.
Для каждого фотопортрета из выборки было получено (локализовано) две области лица: по алгоритму Виолы-Джонса и более узкая область по границам надбровных дуг. Для каждой пары полученных таким образом изображений лиц были выполнены следующие измерения (рис. 3): координаты точек А1 и В1, и А2 и В2 относительно левой верхней точки О (начало координат) исходного изображения, длина отрезка по горизонтали А1В1, смещения А1хА2х по горизонтали и Л\уЛ2у по вертикали, отношения А^А^/А^В^, АгАуАгВу и АъВъ/А\хВ\х. Отношения А1хА2х/А1хВ1х, АгАуАгуВ^ вычислялись с целью определения зависимости положения (координат) новой опорной точки А2 от начальной длины стороны и положения точки А1; отношение А2хВ2х/А1хВ1х - для определения зависимости новой длины стороны ограничивающего лицо квадрата от исходной длины. Образцы экспериментальных данных и рассчитанных коэффициентов приведены в табл. 2.
Таблица 2. Корректирующие коэффициенты для модифицированного алгоритма Виолы-Джонса
А1хА2Х А1уА2у А1хВ1х кх1= А1хА2х/А1хВ1х ку1= А\АЬ/А\хВ\х А2хВ2х кяЛ:_1= А2хВТх/А\хВ\х
42 55 241 0,174 0,228 164 0,680
41 62 250 0,164 0,248 161 0,644
41 65 243 0,169 0,267 164 0,675
39 63 247 0,158 0,255 162 0,656
40 59 240 0,167 0,246 164 0,683
42 63 242 0,174 0,260 163 0,674
38 63 243 0,156 0,259 162 0,667
39 62 244 0,160 0,254 161 0,660
40 64 247 0,162 0,259 162 0,656
41 63 245 0,167 0,257 160 0,653
Рис. 3. Определение опорных точек для модифицированного алгоритма Виолы-Джонса
В соответствии с рассчитанными по экспериментальным данным коэффициентам новые значения левой верхней точки квадрата, ограничивающего область интереса, и значение длины его стороны рассчитываются в соответствии с выражениями (1)-(3):
* = хоы + кх-Км = хоы + °Д6'Кы, У = Уоы + К-Кы = Уоы + 0,255-
оОЫ'
н = ^ = к^-Фоы = °,65 - Жоы:
(1) (2)
(3)
где х - координата x новой левой верхней точки области интереса; Xoid - координата x исходной левой верхней точки области интереса, определенной по алгоритму Виолы-Джонса; y - координата y новой левой верхней точки области интереса; yoid - координата y исходной левой верхней точки области интереса, определенной по алгоритму Виолы-Джонса; W - новый размер ширины области интереса; Wold - размер ширины исходной области интереса, определенной по алгоритму Виолы-Джонса; H - новый размер высоты области интереса.
Пример результата перехода от области лица, определенной по базовому алгоритму Виолы-Джонса, к области лица по границам надбровных дуг по предложенному модифицированному алгоритму, показан на рис. 4.
Рис. 4. Корректировка области локализации лица
Пошаговая последовательность действий выполнения алгоритма может быть описана следующим образом:
Шаг 1. Установление ограничений для областей поиска и сегментация областей движения на исходном изображении, поиск области лица по алгоритму Виолы-Джонса.
Шаг 2. Вычисление координат новой опорной точки и длины стороны квадрата, ограничивающего область интереса в соответствии с выражениями (1)-(4).
Шаг 3. Определение новой области интереса (лица) по границам надбровных дуг. Завершение алгоритма.
Оценки производительности и количественные характеристики модифицированного алгоритма Виолы-Джонса и сравнительные характеристики разработанного алгоритма локализации лица по границам надбровных дуг по антропометрическим точкам приведены в табл. 3. Для оценки эффективности модификации алгоритма проведено тестирование для выборки 500 фронтальных изображений (идентичная выборке, использованной для тестирования алгоритма локализации лица по границам надбровных дуг по антропометрическим точкам лица), имеющих допустимые углы отклонения, наклона и поворота (от -15° до +15°). Каждое тестируемое изображение подвергалось предварительной обработке (оценка ракурса), после чего выполнялся тестируемый алгоритм.
Таблица 3. Сравнительные характеристики алгоритмов обнаружения и локализации лица
Алгоритм Среднее время обнаружения лица на изображении базы FERET (712x532 пикселя), с Среднее время обнаружения лица на кадре с разрешением 640x480 пикселей, с Процент правильно обнаруженных лиц, % Процент обнаружений типа «нелицо», % Коэффициент распознавания на выборке базы FERET, %
Локализация лица по границам надбровных дуг 2,442 0,327 98,6 1,1 84,8
Модифицированный алгоритм Виолы-Джонса 0,259 0,015 98,6 1,1 81,2
Базовый алгоритм Виолы-Джонса 1,884 0,039 98,6 1,1 68,0
Оценка эффективности работы исследуемого алгоритма обнаружения лица проверяется в разрезе решения задачи распознавания лиц: насколько точно система способна распознать человека по области изображения, которую определил данный алгоритм обнаружения и локализации лица. Таким образом, чем больший процент вероятности достоверной классификации при распознавании лиц показывает система, тем лучше считается данный алгоритм обнаружения и локализации лица. Правильно распознанными считались фотопортреты, занявшие место в рекомендательном списке не ниже 5-го. Система распознавания лиц соответствует структуре, приведенной на рис. 5.
Рис. 5. Структура системы идентификации личности по портрету лица
Результаты, представленные в табл. 3, демонстрируют относительно высокую достоверность классификации при работе системы с использованием также разработанного для системы алгоритмов обнаружения области лица, ограниченной надбровными дугами.
Заключение
Представлен модифицированный алгоритм Виолы-Джонса для обнаружения лица с использованием каскадов слабых хааровских классификаторов, обладающий более высокой производительностью и большей точностью распознавания (81,2 % по сравнению с 68,0 %, т.е. на 13,2 % больше) по сравнению с базовой версией алгоритма, что достигается за счет обработки только сегментированных областей движения, обработки уменьшенной копии исходного изображения, увеличения размеров масок поиска. Главная отличительная особенность модифицированного алгоритма - возможность применения в системе идентификации личности в режиме реального времени.
Все разработанные представленные алгоритмы служат для решения одной из ключевых задач распознавания образов - локализации области интереса, однако обладают различными технико-тактическими характеристиками, представляющими не только научный, но и практический интерес.
FACE DETECTION ON THE FRAME IN VIDEO SEQUENCE IN THE BIOMETRIC MONITORING ACCESS CONTROL SYSTEM
I.I. FROLOV Abstract
The results of research and modification of base algorithm Viola-Jones to detect the face on the image that is used in the biometric monitoring system of access based on technology of a face recognition are considered.
Список литературы
1. Viola P., JonesM. // Computer Vision and Pattern Recognition. 2001. P. 511-518.
2. ISO/IEC 19794-5:2005. Information technology - Biometric data interchange formats - Part 5 : Face image data.
3. ANSI/INCITS 385-2004. Information technology - Face Recognition Format for Data Interchange.
4. ГОСТ Р ИСО/МЭК 19794-5-2006. Автоматическая идентификация. Идентификация биометрическая. Форматы обмена биометрическими данными. Часть 5. Данные изображения лица.
5. Haritaoglu I., HarwoodD., Davis L.S. et.al. // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. Vol. 22, № 8. P. 809-830.
6. Manzanera A., Richefeu J.C. // Pattern Recognition Letters. 2007. Vol. 28, № 3. P. 320-328.
