CC BY
238
6. Черниховская Г.Л. , Мусатова М.М. Влияние среды распространения на помехоустойчивость согласованной фильтрации сверхширокополосных гидроакустических сигналов // Материалы международной научной конференции «Оптимальные методы решения научных и практических задач». Ч. 3. «Оптимизация исследований в области естественных наук». - Таганрог: ТРТУ, 2005. - C. 85-95.
7. Покровский Ю.О., Черниховская Г.Л. Модель сверхширокополосных локационных сигналов в виде производной от гауссова видеоимпульса // Материалы международной научной конференции «Информационные технологии в современном мире». Ч. 4. - Таганрог: ТРТУ, 2006. - C. 63-67.
8. Лещанский Ю.И., Ульянычев Н.В., Лебедева Г.Н., Попова Н.Я., Метелкина Е.Д. Электрические параметры кирпича, цемента и древесины в диапазоне метровых-сантиметровых радиоволн. ВИНИТИ, рег. № 4772-82.
9. Вопросы подповерхностной радиолокации. Коллективная монография / Под ред. А.Ю. Гринева. - М.: Радиотехника, 2005. - 416 с.
10. Чубинский Н.П. Методы радиовидения через поглощающие экраны. Сверхширокопо-лосные сигналы в радиолокации, связи и акустике // Сб. докладов Второй Всероссийской научной конференции-семинара. Муром, 4-7 июля 2006 г. - Муром: Изд.-полиграф. центр МИ ВлГУ, 2006. - 507 с.
11. Черниховская Г.Л., Дорошенко С.Ю. Способ уменьшения погрешности определения координат при локации биообъектов за препятствиями // Материалы докладов Всероссийской научной школы и конференции «Радиофизические методы в дистанционном зондировании сред». 30.06-3.07. - Муром, 2009.
Статью рекомендовал к опубликованию д.т.н., профессор В.В. Костров.
Черниховская Г алина Леонидовна - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: [email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 88634371632; кафедра теоретических основ радиотехники; к.т.н.; доцент.
Татомир Инга Александровна - e-mail: [email protected], кафедра теоретических основ радиотехники; аспирантка.
Chernihovskay Galina Leonidovna - Federal State-Owned Autonomous Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: [email protected]; 44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +78634371632; the department of fundamentals of radio engineering; cand. of eng. sc.; associate professor.
Tatomir Inga Aleksandrovna - e-mail: [email protected]; the department of fundamentals of radio engineering; postgraduate student.
УДК 004.932.2
В.В. Воронин
РАЗРАБОТКА И ИССЛЕДОВАНИЕ АЛГОРИТМА ВЫЧИСЛЕНИЯ КАРТЫ ГЛУБИНЫ СТЕРЕОИЗОБРАЖЕНИЯ*
Рассмотрены вопросы вычисления карты глубины сцены на основе модифицированного метода Depth Transfer. Предложенный подход основан на поиске похожих изображений в базе данных, с помощью которых формируется карта глубины, с последующей ее постобработкой для уменьшения погрешности преобразования изображений из 2D в 3D.
* Работа выполнена в рамках федеральной целевой программы ФЦП "Научные и научнопедагогические кадры инновационной России" на 2009-2013 гг.
Основная идея метода заключается в том, что похожие сцены имеют примерно одинаковое распределение карты глубины. Для уточнения и интерполяции оценки с использованием глобальной оптимизации используется несколько похожих кандидатов для изображения. Предлагаемый алгоритм постобработки карты глубины состоит из следующих этапов: фильтрация изображения в пространстве RGB-фильтром Гаусса; кластеризация изображения методом k-средних; адаптивная медианная фильтрация карты глубины в пределах каждого кластера цветного изображения; удаления небольших замкнутых областей “дыр ” в карте глубины. Эффективность нового подхода показана на нескольких примерах, демонстрирующих результаты восстановления карты глубины на тестовых изображениях с различными геометрическими особенностями.
Карта глубины; фильтрация; дескрипторы; контурный анализ; стереоизображение.
V.V. Voronin
DEVELOPMENT AND RESEARCH ALGORITHM FOR COMPUTING THE DEPTH MAPS OF STEREO IMAGES
The problems of computing the depth map of the scene based of the modified method Depth Transfer. The proposed approach is based on finding similar images in the database, which is formed by the depth map, with subsequent post-processing to reduce the error of the image conversion from 2D to 3D. The basic idea of the method is that similar scenes have approximately the same distribution of the depth map. For more accurate estimation and interpolation with the use of global optimization using several similar candidates for the image. The proposed post-processing algorithm consists of the depth map of the following steps: filtering the image in RGB space Gaussian filter, clustering of images using к-means, adaptive median filtering of the depth map within each cluster, a color image, the removal of small areas of closed "holes" a depth map. The effectiveness of the new approach is shown in several examples that demonstrate the results of recovery of the depth map on the test images with different geometric features.
Depth map; filtering; contour analysis; descriptors; stereo image.
В настоящее время во многие области обработки информации активно внедряется трехмерное представление данных, в том числе изображений и видеосигналов. Трехмерное телевидение получило широкое развитие в повседневной практике, но в большинстве случаев контент для таких систем ограничен. Соответственно представляет интерес разработка методов преобразования 2Б-изображений и видеосигналов в 3D. Особенно актуальны системы вычисления карты глубины стереоизображения по одному кадру видеопоследовательности в режиме реальном времени.
Важный этап в любой 3D-системе - это оценка карты глубины изображений [1]. Системы отображения 3D-сигналов используют два канала изображений, которые предназначены индивидуально для каждого глаза. При другом способе формируется RGB-изображение сцены и второе изображение, передающее информацию о глубине сцены, т.е. расстояния до объектов. Анализ существующих методов позволяет сделать вывод, что все методы имеют свои ограничения, например, для случаев, когда используется только одно изображение, наблюдается динамика сцены или параллакс движения, и т.д. Это вызывает необходимость усовершенствования существующих методов и разработку новых.
Целью работы является уменьшение погрешности преобразования изображений из 2D в 3D на основе модифицированного метода Depth Transfer.
В работе рассматривается модель изображения, которая представляет собой многомерную дискретную последовательность Y(ki = 1,N, j = 1,M, k = 1,4, где
Y(1) = Y(R) - канал с красной компонентой аддитивной цветовой модели,
l,J l,J
Y(2) = Y(G) - канал с зеленой компонентой аддитивной цветовой модели,
l,J l,J
Yl'3'1 = Y B - канал с синей компонентой аддитивной цветовой модели, Y = Y D
- канал с компонентой, содержащей информацию о карте глубины, M - количество столбцов двумерного массива изображения, K - количество кадров двумерного массива динамического изображения.
В настоящее время существует несколько типов камер, которые позволяют получать 3D-изображение, например стереоскопическая двойная камера использует компланарную конфигурацию двух отдельных моноскопических камер, каждая из которых вычисляет информацию о глубине, используя бинокулярное неравенство. Другой пример - камера диапазона глубины, которая содержит дополнительный облучающий элемент, позволяющий захватывать двумерное изображение RGB и создавать соответствующую карту глубины.
Главной проблемой решения задачи преобразования из 2D в 3D является вычисление карты глубины [2]. Одним из самых эффективных алгоритмов преобразования из 2D в 3D на данный момент является метод Depth Transfer [3].
Метод предполагает наличие базы типовых изображений с картами глубин для них. Полученное изображение сравнивается с базой данных для нахождения нескольких похожих изображений, с помощью которых в дальнейшем и формируется карта глубины.
В работе предлагается модификация метода Depth Transfer с целью уменьшения погрешности получения карты глубины на основе постобработки полученных данных. На рис. 1 представлена блок-схема алгоритма предлагаемого метода.
Временная информация (оптический поток, оценка движения)
С Начало J
Входное
изображение
Т
Выбор кандидатов из RGBD базы данных *
Деформация SIFT потока f
Измененные кандидаты
Оптимизация
X
Оценка карты глубины
X
С
Постобработка карты глубины
Конец
Рис. 1. Блок-схема алгоритма получения карты глубины
На первом этапе с помощью GIST-дескрипторов определяются “похожие” кандидаты входного изображения из RGBD базы данных [4]. Далее выполняется процедура вычисления SIFT-потока [5], которая применяется к кандидатам и к соответствующим картам глубин изображений, чтобы выполнить их деформацию в соответствии с входным изображением.
Каждая глубина деформированного кандидата считается грубым приближением карты глубины входного изображения, поэтому глубина кандидата может содержать неточности и не является пространственно гладкой [6]. На следующем этапе используется процедура оптимизации с пространственной регуляризацией для интерполяции значения глубины кандидатов, что приводит к результирующей оценке глубины. Это нелинейная оптимизация с использованием итеративно взвешенного метода наименьших квадратов с минимизацией целевой функции ошибки.
Основная идея метода заключается в том, что похожие сцены должны иметь примерно одинаковые распределения глубины. Другими словами, образы сцен имеют близкие значения глубины в областях с аналогичным внешним видом. Так как не все полученные оценки будут правильными, находится несколько кандидатов для изображения, чтобы уточнить и интерполировать эти оценки с использованием глобальной оптимизации.
Метод Depth Transfer имеет несколько недостатков, связанных с тем, что при формировании карты глубины и поиска кандидатов учитывается только информация в пространстве RGB. Вторая проблема связана с формированием базы данных, которая в случае значительного отличия от предполагаемой сцены может привести к большим погрешностям при оценке карты глубины. В частности, оценка глубины, как правило, неточна, в случае больших расстояний до объектов сцены. Кроме того, метод имеет тенденцию к ошибке для текстурных областей изображений, где соответствие не может быть точно обнаружено.
В связи с этим предлагается дополнительный этап в общей схеме алгоритма, который заключается в многоэтапной постобработке карты глубины, полученной методом Depth Transfer.
Предлагаемый алгоритм представлен на рис. 2 и состоит из следующих этапов:
Рис. 2. Блок-схема алгоритма постобработки карты глубины
1. Загрузка изображения (рис. 3,а) и карты глубины (рис. 3,б);
2. Фильтрация изображения в пространстве RGB фильтром Гаусса (рис. 3,в);
3. Кластеризация изображения методом k-mean (рис. 3,в);
4. Адаптивная медианная фильтрация карты глубины в пределах каждого кластера цветного изображения (рис. 3,г);
5. Удаления небольших замкнутых областей “дыр” в карте глубины (рис. 3,д) [7].
I '
Рис. 3. Примеры обработки изображений для основных этапов алгоритма
Оценка эффективности метода проводится на основе визуальной оценки и среднеквадратической ошибки восстановления карты глубины для предложенного метода и метода Depth Transfer.
На рис. 4 представлен результат обработки первого тестового изображения (а - исходное изображение, б - карта глубины, полученная методом Depth Transfer, в - карта глубины, полученная модифицированным методом). В первом случае, полученная карта глубины имеет шумовые составляющие, наличие которых устраняется с использованием модифицированного метода. Визуальная оценка полученных карт глубин на двух изображениях позволяет сделать вывод о достаточной точности восстановления модифицированным методом.
На рис. 5-8 представлены результаты обработки различных тестовых изображений (а - исходное изображение, б - карта глубины, полученная методом Depth Transfer, в - карта глубины, полученная модифицированным методом). Визуальный анализ показывает, что на рис. 5,б присутсвуют погрешности при определении глубины, а на рис. 5,в эти погрешности значительно меньше. Можно отметить, что предлагаемый подход позволяет более точно получить карту глубины и сохранить детали для небольших объектов, например деревьев.
Ш
■L v | mt ш
а б в
Рис. 4. Результат восстановления карты глубины для первого тестового
изображения
<ак(г-
. Jy
а б в
Рис. 5. Результат восстановления карты глубины для второго тестового
изображения
а б в
Рис. 6. Результат восстановления карты глубины для третьего тестового
изображения
а б в
Рис. 7. Результат восстановления карты глубины для четвертого тестового
изображения
а б в
Рис. 8. Результат восстановления карты глубины для пятого тестового
изображения
В табл. 1 представлены значения погрешности для тестовых изображений. Критерием эффективности оценки выступает значение среднеквадратического отклонения разности между оценкой и ее истиной моделью:
1
N IV 0
II № > - >)
і=i j=i
і = l, N, j = l, M .
N • M
где Y(- модель карты глубины, полученная с помощью специальных камер с активными сенсорами, У - оценка карты глубины, полученная с помощью
предлагаемого метода.
Анализ результатов обработки изображений показывает, что значение среднеквадратической ошибки для предложенного метода меньше в среднем на 17-30 %, чем для метода Depth Transfer при наилучших значениях параметров обработки для рассмотренных тестовых изображений.
Таблица 1
Зависимость погрешности обработки для различных изображений
аош
Метод Depth Transfer Предложенный метод
Рисунок 4 14,15 11,89
Рисунок 5 14,91 10,17
Рисунок 6 13,75 10,47
Рисунок 7 13,7б 9,82
Рисунок В 14,23 10,52
В заключении можно сделать следующие выводы:
1. Предлагается метод получения карты глубины сцены на основе модифицированного метода Depth Transfer.
2. Метод основан на поиске похожих изображений в базе данных, с помощью которых формируется карта глубины, с последующей ее постобработкой для уменьшения погрешности преобразования изображений из 2D в 3D.
3. Эффективность нового подхода показана на нескольких примерах, демонстрирующих эффективность алгоритма при восстановлении карты глубины на тестовых изображениях с различными геометрическими особенностями.
4. Анализ результатов обработки изображений показывает, что значение среднеквадратической ошибки для предложенного метода меньше в среднем на 17-30 %, чем для метода Depth Transfer.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход: Пер. с англ. - М.: Издательский дом «Вильямс», 2004. - 928 с.
2. Torralba A., Oliva A. Depth Estimation from Image Structure // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. - Vol. 24, Issue 9. - P. 1226-1238.
3. Kevin Karsch, Ce Liu, Sing Bing Kang. Depth Extraction from Video Using Non-parametric Sampling // Lecture Notes in Computer Science. - 2012. - Vol. 7576. - P. 775-788.
4. Oliva A., Torralba A. Modeling the shape of the scene: A holistic representation of the spatial envelope // IJCV. - 2001. - № 42. - P. 145-175.
б5
5. Liu C., Yuen J., Torralba A. SIFT Flow: Dense correspondence across scenes and its applications // IEEE TPAMI. - 2011. - № 33. - P. 978-994.
6. Konrad J., Wang M., Ishwar P. 2D-to-3D image conversion by learning depth from examples // In: 3DCINE. - 2012. - P. 75-88.
7. Франц В.А., Левина О.М., Воронин В.В., Кожин Р.А. Первичная обработка карты глубины изображения. Успехи современной радиоэлектроники // Радиотехника. - 2013. - № 6.
- С. 39-43.
Статью рекомендовал к опубликованию д.т.н., профессор В.И. Марчук.
Воронин Вячеслав Владимирович - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: [email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 89885343459; кафедра теоретических основ радиотехники; к.т.н.; доцент.
Voronin Viacheslav Vladimirovich - Federal StateOwner Autonomous Educational Establishments of Higher Education “Southern Federal University”; e-mail: [email protected]; 44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +79885343459; the department of fundamental of radio engineering; cand. of eng. sc.; associate professor.
УДК 004.93’12, 004.93’14
А.И. Шерстобитов, В.П. Федосов, В.А. Приходченко, Д.В. Тимофеев
РАСПОЗНАВАНИЕ ЛИЦ НА ГРУППОВЫХ ФОТОГРАФИЯХ С ИСПОЛЬЗОВАНИЕМ АЛГОРИТМОВ СЕГМЕНТАЦИИ
Рассмотрено решение задачи распознавания лиц при обработке изображений группы лиц. Приведен обзор существующих методов предварительной обработки: фильтрация, сегментация. Рассмотрен ряд различных подходов для решения задачи распознавания лиц на изображениях. Представлена модификация метода распознавания лиц на основе анализа главных компонент. Модификация включает в себя использование алгоритмов предварительного разделения изображения на фон и объекты (лица). Эффективность предложенной модификации исследуется на наборе баз тестовых изображений лиц ORL, BioID и произвольно сформированном наборе групповых фотографий. Полученные результаты показывают увеличение эффективности распознавания лиц с использованием предварительных алгоритмов разделения изображения на фон и объекты распознавания. Предложенный метод распознавания лиц является устойчивым к фону обрабатываемого изображения, что может существенно расширить область его использования. Использование предложенного алгоритма позволяет структурировать информацию при обработке изображений лиц и осуществлять поиск и группировку фотографий заданного человека. Предложен оригинальный алгоритм автоматизированного распознавания лиц на групповых фотографиях, позволяющий существенно расширить решение задачи идентификации.
Распознавание образов; метод главных лиц; детектирование лиц; разделение изображения на объект и фон; распознавание; идентификация.
A.I. Sherstobitov, V.P. Fedosov, V.A. Prihodchenko, D.V. Timofeev
FACE RECOGNITION ON GROUPS PHOTOS WITH USING SEGMENTATION ALGORITHMS
This paper considers solution of face recognition problem in case image processing of group faces. A review of existing methods of pre-processing: filtering, segmentation are present. Considered a set of different approaches to solving the problem of face recognition on images. In paper present modification of method face recognition on base PCA (eigenface). Modification involve using reprocessing image of matting algorithm. Results of research is exam on several base of images (ORL, BioID) and manual set of images of group peoples - UserID. The results are
бб
