CC BY
18
УДК 004.932
АЛГОРИТМ ПЕРЕДАЧИ СТРУКТУРЫ ОБЪЕКТОВ НА ИЗОБРАЖЕНИИ НА ОСНОВЕ МОДИФИЦИРОВАННОГО
СПОСОБА АППРОКСИМАЦИИ ГРАФА СМЕЖНОСТИ
И. А. Грачева, А.В. Копылов
Предлагается модифицированная версия, разработанного ранее, способа аппроксимации древовидных графов смежности элементов изображения, использующая для учета диагональных связей между элементами изображения леводиагональные графы столбцов и праводиагональные графы строк. Учет диагональных связей позволяет повысить точность передачи структуры при обработке изображений, вычислительная сложность алгоритма при этом остается линейной относительно количества элементов изображения.
Ключевые слова: обработка изображений, нестационарная гамма-нормальная модель, задача передачи структуры объектов на изображении.
В области цифровой обработки изображений можно условно выделить два больших класса задач: повышение качества изображений для улучшения восприятия их человеком и обработка изображений для дальнейшей интерпретации в системах компьютерного зрения. И при решении первого и при решении второго класса задач был достигнут значительный прогресс, однако можно выделить и ряд трудностей: отсутствие математических моделей, адекватно описывающих наблюдаемую обстановку, недостаточная производительность вычислительных систем и ряд других.
Большинство задач обработки изображений или 3Б-массивов могут быть математически сформулированы как задачи оптимизации специального вида на множестве переменных, связанных с пикселями анализируемого изображения. Одним из способов решения такой задачи оптимизации является использование вычислительно эффективного метода динамического программирования на основе графовых моделей. В большинстве работ по анализу изображений, основанных на графовых моделях, в качестве графа смежности элементов рассматривается четырехсвязная прямоугольная решетка [1]. Кликовое число подобного графа равно двум и оптимизационная задача, возникающая при использовании байесовского подхода с оценкой максимума апостериорной вероятности, является задачей парно-сепарабельной оптимизации [2 - 4].
В работе [5] был предложен вычислительно эффективный метод обработки изображений на основе гамма-нормальной модели, где использовалась четырехсвязная прямоугольная решетка. Данный метод хорошо показал себя при решении задачи удаления шума на изображении. В последствии алгоритм был модифицирован [6] и стал обладать свойствами передачи структуры для решения более широкого круга задач обработки
30
изображений, таких как удаление тумана на изображении и сжатие контраста HDR изображений. Однако точность отдельных диагональных элементов в задачах с выделением тонких структур, например, в задаче передачи структуры объектов на изображении, оказалась недостаточной.
Прямое использование восьмисвязного графа смежности с диагональными связями приводит к резкому увеличению вычислительной сложности задачи.
В работе [7] предлагалось использовать специальную спиральную аппроксимацию графа смежности для нахождения значений скрытого поля. Метод позволял косвенно учитывать диагональные связи за счет специальным образом организованных вертикальных и горизонтальных связей, оставаясь в рамках четырехсвязной решетки.
Предлагаемый в данной работе метод обработки изображений со свойствами передачи структуры, основанный на нестационарной гамма-нормальной модели, позволяет непосредственно учитывать диагональные связи между элементами изображения за счет модифицированной версии способа аппроксимации графа смежности элементов изображения.
Модифицированная версия древовичной аппроксимации графа смежности элементов изображения
Предлагаемый в данной работе алгоритм основан на гамма-нормальной модели и обладает свойствами передачи структуры. Основная идея фильтров со свойствами передачи структуры заключается в извлечении структуры из так называемого управляющего изображения, роль которого играет исходное изображение, и дальнейшей фильтрации бинарной маски исходного изображения в соответствии с этой структурой. В настоящее время быстрый наведенный фильтр (Fast Guided Filter) [8-9] занимает лидирующую позицию среди фильтров данного класса.
Основным недостатком наведенного фильтра является наличие артефактов (ореолов по краям объектов), характерных для всех фильтров с конечной импульсной характеристикой и объясняющихся эффектом Гиб-бса.
В работах [5-6] использовался альтернативный Байесовский подход, опирающийся на нестационарную гамма-нормальную моделью. Такая модель позволяет принимать во внимание структуру, которая извлекается из так называемого «управляющего» изображения Yg = (yg, t е T) T = {t = (tj,t2): t1 = 1,...,Nj,t2 = 1,...,N2} с помощью установки соответствующих вероятностных отношений между элементами бинарной маски исходного изображения Y = (yt, t е T) и результата фильтрации X = (xt, t е T).
Общая структура байесовского подхода, основанного на нестационарной гамма-нормальной модели, со свойствами передачи структуры представлена на рис. 1.
Рис. 1. Общая схема метода передачи структуры
Как уже отмечалось, в работах [4,5] структура объектов Л = (1,1 е Т) извлекается из управляющего изображения Vя = (уЯ, 1 е Т) в соответствии с выражением:
XЯ.М) =п{1",)(4 -4)2 +17и,(/'")е V.
1 +1/т
где V - граф соседства элементов изображения, имеющий вид решетки (рис.2, а); параметр X отвечает за степень сглаживая результирующего изображения; параметр ^ отвечает за разрывы связей вблизи границ объектов. Оценки скрытой последовательности X = (х1,, е Т):
X = а^тт(у, -х,)2 + £ хг -х„)21
х ^ 1еТ í,,í,,еV
Использование графа смежности элементов изображения V, имеющего вид решетки (рис. 2, а) является МР-трудной задачей. Чтобы избежать этого препятствия в работах [4-6], для нахождения значений скрытого поля, изображение представлялось в виде последовательности горизонтальных деревьев (рис. 2, б), вертикальные связи в которых сохранялись только в одном столбце, и вертикальных деревьев (рис. 2, в), горизонтальные связи в которых сохранялись только в одной стоке. В результате процедура обработки изображения сводилась к комбинации двух обычных процедур фильтрации интерполяции Калмана, применяемых сначала к столбцам, затем к строкам изображения, формируя, горизонтальный граф столбцов (рис. 2, б). Независимо вторая процедура применялась сначала к срокам, затем к столбцам изображения, формируя вертикальный граф строк изображения (рис. 2, в). Если считать, что вершины вертикального и горизонтального графов соответствующие одному и тому же элементу изображения, соединены ребром с бесконечным штрафом на разницу значений скрытых переменных в вершинах данного ребра, то с каждым элементом изображения оказывается связан отдельный граф, учитывающий как вертикальные, так и горизонтальные связи (рис. 2, г). Данный граф также является деревом.
Рис. 2. Графы соседства элементов изображения: а - имеющий вид решетки; б - горизонтальный граф столбцов; в - вертикальный граф строк; г - комбинация значений горизонтального и вертикального дерева
Однако такая процедура не позволяет учитывать диагональные связи между элементами изображения, что является критичным в некоторых задачах обработки изображений. В данной работе для учета диагональных связей предлагается использовать леводиагональные графы строк (рис. 3, а) и праводиагональные графы столбцов (рис. 3, б), затем эти значения комбинируются (рис. 3, в) на основе тех же соображений.
а б в
Рис. 3. Графы соседства элементов изображения: а - леводиагональный граф строк; б - праводиагональный граф столбцов; в - комбинация значений леводиагонального графов строк и праводиагональных графов столбцов
33
В данном случае, для нахождения скрытых переменных в узлах стебля в каждом дереве мы используем ту же самую процедуру фильтрации-интерполяции Калмана, применяемую отдельно к леводиагональным графам, где все связи в строках кроме одной разорваны, и праводиагональ-ным графам, где все связи в столбцах кроме одного разорваны. Эти две процедуры выполняются независимо.
Процедура, использующая леводиагональные и праводиагональные деревья, позволяется учитывать, как горизонтальные и вертикальные связи между элементами, так и диагональные связи. Вычислительная сложность алгоритма при этом не меняется и остается линейной относительно размера исходного изображения.
Результаты
В качестве простого примера для демонстрации аппроксимации графа смежности элементов изображения, использующего диагональные графы, были использованы изображение звезды (рис. 4, а), взятое в качестве управляющего изображения из которого извлекается структура, и изображение круга (рис. 4, б) в качестве анализируемого изображения, на которое накладывается извлеченная структура. На рис. 4, в изображена результаты обработки анализируемого изображения с разными значениями параметров т и ц. На рис. 4, г изображен результат обработки на основе обычной аппроксимации графа смежности элементов изображения с использованием горизонтальных и вертикальных графов. На рис. 4, д приведен пример результата обработки анализируемого изображения, с использованием только диагональных графов для оценки скрытых данных. На рис. 4, е изображен предлагаемый в данной работе метод использования леводиагональных графов строк (рис. 3, а) и праводиагональных графов столбцов (рис. 3, б).
а б
*
в
Рис. 4. Результаты обработки (начало): а - управляющее изображение, из которого извлекается структура; б - анализируемое изображение, на которое накладывается извлеченная структура; в - результаты обработки анализируемого изображения с разными значениями
параметров т и ц 34
где
Рис. 4. Результаты обработки (окончание): г - результат обработки с использованием обычных горизонтальных и вертикальных графов; д - результат обработки с использованием только диагональных графов; е - результат обработки с использованием предлагаемого метода комбинации
графов
Как уже ранее говорилось, обычная древовидная аппроксимация, использующая только горизонтальные и вертикальные графы, дает недостаточно хорошие результаты при решении задач, связанных с передачей тонких структур, например, задача передачи структуры объектов на изображении. Для тестирования предлагаемого метода были взяты изображения из база данных сайта http://www.alphamatting.com. На рис. 5 представлены результаты задачи передачи структуры объектов на изображении с использованием обычной древовидной аппроксимации, диагональных графов и предлагаемого в данной работе метода.
а б
в г д
Рис. 5. Задача передачи структуры объектов на изображении (начало): а - управляющее изображение; б - анализируемое изображение;
в, е - решение задачи с использованием обычной древовидной аппроксимации; г, ж - решение задачи с использованием только диагональных графов; д, з - решение задачи с использованием
предлагаемого метода 35
Рис. 5. Задача передачи структуры объектов на изображении (окончание): а - управляющее изображение; б - анализируемое изображение; в, е - решение задачи с использованием обычной древовидной аппроксимации; г, ж - решение задачи с использованием только диагональных графов; д, з - решение задачи с использованием
предлагаемого метода
На рис. 6 представлены примеры передачи структуры объектов на изображении с использованием предлагаемого подхода в сравнении с методом на основе наведенного фильтра [10], методом на основе байесовского подхода [11] и методом на основе обучаемой модели [12].
а б
в г
Рис. 6. Результаты обработки (начало): а - управляющее изображение, из которого извлекается структура; б - анализируемое изображение, на которое накладывается извлеченная структура; в - результат обработки методом [10]; г - результат обработки методом [11]
36
д е
Рис. 6. Результаты обработки (окончание): д - результат обработки методом [12]; е - результат обработки с использованием
предлагаемого метода
В таблице приведены результаты сравнения предлагаемого в данной работе метода на основе модифицированной версии древовидной аппроксимации с учетом диагональных элементов с методами [10-12]. Результаты сравнения приводятся в виде среднеквадратической ошибки, которые для методов [10-12] взяты из базы данных сайта http://www.alphamatting.com.
Результаты сравнения алгоритмов на основе среднеквадратичной ошибки по отношению к истинной сегментации, выполненной вручную
^Изображение Elephant Doll Pineapple Donkey
Метод
Bayesian matting [11] 0.9 3.2 4.6 1.5
Large kernel matting [10] 0.5 0.5 1.1 0.5
Learning based method [12] 0.2 0.4 1.7 0.4
Наш метод 0.17 0.45 0.98 0.47
Как уже было сказано ранее, предлагаемый в данной работе метод обладает линейной вычислительной сложностью относительно размера исходного изображения.
Заключение
Представленный в данной работе метод обработки изображений с использованием модифицированной версии диагональной древовидной аппроксимации графа смежности элементов изображения позволяет учитывать диагональные структуры объектов на изображении, что показывают экспериментальные результаты. При этом модифицированная версия метода обладает той же вычислительной сложностью, что и разработанный
37
ранее алгоритм [5], использующий обычную древовидную аппроксимацию. Данное качество является важным при решении ряда задач с передачей тонких структур в режиме реального времени.
Список литературы
1. Carsten Rother. Markov random fields and conditional random fields for computer vision. Lecture in Visual Recognition and Machine Learning Summer School, Grenoble, 26-30 July 2010.
2. M. Markov, V. Mottl, I. Muchnik. Principles of Nonstationary regression Estimation: A New Approach to Dynamic Multi-factor Models in Finance. DIMACS Technical Report 2004-47, Rutgers University, USA, 2004.
3. M. Markov, I. Muchnik, V. Mottl, O. Krasotkina. Dynamic analysis of hedge funds. Proceedings of the 8th IASTED International Conference on Financial Engineering and Applications. MIT, Cambridge, Massachusetts, USA, October 9-11, 2006.
4. Mottl V., Blinov A., Kopylov A., Kostin A.: Optimization techniques on pixel neighborhood graphs for image processing, Graph-Based Representations in Pattern Recognition (J.-M. Jolion and W.G. Kropatsch, ed.), Computing, Supplement 12, Springer-Verlag/Wien, 1998. P. 135-145.
5. Gracheva I., Kopylov A., Krasotkina O. Fast Global Image Denoising Algorithm on the Basis of Nonstationary Gamma-Normal Statistical Model: inbook // Analysis of Images, Social Networks and Texts: 4th International Conference, AIST 2015, Yekaterinburg, Russia, April 9--11, 2015, Revised Selected Papers / ed. Khachay Y.M. et al. Cham: Springer International Publishing, 2015. P. 71-82.
6. Gracheva I., Kopylov A. Image Processing Algorithms with Structure Transfer-ring Properties on the Basis of Gamma-normal Model // 4th International Conference, AIST 2015, Yekaterinburg, Russia, April 7-9, 2016, Revised Selected Papers / ed. Khachay Y.M. et al. Cham: Springer International Publishing, 2016. P. 111-121.
7. Dvoenko S.D., Recognition of dependent objects based on acyclic Markov models. Journal of Pattern Recognition and Image Analysis, 2012, Vol. 22 (1). P. 28-38.
8. He K., Sun J., Tang X. Guided image filtering // IEEE Trans. Pattern Anal. Mach. Intell. 2013. Vol. 35. № 6. P. 1397-1409.
9. He K., Sun J. Fast Guided Filter // CoRR. 2015. Vol. abs/1505.0. P. 2.
10. Kaiming He, Jian Sun, and Xiaoou Tang, Fast Matting using Large Kernel Matting Laplacian Matrices, CVPR 2010.
11. Y.Y. Chuang, B. Curless, D. Salesin, R. Szeliski, A Bayesian Approach to Digital Matting, CVPR, 2001.
12. Yuanjie Zheng, Chandra Kambhamettu, Yuanjie Zheng, Chandra Kambhamettu. Learning Based Digital Matting. ICCV 2009.
38
Грачева Инесса Александровна, асп., [email protected], Россия, Тула, Тульский государственный университет,
Копылов Андрей Валериевич, канд. техн. наук, доц., [email protected], Россия, Тула, Тульский государственный университет
THE STRUCTURE-TRANSFERRING ALGORITHM BASED ON THE MODIFICATION METHOD OF THE ADJACENCY GRAPH APPROXIMATION
I.A. Gracheva, A.V. Kopylov
In this paper, we propose the modification version of the previous method based on the adjacency graph approximation of image elements, which use left-diagonal graphs of columns and right-diagonal graphs of rows for the recording of diagonal links between image elements. Recording of diagonal links allows to increase the precision of image processing structure-transferring, the computational complexity of the algorithm remains linear with respect to the number of pixels.
Key words: image processing, non-stationary gamma-normal model, structure-transferring problem.
Gracheva Inessa Aleksandrovna, postgraduate, gial509@ mail.ru, Russia, Tula, Tula State University,
Kopylov Andrey Valerievich, candidate of technical science, docent, and. kopylov@gmail. com, Russia, Tula, Tula State University
УДК 004.891
МЕТОДЫ ПОСТРОЕНИЯ СИСТЕМ АНАЛИЗА СОСТОЯНИЯ
РАСПРЕДЕЛЁННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ НА ОСНОВЕ БЕСПРИЗНАКОВОГО РАСПОЗНАВАНИЯ ОБРАЗОВ
Д.О. Руднев, А.А. Сычугов
Рассмотрена задача анализа состояния элементов распределённой информационной системы. Проведен анализ достоинств и недостатков существующих методов. Предложен новый, гибридный, подход, позволяющий обладающий свойствами адаптивности и при этом оптимальный с точки зрения вычислительных ресурсов. В работе описан эксперимент, подтверждающий эффективность предложенного метода.
Ключевые слова: распределение информационные системы, анализ состояния, беспризнаковое распознавание образов.
К распределённой архитектуре построения информационных систем прибегают, когда необходимо поддерживать работу большого числа элементов системы или обрабатывать большие объёмы информации в реальном времени.
