CC BY
88
Выделение отличий на мозаичных изображениях на основе референтных фильтров
Лебедев М.А. и др.
ВЫДЕЛЕНИЕ ОТЛИЧИЙ НА МОЗАИЧНЫХ ИЗОБРАЖЕНИЯХ НА ОСНОВЕ РЕФЕРЕНТНЫХ ФИЛЬТРОВ
М.А. Лебедев1, А.Ю. Рубис1, В.С. Горбацевич1, Ю.В. Визильтер1, О.В. Выголов1 1 ФГУП «Государственный научно-исследовательский институт авиационных систем» (ФГУП «ГосНИИАС»), Москва, Россия
Аннотация
Статья посвящена обоснованию и развитию новой техники построения компаративных диффузных морфологий на основе фильтров, допускающих геометрические изменения в изображениях сцены. Предложены две альтернативные трактовки морфологического проектора Пы-тьева, ведущие к двум разным способам понимания формы - «абсолютному» и «относительному». Рассмотрена диффузная морфология на основе суперпозиции двух пытьевских проекторов на мозаичные формы. В качестве обобщения данного приёма предложена диффузная морфология на основе референтных фильтров. Показано преимущество использования данной диффузной морфологии по сравнению с традиционной проективной морфологией Пытьева в задачах выделения изменений в сцене наблюдения в случае небольших сдвигов камеры.
Ключевые слова: математическая морфология, сравнение изображений, диффузные операторы.
Цитирование: Лебедев, М.А. Выделение отличий на мозаичных изображениях на основе референтных фильтров / М.А. Лебедев, А.Ю. Рубис, В.С. Горбацевич, Ю.В. Визильтер,
О.В. Выголов // Компьютерная оптика. - 2016. - Т. 40, № 1. - С. 80-86. - DOI: 10.18287/2412-6179-2016-40-1-80-86.
Введение
В работах Ю.П. Пытьева [1] был введён базовый аппарат морфологической фильтрации и сравнения по форме мозаичных изображений. В работе [2] в качестве обобщения морфологического подхода Пытье-ва была предложена т.н. диффузная морфология, основанная на использовании вместо фильтров-проекторов сглаживающих диффузных фильтров, определяемых тепловыми ядрами, связанными с формой изображений.
Целью данной работы является развитие методов диффузной морфологической фильтрации, предложенной в [2], в части построения компаративной диффузной морфологии на основе более сложных, в том числе реляционных моделей формы изображений, допускающих геометрические изменения (сдвиги, перемещения, изменения формы частей изображения). Основная идея предложенного подхода заключается в том, чтобы отказаться от схемы «согласуем фильтр с эталоном и отфильтруем тестовое изображение» и перейти к другой схеме: «оценим взаимное сходство элементов тестового изображения и эталона и отфильтруем тестовое изображение с учётом этого сходства». С формальной точки зрения разработанные диффузные фильтры на основе ядер взаимного сходства являются другим непосредственным обобщением пытьевских морфологических проекторов.
Не останавливаясь на формальном определении компаративной морфологии, заметим, что такая теория формы подразумевает решение ряда задач сравнения изображений, прежде всего, сравнение по сходству/различию формы наблюдаемой сцены и выделение изменений в составе сцены на одном изображении в сравнении с другим. Именно поэтому как предложенные в [2], так и предлагаемые ниже диффузные ядра и операторы названы компаративными.
1. Диффузная компаративная морфология на основе суперпозиции двух проекторов на мозаичные формы
Рассмотрим следующую задачу, иллюстрирующую пытьевскую идею морфологического выделения изменений в сцене наблюдения [3]. Пусть имеется два изображения сцены f и g. Изображение f содержит первый вид простой пространственной сцены. Изображение g содержит вид той же сцены, зарегистрированной с той же точки съёмки, но в других условиях освещённости, и кроме того, в составе сцены произошло изменение - появился новый объект. Задача заключается в том, чтобы, несмотря на изменения интенсивности пикселов изображения в силу изменения условий освещённости, выделить именно ту область изображения, в которой произошло изменение состава сцены.
Легко убедиться, что простое взятие разности двух изображений покажет, что существенные изменения произошли практически во всех точках изображения. Пытьевский алгоритм морфологической нормализации фона решает задачу вполне удовлетворительно [3].
Теперь сделаем второй снимок той же сцены не только при других условиях освещённости, но и из немного иной точки съёмки, например, сместим камеру немного вправо или влево. В этом случае контуры областей формы F уже не совпадут в точности с контурами областей формы G не только там, где расположен вновь появившийся объект сцены, но и там, где просто относительно сдвинулись видимые границы объектов. Нормализованное изображение теперь будет содержать не только искомый малый объект, но и артефакты морфологической фильтрации («жирные контура» других объектов), появившиеся из-за геометрических изменений в схеме съёмки. То есть в таких условиях съёмки задача выделения изменений в сцене не может быть решена с использованием пыть-
80
Компьютерная оптика, 2016, том 40, №1
Выделение отличий на мозаичных изображениях на основе референтных фильтров
Лебедев М.А. и др.
евского проектора PF. Именно это обычно имеют в виду, когда говорят, что морфология Пытьева способна учитывать любые изменения яркости, но неспособна учитывать изменения в геометрии видимого изображения сцены.
Однако если мы посчитаем морфологический коэффициент корреляции
Km (g, F) = И,
то окажется, что при малом сдвиге камеры он по-прежнему будет очень близок к 1. То есть, несмотря на сдвиг контуров, проектор PF по-прежнему вполне «опознаёт» сцену с предыдущего кадра. Это связано с тем, что морфологическая корреляция работает не по контурам, а по областям. В самом деле, как известно, KM (g, F) вычисляется с использованием информации, которая полностью сосредоточена в матрице (ядре) взаимного сходства M, элементы которой являются нормированными мерами попарного сходства областей из F и G. Если площади пересечения всех крупных областей из F и G изменятся ненамного (а при малом сдвиге камеры это так), то и норма проекции PF g изменится ненамного. Значит, в ядре M имеется информация о сходстве форм изображений.
Запишем схему морфологической нормализации фона следующим образом:
1. Сегментировать изображениеf на области постоянной яркости (т.е. описать его мозаичную форму F).
2. Сегментировать изображение g на области постоянной яркости (т.е. описать его мозаичную форму G).
3. Вычислить ядро взаимного сходства M, определяющее проекторы PG и PF.
4. Сформировать изображение gF=Pfg формы F с усреднёнными яркостями из g.
5. Сформировать изображение Pgfg = Pg gF формы G с усреднёнными яркостями из gF.
6. Вычислить нормализованную разность изображений (Pgf g - g).
Легко убедиться, что теперь в морфологически нормализованном разностном изображении вновь будет выделен только появившийся в сцене объект, а артефакты на контурах сдвинувшихся объектов пропадут. Аналогичный эффект от применения оператора (Pgf g- g) сохраняется не только при малых сдвигах камеры, но и при малых изменениях ракурса съёмки. Важно лишь, чтобы сохранялись существенные пересечения основных областей формы, соответствующих крупным объектам на изображении.
2. Диффузные компаративные морфологии мозаичных изображений на основе взаимных ядер и взаимных диффузных фильтров
Рассмотрим теперь две возможные трактовки морфологического проектора Пытьева, которые мы предлагаем называть «односторонней» и «взаимной» (или «асимметричной» и «симметричной») соответственно. Две эти трактовки ведут к двум способам понимания формы - «абсолютному» и «относительному». «Абсолютное» понимание формы основывается на связях
между элементами данного изображения (класса изображений). «Относительное» понимание формы концентрируется на связях между элементами двух форм и указывает, в чём именно заключается их сходство и различие по отношению друг к другу.
Асимметрия морфологического анализа хорошо проявляется в сравнении морфологического и линейного коэффициентов корреляции: Kn(g, f) = Kn(f, g), но Km (g, F) Ф Km (f, G). Это естественно, поскольку линейная корреляция сравнивает между собой два изображения, а при морфологической корреляции в первом случае изображение g сравнивается с формой (множеством изображений) F, а во втором случае, наоборот, изображение f сравнивается с формой G. Но в то же время, как мы видели выше, МКК полностью определяется матрицей взаимного сходства M, симметричной в том смысле, что Mtj=Mj.
Рассмотрим «абсолютный» подход к форме и соответственно «асимметричный» подход к сравнению изображений по форме. В этом случае мы всегда считаем, что сравнивается несегментированное тестовое изображение g и форма F сегментированного эталонного изображенияf(x,y) = "Lt=i,.„nftXFt(x, y). В силу этого проектор представляет собой диффузный фильтр
gF (x, y) = PFg(x,y) = JJaF (x,y, u,v) g(x, y) du dv
с ядром
f 1/Si, если $t: %F (x,y) = %F (u, v) = 1; aF (x, y, u, v) = < ' '
[0, в противном случае,
где Si - площадь области разбиения Ft. А это ядро, в свою очередь, является вероятностной нормировкой реляционной модели формы изображения, описываемой отношением wF («точки в f равны по яркости и принадлежат одной связной области»):
[1, если "t: %R (x, y) = %f (u, v) = 1;
WF (x, y, u, v) = < i i
[0, в противном случае.
Заметим, что при таком подходе:
• описание wF (x, y, u, v) формы F изображения f абсолютно в том смысле, что никак не зависит от изображения g;
• тепловое ядро wF (x, y, u, v) описывает степень связи (сходства) пиксела (x, y) изображения f и пиксела (u, v) того же изображения;
• проектор PF фильтрует любое изображение g одинаково - вне зависимости от его формы и степени сходства с f.
Рассмотрим теперь частный случай, когда сегментированное тестовое изображение g(x, y) = Tj=l,.,,mgj %Gj(x,y) сравнивается с формой сегментированного эталонного изображения fx, y) = ’Zt=i,..,n ft %Ft(x,y).
В этом случае, как хорошо известно, общая формула для вычисления яркости областей в проекции
n
gF (^ y) = PFg(x y) = X gFi%Fi y) ,
i=1
g Fi = (%Fi, g Vl ICFtf , t = 1 П ,
Компьютерная оптика, 2016, том 40, №1
81
Выделение отличий на мозаичных изображениях на основе референтных фильтров
Лебедев М.А. и др.
принимает следующий простой вид:
m
gFi (xy) = E Pijgj(xy)= Pu=Su lSt ■
j=1
Т аким образом, теперь в формулу для вычисления проекции вошли не только переменные Si, характеризующие форму F, но и переменные Sj - площади пересечения областей Fi и Gj, характеризующие связь формы F с формой G. Кроме того, обратная проекция f на G вычисляется при помощи совершенно симметричных выражений:
m
fG (x У) = PGf (x y) = E fGj%Gj (x У), j=1
fGj(x y) = E qJt(x, y), qp = Su Isu ■
i=1
В связи с этим такой способ формирования проектора можно назвать симметричным. При матричной записи оператора проецирования для сегментированных изображений, как мы уже показали выше, эта симметрия выражается в симметрии нормированного ядра M.
Запишем аналогичные выражения в непрерывной форме:
gF (x, y) = PFGg (x, y) =
= JJ aFG (x, y, u, v) g (x, y) du dv,
fG (x, y) = PGFg (x, y) =
= JJ aGF (x, y, u, v) g (x, y) du dv. с ядрами соответственно
aFG (x У, U, v) = Sij/(Si Sj ),
i, j : Xf(. x y) =XGJ(u, v) =1 aGF (x, y, u, v) = Sji/(Si Sj),
^, j : Xf(. x y) =XG](u, v) = 1
aFG (x, y, u, v) = aGF (u, v, x, y).
Как видно, ядра проекторов PFG и PGF оказались симметричными. Для полной аналогии можно также указать соответствующее им нормированное ядро взаимного сходства
mFG (x, y, u, v) = StJ/ (St Sj )V2, i, j '■ If, (^ y) = %Gj(u, v) =1
которое для случая F = G (сравнение изображений одной формы) превращается в ядро отношения «пикселы равны по яркости и принадлежат одной области»:
mFF (x, y, u, v) = aF (x, y, u, v).
Эквивалентны ли проекторы PF и PG проекторам PFG и PGF? Эквивалентны, если ge G, fe F:
PFGg (x, y) = PFPog (x, y) = PFg (x, y),
Pqf f (x, y) = PqPf f (x, y) = PGf (x, y).
В случае же некоторого произвольного изображения z(x,y), естественно
PfgZ(x,y) = PfPgZ(x,y) Ф PfZ(x,y),
Pgfz(x, y) = PgPfz(x, y) * PGf (x, y).
Таким образом:
• описание mFG (x, y, u, v) относится к паре форм F и G, а не к какой-либо из этих форм по отдельности, то есть это не абсолютное, а относительное или взаимное описание форм;
• ядро mFG (x, y, u, v) описывает степень связи (сходства) пиксела (x, y) изображения f и пиксела (u, v) изображения g;
• проектор Pfg корректно проецирует на форму F не любое произвольное изображение, а только изображения формы G (соответственно проектор PGF корректно проецирует на форму G только изображения формы F).
В заключение данного подраздела заметим, что на самом деле всегда можно считать оба изображения сегментированными. Для этого на несегментированном изображении g постулируется самая сложная форма I - разбиение кадра на отдельные пикселы, каждый из которых считается самостоятельной областью. Легко убедиться, что в этом случае «симметричный» (относительный, взаимный) подход автоматически порождает выражения из подхода «асимметричного» (абсолютного):
PFig (x, y) = PfPi g (x, y) = PFg( x, y),
Pifz(x, y) = Pi Pf f (x, y) = Pif (x, y) = f (x, y).
Иными словами, «абсолютный» подход не является базовым (первичным) или более общим по отношению к «взаимному». Каждый из подходов может быть получен на основе другого, и каждый из них описывает всю совокупность средств морфологического анализа. Это два равноправных и эквивалентных подхода к интерпретации смысла операторов и моделей морфологии Пытьева.
Рассмотрим теперь, каковы возможные обобщения двух рассмотренных подходов к описанию морфологического проецирования.
Ранее предложенное в [2] обобщение абсолютной интерпретации заключается в том, чтобы от теплового ядра Wf (x, y, u, v) специального вида, описывающего конкретное отношение «пикселы равны по яркости и принадлежат одной области», перейти к тепловому ядру общего вида kF (x, y, u, v), описывающему степень связи (сходства) пиксела (x, y) изображения f и пиксела (u, v) того же изображения. Способы формирования таких тепловых ядер могут быть различны, но конкретно в работе [2] был рассмотрен «стандартный» в области нелинейного снижения размерности подход, основанный на вычислении расстояний между векторами признаков точек v(x,y) и v(u, v):
kF (x, y.u,v) = exp(-1|v(x, y) - v(u, v)f /e)
где e - настроечный масштабный параметр.
Аналогичное обобщение может быть сразу и непосредственно предложено и для «взаимного» подхода к описанию формы. Пусть даны изображения f формы F и g формы G:
n m
f (x, y) = E ficFi (x, y), g (x, y) = E gj Cgj (x, y).
i=1 j=1
82
Компьютерная оптика, 2016, том 40, №1
Выделение отличий на мозаичных изображениях на основе референтных фильтров
Лебедев М.А. и др.
Определение. Матрицей взаимного сходства областей пары мозаичных изображений f и g будем называть матрицу Н = [htj]nxm, такую что h„ > 0,i = 1,...,n, j = 1,...,m,
VL hij =hj , j = 1,..., m,
Vm hij =ht,i = 1,. Vn Vm h2 <¥
Lai =1Lu j=1ntj ^
n,
Определение. Взаимной моделью формы пары мозаичных изображений f и g с матрицей сходства областей Н будем называть функцию («взаимное тепловое ядро»)
mFGH(x, У,u,v) = hJ(hi hj f2, i, j : XFi (x У) =Cgj (x У) =1.
Определение. Парой взаимных диффузных ядер, характеризующих взаимную форму пары сегментированных изображений f и g с матрицей сходства областей Н, будем называть пару функций
aFGH (Х, У, U, V) = hj ( hi hj ), aGFH (x У, u, v) = hJi/(hi hj), i, J : %Fi (x У) =%GJ (x У) =1.
Определение. Парой взаимных диффузных фильтров, соответствующих взаимной модели формы mFoa(x,y,u,v), будем называть пару операторов
gFH (x У) = pfghg(x, У) =
= Ц aFGH (x, у, u, v) g (x, у) du dv,
fGH (x, y) = PGFHf (x, y) =
= JJaGFH (x,y, u,v) g(x,y) du dv
с соответствующими парными взаимными диффузными ядрами.
Данные определения в итоге приводят к следующим простым вычислительным формулам, которые позволяют быстро вычислить результат фильтрации при заданной матрице сходства областей Н = [hjjnxm:
gFGH (^ У) = PFGH g (^ У) = V gFGiXFi (X, У) ,
i=1
gFGi = V т=Х Pjjgj , PiJ = hij/hi , hi = V Г=1 h1,
fGFH (x, y) PGFH f(x, y) V fGFJCGJ (x, y),
J=1
fGFi = V i=1 qpgi, qji = hvlhj, hj = VL hk ■
Рассмотрим сначала простейшую и наиболее очевидную реализацию, основанную на «стандартном» подходе к формированию диффузных ядер. Пусть каждая область мозаичной формы характеризуется некоторым вектором признаков v из метрического пространства признаков V с метрикой dV. Тогда определим
hj = exp (-dv (v(Fi), v(Gj))/e).
Определение. Матрицу взаимного сходства H, формируемую описанным способом, будем называть тепловой матрицей взаимного сходства на базе признаков v и метрики dV.
Какие именно признаки выбирать, зависит от конкретной решаемой задачи.
Заметим, однако, что введённые нами диффузные фильтры не являются сглаживающими в том традиционном смысле, что коэффициент морфологической корреляции
KM ( g, F, H) = | Pfgh g||/||g||
может оказаться и больше 1. Однако с учётом конкретного вида матрицы сходства H может быть введён взаимный морфологический коэффициент корреляции (ВМКК) следующего вида:
Km 2(g, F, H) =
m2(gFG, H) m 2(g, H)
n m
VV hijgFGi2
i=1 j=1
nm
VV hijgj2
i=1 j=1
n
VhigFGi
i=1_____
2
m
V hjgj2
j=1
где m (g, H) - взаимная мера сложности изображения g относительно пары мозаичных форм G и F, описываемых матрицей взаимного сходства H. Легко убедиться, что взаимные диффузные фильтры не увеличивают такую меру взаимной сложности, и значит, в этом смысле они являются сглаживающими, а значение ВМКК не превышает 1. Следовательно, такой подход может использоваться для оценки сходства и взаимной привязки фрагментов мозаичных изображений с учётом их сходства по форме.
К сожалению, описанным в данном разделе способом невозможно решить задачу выделения отличий, поскольку при фильтрации форма изображения не сохраняется (точнее, исходная форма G изображения g заменяется на форму F изображения gFG). Однако ситуация изменится, если мы используем описанный выше приём суперпозиции пары проекторов, трактуя его теперь расширительно - как суперпозицию пары взаимных диффузных фильтров.
3. Диффузные компаративные морфологии мозаичных изображений на основе суперпозиции пары взаимных диффузных фильтров
Пусть даны изображения f формы F и g формы G. И пусть связь между этими формами описывается матрицей взаимного сходства Н.
Определение. Парой референтных диффузных фильтров на основе суперпозиции пары взаимных диффузных фильтров PFGH и PGFH соответственно будем называть пару операторов
gGFH (x, y) = PGFHg(x, y) = PGFHPFGHg(x, y),
fFGH (x, y) = PFGFHg(x, y) = PFGHPGFH f (x, y).
При этом изображение gGFH(x,y) будем называть результатом референтной диффузной фильтрации изображения g с учётом формы F, а изображение fFGH(x,y) - результатом референтной диффузной фильтрации изображения f с учётом формы G.
Компьютерная оптика, 2016, том 40, №1
83
Выделение отличий на мозаичных изображениях на основе референтных фильтров
Лебедев М.А. и др.
Легко заметить, что эти диффузные фильтры можно представить как обычные (одноэтапные) диффузные фильтры со следующими диффузными ядрами.
Определение. Парой референтных диффузных ядер на основе суперпозиции пары взаимных диффузных ядер aFGH (x,y, u, v) и aPGH (x,y, u, v) = aGm (u, v, x, y) соответственно будем называть пару диффузных ядер
aGFGH (X У, u, v) =
= aGFH (x, y, p, q) aFGH (p, q, u, v) dp dq,
aFGFH (X У, u, v) =
= aFGH (x, y, p, q) aGFH (p, q, u, v) dp dq.
KM 2( g, F, H)
m (Sgfg ,H)
m( g, h)
m
£ hjgGFGj
j=1________
£ hjg.
j=1
2
Можно выделить даже более узкий класс таких фильтров. Назовём их диффузными мозаичными фильтрами.
Определение. Диффузным мозаичным фильтром Pgk c ядром Kg = [kGjt\m*m называется оператор, отображающий изображение g формы G
g(x, y) = £gjXgj (x, y)
Такие ядра, с одной стороны, действительно являются тепловыми ядрами для изображения g формы G в том смысле, что они характеризуют связь (сходство) между элементами именно этого изображения именно этой формы. С другой стороны, это сходство оценивается не само по себе, а с учётом связи между элементами формы G и референтной формы F, которая, казалось бы, непосредственно в фильтрации не участвует. Но она участвует в ней косвенно, через влияние на форму референтного диффузного ядра, действующего на G. Эта связь хорошо заметна, если мы выпишем в явном виде тепловые ядра для референтного преобразования яркости мозаичных изображений
К
GFGH
= H HT, К
FGFH
= HT H.
С учётом свойств матрицы H, обе эти матрицы являются квадратными симметричными неотрицательно определёнными матрицами с конечными нормами, то есть уже формально тепловыми ядрами согласно принятым ранее определениям.
В итоге мы приходим к следующим формулам, которые позволяют вычислить результат референтной фильтрации при заданной матрице сходства областей Н = [h^m.
m
gGFGH (x, y) = PGFGHg (x,y) = £ gGFGj%Gj (x, y),
j=1
gGFGj = £t=i kGjtgt, kGjt = £i=1 qjipit,
n
fFGFH (x, y) = PFGFHf (x, y) = £ fFGFi XFi (x, y),
i=1
fFGFi = £ t=1 kFitft, kFit = £ j=1 pijqjt,
pj = hj/hi, hi = £ m=1 hil,
qF = h„lh,, hj = £n=1 S.
Матрицы Kfh = [kFu\nxn и Kgh = [kGjt\mxm являются диффузными ядрами преобразования яркости изображений одной формы (F и G) соответственно.
Наконец, по аналогии с введённым выше ВМКК может быть введён референтный морфологический коэффициент корреляции (РМКК):
на изображение той же формы, причём
m
gGK (x y) = Pgk g(x, y) = £ gGKjXo,-(x, y l
j=1
gGKj = £m=1 kGJtgt,
kGjt > 0, kGjt = kGtj , j = 1,..., m, t = U- m-
£m=1 kj = 1, j = 1,.. m.
Заметим, что диффузный мозаичный фильтр вовсе не обязан быть референтным. Можно задать любые правила формирования ядра Kg, учитывающие соседство и/или сходство по форме-яркости-цвету областей из G безотносительно к какой-либо другой форме.
4. Результаты экспериментов
Реализован следующий алгоритм диффузной фильтрации на основе суперпозиции взаимных диффузных фильтров для полутонового мозаичного изображения. Пусть анализируемое изображение g содержит ряд объектов (областей) различной яркости. Пусть также имеется более раннее изображение той же сцены, в котором расположение и яркости объектов, а также яркость фона могли быть иными, но формы областей объектов сохраняются. Необходимо найти на изображении g новые объекты, которых не было на изображении f.
Предлагаемое решение задачи заключается в том, чтобы:
1. Сформировать векторы признаков областей x(F,) и v(Gj) из форм F и G соответственно таким образом, чтобы они не зависели от яркости и расположения областей, но описывали только их форму (в экспериментах в качестве дескрипторов формы использовались бинарные маски областей).
2. Определить матрицу H взаимного сходства для форм F и G: hij = exp(- dy(x(Ft), v(G)) /e). В экспериментах в качестве расстояния между дескрипторами формы использовалась норма симметрической разности.
3. Вычислить референтно-сглаженное изображение
gGFG.
4. Вычислить нормализованную разность изображений (g - gGFG).
5. Выделить элементы нормализованной разности, превышающие заданный порог изменения яркости.
84
Компьютерная оптика, 2016, том 40, №1
Выделение отличий на мозаичных изображениях на основе референтных фильтров
Лебедев М.А. и др.
На рис. 1 показаны примеры выделения новых объектов при помощи суперпозиции Пытьевских проекторов и референтной морфологической диффузной фильтрации (МДФ). Рис. 1а является эталонным изображением f Рис. 1б является тестовым изображением g, на котором произошли незначительные изменения в сцене: небольшой сдвиг самолёта и на заднем фоне появился бензовоз. На рис. 1в приведён результат суперпозиции Пытьевских проекторов. На рис. 1г изображена инвертированная нормализованная разность суперпозиции Пытьевских проекторов с тестовым изображением g. Как видно из примера, незначительные изменения в геометрии сцены могут оказывать влияние на результат суперпозиции Пытьевских проекторов: помимо выделения нового объекта сцены появляются артефакты. На рис. 1д приведён результат референтной МДФ. Результат инвертированной нормализованной разности изображений (g - gGFG) приведён на рис. 1е. Видно, что в случае с референтной фильтрацией выделяется только новый объект сцены.
Рис. 1. Выделение отличий с использованием референтных фильтров в случае небольшого сдвига и добавления новых объектов
На практике, в зависимости от типа решаемой задачи, необходимо использовать различные признаки сравниваемых объектов. В частности, в данном примере мы полностью проигнорировали расположение объектов, между тем относительное расположение объектов в сценах, как правило, сохраняется. Аналогичным образом при съёмке в ТВ-диапазоне цвет объектов обычно в целом сохраняется, но могут существенно изменяться оттенки и интенсивность.
В заключение отметим, что свойства взаимной и референтной диффузной фильтрации чрезвычайно сильно зависят от способа сегментации и способа формирования матриц (ядер) взаимного сходства. При этом рассмотренный в данном и предыдущем разделах «стандартный» приём построения теплового ядра путём экспоненциального взвешивания расстояния между областями может оказаться здесь далеко не самой лучшей стратегией.
Заключение
Статья посвящена обоснованию и развитию новой техники построения компаративных диффузных морфологий на основе ядер взаимного сходства форм изображений.
Основные новые идеи, предложенные и развитые в статье:
- две альтернативные трактовки морфологического проектора Пытьева, ведущие к двум разным способам понимания формы - «абсолютному» и «относительному». «Абсолютное» понимание формы основывается на связях между элементами данного изображения (класса изображений). «Относительное» или «взаимное» понимание формы концентрируется на связях между элементами двух форм и указывает, в чём именно заключается их сходство и различие по отношению друг к другу;
- диффузные взаимные фильтры, полученные на основе «взаимного» подхода к описанию формы, как альтернативное обобщение пытьевских проекторов мозаичных изображений;
- референтные фильтры, представляющие собой суперпозицию двух взаимных проекторов или двух взаимных диффузных фильтров, и их использование для решения задачи выделения изменений в наблюдаемой сцене;
- диффузные мозаичные фильтры и диффузные фильтры связности, не усложняющие форму мозаичного изображения, но при этом не обязательно являющиеся проекторами.
Необходимо отметить, что предложенная в данной работе идея референтной морфологической фильтрации в некотором смысле близка к идее «косого проектора», развиваемой в последних работах Ю.П. Пытьева [4]. Там также осуществляется проецирование на одну форму с учётом другой формы (например, проецирование на форму G «параллельно» форме F). Однако результаты реализации этих идей принципиально различны. Идея вычисления косого проектора опирается на модель суммы изображений различных форм. Однако на практике мы редко встречаем такие изображения, которые полезно было бы считать суммой изображений. Пожалуй, единственный такой случай - появление/исчезновение объектов в области ровного фона. Но и в этих случаях форма таких объектов заранее неизвестна или известна лишь с точностью до геометрических преобразований (как минимум сдвигов). Гораздо чаще речь идёт о геометрических преобразованиях эталонной формы, происходящих из-за смены ракурса съёмки или геометрических изменений в самой сцене, которые необходимо отличать от появления/исчезновения отдельных объектов. И в этом случае использование эталонной формы в качестве референтной по предлагаемой в данной работе схеме представляется более перспективным.
Благодарности
Работа выполнена при поддержке грантов РФФИ 14-07-00914 А, 13-08-01071 А.
Компьютерная оптика, 2016, том 40, №1
85
Выделение отличий на мозаичных изображениях на основе референтных фильтров
Лебедев М.А. и др.
Литература
1. Методы морфологического анализа изображений / Ю.П. Пытьев, А.И. Чуличков - М.: Физматлит, 2010. - 336 с.
2. Vizilter, Yu.V. Shape-Based Image Matching Using Heat Kernels and Diffusion Maps / V.S. Gorbatsevich, A.Yu. Rubis, S.Yu. Zheltov // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2014. - Vol. XL-3. - P. 357-364.
3. Обработка и анализ изображений в задачах машинного зрения / Ю.В. Визильтер, С.Ю. Желтов, А.В. Бондаренко, М.В. Ососков, А.В. Моржин - М.: Физматлит, 2010. - 396 с.
4. Пытьев, Ю.П. Косые проекторы и относительные формы в морфологии изображений // Журнал вычислительной математики и математической физики. - 2013 -№ 53(12). - С. 2100-2122. - ISSN 0044-4669.
Сведения об авторах
Сведения об авторах Лебедев Максим Алексеевич, Рубис Алексей Юрьевич, Визильтер Юрий Валентинович, Выголов Олег Вячеславович - см. стр. 78 этого номера.
Г орбацевич Владимир Сергеевич, 1985 года рождения, в 2009 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В настоящее время является начальником сектора ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Опубликовал более 20 научных работ (из них более 6 статей в рецензируемых журналах из списка ВАК). Область научных интересов: обработка и анализ изображений, цифровая фотограмметрия, машинное зрение, математическая морфология, распознавание образов, машинное обучение, биометрия. E-mail: [email protected] .
Поступила в редакцию 7 декабря 2015 г. Окончательный вариант - 10 февраля 2016 г.
CHANGE DETECTION IN SEGMENTED IMAGES BASED ON REFERENCE FILTERS
M.A. Lebedev1, A.Yu. Rubis1, V.S. Gorbatsevich1, Yu.V. Vizilter1, O.V. Vygolov1
1FGUP “GosNIIAS"
Abstract
In this paper we substantiate and develop a new comparative diffusion morphology technique based on filters that allow geometrical changes in the images under comparison. Two alternative interpretations of the morphological projector using “absolute” and “relative” definitions of a morphological image shape are proposed. Diffusion morphology based on superposition of two Pytiev’s projectors on mosaic shapes is considered. Diffusion morphology based on 'reference' filters is proposed as a generalization of the approach. The advantage of using diffusion morphology compared to classical Pytiev’s projective morphology in change detection applications is demonstrated.
Keywords: mathematical morphology, image matching, diffusion maps.
Citation: Lebedev MA, Rubis AYu, Gorbatsevich VS, Vizilter YuV, Vygolov OV. Change detection in segmented images based on reference filters. Computer Optics 2016; 40(1): 80-6. DOI: 10.18287/2412-6179-2016-40-1 -80-86.
Acknowledgement: The work was partially funded by Russian Science Foundation (RSF), grants No. 14-07-00914 А, 13-08-01071 А.
References
[1] Pytiev YuP, Chulichkov AI. Methods of morphological image analysis [in Russian]. Moscow: “Fizmatlit” Publisher; 2010.
[2] Vizilter YuV, Gorbatsevich VS, Rubis AYu, Zheltov SYu. Shape-Based Image Matching Using Heat Kernels and Diffusion Maps. ISPRS Archives 2014; XL-3: 357-364.
[3] Vizilter YuV, Zheltov SuY, Bondarenko AV, Ososkov MV, Morzhin AV. Image processing and analysis in technical vision applications [in Russian]. Moscow: “Fizmatlit” Publisher; 2010.
[4] Pytiev YuP. Skew projectors and relative shapes in image morphological analysis [in Russian]. Computational Mathematics and Mathematical Physics 2013; 53(12): 2100-2122.
Authors’ information
The information about authors Lebedev Maxim Alekseevich, Aleksey Yurievich Rubis, Yuri Valentinovich Vizilter, Oleg Viacheslavovich Vygolov you can find on page 79 of this issue.
Vladimir Sergeevich Gorbatsevich (b.1985) graduated from Moscow Aviation Institute (National Research University) in 2009. Currently he works as the head of sector at the FGUP “GosNIIAS”. Author of 20 scientific papers. Research interests are processing and image analysis, digital photogrammetry, computer vision, mathematical morphology, pattern recognition, machine learning, biometry. E-mail: [email protected] .
Received December 7, 2015. The final version - February 10, 2016.
86
Компьютерная оптика, 2016, том 40, №1
