CC BY
86
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
МОРФЛЕТЫ: НОВЫЙ КЛАСС ДРЕВОВИДНЫХ МОРФОЛОГИЧЕСКИХ ОПИСАНИЙ
ФОРМЫ ИЗОБРАЖЕНИЙ
Визильтер Ю.В., Горбацевич В.С., Желтов С.Ю., Рубис А.Ю., Воротников А.В.
ФГУП «Государственный научно-исследовательский институт авиационных систем»
Аннотация
В работе предложен новый класс морфологических древовидных описаний формы изображений. Дано формальное определение хаароподобных функций. Показано, что Пытьев-ская морфология центрированных изображений может быть описана в терминах Хаароподобных базисов. Определены морфологии локализованных форм и соответствующие хаа-роподобные вейвлеты. Указан формальный способ построения иерархии локализованных форм и соответствующих деревьев хаароподобных вейвлетов. Введено понятие морфлетов как хаароподобных вейвлетов, согласованных по форме с изображением. Приведены некоторые схемы построения морфлетных описаний.
Ключевые слова: анализ изображений, математическая морфология, морфология Пытье-ва, вейвлеты, сравнение по форме.
Введение
Со времени появления чрезвычайно успешной работы (Виола, Джонс) [1] во множестве работ по компьютерному зрению начали использоваться так называемые «хаароподобные признаки» (Haar-like features). Обычно это системы дискретных дифференциальных операторов с несколькими прямоугольными рецептивными полями, на которых коэффициенты дифференцирующих масок (ядер) постоянны.
Между тем понятие «хаароподобный» до сих пор, насколько мы знаем, никем не было строго определено. Более того, часто «хаароподобные признаки» называют «хаароподобными вейвлетами» при том, что с классическим определением вейвлетов это крайне мало стыкуется. В самом деле, согласно (Добеши) [2] вейвлетом называется дифференциальный оператор (линейное ядро с нулевым средним), обладающий возможностью локализации (определения на конечной области-носителе) и масштабирования (за счёт масштабирования носителя), причём система разномасштабных вейвлетов образует полный ортогональный базис на заданной области определения. Для системы вейвлетов Хаара это, безусловно, справедливо. Для «хаароподобных признаков» же в лучшем случае выполняются условия локализации и масштабирования, но ни о каком ортогональном базисе речь, как правило, не идёт. Это эмпирически вводимые операторы, не имеющие отношения к теории вейвлет-преобразований, а следовательно, не позволяющие воспользоваться всеми преимуществами разработанной в этой области теории. В связи с этим мы решили восполнить данный пробел и попытаться определить математическое понятие системы хаароподобных вейлетов.
Однако схема построения вейвлетов Хаара в некотором смысле уникальна среди схем построения других вейвлетов и может иметь иное обобщение, основанное не на идее масштабирования образующих функций, а на идее построения древовидных разбиений кадра изображения (или в общем случае области определения n-мерных данных). В основе такого обобщения лежат следующие наблюдения:
1) Вейвлеты Хаара представляют собой кусочно-постоянные функции с нулевым средним, что соответствует определённому классу Пытьевских форм.
2) Носители вейвлетов меньшего масштаба всегда принадлежат областям постоянных значений вейвлетов большего масштаба.
3) Система вейвлетов Хаара образует дерево разбиений кадра, поэтому масштаб вейвлета может быть выражен не в абсолютных геометрических, а в относительных иерархических терминах - как его положение на дереве вейвлетов относительно других вейвлетов.
Легко убедиться, что именно эти 3 особенности автоматически обеспечивают ортогональность системы разномасштабных дифференциальных операторов, даже если они не порождены единым набором масштабируемых функций и имеют разную форму на разных уровнях. Таким образом, обобщённое использование схемы построения вейвле-тов Хаара приводит к новой схеме построения систем разномасштабных дифференциальных операторов произвольной формы, причём это будут уже не вейвлеты в классическом смысле, а некоторые обобщённые вейвлеты, которые естественно назвать «хаароподобными вейвлетами».
В отличие от «хаароподобных признаков» такие хаароподобные вейвлеты могут быть определены строгим образом и обладают свойствами, аналогичными свойствам классических вейвлетов. Естественно, собственно вейвлеты Хаара являются частным случаем таких хаароподобных вейвлетов.
Мы также обнаружили, что свобода формы и связь хаароподобных вейвлетов с морфологией Пытьева [3] позволяют естественным образом реализовать идею построения системы вейвлетов, согласованной с формой изображения или некоторого класса изображений (то есть задающей вейвлет-базис определённой Пытьевской формы). Для этого, в отличие от схемы Харра, где правила построения вейвлетов на носителе каждого уровня дерева заранее жёстко заданы, нужно ввести некоторые правила адаптивного
определения формы вейвлетов с учётом распределения яркости изображения на носителе текущего уровня дерева. Такие морфологические хаароподоб-ные вейвлеты мы назвали морфлетами. Конечно, вейвлеты Хаара морфлетами не являются - это другой частный случай хаароподобных вейвлетов.
Нам представляется, что предложенный в данной работе новый морфологический формализм анализа изображений на основе морфлетов может стать полезным инструментом для построения крайне разнообразных содержательных древовидных описаний формы изображений, позволяющих решать все основные задачи компьютерного зрения. Примеры построения различных систем морфлетов и возможные алгоритмы решения прикладных задач с их использованием мы также приводим в данной статье.
1. Морфологии центрированных изображений и их хаароподобные базисы
Мозаичные разбиения кадра, морфология Пытьева и сравнение изображения с формой
Опишем кратко базовый морфологический подход, предложенный Пытьевым [3], для чего введём необходимые определения и обозначения. Под изображением будем понимать функцию распределения яркости на кадре
Дх,у): О ^R, О с R2,
где О - область кадра, R - множество действительных чисел, R2 - плоскость кадра. Изображения рассматриваются как элементы гильбертова пространства L2(О). Перейдём теперь непосредственно к морфологическому описанию формы изображения. В рамках простейшей морфологии Пытьева [3] изображения рассматриваются как кусочно-постоянные функции вида
f (х, у) = Т, =1,..пЛ Хе, (х, у),
где п - число областей разбиения F кадра О на связные непересекающиеся области постоянной яркости, F = {Еь ..., Еп}; f = (/1, ...,- вектор действительных значений яркости, соответствующих каждой области разбиения; %д(х, у)е{0, 1} - характеристическая функция ,-й области яркости:
Хд (х, у) = {1, если (х, у)еЕ,; 0 - в противном случае}.
Множество изображений одной формы разбиения кадра F в таком случае образовывает выпуклое и замкнутое подпространство Е с L2(О):
Е = {Дх,у) = Т=1,..,пЕ Мх,У), fF £ Rn}.
Для любого изображения g (х, у) е L2 (О) может быть определена проекция на форму Е:
gF (ху) = Реg(x, у) = Т, =1,..,п gF, ХЕг (х, у),
gF¡ = (ХF¡,g) / 11 Хй ||2, ■ = 1 п
Здесь РЕ - оператор проекции или проектор на Е. Следует отметить, что с точки зрения морфологии Пытьева описания формы изображения как разбиения F, линейного подпространства Е и проектора РЕ эквивалентны и взаимозаменяемы.
Легко увидеть, что Пытьевские формы образуют алгебраическую структуру типа «решётка», в которой для любых двух форм F и G можно указать форму более сложную FaG (супремум) и менее сложную FvG (инфимум). Более сложные формы получаются из менее сложных разбиением, а менее сложные из более сложных - слиянием областей. Такое же понятие сложности форм используется и в морфологии Серра на основе connected filters.
Морфологическое сравнение изображений f (x, y) и g (x, y) в рамках морфологии Пытьева осуществляется при помощи морфологических квазирасстояний
du (g,F) = || g - PFg ||, du f, G) = || f— PGfl и нормированных морфологических коэффициентов корреляции Пытьева:
Ku(g, F) = || PFg || / || g ||, Ku f, G) = || Pgf || / || f ||.
Здесь в первом случае изображение g сравнивается с формой изображения f, а во втором случае, наоборот, изображение f сравнивается с формой изображения g. Легко убедиться, что в общем случае Ku (g, F) ф Ku f G).
Морфологии центрированных изображений
На практике при применении средств Пытьевской морфологии изображения обычно центрируют, то есть вычитают из них среднее постоянное значение яркости по кадру. Иными словами, рассматриваются
формы центрированных изображений:
F= {fx,y) = Z , = !,..,„ fXf/x,y), f e Rnl Z , = f SPl = 0},
где SFi = || xPi (x,y) ||2 — площадь соответствующей области разбиения Ft.
Все понятия морфологии Пытьева непосредственно переносятся на такие формы, некоторые даже проще формулируются. В частности, понятие независимости форм определяется следующим образом. Формы F и g являются независимыми, если
VfeF, geg: If || = || gF || = 0.
Легко формулируются и отношения сложности по форме. Форма g сложнее (не проще) формы F, если
Pg Pf = PF, PF Pg Ф Pg.
Морфологические коэффициенты корреляции центрированных изображений
Ku(g,F) = || PFg || / || Pgg II,
Ku(f,G) = || Pgf || / || PFf\\ также намного чувствительнее, чем для нецентриро-ванных изображений, поскольку обычная морфологическая корреляция показывает единичную корреляцию постоянного изображения (пустой формы) с любой другой формой, вследствие чего изменение средней яркости существенно влияет на значение нецентриро-ванного морфологического коэффициента корреляции.
Однако среди специалистов по морфологии Пыть-ева редко акцентируется тот факт, что базис центрированной формы уже не состоит из характеристических функций областей разбиения. В самом деле, по-
скольку центрированная форма замкнута относительно линейных операций и все входящие в неё изображения имеют нулевое среднее, а характеристические функции областей имеют ненулевое среднее (они неотрицательны), значит, они не только не являются базисом, но и не принадлежат центрированной форме. Очевидно, что ортогональный базис центрированной формы нужно искать в том же классе кусочно-постоянных функций с нулевым средним.
Замечательно, что к тому же классу относятся и вейвлеты Хаара. В связи с этим введём следующие определения.
Определение 1. Класс хаароподобных функций Н есть множество всех кусочно-постоянных функций с нулевым средним функций вида:
Н = {Ы (х, у) = 2 i=l,..,nЫ ХН1 (х,у), п = 1, 2, ...,
hеRn, НеТп(й), ЙеR2 | 2,=1,..,п Ы Sн¡ = 0},
где тп(й) - множество всех возможных разбиений кадра й на п областей; Н={НЬ ..., Нп}; h=(h1, ..., Ып); SHi - площадь области разбиения Н,.
Очевидно, что данный класс замкнут относительно линейных операций над изображениями.
Определение 2. Ортогональный базис некоторого линейного подпространства, состоящий из хаароподобных функций, будем называть хаароподобным базисом.
При этом легко доказать следующее утверждение.
Утверждение 1. Любое линейное замыкание любого хаароподобного базиса является центрированной Пытьевской формой, и напротив, любая центрированная Пытьевская форма имеет хаароподобный базис, размерность которого на 1 меньше размерности базиса исходной нецентрированной формы.
Доказательство следует непосредственно из определений центрированной формы и хаароподобного базиса. Размерность уменьшается на 1 ввиду наличия условия центрирования:
2 , =1, .., п Ы Sнi = 0,
делающего число независимых переменных на 1 меньше.
Допустим, нам известен хаароподобный базис НТ = {юп},=1г.,к центрированной формы Т. Тогда мы можем описать эту форму в альтернативном эквивалентном виде:
Т = { Дх, у) = 2 ¡=1,..,Д юч(х, у), и е R к}.
Теперь не только для любого центрированного изображения, но и вообще для любого изображения g (x,y)еL2(й) может быть определена проекция на форму Т:
gт (х, у) = Pтg(x, у) = 2 , =1, .к gт¡ ю т (х, у),
gт¡ = (юл,g)/ || юл ||2, , = 1, ..., к.
Легко заметить, что, поскольку любому изображению g соответствует его Пытьевская форма G, а ей, в свою очередь, соответствует центрированная форма д, центрирование функции g можно описать как её проецирование на центрированную форму:
Рд g (х, У) = gд (х, у) = g (х, у) - go,
где g0 - среднее значение g (х, у) на й.
Важно отметить, что для одной и той же центрированной формы хаароподобный базис может определяться не единственным способом, если мы снимем условие того, что он должен быть минимальным по количеству элементов. Именно в силу этого ниже мы сможем строить разнообразные содержательные системы морфлетов для одного и того же изображения.
Таким образом, мы установили связь между центрированными Пытьевскими морфологиями и хааро-подобными функциями и базисами. Дальше всюду, где специально не указано, мы будем считать изображения и формы центрированными.
Однако для того, чтобы хаароподобный базис стал базисом хаароподобных вейвлетов, нам необходимо ввести и формализовать ещё два ключевых понятия -локализации хаароподобных базисов (и соответствующих им центрированных форм) и масштабирования (точнее, иерархического координирования) хааропо-добных базисов (и соответствующих им центрированных форм). Рассмотрим эти понятия последовательно.
2. Морфологии локализованных форм, хаароподобные локусы и хаароподобные вейвлеты
В классической морфологии Пытьева не рассматривается возможность сравнения изображений, определённых на различных полях зрения (различных кадрах, различных носителях). Конечно, это несложно сделать, введя слегка модифицированные понятия локализованной формы и проекции на локализованную форму.
Носителем изображения (двумерной функции) Д будем называть множество точек плоскости, в которых данная функция принимает ненулевые значения:
Йд= й( Д ) = {(х,у^2: Д(х,у) ф 0}.
Носителем формы Е является максимальный (по включению) носитель входящих в неё изображений. Естественно, носители разбиения F нецентрирован-ной формы Е и центрированной формы Т совпадают:
йр = Й.р = йт.
Пусть теперь имеется два изображения Д и g с локализацией йт и йд соответственно.
Введём понятие проекции изображения на носитель:
Гg(х,у), если (х,у) ейпйд; I 0, если (х, у) е (йпйд \ й).
Проектор Рй естественно назвать оператором локализации функции на носителе й. Тогда проекция одного локализованного изображения на форму другого локализованного изображения может быть определена как комбинация ранее определённой проекции на форму и проекции на носитель:
gт (^ У) = РТРЙТg (x, У) = Г 2 g■Fw% (х,У), если (х,у) ейт пйд;
10, если (х, у) е (йт пйд \ йт),
Рй g(x, У) = •
где ОрпОд\ Ор - дополнение ОрпОд до Ор Если локализация функций совпадает, то это определение проекции совпадает с обычным Пытьевским определением. Если же локализация различна, то проекция на форму р, естественно, принадлежит форме Р, имеет формальный носитель Ор. При этом в области пересечения носителей она вычисляется обычным способом (определённым выше), а в области, где информации в функции g нет, она естественным образом дополняется нулями.
Заметим, что модифицированное определение морфологической проекции позволяет нам без изменений использовать для сравнения локализованных форм введённые ранее понятия независимости форм и относительной сложности форм.
Введём также необходимые понятия суммы и скалярного произведения локализованных изображений.
f(x,у) + g (х,у) = РОр^п/(х,у) + РприОдg (х,у),
(/(х,у), g (х,у)) = (Р„риП/(х, у), Pnрunдg (х,у)).
Кроме того, полезно ввести понятие прямой суммы форм:
р+ д = {/(х,у) + g(х,у): fеP; gед}.
Таким образом, на множестве локализованных двумерных функций можно считать определённой морфологию локализованных изображений, для которой полностью актуальны все определения и инструменты морфологии Пытьева.
Введём теперь соответствующие понятия в области хаароподобных функций. Заметим, что с учётом введённых определений и понятий такие понятия, как ортогональность и т.п., уже не требуют доопределения.
Определение 3. Класс хаароподобных локусов иъ есть класс локализованных хаароподобных функций, действия с которыми определены так, как это описано выше:
иъ = {РО h(х,у), h(х,у)еи, О6R2}.
Очевидно, что данный класс замкнут относительно линейных операций над изображениями.
Определение 4. Ортогональный базис, состоящий из хаароподобных локусов с совпадающим носителем, будем называть локальным хаароподобным базисом.
Определение 5. Разномасштабным хаароподобным базисом называется такой ортогональный хаароподоб-ный базис, который включает несколько различных локальных ортогональных хаароподобных базисов с различными носителями {Ор1, ..., Ор,}, причём все хааропо-добные локусы, входящие в разномасштабный базис, попарно ортогональны между собой, а между носителями любой пары составляющих разномасштабный базис локальных базисов имеется отношение строго включения. При этом носителем всего разномасштабного базиса считается максимальный (по включению) носитель входящего в него локального базиса.
Определение 6. Базис называется полным для формы р, если его замыкание совпадает с формой р на носителе Ор.
Определение 7. Если некоторый разномасштабный ортогональный хаароподобный базис является полным для центрированной формы р с носителем Ор, то такой базис называется хаароподобным вейвлет-базисом формы р, а все составляющие его хаароподобные локу-сы называются хаароподобными вейвлетами формы р.
На первый взгляд может показаться странным, что, определяя вейвлет, мы говорим о «вейвлете формы» или «вейвлете относительно формы», а не о вейвлете вообще. Но это только на первый взгляд и только потому, что обычно мы по умолчанию имеем в виду только один вид формы (разбиения кадра) - прямоугольную решётку пиксельных единичных квадратных областей. Если мы будем говорить о конкретном кадре с пиксельной решёткой заданного размера, то хаароподобные вейвлеты такой формы и будут ожидаемыми нами «вейвлетами вообще». Если же мы будем отталкиваться от другого типа решётки (например, шестиугольной) или вообще от нерегулярных разбиений области определения (например, по триангуляции особых точек), мы получим другие системы хаароподобных вейвлетов, допустимые согласно данному определению, но они будут полными только относительно заданной мозаичной формы.
Определение 8. Пусть для некоторой центрированной локализованной формы р известен хааропо-добный вейвлет-базис HWр = {юр,},=1,.,к, и, следовательно, любое изображение /ер может быть представлено в виде:
f(х, у) = Т, =1, .kfрi юр,(х, у), f р е Rk.
Тогда вектор fP = {/р},=1,.,к называется вейвлет-разложением функции / по базису HWР, а соответствующее отображение
у: Т^ Rk, /(х, у) ^ fр
называется хаароподобным вейвлет-преобразованием с базисом HWР. Соответственно,
у-1: ^ р fр ^/(х,у) = Т, =1, .., к/р, юр,(х,у)
называется обратным хаароподобным вейвлет-преоб-разованием с базисом HWP
Как видно, теперь и вейвлет-преобразование (прямое и обратное) оказалось определено относительно некоторой центрированной Пытьевской формы с учётом её локализации и задаваемого ей мозаичного разбиения соответствующего носителя.
Представляет интерес также следующее утверждение:
Утверждение 2. Пусть дан базис хаароподобных вейвлетов формы р, который включает несколько различных локальных ортогональных хаароподобных базисов с различными носителями HWР= {HWРl, ..., HWРм}, тогда форма р есть прямая сумма составляющих её локальных форм:
р = р + ... + ры.
Доказательство следует непосредственно из ортогональности всех вейвлетов в базисе HWР и полноты этого вейвлет-базиса.
3. Иерархии локализованных форм и деревья хаароподобных вейвлетов
Как уже отмечалось выше, в системе вейвлетов Хаара носители вейвлетов меньшего масштаба всегда принадлежат областям постоянных значений вейвле-тов большего масштаба. Более того, если рассмотреть последовательные уровни пирамиды вейвлетов Хаа-ра, то на каждом уровне имеется свой локальный хаа-роподобный базис, являющийся полным относительно формы данного уровня (разбиения текущего квадрата на квадранты), а на следующем уровне находятся такие локальные хаароподобные базисы, носителями которых являются области разбиения с предыдущего уровня. Иными словами, в основе пирамиды вейвлетов Хаара лежит пирамида (иерархия) локализованных форм-разбиений.
Попробуем описать такую иерархию локализованных форм в самом общем виде.
Локализованную форму G с носителем йе назовём дочерней по отношению к форме Р = {Е1, ..., Еп} с носителем ЙЕ, если 3,: Йа = Е,. Форма Р по отношению к G называется родительской. Эти же отношения распространяются с разбиений и на центрированные и нецентрированные Пытьевские формы.
Определение 9. Множество мозаичных форм называется пространственной иерархией форм, если для любой формы в данном множестве имеется либо дочерняя, либо родительская, причём родительских форм не имеет только одна форма, называемая корнем иерархии.
Утверждение 3. Иерархии форм всегда может быть поставлен в соответствие граф типа дерево, вершины которого соответствуют локальным формам из иерархии, а рёбра связывают только дочерние и родительские формы. Такой граф можно назвать деревом локализованных форм.
Доказательство данного утверждения тривиально. Определение 10. Пространственная иерархия форм называется полной иерархией подформ формы Т, если сумма всех форм данной иерархии равна Т.
Утверждение 4. Для любой формы Т можно построить полную иерархию подформ.
Доказательство следует из того, что любую мозаичную форму с конечным числом областей разбиения можно получить за конечное число дихотомических разбиений, начиная с «пустого» разбиения носителя этой формы, причём каждый раз разбиению подвергается только одна область.
Утверждение 5. Множество локальных хааропо-добных базисов некоторой полной иерархии подформ формы Т составляют её хаароподобный вейвлет-базис.
Доказательство основано на том, что формируемый таким способом базис является:
а) полным, так как иерархия подформ является полной;
б) разномасштабным, так как иерархия имеет структуру дерева по отношению родительский-дочерний, которое подразумевает строгое включение между носителями родительских и дочерних форм.
Кроме того, можно отметить, что дереву иерархии форм однозначно соответствует дерево локальных хаароподобных вейвлет-базисов. В совокупности с указанными утверждениями это позволяет дать следующее определение.
Определение 11. Деревом хаароподобных вейвле-тов формы Т называется хаароподобный вейвлет-базис, состоящий из множества локальных хааропо-добных базисов некоторой полной иерархии подформ формы Т.
В случае системы вейвлетов Хаара дерево вейвлетов представляет собой квадродерево, и в каждом его узле находится локальный базис из трёх вейвлетов, полученных масштабированием и сдвигом исходных базовых хаароподобных функций. Однако с учётом введённых нами обобщений деревья хаароподобных вейвлетов могут строиться самыми различными способами.
4. Морфлеты и способы построения
морфлетных описаний
Как уже отмечалось выше, свобода формы и связь хаароподобных вейвлетов с морфологией Пытьева позволяют естественным образом реализовать идею построения деревьев вейвлетов, согласованных с формой изображения или некоторого класса изображений (то есть задающей вейвлет-базис определённой Пытьевской формы). Для этого, в отличие от схемы Харра, где правила построения вейвлетов на носителе каждого уровня дерева заранее жёстко заданы, нужно ввести некоторые правила адаптивного определения формы вейвлетов с учётом распределения значений изображения на носителе текущего уровня дерева. Такие морфологические хаароподоб-ные вейвлеты мы назвали «морфлетами»:
Определение 11. Деревья хаароподобных вейвле-тов, в которых форма локальных базисов каждого уровня может быть различной и определяется адаптивно с учётом распределения яркости некоторого изображения или ансамбля (класса) изображений на носителе текущего уровня дерева, называются деревьями морфлетов, а составляющие их хаароподоб-ные вейвлеты соответственно называются морфле-тами.
5. Морфлеты на базе гистограммной
сегментации (Отсу-деревья)
Простейший пример морфлетных деревьев на основе гистограммной сегментации - бинарное дерево морфлетов Отсу. При этом анализируется гистограмма изображения Д, и на каждом шаге для некоторого непрерывного отрезка значений области яркости осуществляется его дихотомическое разбиение порогом Отсу. Множества пикселов изображения, попадающие в «верхний» и «нижний» поддиапазоны яркости, определяют соответственно «положительное» и «отрицательное» рецептивные поля формируемого на данном шаге бинарного морфлета. Процесс начинается у корня, где рассматривается вся гистограмма в целом, и завершается, когда раз-
меры областей разбиения сравняются с размером пикселов во всех ветвях построенного дерева. Аналогично можно строить и небинарные деревья мор-флетов после бинарной сегментации по Отсу, каждую связную область в дальнейшем рассматривать раздельно.
6. Примеры построения морфлетных описаний формы изображения
В данном разделе представлено несколько мор-флетных описаний формы изображения. На рис. 1. представлен пример проекции изображения на свою форму, построенную с различной степенью детализации (числа используемых морфлетов). Хорошо видно, что уже первые три уровня морфлетов позволяют описать практически все мелкие объекты на изображении.
о)
Рис. 1. Пример морфологической проекции изображения на свою форму: исходные изображения (а), (в); проекция изображения «а» на первые три уровня морфлетов изображения «а» (б); проекция изображения «б» на первые три уровня морфлетов изображения «а» (г) (инвертировано)
На рис. 2. показано, что в целом морфлеты позволяют автоматически проводить декомпозицию изображения по имеющимся на нём объектам, что позволяет надеяться на высокую эффективность при использовании таких морфологических описаний формы в решении задач классификации и поиска изменений на кадре. На рис. 1 также представлен пример проекции изображения на форму, соответствующую другому изображению. Хорошо видно, что норма такой проекции крайне мала, что, в свою очередь, говорит о низкой информативности, что таких морфологических описаний.
а)
б)
Рис. 2. Примеры отдельных морфлетов морфологического описания: исходное изображение (а); морфлеты - белые и чёрный цвета соответствуют положительной и отрицательной части морфлета, серый - множеству пикселей, где значение морфлета не определено (б)-(г)
Заключение
Была рассмотрена схема построения вейвлетов Хаа-ра с позиции морфологического анализа, и установлена их связь с морфологией Пытьева, предложен новый класс древовидных морфологических описаний изображений - деревья морфлетов. Введено понятие хааропо-
добной функции, а также показано, что для центрированных изображений морфологии Пытьева могут быть построены на основе базисов таких функций.
Определены морфологии локализованных форм и соответствующие хаароподобные вейвлеты. Указан формальный способ построения иерархии локализованных форм и соответствующих деревьев хааропо-добных вейвлетов. Введено понятие морфлетов как хаароподобных вейвлетов, согласованных по форме с изображением или ансамблем (классом) изображений, и описаны различные способы построения мор-флетных описаний формы изображения.
Также интересна связь между описанными нами в данной статье морфлетами, предназначенными для анализа изображений, и трилетами [6], предложенными ранее в области снижения размерности многомерных данных. Таким образом, данная работа в очередной раз показывает, как эффективные способы компактного (sparse) описания данных могут быть заимствованы из области анализа многомерных данных и эффективно использованы в качестве описания формы изображений при построении формальной или прикладной математической морфологии. При этом все свойства и инструменты морфологического анализа успешно воспроизводятся и могут быть непосредственно использованы на практике.
Благодарности
Работа выполнена при финансовой поддержке РФФИ (грант № 14-07-00914-а).
Литература
1. Viola, P. Rapid object detection using a boosted cascade of simple features / P. Viola, M. Jones // CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on (Volume:1). - 2001. - P. 511-518.
2. Добеши, И. Десять лекций по вейвлетам. / И. Добеши; пер. с англ. - М.: Хаотическая и регулярная динамика, 2001. - 461c.
3. Пытьев, Ю.П. Методы морфологического анализа изображений / Ю.П. Пытьев, А.И. Чуличков. М.: Физмат-лит, 2010. - 336 с.
4. Визильтер, Ю.В. Морфологический анализ изображений с использованием динамического программирования и стековых представлений / Ю.В. Визильтер, В.С. Горбацевич // Вестник компьютерных и информационных технологий. - 2011. - № 3. - С. 7-15.
5. Wu, B. Detection of multiple, partially occluded humans in a single image by bayesian combination of edgelet part detectors / B. Wu, R. Nevatia // International Conference on Computer Vision 2006. - 2006. - Vol. I. - P. 90-97.
6. Lee, A.B. Treelets - an adaptive multi-scale basis for sparse unordered data / A. B. Lee, B. Nadler, L. Wasserman // The Annals of Applied Statistics. - 2008. - Vol. 2, Issue 2. -P. 435-471.
References
1. Viola, P. Rapid object detection using a boosted cascade of simple features / P. Viola, M. Jones // CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. - 2001. - V. 1. -P. 511-518.
2. Daubechies, 1 Ten Lectures on Wavelets / I. Daubechies. -Philadelphia: SIAM, 1992. - 357 p.
3. Pytiev, Yu. Morphological image analysis methods / Yu. Py-tiev, A. Chulichkov. - Moscow: "Fizmatlit" Publisher, 2010. - 336 p.
4. Vizilter, Yu. Morphological image analysis using dynamic programming and stack representation / Yu. Vizilter, V. Gorbatsevich // Vestnik komp'iuternykh i infor-matsionnykh tekhnologii. - 2011. - Vol. 3. - P. 7-15. -(In Russian).
5. Wu, B. Detection of multiple, partially occluded humans in a single image by bayesian combination of edgelet part detectors / B. Wu, R. Nevatia // International Conference on Computer Vision 2006. - 2006. - Vol. I. -P. 90-97.
6. Lee, A.B. Treelets - an adaptive multi-scale basis for sparse unordered data / A.B. Lee, B. Nadler, L. Wasserman // The Annals of Applied Statistics. - 2008. - Vol. 2, Issue 2. -P. 435-471.
MORPHLETS: A NEW CLASS OF TREE-STRUCTURED MORPHOLOGICAL DESCRIPTORS OF IMAGE SHAPE
Yu.V. Vizilter, V.S. Gorbatsevich, S.Yu. Zheltov, A.Yu. Rubis, A.V. Vorotnikov
FGUP «GosNIIAS»
Abstract
In this paper, we present a new class of tree-structured morphological descriptors of image shape. The notion of a Haar-like function is formalized. It is demonstrated that Pytiev morphology of centered images can be described in terms of a Haar-like basis. The morphology of localized mosaic shapes and corresponding localized Haar-like wavelet systems are described. The formal way for generating a hierarchical structure of localized mosaic shapes and corresponding tree of localized Haar-like wavelets is reported. The notion of "morphlets" as Haar-like wavelets corresponding to the mosaic shape of some image is introduced. Some constructive schemes for the generation of morphlet-based image descriptors are considered.
Keywords: image analysis, mathematical morphology, Pytiev morphology, Wavelets, Shape comparison.
Сведения об авторах
Визильтер Юрий Валентинович, 1970 года рождения, в 1992 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В 1997 г. защитил кандидатскую, а в
2009 году - докторскую диссертацию. В настоящее время является начальником подразделения ФГУП «Гос-НИИ Авиационных систем» (ГосНИИАС). Опубликовал более 80 научных работ (из них более 20 статей в рецензируемых журналах из списка ВАК). Область научных интересов: обработка и анализ изображений, цифровая фотограмметрия, машинное зрение, математическая морфология, распознавание образов, машинное обучение, биометрия.
E-mail: [email protected] .
Yuri Valentinovich Vizilter (b.1970) graduated from Moscow Aviation Institute (National Research University) in 1992. Since 1997 is the Candidates of Technical Sciences, 2009 - the Doctor of Technical Sciences. Currently he works as the head of department at the FGUP «GosNIIAS». Author of 80 scientific papers. Research interests are processing and image analysis, digital photogrammetry, computer vision, mathematical morphology, pattern recognition, machine learning, biometry.
Горбацевич Владимир Сергеевич, 1985 года рождения, в 2009 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В настоящее время является начальником сектора ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Опубликовал более 20 научных работ (из них 6 статей в рецензируемых журналах из списка ВАК). Область научных интересов: обработка и анализ изображений, цифровая фотограмметрия, машинное зрение, математическая морфология, распознавание образов, машинное обучение, биометрия.
E-mail: [email protected] .
Vladimir Sergeevich Gorbatsevich (b.1985) graduated from Moscow Aviation Institute (National Research University) in 2009. Currently he works as the head of sector at the FGUP «GosNIIAS». Author of 20 scientific papers. Research interests are processing and image analysis, digital photogrammetry, computer vision, mathematical morphology, pattern recognition, machine learning, biometry.
Желтов Сергей Юрьевич - известный учёный в области компьютерного зрения и обработки информации в системах управления, д-р ф.-м. наук, профессор, член-корреспондент РАН, генеральный директор ФГУП Гос-НИИАС. Опубликовал более 200 научных работ, среди которыхдве книги. Область научных интересов: обработка и анализ изображений, цифровая фотограмметрия, машинное зрение, математическая морфология, распознавание образов, машинное обучение.
E-mail: [email protected] .
Sergey Yuryevich Zheltov is a well-known scientist in the area of computer vision and data processing in control systems, Dr.Sci.Tech., professor, the corresponding member of the Russian Academy of Sciences, General Director (CEO) of State Research Institute of Aviation Systems (FGUP GosNIIAS). He is an author and co-author of more than 200 scientific papers. Research interests are processing and image analysis, digital photogrammetry, computer vision, mathematical morphology, pattern recognition, machine learning.
Рубис Алексей Юрьевич, 1986 года рождения, в 2009 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В настоящее время является инженером ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Является автором и соавтором 17 научных трудов (из них 8 статей в рецензируемых журналах из списка ВАК). Круг научных интересов: обработка изображений, системы улучшенного видения, распознавание образов, программирование.
E-mail: [email protected] .
Aleksey Yurievich Rubis (b.1986) graduated from Moscow Aviation Institute (National Research University) in 2009. He currently resides at the FGUP «GosNIIAS». Author of 17 scientific papers. Research interests are image and video analysis, pattern recognition, programming, enhanced vision systems.
Воротников Андрей Валерьевич, 1991 года рождения, в 2013 году окончил МГУ имени М.В. Ломоносова. В настоящее время является сотрудником ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Область научных интересов: обработка и анализ изображений, машинное зрение, математическая морфология, распознавание образов, машинное обучение, биометрия.
E-mail: [email protected] .
Andrey Valerievich Vorotnikov graduated from Lomonosov Moscow State University in 2013. Currently he works as the engineer at the FGUP «GosNIIAS». Research interests are processing and image analysis, computer vision, mathematical morphology, pattern recognition, machine learning, biometry.
Поступила в редакцию 3 декабря 2014 г.
