CC BY
84
УДК 004.93:519.6
ФОРМИРОВАНИЕ ДЕСКРИПТОРА КОНТУРНОЙ ЛИНИИ В ЗДДАЧE СИНТЕЗА ИЗОБРАЖЕНИЯ
ИЗ ФРАГМЕНТОВ ПРОИЗВОЛЬНОЙ ФОРМЫ
А.С.Наумов, С.А.Луций
Политехнический институт НовГУ, [email protected]
Рассмотрена проблема выделения опорных точек при формировании дескриптора контурной линии для последующей стыковки плоских фрагментов. На основе экспериментальных и теоретических данных проанализированы подходы к решению задачи, их особенности и возникающие проблемы.
Ключевые слова: обработка изображений, дескриптор контура, доминантная точка, совмещение фрагментов, функция кривизны
The article deals with the problem of the contour descriptor points marking-off in application to the 2-dimentional fragment matching. Several approaches were analyzed and compared using obtained theoretical and practical results.
Keywords: image processing, contour descriptor, dominant point, fragment matching, curvature function
Введение
При решении задачи синтеза изображений из фрагментов произвольной формы возникает ряд трудностей, обусловленных необходимостью адекватного описания признаков и формирования критериев их сравнения. Фрагменты, полученные в результате механического воздействия, как правило, обладают высокой степенью уникальности контура [1], что позволяет использовать его геометрические характеристики для поиска совмещающихся участков.
Для этого необходимо построить описание (дескриптор) каждого контура и сравнить их с точки зрения выбранного критерия.
Пусть имеется плоская замкнутая дискретная кривая P = {p., і є [0, N -1]}, p. = {x,y.}, отражающая
контур фрагмента, извлеченный из исходного изображения. Представим кривую в виде С = f (0, где / е[0, V], L — длина линии контура, С — значение функции кривизны, которая описывает геометрические характеристики линии, обеспечивая инвариантность к геометрическим преобразованиям, а также возможность сравнения в рамках некоторой произвольной области [2]. Требуется сформировать набор дискретных точек контура, достаточный для адекватного представления его формы с точки зрения поставленной задачи. Назовем эти точки опорными, а процесс их выделения — симплификацией контура. Далее в статье приводится анализ и сравнение некоторых известных методов симплификации с точки зрения стыковки фрагментов. Эксперименты проводились на специально разработанной программной системе.
Равномерное семплирование контура
При равномерном семплировании в качестве опорных выбираются точки, располагающиеся между собой на некотором расстоянии й [3]. Таким образом, С = -й\<е, /е[0,N-1]}, где е — по-
грешность дискретизации, N — общее число точек,
— расстояние между точками, в качестве
которого используется либо расстояние вдоль кривой, либо Евклидово расстояние, соответствующее длине стороны аппроксимирующего многоугольника (рис.1), что проще в реализации.
Рис.1. Равномерное семплирование контура
Для исследования метода был проведен ряд экспериментов, с целью проверки адекватности описания двух контуров в области их стыка в зависимости от уровня детализации, ориентации фрагментов и особенностей контурной линии. При этом использовались искусственные фрагменты. В первом эксперименте области стыка были идентичны, чтобы обеспечить соответствие между точками контуров по принципу «один к одному» (рис.2), а во втором имели не-
значительные расхождения. В качестве значений кривизны использовалась величина внешнего угла, образованного тремя последовательными точками контура. Таким образом, формировались две последовательности {а(),...,аМ-1} и {¿о,...^N-1} для соответствующих контуров. В качестве критерия точности было выбрано среднеквадратичное отклонение в облас-
ти стыка е =
1 /ч
- ^(36° - (а+к + ь]+к )) к=0
И Ь —
п
величины внешних углов в градусах для соответствующих точек.
В эксперименте использовалось 12 контуров, из которых 6 субъективно более гладкие (рис.3а) и 6 — более изрезанные (рис.Зб). Длина контуров составляла в среднем 1500-2000 пикселей, области стыка — 300-600 пикселей. Проведено порядка 100 тес-
тов, в которых менялась величина шага й и исходная ориентация фрагментов. Начальная точка, с которой начинался отсчет, на первом этапе выбиралась произвольно и в контрольном эксперименте задавалась вручную.
Рис.3. Пример «гладкого» (а) и «изрезанного»(б) контура
По результатам эксперимента установлено, что на расположение точек в общей области стыка двух фрагментов существенное влияние оказывают следующие факторы: а) положение начальной точки; б) форма контура; в) величина шага. Влияние этих факторов совместное, поскольку отсчет точек идет последовательно от начальной точки вдоль линии контура. Эти факторы вызывают смещение точек в области стыка (рис.4а). В экспериментах величина смещения менялась в зависимости от конкретной пары фрагментов, выбора начальной точки, исходной ориентации фрагментов. Величина отклонения е при этом варьировалось в среднем от 5 до 30 градусов, при этом в контрольном эксперименте, когда начальная точка задавалась вручную в области стыка, ошибка не превосходила 6 градусов, что объясняется погрешностями дискретизации. Кроме того, даже небольшие различия в форме контурной линии могут приводить к появлению лишних точек (точка №61 на рис.4б), что делает невозможным совмещение по принципу «один к одному» и требует более сложных алгоритмов [3,4].
Рис.4. a) Смещение опорных точек; б) лишняя точка
а
т
Уменьшить влияние указанных факторов возможно за счет выбора оптимального шага. Величина d может быть, например, подобрана вручную. В [3] предлагается построить несколько описаний с последовательно уменьшающимся d (с увеличивающейся детализацией) и использовать их все на этапе сравнения. На наш взгляд, перспективным подходом является итеративный подбор шага, исходя из критериев точности аппроксимации [5].
Далее рассмотрен ряд методов с неравномерным размещением точек на контуре.
Полигональная аппроксимация
Широко известным подходом к симплифика-ции контура является полигональная аппроксимация, использующая оптимизацию по числу вершин M аппроксимирующего многоугольника или величине ошибки D [6]. Примером использования второго критерия является алгоритм Douglas — Peucker [7], в котором в качестве D выступает максимальное Евклидово расстояние между кривой и соответствующей хордой (рис.5). Предложены также критерии макси-
Рис.5. Принцип алгоритма Douglas — Peucker
мально возможного периметра [5] и др. Данный подход хорошо отражает глобальную форму объекта, его размеры и т.д., однако попытки использования его применительно к рассматриваемой задаче оказались неудачными, поскольку получение оптимального представления с точки зрения вышеописанных критериев не означает того, что в пределах стыка будет получено сходство описаний. На рис.6 показано различие в количестве и расположении точек в области общего стыка. На размещение и количество точек
Рис.6. Расхождение опорных точек, полученных алгоритмом Douglas — Peucker
влияют два основных фактора: положение начальной точки p0, с которой стартует алгоритм, а также общая форма контура, в силу произвольности которой контроль влияния этих факторов представляет трудность.
Поиск точек высокой кривизны
В восприятии формы контура большую роль играют точки, обладающие высокой кривизной (угловые точки), и поэтому очевидной идеей является их использование в качестве опорных точек дескриптора формы. На сегодняшний день известно более 100 методов поиска таких точек. Алгоритмы Teh — Chin [8] и Wu [9] используют для этой цели явные геометрические характеристики контуров. Пусть p. — точка дискретной кривой. Областью поддержки (ОП) для размера к называется последовательность
D(p.) = (p,-k>...>pM>p,>...>Р,+к) (рис.7). В точке p. определяется так называемый к-косинус угла
cos к aк b ,
,к ыы
гае 5„=(», у,_,-у,),
Как видно из рис.7, ljk — длина отрезка Pj_kpi+k , djk
— длина перпендикуляра до точки р..
Общая схема двух алгоритмов состоит в следующем:
1) найти область поддержки D(p¡) для каждой точки pt;
2) рассчитать величину кривизны в каждой точке cvj в соответствии с D(pt);
3) удалить лишние точки в соответствии с условиями.
ОП ищется путем итеративного увеличения, начиная с k = 1. Алгоритм Teh — Chin выполняет этот процесс, пока выполняется условие dik < d. k+1
dk dk+1
и -J!L <—:— . Алгоритм Wu ищет величину ОП по
li,k li,k+i
следующему принципу: в качестве k. берется зна-
чение,
при котором cosik =
= max{cos.. | j = Kmin,...,Kmax;i = 1,2,...,и}. В качестве
значения кривизны алгоритм Teh — Chin использует непосредственно величину k-косинуса cv. = cosik, а алгоритм Wu — величину
к.
і "V
= — > cos,,
k 11
. j=1
На третьем этапе в первую очередь отбрасываются точки, для которых в области поддержки D(p.) найдутся такие точки, что cv. > cv., где
. J .
j e[i - к, i + к]. Кроме того используются дополнительные условия, такие как пороговое значение для кривизны и т.д., подробно описанные в работах [8] и [9].
Оба алгоритма были реализованы и проверены на искусственных и сканированных контурах. Метод Teh — Chin оказался чрезмерно чувствителен к мельчайшим деталям, а количество получаемых точек достаточно велико — 25-30% от исходного. Кроме того, их количество и расположение значительно меняется при изменении ориентации фрагмента, при этом сам алгоритм не предусматривает контроля детализации. Изменение детализации возможно за счет уменьшения разрешения исходного контура, однако это вносит существенные искажения.
Из проведенных экспериментов с алгоритмом Wu следует: количество доминантных точек составляет 5-10% от исходного, и они визуально информативно описывают контур (рис.8), хотя наблюдается некоторая избыточность, вызванная влиянием мелких деталей. При изменении ориентации количество и расположение точек в местах мелких деталей меняется. Изменение численных значений параметров алгоритма не позволило решить эту проблему и адекватно управлять детализацией.
Метод масштабного пространства кривизны
Предложенный в [10] метод поиска доминантных точек SSC (scale space curvature) использует теорию так называемого масштабного пространства кривизны. Пусть линия контура параметризована в виде C = {x(t),y(t)}, где t — расстояние вдоль линии. Функцию кривизны можно представить как
K =
(x2 + y 2)3/2
dx
d 2 x
где х = —, х = —— , и аналогично для у . Производ-
dt dt
ные ищутся для результатов сглаживания функций х(:) и у(:), получаемых сверткой с Гауссовым ядром вида
g(t,o, a) =
1
-(t-a) e 2o2
Изменяя величину с, можно менять степень детализации за счет сглаживания деталей. Пусть х(:) = х(:) * g(t,с) — сглаженная функция координаты, тогда с учетом свойств конволюции имеем х'(:) = х(:) * g'(:, с) и х"(:) = х(:) * g"(:, с). Окончательно
в дискретном виде
k=i+5
х" = ^ х^ ’ (к,с,"),
к="-5
где " — текущая точка, 5 — величина окрестности, которую можем взять по «правилу трех сигм» как 5 = 3с. Поскольку производные функции Гаусса представляются в аналитическом виде, нахождение производной сглаженной функции не представляет трудности. В качестве опорных точек выбираются точки контура, соответствующие экстремумам кривизны.
Данный метод также был реализован и проверен на нескольких фрагментах. На рис.9 приведен график зависимости количества выделенных точек п от параметра сглаживания с. Следует отметить, что метод эффективен с точки зрения локальных деталей с большой кривизной, однако плохо описывает большие плавные участки с малым количеством перегибов на контурной линии.
0 10 20 30 40 50 S0 <Х,ПИКС.
Рис.9. Зависимость количества опорных точек от величины о
Экспериментальное сравнение методов
Для рассмотренных выше методов был проведен тест, в ходе которого определялись параметры расхождения координат соответствующих опорных точек при условии, что фрагменты попиксельно состыкованы (рис.10). Использовались два стыка различной степени гладкости (рис.3). В качестве меры расхождения (ошибки) для пары точек использовано Евклидово расстояние
е , =л](х, - х )2 + (7, - у )2,
где X, — координата опорной точки а, на первом контуре, х , — координата соответствующей ей точки Ь ., на втором контуре, аналогично и для второй координаты (рис.10).
Таблица 2
Результаты эксперимента для стыка второго типа (изрезанный)
Фр.2
Рис.10. Расхождение опорных точек
В ходе эксперимента были рассчитаны следующие параметры: максимальная етах, минимальная етп и средняя е ошибки на области стыка, а также максимальное Атах, минимальное А^п и среднеквадратическое ое отклонения величины
ошибки от среднего значения е на рассматриваемом участке контура. Кроме того вычислена средняя величина шага между двумя последовательными опорными точками для каждого из контуров ^, 12. Результаты представлены в табл.1 и 2. Величины указаны в пикселях.
Таблица 1
Результаты эксперимента для стыка первого типа (гладкий)
Равномер- ный Teh - - Chin Wu SSC
e max 10,00 6,71 32,01 31,02 11,71 48,37 8,06 23,43
e min 7,28 2,37 1,00 1,00 1,00 1,41 1,00 4,47
e 8,45 3,56 2,07 2,56 2,50 11,03 1,74 13,96
А max 1,54 3,15 29,95 28,45 9,20 37,34 6,32 9,48
А . min 0,03 0,05 0,07 0,27 0,27 0,15 0,26 0,36
а e 0,62 1,02 3,73 3,59 2,69 10,76 1,46 4,98
s1 20,00 20,00 2,91 2,91 9,86 9,86 21,73 21,73
S2 20,00 20,00 2,84 3,21 8,32 8,39 21,60 23,73
Равномер- ный Teh - - Chin Wu SSC
e max 27,30 58,00 37,86 21,02 53,31 52,80 12,21 42,30
e min 1,41 2,00 1,00 0,00 1,00 2,00 1,00 0,00
e 9,47 4,74 10,54 4,56 14,68 12,77 2,24 6,12
А max 17,83 53,26 27,31 16,46 38,63 40,02 9,97 36,18
А . min 1,53 1,13 0,08 0,09 0,36 0,03 0,00 1,02
а e 7,27 8,92 7,34 3,24 11,47 11,71 2,16 8,80
S1 20,00 20,00 2,83 2,83 7,83 7,83 21,56 21,56
S2 20,00 20,00 2,83 2,79 8,14 8,15 20,87 20,24
Равномерное семплирование производилось с шагом 20 пикс. В методе SSC взята величина параметра сглаживания 7 пикс. Для метода Wu 8 = -0,6, K = 1, K = N/10, где N — количество точек в
min ? max ? ^
исходном контуре. Результаты рассчитывались в исходной ориентации и при повороте одного фрагмента на угол 90 градусов. Таким образом, проверено четыре случая на каждый метод.
Для равномерного семплирования средняя величина ошибки e в худшем случае составляет около 45% от величины шага точек, при этом ae в первом
случае на порядок меньше e . Во втором эксперименте (табл.2) результаты несколько хуже из-за более сильного расхождения точек. Для метода Teh — Chin величина e составляет около 70% от средней величины шага, а во втором эксперименте превосходит ее более чем в три раза. Кроме того, ae превышает s ,
что говорит о низкой стабильности метода. Для метода Wu в первом случае (гладкие фрагменты в исходной ориентации) e составляет около 30% от величины среднего шага, однако в остальных превосходит ее из-за сильного расхождения в количестве опорных точек. Для метода SSC имеем в лучшем случае e порядка 11% от s , в худшем — 40%. Величина ae
почти во всех случаях не превосходит e и существенно меньше s .
Обобщая данные, можем заключить, что более удовлетворительные и стабильные результаты получены с использованием метода равномерного сем-плирования и метода SSC. С учетом ранее проанализированных особенностей их использование в рамках задачи видится перспективным.
Заключение
Проведенное исследование алгоритмов показывает, что равномерное семплирование контура является наиболее простым, быстрым и достаточно эффективным способом симплификации в рамках рассматриваемой задачи. В качестве его недостатка можно указать избыточность описания неинформативных участков контуров. Для получения более
компактного описания и минимизации ошибок требуются разработка адаптивного алгоритма подбора оптимального шага точек.
Метод масштабного пространства кривизны SSC показал наиболее стабильные результаты в общем тесте, однако дает низкую информативность при описании плавных участков контуров с малым числом перегибов и, кроме того, вычислительно сложен.
Алгоритмы Teh — Chin и Wu в исходном виде для решения поставленной задачи не пригодны, так как подвержены влиянию мелких деталей и артефактов оцифровки. Очевидно, что исследования по их модификации в рамках сформулированной задачи должны быть связаны с предварительным сглаживанием контура.
Вне зависимости от метода выбора опорных точек, алгоритм совмещения контуров должен учитывать и минимизировать влияние расхождений и пропусков точек в области стыка.
1. Leitao H.C., Stolfi J. Information Contents of Fracture Lines // Proc. of the 8th Intern. Conf. in Central Europe on Computer Graphics, Visualization and Interactive Digital Media. Czech Republic, 2008. P.389-395.
2. Наумов А.С. Анализ методов описания контуров фрагментов при решении задачи синтеза изображения // Деп. в ВИНИТИ РАН № 15-В2011 от 24.01.2011. 25 с.
3. Leitao H.C., Stolfi J. A multiscale method for the reassembly of two-dimensional fragmented objects // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2002. V.24. №9. P.1239-1251.
4. Sebastian T., Klein P., Kimia B. On aligning curves // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2003. V.25. №1. P.116-124.
5. Хмелев Р.В. Итеративная аппроксимация последовательностей по максимуму периметра и с использованием неравенства треугольников // Компьютерная оптика. 2005. №27. C.155-164.
6. Kolesnikov A., Franti P. Min-N polygonal approximation of closed curves // IEEE Intern. Conf. on Image Processing ICIP 2005. V.2. P.522-525.
7. Douglas D., Peucker T. Algorithms for the reduction of the number of points required to represent a digitized line or its caricature // The Canadian Cartographer. 1973. V.10. №2. P.112-122.
8. Teh C., Chin R.T. On the detection of dominant points on digital curves // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1989. V.11. №.8. P. 872-879.
9. Wu Wen-Yen. An adaptive method for detecting dominant points // Pattern Recognition. 2003. V.36. P.2231-2237.
10. Pei Soo-Chang, Lin Chao-Nan. The detection of dominant points on digital curves by scale-space filtering // Pattern Recognition.1992. V.22. №11. P.1307-1314.
Bibliography (Transliterated)
1. Leitao H.C., Stolfi J. Information Contents of Fracture Lines // Proc. of the 8th Intern. Conf. in Central Europe on Computer Graphics, Visualization and Interactive Digital Media. Czech Republic, 2008. P.389-395.
2. Naumov A.S. Analiz metodov opisanija konturov fragmentov pri reshenii zadachi sinteza izobrazhenija // Dep. v VINITI RAN № 15-V2011 ot 24.01.2011. 25 s.
3. Leitao H.C., Stolfi J. A multiscale method for the reassembly of two-dimensional fragmented objects // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2002. V.24. №9. P.1239-1251.
4. Sebastian T., Klein P., Kimia B. On aligning curves // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2003. V.25. №1. P.116-124.
5. Khmelev R.V. Iterativnaja approksimacija posle-dovatel'nostejj po maksimumu perimetra i s ispol'zovaniem neravenstva treugol'nikov // Komp'juternaja optika. 2005. №27. C.155-164.
6. Kolesnikov A., Franti P. Min-N polygonal approximation of closed curves // IEEE Intern. Conf. on Image Processing ICIP 2005. V.2. P.522-525.
7. Douglas D., Peucker T. Algorithms for the reduction of the number of points required to represent a digitized line or its caricature // The Canadian Cartographer. 1973. V.10. №2. P.112-122.
8. Teh C., Chin R.T. On the detection of dominant points on digital curves // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1989. V.11. №.8. P. 872-879.
9. Wu Wen-Yen. An adaptive method for detecting dominant points // Pattern Recognition. 2003. V.36. P.2231-2237.
10. Pei Soo-Chang, Lin Chao-Nan. The detection of dominant points on digital curves by scale-space filtering // Pattern Recognition.1992. V.22. №11. P.1307-1314.
