CC BY
20
УДК 004.021;004.932;519.673+519.24+621.391
ОЦЕНКА ЭФФЕКТИВНОСТИ КОНТУРНЫХ ДЕТЕКТОРОВ НА ОСНОВЕ ТОЧЕЧНОГО ПОТОКА ВОССТАНОВЛЕНИЯ
Кочегуров Александр Иванович1,
Дубинин Дмитрий Владимирович2,
Виктор Герингер3,
Рейф Конрад3,
1 Национальный исследовательский Томский политехнический университет, Россия, 634050, г. Томск, пр. Ленина, 30.
2 Томский государственный университет систем управления и радиоэлектроники, Россия, 634050, г. Томск, пр. Ленина, 40.
3 Баден-Вюртембергский объединенный государственный университет, Германия, 88045, Фридрихсхафен, Фалленбрунен, 2.
Актуальность. В настоящее время много внимания уделяется созданию эффективных систем, предназначенных для обработки, хранения и передачи больших потоков информации, получаемой в виде изображений пространственно-временных полей в таких областях человеческой деятельности, как космонавтика, геология и геофизика, картография, навигация, дефектоскопия и во многих других. В большинстве этих систем при реализации алгоритмов детектирования в качестве эталонных изображений используются реальные снимки. Например, это характерно для выделения и прослеживания границ отраженных волн на изображениях сейсмических полей, получаемых при поиске нефтяных и газовых месторождений. Представление эталонных изображений в виде реальных снимков позволяет настроить алгоритм на конкретную предметную область, но осложняет оценку качества используемого алгоритма и проведение его объективного сравнения с другими алгоритмами, реализующими подобные процедуры.
Цель: исследование эффективности выделения контурного рисунка изображений различными алгоритмами детектирования на основе обобщённого комплексного критерия, предложенного авторами данной работы. Это позволит подойти объективно к выбору наилучшего алгоритма детектирования и подбору оптимальных значений его параметров для любой предметной области. Методы и средства исследования. При проведении экспериментов были использованы методы стохастического моделирования пространственно-временных сигналов и полей. Сам вычислительный эксперимент проводился в среде программного комплекса «КИМ СП».
Результаты. Проведен анализ методов оценивания операторов поиска и локализации границ, и обобщены основные типы ошибок. На основе предложенной классификации метрик эффективности работы контурных детекторов рассмотрен обобщённый комплексный критерий оценки качества выделения контурных рисунков в изображениях, показаны возможные составляющие обобщённого показателя качества и формальные подходы к выбору весовых коэффициентов метрик. Приведён пример реализации обобщенного показателя качества, включающего пять метрик, и исследована его эффективность для трех квазиоптимальных алгоритмов оконтуривания («Canny», «Marr» и «ISEF») при различных уровнях шума. Проведенные исследования позволили сделать выводы об объективности полученных результатов и дать рекомендации по применению алгоритмов оконтуривания.
Ключевые слова:
Контурные детекторы, операторы поиска и локализации границ,
пространственно-временные сигналы и поля, стохастическое моделирование, эталонные изображения, метрики эффективности, двумерный точечный поток восстановления.
Анализ методов оценивания операторов поиска и локализации границ
С начала 70-х гг. прошлого столетия разработано большое количество разновидностей операторов для решения задач поиска и локализации границ. Это обусловлено рядом предпосылок и факторов: а) развитие и усовершенствование вычислительной техники, б) появление ёмких цифровых носителей информации, в) разработка и внедрение цифровых камер и тепловизоров, г) миниатюризация радио-
аппаратуры и переход на цифровые методы обработки, д) развитие новых видов радиотехнической аппаратуры, систем дистанционного зондирования земли, к которым предъявлялись дополнительные функциональные требования по помехоустойчивости, точности, надёжности и т. д. В связи с этим остро встала задача выбора эффективных в определённой предметной области алгоритмов обработки сигналов, а в частном случае - операторов поиска и локализации границ (ОП и ЛГ).
204
DOI 10.18799/24131830/2019/3/179
В настоящее время все методы и подходы к оценке ОП и ЛГ можно разделить на следующие классы (рис. 1). Основополагающими классами являются аналитические [1-3] и экспериментальные [4-22] методы. К первому классу относятся методы анализа ОП и ЛГ на основе аналитических соотношений. При этом анализ базируется на определённых допущениях и предположениях или на моделировании упрощенных процессов получения растрового контурного поля (РКП) [1, 2].
Экспериментальные методы и подходы можно разделить на два подкласса: без использования эталонных изображений (ЭИ) (подкласс А [4-6]) и с использованием ЭИ (подкласс В [7-22]). Методы сопоставления результатов поиска и локализации границ подкласса А основаны на анализе точек окрестностей в пределах до (7x7 и 6x6), прилегающих к исходящей точке. В этих подходах авторами оцениваются связность контура и его ширина, а также представлен обобщённый критерий качества [4]. Эту группу назовем «подклассом параметрических методов оценки эффективности». Математическая формализация подобных подходов сводится к методикам получения параметрических байесовских оценок. К подклассу А можно отнести и работы, связанные с визуальной оценкой качества РКП [6] группой экспертов. Основоположники подобного ассоциативного подхода исходят из предположения, что РКП должно отвечать совокупности общепринятых визуальных критериев качества. В дальнейшем этот подкласс назовем группой методов визуальной оценки эффективности.
Ко второму подклассу (В) относятся методы и подходы анализа операторов поиска и локализации границ, использующие искусственные или реальные ЭИ для получения необходимых метрик эффективности оконтуривания или сравнения ОП и ЛГ на основе определённого обобщённого показателя качества. При этом субъективный выбор исходных эталонных изображений существенно влияет на результаты исследования.
Рассматривая более детально подкласс В экспериментальных методов, можно выделить три разновидности подходов и разделить их на группы. К первой группе можно отнести подходы, оперирующие с рядом известных реальных эталонных изображений: натюрморта, девушки, танка, взлетно-посадочных полос, домов, Lego-конструкций и т. д. [1, 8, 9, 11-13]. Основными недостатками данного подхода являются субъективность выбора ЭИ и зависимость полученных результатов от предметной области, используемой при тестировании ЭИ. Ко второй группе относятся подходы, авторами которых были использованы простейшие искусственные ЭИ (шаблоны) [14-17]. Например, ряд вертикальных линий, геометрических фигур, шахматная доска или в системе PICASO [14] - исчезающий уступ, улитка, узел и т. д. В этих подходах, исходя из априорно известных координат по-
ложения контура, производится вычисление различных показателей качества детектирования в «коридоре» прохождения контура. К достоинствам подобного подхода, основанного на использовании простейших искусственных ЭИ, относятся: известное априори точное решение задачи локализации границ, возможность контролируемого зашумления (деградации) ЭИ, простота получения и обработки результатов, возможность сравнения полученных результатов с результатами других авторов. Простейшие искусственные ЭИ системы PICAS0 имеют ряд дополнительных возможностей, позволяющих более детально решать задачи оценки ОП и ЛГ: близкое расположение разных объектов, слабоконтрастные границы, схождение нескольких границ в одной точке, использование элементов теории фракталов при построении искусственных ЭИ.
Среди методов оценки ОП и ЛГ с искусственными ЭИ больший интерес представляют те, которые работают со стохастическими моделями, позволяющими проводить аппроксимацию ЭИ. Эти методы, для реализации которых необходимо выбрать математическую модель, адекватно описывающую аппроксимацию ЭИ, образуют третью группу. Сегодня трудно найти универсальный способ построения случайных полей для моделирования реальных изображений. Поэтому предложенные модели адекватно отражают реальные пространственно-временные сигналы только по некоторому числу характеристик (например, по виду корреляционной функции, интервалу корреляции, контрастности, связности контуров и размеров объектов) [23]. Однако это позволяет ввести вероятностный фактор в процесс получения ЭИ и дает возможность генерировать случайные эталонные изображения с определённым морфологическим полем и определёнными статистическими свойствами [18-21]. Так, например, в работах [18, 22] предложен данный подход для формирования случайных полей на основе двумерного рекуррентного потока восстановления.
Данный метод дает возможность управлять вероятностными и спектральными характеристиками генерируемого поля (случайные искусственные ЭИ), а также его морфологией, следовательно, позволяет получать векторное описание положения границ, лежащих в основе поля [18]. Такой подход позволяет наиболее гибко и объективно подойти к проверке не только ОП и ЛГ, но и к алгоритмам обработки изображений, таких как: скелетизация, сегментация, привязки, распознавание, решение задач КЭС, а также проводить верификацию и сравнение метрик эффективности РПК. Исходя из сказанного, далее рассматривается метод оценки функциональной эффективности ОП и ЛГ на основе искусственных ЭИ, аппроксимированных точечным потоком восстановления. Предварительно рассмотрим существующие метрики эффективности РКП.
Рис. 1. Классификация методов оценивания реализаций операторов получения РКП Fig. 1. Classification of the methods to evaluate the performance of edge detection techniques
Метрики эффективности РКП
Поля яркости, соответствующие реальным оптическим изображениям, можно описать с помощью двумерных кусочно-постоянных функций. Эти поля, как правило, состоят из областей, в которых яркость почти не изменяется, а сами области разделены между собой резкими границами - контурами. Основной задачей ОП и ЛГ является выделение РКП из имеющегося двумерного изображения. К основным ошибкам, которые вносят операторы в искомый РКП (рис. 2), можно отнести: смазывание контура, общие и локальные смещения, разрывы РКП [1, 20, 24].
а) идеальная граница
г ООО ООО ООО ООО ООО ООО ООО ООО ООО1
Эффективность ОП и ЛГ на практике можно
оценить исходя из следующих предпосылок получения РКП:
• точность нахождения точек РКП;
• однозначность любой границы в РКП (для любой границы объекта должна существовать лишь одна найденная граница в РКП);
• ширина выделяемой границы (должна стремиться к одной точке);
• отсутствие сдвига РКП относительно границ объектов;
• устойчивость ОП и ЛГ к уровню шума;
• скорость получения РКП;
6) смазанная (утолщённая) граница
в) локально смещёная граница
ООО ООО ООО ООО ООО ООО ООО ООО ООО ООО ООО ООО 9®® ®@@ ®@@ ®@® ®@® ® @@ ®@0 ®00 ООО @®0 ООО ®®0
, ООО ООО ООО ООО ООО ООО , , ООО ООО ООО ООО ООО ООО .
г) разорванная граница
F
ООО ООО ООО ООО ООО 0«О 9Ш9 оо® ®«о 9Ш»
, ООО ООО ООО ООО ООО ,
Lb ^
Рис. 2. Основные типы ошибок, вносимых ОП и ЛГ
Fig. 2. Principal types of errors introduced by the EDA (edge detection algorithm)
0 Точка изображения 0 Элемент идеальной границы (3 Элемент смазанной или смещёной границы Точка разрыва
• необходимый объем памяти для проведения обработки.
Все рассмотренные в литературе метрики эффективности поиска границ РКП изображений можно разделить на шесть классов (рис. 3). К первому классу относятся аналитические метрики, позволяющие наиболее глубоко проникать в физику явлений, но являющиеся наиболее трудоёмкими с точки зрения проведения исследований и требующие для этих целей специалистов высокой квалификации. К основным метрикам этого класса можно отнести метрики, рассмотренные в работах I. Abdou и W. Pratt, E. Lyvers и O. Mitchell, J. Canny [1-3]. Второй класс обобщает метрики эффективности (в дальнейшем растровые метрики), полученные на основе сопоставления точек эталонного изображения с точками апостериорного РКП. Это наиболее глубоко проработанный класс метрик эффективности. К основополагающим работам, описывающим данные метрики, можно отнести работы I. Abdou и W. Pratt, L. Kitchen и A. Rosenfeld, S. Venkatesh и L. Kitchen [1, 4, 10], а также ряд других работ [5, 9, 11, 19]. Третий класс метрик эффективности - геометрические метрики, в которых за основу сравнения качества получаемого РКП был взят ряд геометрических величин, описывающих фрагменты РКП изображения (авторы G. Shaw, M. Shin, D. Goldgof и K. Bowyer [8, 12]).
К четвертому классу метрик эффективности относятся метрики, позволяющие производить сравнение ОП и ЛГ на основе требований функциональной эффективности. Примеры таких метрик приведены в работах Д. Дубинина, А. Кочегурова, В. Лаевского (Geringer), где оценка ОП и ЛГ производилась на основе обобщённого показателя качества. Пятый класс метрик рассмотрен в работах
D. Martina, J. Malika, I. Boaventura, A. Gonzaga и A. Haldera [25-28], в которых приведены методы локализации границ на основе статистического решения задачи бинарной классификации. Для оценки эффективности поиска и локализации границ авторы предлагают ввести комплексный показатель качества [27], позволяющий проводить оценку правильного обнаружения границ, ошибок первого и второго рода локализации границ и на основе метрики Прата оценивать качество получаемой границы. Шестой класс метрик - это субъективные метрики, рассмотренные, например, в работах M. Heath, S. Sarkar, T. Sanocki и K. Bowyer [29]. Данные авторы описывают методику оценки эффективности ОП и ЛГ посредством совокупности визуальных критериев качества на основе субъективных оценок кворума экспертов с последующей детальной статистической обработкой результатов опроса.
Тогда для создания фундаментальных основ проведения оценки эффективности ОП и ЛГ необходимо обобщить опыт объективных подходов (классы метрик со второго по пятый). При этом необходимо понимать, что значительное увеличение количества метрик эффективности не приводит к автоматическому увеличению качества получаемых оценок. Поэтому в работе для получения объективной оценки эффективности выделения РКП предложены следующие пять метрик:
1) схожесть РКП с априорно известным векторным описанием положения границ (F);
2) оценка ширины контурных линий РКП (W);
3) оценка средней длины разрывов РКП (L);
4) оценка полной арифметической сложности реализации ОП и ЛГ (А);
5) оценка смещения РКП относительно векторного описания границ (S).
* требованиях функциональной эффективности
Рис. 3. Классификация метрик эффективности работы операторов поиска и локализации границ Fig. 3. Classification of efficiency metrics for edge detection algorithms
Теперь, для более детального понимания метрик эффективности выделения РКП, приведем результат пороговой обработки градиентного изображения в виде:
Кх,,) П
|0, я(х,у) <Т,
где £(х,у) - градиентное изображение; Т=/(х,у) -адаптивная величина порога; Ъ(х,у) -бинарное изображение РКП.
Как видно из выражения, функция Ъ(х,у) зависит как от входных параметров вектора I6, так и от величины адаптивного порога Т=-(х,у). Далее будем учитывать, что зависимость функции Ъ(х,у) от вектора Р существует, но указывать ее не будем. При этом абсолютно понятно, что для выполнения адресации значений бинарного изображения Ъ(х,у) на основе совокупности параметров оператора оконтуривания нам потребуется изменение параметров вектора Р=(0\а,...,у).
Теперь для описания предложенных ранее метрик, примем: у(],1) - структура данных контурных векторов, где у1Ц,1) - значения координат по оси х, у1Ц,1) - значения координат по оси у для отдельно взятой ¿-й точки в /-м контурном векторе. Тогда пять данных метрик можно представить в виде.
1. Оценка подобия контурного вектора с РКП Сопоставляя описания границ, полученных в
процессе выделения РКП Ъ(х,у), с априорно известным векторным описанием контуров, величину подобия границ можно найти из соотношения: N
, М X Ъ[УХ,У (]' 0]
р=—X --,
М% N где %,у(/,1) - структура данных описания контуров; / - индекс контурного вектора; I - индекс точки в /-м контурном векторе; - длительность /-го контурного вектора; М - количество контурных векторов.
2. Оценка ширины контурной линии
Величина, характеризующая ширину найденной контурной линии, определяется из выражения:
N
1 М X +хяАх,¥ +уяАу О, ')] ЯАКФ (ХЯ ' Уя ) = М X N '
где ЕАКФ - функция автокорреляции; Ах и Ау - шаг сдвига соответственно по горизонтали и вертикали; хя и ув - величина сдвига.
Рис. 4. Процесс вычисления корреляционной функции Fig. 4. Calculating the autocorrelation function
Рис. 5. Последовательность точек в j-м контурном векторе Fig. 5. Sequence of points in the j-th edge vector
Значения функций корреляции в горизонтальном, вертикальном и диагональных направлениях рассчитываются на основе ЕАКФ (рис. 4).
После усреднения автокорреляционной функции получаем значения сдвига на одну, две, три точки.
rd (0, п) + rd (п, п) + rd (п, 0)
Rу (n) = -
3
1 M
L = — У
Nj - У b[vxy (J, i)]
К
Таблица. Оценка вычислительной сложности операций Table. Estimation of computational cost of operations
Операция/Operation
Весовой коэффициент, at Weight coefficient, at
Значение/Value
Оценки сложности/Complexity estimates
[+] [-] [■] [/] [V] [ATAN] [MOD]
ai a2 a- a4 a5 ae a,
1 1 4,2 4,5 12,85 12,84 9,30
где иеЫ, п=1,2,...Д; J - максимальное значение сдвига.
Полученные кривые являются убывающими функциями положительного аргумента. При достижении корреляционной функцией определённого значения формируется оценка ширины контурной линии. За величину значения W берётся наибольшее целое, при котором выполняется условие (Я^)-0,65)>0.
3. Оценка средней длины разрывов РКП
Важным параметром является средняя длина разрыва РКП Ь, возникающая из-за воздействия шумов. Под их воздействием разрушается контурное поле (рис. 5), а в некоторых случаях даже появляются ложные границы (рис. 2). В этой связи для оценки связности контура используется выражение:
Расчёт полной арифметической сложности ОП и ЛГ производился по следующей формуле:
КТТАГ
К
max[ К
ПАС, ' КПАС2
, К
; У
где I - номер реализации оператора; и - количество исследуемых операторов; КПАС, арифметическая сложность ОП и ЛГ.
5. Оценка смещения РКП
Воздействие шума в ряде случаев может привести к горизонтальному или вертикальному смещению получаемого РКП (рис. 2). В связи с этим была введена метрика эффективности ОП и ЛГ, позволяющая оценить сдвиг. Оценка проводится при помощи вычисления автокорреляционной функции Я(х,у). Метрика эффективности оценки смещения Еот(хв,ув) определяется по формуле:
где КI - количество секторов в /-м векторе; N -длина /-го контурного вектора.
4. Оценка сложности операторов получения РКП
Выделение РКП требует определенного времени, величина которого существенно зависит от вычислительной сложности реализации ОП и ЛГ. В данной работе оценка полной вычислительной сложности А рассматриваемой реализации ОП и ЛГ находится путем весового суммирования вычислительной сложности отдельных математических операций, выполнение которых необходимо для определения границы. Значение А определяется по формуле:
А = а1 +] + а2 _ + а3 х] + а4 М[7] +
+ а5 + абМ[ АГАМ] + а7 М1МОВ ]>
где а1,аг,^,а7 - весовые коэффициенты сложности; N[+], N[_], N[.], м, N[ATAN], N{MоЩ - количество операций сложения, вычитания, умножения, деления, вычисления функций квадратного корня, арктангенса, определение остатка целочисленного деления соответственно.
Результаты оценки сложности математических операций приведены в таблице. Данные результаты получены на основе проведенного на ЭМВ вычислительного эксперимента, в котором за единицу расчета сложности была принята операция сложения.
1 M
=—У
J ( XR , Ук ) =
NJ
У b[v X+Xr Д x ,Y+УкД y ( J, i)]
N'
->MAX.
xR . УК
Опорное значение В.'от метрики эффективности «сдвига контура» определяется из выражения
Я0//1е1 =у1 в2 + н2,
где В - величина интервала вычисления функции корреляции в горизонтальном направлении; Н -величина интервала вычисления функции корреляции в вертикальном направлении.
Значение В в общем случае будет равно Н. Тогда оценку сдвига РКП можно найти как:
S =
\lxR + yR
R'
OJJJset
где хв и ув - сдвиг по горизонтали и вертикали.
Так как 5 является функцией возрастающей, то чем меньше будет значение смещения РКП, тем будет лучше.
Обобщенный критерий оценки качества
Сравнительная оценка результатов работы ОП и ЛГ, как правило, требует решения уравнения с несколькими метриками эффективности. Для сравнения различных реализаций ОП и ЛГ необходимо свести совокупность выбранных метрик эффективности к обобщенному (результирующему) показателю качества. Существуют различные методы такого сведения [30-33]. Причём, во многих
i=,
работах часто используется метод весового суммирования [10, 20, 34]. Назначение весов метрик является ключевым моментом при формировании обобщенного критерия оценки качества на основе известных метрик эффективности. При этом необходимо понимать, что выбор весов на основе мнений экспертов/специалистов в этой области зачастую вносит известную долю субъективизма. Возможно использование и других подходов при расстановке значений весов. Например, в работе [34] для получения весовых коэффициентов использовалась шкала Фишберна.
При формировании отдельных критериев оценки качества нужно учесть два условия. Во-первых, меньшее значение отдельной метрики эффективности должно соответствовать лучшей системе [30, 35]. Те из метрик, которые не соответствуют этому условию (в данной работе такой метрикой является оценка схожести контурного вектора с РКП), должны быть преобразованы.
Во-вторых, поскольку отдельные метрики имеют разные размерности, следует использовать их относительные значения. Нормирующие значение для каждой метрики выбиралось как максимальное значение из совокупности, получаемой при работе оцениваемых контурных операторов.
Приведенные выше характеристики детектирования с учетом названных условий позволили сформировать следующие метрики:
1 - р Ш
К =-
К =
1 -min (F,F2,..., Fu) _L_
max (L1,L2,..., Lu) '
К =-
K2 =-
К 4 =
S
max (W1, W2,..., WU) A
max (A1, A2,..., Ay) '
max (S1, S2,..., Sy)
Используя функцию весового суммирования, был сформирован обобщенный критерий качества РКП:
Рис. 6. Fig. 6.
La (оценка средней яркости), CEMS (контрастность) для эталонных изображений La (estimate of the average brightness), CEMS (contrast) for the reference images
Рис. 7. Fig. 7.
48 41 34 28 21 14 8 1 48 41 34 28 21 14 8 1
PSNR [дБ] PSNR [дБ]
□ MRE: Multiples responses error U OE: Omission error ■ LE\ Localization error
Весовое сопоставление основных видов ошибок (Delt=60) Weight comparison of the main types of errors (Delt=60)
ЕМ = Х1К1 + Я2 К2 + Я3 К3 + Я4 К4 + Я5 К5 = , (1)
/=1
где Я2, Я3, Я4, Я5 - весовые коэффициенты для метрик эффективности, дающие в сумме единицу.
Значения весовых коэффициентов метрик эффективности определялись в зависимости от предметной области применения операторов, используемого программно-аппаратного обеспечения, учёта границ изменения каждой из выбранных метрик, а также конкретных условий реализации ОП и ЛГ. В данной работе использовались следующие значения весовых коэффициентов:
{а= 0,4; ¡ = 0,05; у= 0,4; 5= 0, 1; е= 0,05}.
Результаты вычислительного эксперимента
Сравнительный анализ проводился с помощью технологий стохастического компьютерного моделирования в среде программного комплекса «КИМ СП» на примере исследования трех квазиоптимальных алгоритмов оконтуривания («Canny», «Marr» и «ISEF») при различных уровнях шума. Для этого были получены эталонные изображения морфологий «А», «В», «С», «D» и «F» на основе двумерного рекуррентного точечного потока восстановления [21]. Расчёты проводились при различных значениях контрастности монохромных эталонных изображений. В качестве границы контура использовалась модель идеального перепада (Step edge). На рис. 6 приведены полученные ус-
Marr-Hiildreth
Рис. 8. Зависимость FM от отношения сигнал/шум
Fig. 8. Dependence of FM on the peak signal-to-noise ratio for the reference images of «A» and «С» morphology
PSNR [дБ]
Рис. 9. Зависимость FM от отношения сигнал/шум
Fig. 9. Dependence of FM on the peak signal-to-noise ratio for the reference images of «D» and «F» morphology
реднённые значения яркости (LA: average luminance) и контрастности (CEMS: root mean square contrast). Значение «Delt» описывало минимальную разницу по яркости между областями-сегментами эталонного изображения. В качестве исходных данных при тестировании и отладке использовались растровые изображения шахматной доски (типа «Ches»). Для наглядного сравнения основных ошибок операторов поиска и локализации границ были построены три зависимости (рис. 7), на которых производилось сопоставление величин, вносимых ошибками MRE, OE и LE для различных операторов поиска и локализации границ.
Далее оценивались полученные значения пяти предлагаемых метрик эффективности и величина обобщенного аддитивного показателя качества (1),
построенного на их основе для различных отношений сигнал/помеха. Некоторые, наиболее важные, результаты вычислительного эксперимента приведены на рис. 8, 9. Из рисунков следует, что различные ОП и ЛГ по-разному восприимчивы к влиянию шума. Наиболее устойчивым оказался детектор Marr, причем для всех типов морфологий. Наименее устойчивым оказался детектор Canny. Исключение для него составил рисунок с морфологией «F», т. е. в случае применения данного детектора диагональные границы изображений (мозаика типа «F») выделяются гораздо лучше, чем горизонтальные и вертикальные (мозаика типа «А»). Так, из рис. 10 следует, что обобщенный показатель качества в первом случае в 1,5-2 раза меньше, чем во втором.
Рис. 10. Зависимость FMa/FMf от отношения сигнал/шум Fig. 10. Dependence of FMa/FMf on the peak signal-to-noise ratio
Заключение
Проведенный анализ методов оценивания операторов поиска и локализации границ дал возможность провести классификацию данных методов и метрик эффективности их работы, что позволило в свою очередь сформулировать основные требования к контурным детекторам. Предлагаемый в работе метод оценки качества РКП на основе точечного потока восстановления и обобщенного критерия качества дал возможность получать объективные оценки работы контурных детекторов. Представленный механизм оценки реализован в про-
граммном комплексе «КИМ СП», что позволяет непосредственно производить количественное сравнение между собой ОП и ЛГ, выявлять тенденции поведения операторов и давать объективные рекомендации по использованию операторов в определённых условиях. Полученные результаты имеют важное значение для надежного выделения границ на изображениях пространственно-временных полей, получаемых, например, при зондировании земли из космоса.
Работа выполнена при поддержке гранта РФФИ (№ 18-07-01007).
СПИСОК ЛИТЕРАТУРЫ
1. Abdou I., Pratt W. Quantitative Design and Evaluation of Enhancement/Thresholding Edge Detectors // Proceedings of the IEEE. - 1979. - V. 67. - № 5. - P. 753-763.
2. Lyvers E., Mitchell O. Precision Edge Contrast and Orientation Estimation // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1988. -V. 10. - № 6. - P. 927-937.
3. Canny J. A Computational Approach to Edge Detection // IEEE Trans. Pattern Analysis and Machine Intelligence. - 1986. -V. 8.- №6. - P. 679-698.
4. Kitchen L., Rosenfeld A. Edge Evaluation Using Local Edge Coherence // IEEE Transactions on Systems. - 1981. - V. 11. -№ 9. - P. 597-605.
5. Cho K., Meer P., Cabrera J. Performance Assessment Through // Bootstrap. IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1997. - V. 19. - № 11. - P. 1185-1198.
6. A Robust Visual Method for Assessing the Relative Performance of Edge Detection Algorithms / M. Heath, S. Sarkar, T. Sanocki, K. Bowyer // IEEE Trans. Pattern Analysis and Machine Intelligence. -1997. - V. 19. - № 12. - P. 1338-1359.
7. Fram J., Deutsch E. On the Quantitative Evaluation of Edge Detection Schemes and Their Comparison with Human Performance //
IEEE Transactions on Computers. IEEE Computer Society. -1975. - V. 24. - №6. - P. 616-628.
8. Shaw G. Local and Regional Edge Detectors: Some Comparisons // Computer Graphics and Image Processing. - 1979. - № 9. -P. 135-149.
9. Bryant D., Bouldin D. Evaluation of Edge Operators Using Relative and Absolute Grading // In Proc. Pattern Recognition and Image Processing. IEEE Computer Society. - 1979. - P. 138-145.
10. Venkatesh S., Kitchen L. Edge Evaluation Using Necessary Components // Computer Vision, Graphics, and Image Processing. -1992. - V. 54. - № 1. - P. 23-30.
11. Salotti M., Bellet F., Garbay C. Evaluation of Edge Detectors: Critics and Proposal // Proceed of the ECCV Workshop on Performance Characteristics of Vision Algorithms. - Cambridge, UK, 1996. - P. 81-97.
12. Shin M., Goldgof D., Bowyer K. An Objective Comparison Methodology in Edge Detection Algorithms Using a Structure from Motion Task // Empirical Evaluation Techniques in Computer Vision / Eds. K. Bowyer, P. Phillips. - Los Alamitos: IEEE Computer Society Press, 1998. - P. 190-195.
13. Fowlkes C., Martin D., Malik J. The Berkeley Segmentation Dataset and Benchmark. URL: www.cs.berkeley.edu/projects/vi-sion/grouping/segbench/ (дата обращения 18.12.2018).
14. Affine Invariance Study of Edge Detection Algorithms by Means of PICASSO 2 System / I.V. Gribkov, P.P. Koltsov et al. // Proc. 6th WSEAS Int. Conf. on Signal, Speech and Image Processing. -Lisbon, Portugal, 2006. - P. 11-16.
15. Некоторые методы сравнительного исследования детекторов границ / А.В. Захаров, П.П. Кольцов, Н.В. Котович и. др. // Труды НИИСИ РАН. - 2012. - Т. 2. - № 1. - C. 4-13.
16. Кольцов П.П. Об одном подходе к оценке качества обработки видеографической информации // Программные продукты и системы. - 2013. - № 4. - С. 2-10.
17. О количественной оценке эффективности алгоритмов анализа изображений / П.П. Кольцов, А.С. Осипов, А.С. Куцаев и. др. // Компьютерная оптика. - 2015. - Т. 39. - № 4. - С. 542-556.
18. Dubinin D., Geringer V., Kochegurov A. A Particular Method of Modelling Stochastic Intensity Fields by Isotropic, One-Step Markov Chains // Technisches Messen. - 2012. - № 5. - P. 271-276.
19. An efficient method to evaluate the performance of edge detection techniques by a two-dimensional Semi-Markov model / D.V. Dubinin, V.E. Geringer, A.I. Kochegurov, K. Eeif // IEEE Symposium Series on Computational Intelligence - 4 IEEE Symposium on Computational Intelligence in Control and Automation (SSCI - CICA 2014), Proceedings. - Orlando, United States, 2014.- № 7013248. - P. 1-7.
20. Ein stochastischer Algorithmus zur Bildgenerierung durch einen zweidimensionalen Markoff-Erneuerungsprozess / D. Dubinin, V. Geringer, A. Kochegurov, K. Eeif // Automatisierungstechnik. - 2014. - V. 62. - № 1. - S. 57-64.
21. Результаты исследования комплексного метода оценки качества оконтуривания на основе двухмерного точечного потока восстановления / В.П. Денисов, Д.В. Дубинин, А.И. Кочегуров, В.Е. Лаевский (Geringer) // Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева. - 2015. - Т. 16. - № 2. - C. 300-309.
22. Dubinin D., Kochegurov A., Geringer V. The Results of a Complex Analysis of the Modified Pratt-Yaskorskiy Performance Metrics Based on the Two-Dimensional Markov-Eenewal-Process // Lecture Notes in Computer Science. - 2016. - V. 9875. - P. 187-196.
23. Ланге М.М., Новиков Н.А. Сегментация изображений с использованием древовидных описаний кластеров в многомерном пространстве признаков // Техническое зрение в системах управления мобильными объектами-2010. Труды научно-технической конференции / под ред. Р. Назирова. - М.: КДУ, 2011. - Вып. 4. - С. 291-303.
24. Nguyen T., Ziou D. Contextual and non-contextual performance evaluation of edge detectors // Pattern Eecognition Letters. -2000. - V. 21. - P. 805-816.
25. Bowyer K., Kranenburg C., Dougherty S. Edge detector evaluation using empirical EOC curves // Computer Vision and Image Understanding. - 2001. - V. 84. - № 1. - P. 77-103.
26. Martin D., Fowlkes C., Malik J. Learning to Detect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues // IEEE Trans. on PAMI. - 2004. - V. 26. - № 5. - P. 530-549.
27. Boaventura I., Gonzaga A. Method to Evaluate the Performance of Edge Detector // SIBGEAPI 2009: XXIInd Brazilian Symposium on Computer Graphics and Image Processing. - Eio de Jani-ero, Brazil, 2009. - P. 1-3.
28. Edge detection: a statistical approach / A. Halder, N. Chatterjee, A. Kar et al. // Electronics Computer Technology (ICECT), 2011 3rd International Conference. - Kanyakumari, India, 2011.- V. 2. - P. 306-309.
29. Are Edges Sufficient for Object Eecognition / Th. Sanocki, K.W. Bowyer, M.D. Heath, S. Sarkar // Journal of Experimental Psychology: Human Perception and Performance. - 1998. -V. 24. - № 1. - P. 340-349.
30. Zhou Z., Farhat F., Wang J.Z. Detecting Dominant Vanishing Points in Natural Scenes with Application to Composition-Sensitive Image Eetrieval // IEEE Transactions on Multimedia. - 2017. -V. 19. - № 12. - P. 2651-2665.
31. Некоторые фундаментальные вопросы эмпирического оценивания систем компьютерного зрения / П.П. Кольцов, А.С. Осипов, Р.М. Сотнезов и др. // Машинное обучение и анализ данных. - 2018. - Т. 4. - № 1. - С. 52-68.
32. Осипов А.С. Об использовании элементов нечёткой логики в оценке алгоритмов идентификации лиц // Труды НИИСИ РАН. - 2016. - Т. 6. - № 2. - С. 62-69.
33. Осипов А.С. Нечёткие меры и их использование в оценке алгоритмов компьютерного зрения // Труды НИИСИ РАН. -2017.- Т. 7. - № 1. - С. 46-57.
34. Debnath S.,Changder S. An Amalgam Approach to Detect Edges Using Ultrametric Contour Map in Natural Scene Images // 9th International Conference on Advanced Computing, ICoAC 2017. -Chennai, India, 2018. - № 8441200. - P. 81-86.
35. Мурашов Д.М. Применение теоретико-информационного подхода для сегментации изображений // Машинное обучение и анализ данных. - 2016. - Т. 2. - № 2. - С. 231-243.
Поступила 21.01.2019 г.
Информация об авторах
Кочегуров А.И., кандидат технических наук, доцент отделения информационных технологий Инженерной школы информационных технологий и робототехники Национального исследовательского Томского политехнического университета.
Дубинин Д.В., кандидат технических наук, доцент кафедры радиоэлектроники и защиты информации Томского государственного университета систем управления и радиоэлектроники.
Виктор Герингер, кандидат наук, заведующий лабораторией автомобильной электроники Баден-Вюртем-бергского объединенного государственного университета.
Конрад Рейф, доктор философии, профессор Баден-Вюртембергского объединенного государственного университета.
UDC 004.021;004.932;519.673+519.24+621.391
ESTIMATION OF THE EFFICIENCY OF CONTOUR DETECTORS ON THE BASIS OF A POINT RECOVERY FLOW
Alexander I. Kochegurov1,
Dmitriy V. Dubinin2,
Viktor Geringer3,
Konrad Reif3,
1 National Research Tomsk Polytechnic University, 30, Lenin Avenue, Tomsk, 634050, Russia.
2 Tomsk State University of Control Systems and Radioelectronics, 40, Lenin Avenue, Tomsk, 634050, Russia.
3 Baden-Wuerttemberg Cooperative State University, Friedrichshafen, 2Fallenbrunen, Friedrichshafen, 88045, Germany.
Relevance. Currently, much attention is paid to development of efficient systems designed for processing, storing and transmitting large streams of information obtained in the form of images of space-time fields in such areas of human activity as cosmonautics, geology and geophysics, cartography, navigation, defectoscopy and many others. In most of these systems, when implementing detection algorithms, real images are used as reference images. For example, this is typical for isolation and tracing of the boundaries of reflected waves in images of seismic fields obtained by searching for oil and gas fields. Representation of reference images in the form of real images allows you to adjust the algorithm to a specific subject area, but complicates the assessment of the quality of the algorithm used and the conduct of its objective comparison with other algorithms that implement similar procedures.
The aim of the research is to investigate the effectiveness of selection of the contour pattern of images by different detection algorithms based on a generalized complex criterion proposed by the authors of this work. This will allow us to approach objectively to selection of the best detection algorithm and the optimal values of its parameters for any subject area.
Methods and means of research. When conducting experiments, the methods of stochastic modeling of space-time signals and fields were used. The computational experiment itself was conducted in the environment of the «KIM SP» software complex. Results. The authors have carried out the analysis of methods for evaluating search operators and localization of boundaries and summarized the main types of errors. On the basis of the proposed classification of metrics for the efficiency of contour detectors, a generalized comprehensive criterion for assessing the quality of selection of contour patterns in images is considered, the possible components of a generalized quality indicator and formal approaches to the choice of weighting coefficients of metrics are shown. The paper introduces the example of implementation of a generalized quality indicator, including five metrics; its effectiveness is investigated for three quasi-optimal contouring algorithms («Canny», «Marr» and «ISEF») at various noise levels. The conducted research allowed drawing the conclusions on the objectivity of the obtained results and giving recommendations on the use of contouring algorithms.
Key words:
Contour detectors, operators of search and localization of boundaries, space-time signals and fields, stochastic modeling, reference images, performance metrics, two-dimensional point-like recovery flow.
The work was funded by the Russian Foundation for Basic Research Grants under grant no. 18-07-01007.
REFERENCES
1. Abdou I., Pratt W. Quantitative Design and Evaluation of Enhancement/Thresholding Edge Detectors. Proceedings of the IEEE, 1979, vol. 67, no. 5, pp. 753-763.
2. Lyvers E., Mitchell O. Precision Edge Contrast and Orientation Estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1988, vol. 10, no. 6, pp. 927-937.
3. Canny J. A Computational Approach to Edge Detection. IEEE Trans. Pattern Analysis and Machine Intelligence, 1986, vol. 8, no. 6, pp. 679-698.
4. Kitchen L., Rosenfeld A. Edge Evaluation Using Local Edge Coherence. IEEE Transactions on Systems, 1981, vol. 11, no. 9, pp. 597-605.
5. Cho K., Meer P., Cabrera J. Performance Assessment Through. Bootstrap. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, vol. 19, no. 11, pp. 1185-1198.
6. Heath M., Sarkar S., Sanocki T., Bowyer K. A Robust Visual Method for Assessing the Relative Performance of Edge Detection Algorithms. IEEE Trans. Pattern Analysis and Machine Intelligence, 1997, vol. 19, no. 12, pp. 1338-1359.
7. Fram J., Deutsch E. On the Quantitative Evaluation of Edge Detection Schemes and Their Comparison with Human Performance. IEEE Transactions on Computers. IEEE Computer Society, 1975, vol. 24, no. 6, pp. 616-628.
8. Shaw G. Local and Regional Edge Detectors: Some Comparisons. Computer Graphics and Image Processing, 1979, no. 9, pp. 135-149.
9. Bryant D., Bouldin D. Evaluation of Edge Operators Using Relative and Absolute Grading. Pattern Recognition and Image Processing. IEEE Computer Society, 1979. pp. 138-145.
10. Venkatesh S., Kitchen L. Edge Evaluation Using Necessary Components. Computer Vision, Graphics, and Image Processing, 1992, vol. 54, no. 1, pp. 23-30.
11. Salotti M., Bellet F., Garbay C. Evaluation of Edge Detectors: Critics and Proposal. Proceed of the ECCV Workshop on Performance Characteristics of Vision Algorithms. Cambridge, UK, 1996. pp. 81-97.
12. Shin M., Goldgof D., Bowyer K. An Objective Comparison Methodology in Edge Detection Algorithms Using a Structure from Motion Task. Empirical Evaluation Techniques in Computer Vision. Eds. K. Bowye, P. Phillips. Los Alamitos, IEEE Computer Society Press, 1998. pp. 190-195.
13. Fowlkes C., Martin D., Malik J. The Berkeley Segmentation Dataset and Benchmark. Available at: www.cs.berkeley.edu/proj-ects/vision/grouping/segbench/ (accessed 18 December 2018).
14. Gribkov I.V., Koltsov P.P. Affine Invariance Study of Edge Detection Algorithms by Means of PICASSO 2 System. Proc. 6th WSEAS Int. Conf. on Signal, Speech and Image Processing. Lisbon, Portugal, 2006. pp. 11-16.
15. Koltsov P.P., Kotovich N.V., Zakharov A.V. Nekotorye metody sravnitelnogo issledovaniya detektorov granits [Some methods for comparative studies of border detectors]. Trudy NIISI RAN, 2012, vol. 2, no. 1, pp. 4-13.
16. Koltsov P.P. Ob odnom podkhode k otsenke kachestva obrabotki videograficheskoy informatsii [On one approach to assessing the quality of processing video information]. Programmnye prpdukty i sistemy, 2013, no. 4, pp. 2-10.
17. Koltsov P.P., Osipov A.S., Kutsaev A.S. On the quantitative performance evaluation of image analysis algorithms. Computer Optics, 2015, vol. 39, no. 4, pp. 542-556. In Eus.
18. Dubinin D., Geringer V., Kochegurov A. A Particular Method of Modelling Stochastic Intensity Fields by Isotropic, One-Step Markov Chains. Technisches Messen, 2012, no. 5, pp. 271-276.
19. Dubinin D.V., Geringer V.E., Kochegurov A.I., Eeyf K. An efficient method to evaluate the performance of edge detection techniques by a two-dimensional Semi-Markov model. IEEE Symposium Series on Computational Intelligence - 4 IEEE Symposium on Computational Intelligence in Control and Automation (SSCI - CICA 2014), Proceedings. Orlando, United States, 2014. No. 7013248, pp. 1-7.
20. Dubinin D., Geringer V., Kochegurov A., Eeif K. Ein stochas-tischer Algorithmus zur Bildgenerierung durch einen zweidimen-sionalen Markoff-Erneuerungsprozess [A stochastic algorithm for generating images by two-dimensional Semi-Markov Model]. Automatisierungstechnik, 2014, vol. 62, no. 1, pp. 57-64. In Ger.
21. Denisov V.P., Dubinin D.V., Kochegurov A.I., Geringer V.E. Ee-zultaty issledovaniya kompleksnogo metoda otsenki kachestva okonturivaniya na osnove dvukhmernogo tochechnogo potoka vosstanovleniya [The results of the study of an integrated method for assessing the quality of contouring based on a two-dimensional point-like reconstruction flow]. Vestnik Sibirskogo gosudar-stvennogo aerokosmicheskogo universiteta im. Akademika M.F. Reshetneva, 2015, vol. 16, no. 2, pp. 300-309.
22. Dubinin D., Kochegurov A., Geringer V. The Eesults of a Complex Analysis of the Modified Pratt-Yaskorskiy Performance
Metrics Based on the Two-Dimensional Markov-Renewal-Process. Lecture Notes in Computer Science, 2016, vol. 9875, pp. 187-196.
23. Lange M.M., Novikov N.A. Segmentatsiya izobrazheniya s ispolzo-vaniem drevovidnykh opisanii klasterov v mnogomernom pro-stranstve priznakov [Image segmentation using tree-like cluster descriptions in the multidimensional feature space]. Tekhnicheskoe zrenie v sistemakh upravleniya mobilnymi obektami-2010. Trudy naucho-tekhnicheskoy konferentsii. [Technical view in control systems of mobile objects-2010. Proc. of scientific conference]. Ed. by R. Nazirov. Moscow, KDU Publ., 2011, vol. 4, pp. 291-303.
24. Nguyen T., Ziou D. Contextual and non-contextual performance evaluation of edge detectors. Pattern Recognition Letters, 2000, vol. 21, pp. 805-816.
25. Bowyer K., Kranenburg C., Dougherty S. Edge detector evaluation using empirical ROC curves. Computer Vision and Image Understanding, 2001, vol. 84, no. 1, pp. 77-103.
26. Martin D., Fowlkes C., Malik J. Learning to Detect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues. IEEE Trans. on PAMI, 2004, vol. 26, no. 5, pp. 530-549.
27. Boaventura I., Gonzaga A. Method to Evaluate the Performance of Edge Detector. SIBGRAPI2009: XXIInd Brazilian Symposium on Computer Graphics and Image Processing. Rio de Janiero, Brazil, 2009. pp. 1-3.
28. Halder A., Chatterjee N., Kar A. Edge detection: a statistical approach. Electronics Computer Technology (ICECT), 2011 3rd International Conference. Kanyakumari, India, 2011. Vol. 2, pp. 306-309.
29. Sanocki Th., Bowyer K.W., Heath M.D., Sarkar S. Are Edges Sufficient for Object Recognition. Journal of Experimental Psychology: Human Perception and Performance, 1998, vol. 24, no. 1, pp. 340-349.
30. Zhou Z., Farhat F., Wang J.Z. Detecting Dominant Vanishing Points in Natural Scenes with Application to Composition-Sensitive Image Retrieval. IEEE Transactions on Multimedia, 2017, vol. 19, no. 12, pp. 2651-2665.
31. Koltsov P.P., Osipov A.S., Sotnezov R.M. Some fundamental issues of empirical evaluation for computer vision systems. Machine Learning and Data Analysis, 2018, vol. 4, no. 1, pp. 52-68. In Rus.
32. Osipov A.S. Ob ispolzovanii elementov nechetkoy logiki v otsenke algoritmov identifikatsii [On the use of fuzzy logic in evaluation of the face detection algorithms]. Trudy NIISI RAN, 2016, vol. 6, no. 2, pp. 62-69.
33. Osipov A.S. Nechetkie mery i ikh ispolzovanie v otsenke algorit-mov kompyuternogo zreniya [On the use of fuzzy similarity measures in evaluation of the computer vision algorithms]. Trudy NIISI RAN, 2017, vol. 7, no. 1, pp. 46-57.
34. Debnath S., Changder S. An Amalgam Approach to Detect Edges Using Ultrametric Contour Map in Natural Scene Images. 9th International Conference on Advanced Computing, ICoAC 2017. Chennai, India, 2018. No. 8441200, pp. 81-86.
35. Murashov D.M. Application of information-theoretical approach for image segmentation. Machine Learning and Data Analysis, 2016, vol. 2, no. 2, pp. 231-243.
Received: 21.01.2019.
Information about the authors
Alexander I. Kochegurov, Cand. Sc., associate professor, National Eesearch Tomsk Polytechnic University.
Dmitriy V. Dubinin, Cand. Sc., associate professor, Tomsk State University of Control Systems and Eadioelectronics.
Viktor Geringer, Cand. Sc., Head of the Automotive Electronics Laboratory, Baden-Wuerttemberg Cooperative State University.
Konrad Reif, PhD., professor, Baden-Wuerttemberg Cooperative State University.
