CC BY
97
УДК 621.391
О М. В. Хариное
УСТОЙЧИВАЯ СЕГМЕНТАЦИЯ ИЗОБРАЖЕНИЯ1
Статья посвящена так называемой «проблеме сегментации», возникающей в области автоматического распознавания цифровых изображений на стадии выделения визуально воспринимаемых объектов. Для достоверного выделения и распознавания объектов в нашем подходе известный гистограммный метод Оцу (1979) объединяется с моделью Мамфорда - Шаха сегментации изображения по локальным признакам (1985), которая опирается на понятие оптимального приближения изображения ступенчатой (кусочнопостоянной) функцией. В статье, на стандартном примере реального изображения, демонстрируются оптимальные приближения, полученные перебором пороговых значений по участкам яркостной гистограммы. Решается задача исключения перебора вариантов за счет учета пространственного распределения пикселей в изображении. Для получения решения определяется условие устойчивой сегментации, которое тестируется на стандартном примере.
Ключевые слова: сегментация, среднеквадратичное отклонение, минимизация, оптимальные приближения, перекрывающиеся разбиения, слияние сегментов, условие устойчивости.
М. V Kharin ov
STABLE IMAGE SEGMENTATION
The article is devoted to so-called Segmentation Problem that occurs in domain of automatic recognition of digital images when detecting of visually perceived objects. For proved object detection and recognition the famous histogram Otsu’s method (1979) is combined with Mumford-Shah model (1985) of local (bottom up) segmentation basing on the optimal piecewise constant image approximations. The article presents the optimal approximations for the standard example of the real image obtained by exhaustive search of histogram thresholds in limited intensity ranges. To avoid an exhaustive search the spatial distribution of pixels in an image is taken into account. At that the stability condition for the segmented images is derived and tested on the standard image.
Keywords: segmentation, standard deviation, minimization, optimal approximations, overlapping partitions, segment merging, stability condition.
Введение
В области компьютерного распознавания изображений ключевой проблемой является формальное определение понятия «объектов», которые должен выделить компьютер прежде, чем приступить к выделению признаков и идентификации объектов развитыми средствами распознавания образов [1, 2]. Под выделением объектов понимается указание занимаемых ими участков изображения, которые обычно задают перечислением связных сегментов, вычисляемых в результате сегментации.
В современной литературе проблему сегментации часто относят к слабо формализованным, что справедливо, если сегментация определяется не как результат, а как процесс разбиения пикселей изображения на множества по некоторому алгоритму. В этом случае, результирующее разбиение зависит от особенностей входных данных, что приводит к разделению изображений на ряд предметных областей (телевизионных, аэрокосмических, медицинских и пр.), для которых разрабатываются конкретные алгоритмы сегментации. В более точной постановке проблема сегментации состоит в определении сегментированного изображения независимо от конкретного алгоритма или технологии его получения. Другими словами, определить сегментированное изображение - значит указать, чем оно отличается от изображения, просто разделенного на части по тому или иному алгоритму. При этом достоверность сегментации можно проверить формально без использования понятия зрительно воспринимаемых объектов, а выделение объектов трактовать как неформальную интерпретацию сегментации.
Самосогласованная постановка задачи сегментации обеспечивается определением сегментированного изображения как оптимального приближения, минимально отличающимся от изображения по значению некоторого функционала.
1 Работа выполнена при финансовой поддержке РФФИ, проект №11-07-00685-а.
1. Постановка задачи
В отличие от большинства работ по оптимальной сегментации, мы не ограничиваемся поиском единственного оптимального приближения изображения, а решаем задачу получения оптимальных приближений для каждого числа множеств, на которые разбивается множество пикселей изображения, причем результирующая последовательность разбиений пикселей изображения на множества не предполагается иерархической
В методе Оцу [3] строится оптимальное разбиение пикселей изображения из N пикселей на два множества (класса), отвечающее минимальному значению внутриклассовой дисперсии В тривиальном обобщении постановки задачи на случай последовательного разбиения пикселей по яркости на n = \,2,...N градаций, минимизируемый функционал а2 записывается как взвешенная сумма дисперсий а2 по множествам /':
0-2 =Xa,ia? ’ w
2=1
где coi - вероятность, сопоставляемая множеству i.
Для изображения из N пикселей величина Na2 есть сумма квадратов отклонений яркостей пикселей от средних значений, вычисленных по каждому множеству пикселей /. В модели Мам-форда-Шаха [4—9], в которой рассматриваются множества пикселей связных сегментов изображения, эта величина является основной компонентой «энергетического» функционала [6]:
Ncr2 +AL, (2)
где L - суммарная длина границ между сегментами, а Я - так называемый, «регуляризационный» параметр.
Величина а в (2) описывает среднеквадратичное отклонение изображения от своего кусочнопостоянного приближения с усредненными по сегментам значениями яркости пикселей.
В современных практических реализациях модели Мамфорда - Шаха [8-9] регуляризационный параметр Я рассчитывается автоматически, но оказывается зависим от изображения, что нарушает идею минимизации функционала (2). В [7] указанный параметр полагается равным 0, что не
противоречит (2) и сохраняет нетривиальный смысл минимизации сг, если она выполняется для каждого числа сегментов.
По нашему опыту, учет границ сегментов при нулевом параметре Я существенно не влияет на практические результаты, а для их улучшения важнее учесть, что последовательность оптимальных приближений изображения, вообще говоря, не является иерархической. Поэтому операция слияния сегментов, которой ограничиваются в модели Мамфорда - Шаха [4—9], оказывается недостаточной.
Для получения кусочно-постоянных приближений, минимально отличающихся от изображения
по среднеквадратичному отклонению а или квадратичной ошибке Е = Na2:
сг = min <=> Е = min , (3)
вводится дополнительная операция коррекции множеств пикселей изображения. При этом связность пикселей в искомых множествах, в общем случае, не считается обязательной, как в методе Опу.
2. Критерии сегментации и условие устойчивости
В рамках модели Мамфорда - Шаха сегментация выполняется посредством итеративного слияния рассматриваемых множеств пикселей. Слияние множеств 1 и 2 выполняется при минимальной величине приращения квадратичной ошибки AEmerge, которое в версии [7] модели записывается в виде:
(I —I ^
Emerge = —j у~ = min > (4)
— +----
Щ п2
где /,, /2 - средние значения пикселей, а п1,п2- число пикселей в множествах 1 и 2.
Коррекция множеств состоит в реклассификации пикселей одинаковой яркости I, исключаемых из множества 1 и включаемых в число пикселей множества 2. Критерием коррекции является
отрицательная величина сопутствующего приращения квадратичной ошибки А/?:
Л/г _(/1-/2)2 (1-11? г0 Г5ч
^^соггес/ — ^ ^ 11
к и2 к щ
где А - число реклассифицируемых пикселей.
Элементарным преобразованием из (5) получаем условие коррекции множеств, учитывающее только знак АЯЕсоггес/.
(6)
где коэффициент а < 1 описывает соотношение количеств пикселей в рассматриваемых множествах и определяется в виде:
а =
\п2(п 1 -£) \щ(п2 +к)
(7)
Из (6), (7) для реклассификации к пикселей одинаковой яркости легко установить, что если среднеквадратичное отклонение сг снижается при реклассификации одного пикселя, то оно снижается и при реклассификации остальных пикселей той же яркости, поскольку с ростом к коэффициент а уменьшается.
Применяя логическое отрицание к выражениям (5), (6), получаем условие устойчивости:
АЕсоггес1>0 » ^-12\. (8)
Разбиение пикселей изображения на множества считается устойчивым, если для всех рассматриваемых пар множеств реклассификация пикселей одинаковой яркости из одного множества в другое не приводит к повышению среднеквадратичного отклонения сг.
Очевидно, оптимальное разбиение изображения, минимально отличающееся от изображения по сг, является устойчивым, но устойчивое разбиение не обязательно оптимально. Ограничения на допустимые пары множеств 1 и 2, например, обменивающихся пикселями при сохранении связности, или рассмотрение одновременной реклассификации двух и более подмножеств пикселей приводит к различным вариантам программной реализации условия устойчивости (8).
3. Экспериментальные результаты
Рис. 1 иллюстрирует оптимальные приближения, вычисленные для стандартного изображения «Лена».
Исходное изображение показано в правом нижнем углу. Остальные 7 изображений являются его кусочно-постоянными приближениями в последовательно возрастающем числе градаций яркости, размещенными в порядке возрастания числа градаций от 1 до 7 слева направо и сверху вниз.
Всего приближений 216, так как в изображении «Лена» встречаются пиксели 216 градаций яркости. Для приближений в п - 1-64 яркостных градациях значения среднеквадратичного отклонения сг перечислены в столбцах таблицы 1 - по 16 штук в каждом столбце.
Рис. 1. Оптимальные приближения изображения
Таблица 1
Оценки сг для оптимальных приближений изображения «Лена» в п градациях яркости
л сг п а л (7 п сг
1 55.88322 17 3.70326 33 1.72854 49 1.21323
2 30.64564 18 3.50441 34 1.68547 50 1.18618
3 21.21739 19 3.32383 35 1.64729 51 1.16091
4 14.96450 20 3.15658 36 1.61313 52 1.13576
5 11.69762 21 3.01260 37 1.57894 53 1.11091
6 10.03975 22 2.87305 38 1.54589 54 1.08554
7 8.46072 23 2.73844 39 1.51218 55 1.06012
8 7.51121 24 2.60572 40 1.47850 56 1.03435
9 6.81359 25 2.49076 41 1.44586 57 1.00904
10 6.14397 26 2.37391 42 1.41400 58 0.98520
11 5.57864 27 2.25584 43 1.38327 59 0.96397
12 5.11403 28 2.15389 44 1.35340 60 0.94304
13 4.75689 29 2.05655 45 1.32287 61 0.92172
14 4.42306 30 1.95565 46 1.29542 62 0.90113
15 4.17825 31 1.87573 47 1.26794 63 0.88054
16 3.92460 32 1.79485 48 1.23991 64 0.86341
Дня всей последовательности приближений зависимость среднеквадратичного отклонения <т от числа градаций п в логарифмическом масштабе по горизонтальной оси иллюстрируется графиком на рис. 2.
Рис. 2. График зависимости оценок сг от числа градаций я для оптимальных приближений изображения
«Лена»
Характерно, что последовательность оптимальных приближений изображения не является иерархической. При этом сегменты ю различных разбиений перекрываются между собой (рис. 1). Строго говоря, обсуждаемые «оптимальные» приближения изображения являются правдоподобными оценками точных приближений, минимально отличающимися от изображения по среднеквадратичному отклонению а на множестве доступных алгоритмов. Они вычислены независимо от линейных преобразований изображения по яркости и преобразования изображения из позитива в негатив посредством ограниченного перебора вариантов.
Минимизация ст достигалась итеративным повторением обработки всей последовательности разбиений до получения неизменного результата. Каждое разбиение преобразовывалась из условия оптимального разбиения на градации подмножеств пикселей по всем участкам гистограммы изображения, отвечающим не более чем к последовательным градациям яркости (к = 2,3,...). Оптимальные пороговые значения яркости находились перебором вариантов. Посредством слияния/разбиения текущих диапазонов пикселей задавались преобразования разбиений одного в другое с изменением числа градаций на единицу. Изменение текущего значения среднеквадратичного отклонения сг и устойчивость получаемых разбиений контролировались по формулам (4)-(8).
Для исключения перебора вариантов за счет учета пространственного распределения в изображении пикселей одинаковой яркости мы применили модель Мамфорда - Шаха, которую программно реализовали в приложении к любым множествам пикселей, рассматриваемым вместо традиционных связных сегментов изображения2. При этом геометрические свойства рассматриваемых множеств выражаются отношением смежности, которое устанавливается для множеств так же, как и для связных сегментов изображения.
Вычисление последовательных разбиений с учетом геометрического распределения пикселей проводится итеративно и сводится к слиянию множеств пикселей согласно (4) по очереди с их коррекцией, выполняемой до получения устойчивого разбиения изображения (8). В процессе коррекции смежные множества пикселей обмениваются подмножествами пикселей одинаковой яркости из условия падения среднеквадратичного отклонения (5)-(7).
Эксперимент показал что, если в качестве начального разбиения на множества берется разбиение пикселей изображения по градациям исходной яркости, то получаемые разбиения при достаточной редукции числа множеств пикселей воспроизводят результаты вычислений, полученные перебором вариантов по методу Опу. Так, в случае стандартного изображения (рис. 1), слияние смежных множеств пикселей по очереди с коррекцией получаемых разбиений обеспечивает воспроизведение приближений в 1-15 градациях яркости (табл.). График зависимости среднеквадратичного отклонения от числа множеств пикселей, вычисленных в модели Мамфорда-Шаха, сливается с графиком среднеквадратичного отклонения в зависимости от числа градаций яркости рис. 2. По визуальному восприятию сравниваемые приближения практически совпадают между собой,
2
" Случай связных сегментов рассмотрен в [10]. Структура данных и детали вычислений описываются в [11-12].
так как при более, чем 15 множествах пикселей (градациях яркости) заметным образом не отличаются от исходного изображения.
Заключение
Таким образом, в статье аналитически и экспериментально обоснован подход к сегментации цифровых изображений посредством оптимальных кусочно-постоянных приближений, характеризующихся минимальными значениями среднеквадратичного отклонения приближения от изображения. В качестве основы вычислений использованы метод Оиу и модель Мамфорда-Шаха, которые обобщены и развиты применительно к условиям рассматриваемой задачи.
При обобщении метода Оиу разработан и программно реализован гистограммный способ вычисления оптимальных приближений изображения посредством ограниченного перебора пороговых значений для каждого числа градаций яркости. В качестве альтернативного способа вычисления оптимальных приближений предложено использовать модель Мамфорда-Шаха с редуцированным функционалом (3), операцией коррекции (5)-(7), дополняющей слияние множеств пикселей, и обобщенной трактовкой самих множеств, к которым не предъявляется условие связности. В качестве формального признака оптимального разбиения установлено свойство устойчивости (8) сегментации относительно предусмотренных вариантов реклассификации пикселей изображения.
Полученные результаты по формализации понятия сегментации планируется применить для унификации программного обеспечения выделения объектов на цифровых изображениях произвольного содержания.
Литература
1. Ту Дж., Гонсалес Р. Принципы распознавания образов.-М.: Мир, 1978.- 411 с.
2. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Про-
блемы кибернетики, - М.: Наука, 1978. Вып. 33. С. 5-68.
3. Otsu N. A Threshold Selection Method from Gray-Fevel Histograms // IEEE Transactions on systems, MAN, and CYBERNETICS, Januaiy 1979. Vol. SMC-9, №. 1,P. 62-66.
4. Mumford D., Shah J. Boundary detection by minimizing functionals, I // Proc. IEEE Comput. Vision Patt. Recogn. Conf., San Francisco. 1985. P. 22-26.
5. Mumford D., Shah J. Optimal Approximations by Piecewise Smooth Functions and Associated Variational Problems // Communications on Pure and Applied Mathematics. 1989. Vol. XFII, № 4. P. 577-685.
6. Koepfler G., Fopez C., Morel J. A Multiscale Algorithm for Image Segmentation by Variational Method //
SIAM Journal on Numerical Analysis. 1994. Vol. 31, № 1. P. 282-299.
7. Бугаев А.С., Хельвас А.В. Поисковые исследования и разработка методов и средств анализа и автоматического распознавания потоковой информации в глобальных информационных системах Шифр «Лацкан» //Отчетно НИР. М.: МФТИ, 2001. Т. 1. 140с.
8. Redding N.J., Crisp D.J., Tang D.H., Newsam G.N. An efficient algorithm for Mumford-Shah segmentation and its application to SAR imagery // Proc. Conf. Digital Image Computing Techniques and Applications (DICTA ’99). 1999. P. 35-41.
9. Robinson B.J., Redding N.J., Crisp D.J. Implementation of a fast algorithm for segmenting SAR imagery // Scientific and Technical Report, Australia: Defense Science and Technology Organization, Australia. 01 January 2002,- 42 p.
10. Kharinov М. V. Merge-and-correct segmentation method // Proc. of the 8th Open German-Russian Workshop on Pattern Recognition and Image Understanding (OGRW-8-2011). Nizhny Novgorod: Nizhny Novgorod Foba-chevsky State University, November 21-26 2011. P. 123-126.
11. Kharinov M.V. Adaptive Dichotomous Image Segmentation Toolkit // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. 2012. Vol. 22, № 1. P. 228-235.
12.Харинов М.В. Запоминание и адаптивная обработка информации цифровых изображений. - СПб.: Изд-во С.Петерб. ун-та, 2006. - 138 с.
Харинов Михаил Вячеславович, канд. техн. наук, старший научный сотрудник лаборатории Прикладной информатики Санкт-Петербургского института информатики и автоматизации РАН, тел. (812) 3281919,
e-mail: [email protected]
Kharinov Mikhail Vyacheslavovich, candidate of technical science, Senior researcher of Faboratory of Applied Informatics of the St. Petersburg Institute for Informatics and Automation of RAS
