CC BY
106
УДК 004.93
Н. Г. Федотов, С. В. Романов
ТРИПЛЕТНЫЕ ПРИЗНАКИ ЦВЕТНЫХ ИЗОБРАЖЕНИЙ (МЕТОДЫ ФОРМИРОВАНИЯ И ОПТИМИЗАЦИЯ ВЫЧИСЛЕНИЯ)1
Аннотация. Рассматривается возможность применения триплетных признаков распознавания для обработки цветных изображений. Описаны подходы к формированию триплетных признаков и алгоритм их вычисления. Представлены подходы к оптимизации алгоритма вычисления с целью повышения быстродействия.
Ключевые слова: триплетный признак распознавания, обработка изображений, распознавание образов, параллельные вычисления.
Abstract. The article considers possibilities of using the triplet sign recognition for color image processing and describes the approaches to the formation of triplet features and algorithms for their computation. The authors introduce approaches to improve performance of the computing algorithm.
Key words: triplet feature recognition, image processing, pattern recognition, parallel computing.
Введение
На сегодня системы распознавания образов находят широкое применение в самых различных приложениях. Алгоритмы распознавания изображений используются в специализированном программном обеспечении, фотоаппаратах, мобильных телефонах, автомобилях и т.д.
Наиболее важными задачами развития теории распознавания образов являются: увеличение точности и надежности, расширение круга решаемых задач, упрощение разработки систем распознавания.
Большинство подходов к вычислению признаков распознавания изображений сформировалось достаточно давно, они были рассчитаны на работу с бинарными изображениями. Данное ограничение было во многом продиктовано техническими возможностями (низкие вычислительные мощности, ограниченный объем памяти, сложность получения цветного цифрового изображения). Практически все современные средства получения цифрового представления изображения обеспечивают возможность передачи цвета. Для использования традиционных алгоритмов формирования и вычисления признаков распознавания необходимо провести предварительную обработку изображения, во время которой осуществляется преобразование цветного изображения в бинарное.
Для ряда приложений, например распознавания текста, данное преобразование не приводит к потере информативности и позволяет ускорить и упростить дальнейшую обработку изображения.
Большинство объектов реального мира обладают цветом и, следовательно, при бинаризации происходит уменьшение информативности объекта. Одним из способов увеличения точности и надежности распознавания является анализ большего количества информации, формирование большего ко-
1 Работа выполнена при поддержке гранта РФФИ № 09-07-00089-а.
личества признаков. Следовательно, оценка цветовых характеристик объекта может обеспечить более точную и надежную работу системы.
Рассмотрим традиционные подходы к распознаванию цветных изображений и сравним их с новым, основанным на применении триплетных признаков распознавания.
1. Традиционные подходы к распознаванию изображения
Традиционные алгоритмы распознавания изображений основываются на вычислении признаков, характеризующих геометрические свойства объекта или его контура [1, 2]. Для оценки геометрических характеристик объекта удобнее всего использовать бинарное представление изображения. По этой причине представленные в литературе подходы не позволяют работать непосредственно с цветным изображением. Алгоритмы вычисления геометрических признаков распознавания не подразумевают расширения для эффективной обработки цветных изображений. Для получения цветовых признаков необходимо использовать дополнительные операции обработки исходного изображения.
Первый подход заключается в предварительной обработке изображения, основанной на цветовой сегментации объекта. Исходный объект изображения разбивается на множество новых объектов по критерию однородности цвета. Применение подобной техники позволяет получить не только геометрические характеристики всего объекта, но и геометрические характеристики его фрагментов, отвечающих определенному цветовому критерию. Недостатками данного метода являются небольшой набор получаемых признаков, сложность в разработке эффективной процедуры сегментации, ограниченность применения ввиду специфичных требований к объекту распознавания -он должен допускать цветовую сегментацию, т.е. состоять из нескольких фрагментов различного цвета или иметь четко выраженную границу.
Вторым подходом является вычисление цветовых или яркостных характеристик объекта на основе анализа гистограмм. Он отличается очень простой реализацией и может быть использован практически в любом приложении. Его существенными недостатками являются очень малое количество признаков и их интегральный характер. Обобщенная оценка цветовых характеристик всего объекта является информативной только в том случае, когда объекты различных классов имеют значительные цветовые различия.
Если обобщить сказанное, то представленные подходы являются в большинстве случаев малоэффективными. Их применение усложнит любую систему распознавания, так как требуется внедрение дополнительных процедур обработки изображения.
Для информативной оценки цветовых характеристик изображения необходим метод, позволяющий сформировать большое число признаков, которые не только характеризуют интегральные цветовые характеристики, но и отражают их связь с геометрическими. С точки зрения разработки системы распознавания образов желательно применять один математический и алгоритмический аппарат для вычисления всех признаков. Это позволит максимально упростить и формализовать процесс разработки и обучения системы распознавания. Всем этим критериям соответствуют триплетные признаки распознавания, которые традиционно применялись только к бинарным изображениям, но могут быть расширены для применения к полутоновым и цветным.
2. Триплетный признак распознавания изображения
Триплетный признак представляет собой структуру из трех функционалов. Комбинируя различные функционалы, можно получить очень большое количество признаков (десятки тысяч), обеспечивающих очень глубокий и всесторонний анализ объекта [1]. Данная особенность обеспечивает универсальность метода. Его применение в самых различных областях показало высокую точность распознавания.
Триплетный признак может быть записан в следующем виде:
П(F) = 0Р ■ T(F, р, 0), (1)
где П(F) - триплетный признак распознавания изображения; F - исходное изображение; 0 - диаметральный функционал; P - круговой функционал; T(F, р, 0) - трейс-функционал (Т-функционал); р, 0 - параметры сканирующей прямой.
Трейс-функционал играет ключевую роль в формировании триплетного признака распознавания. Вычисление Т-функционала непосредственно связано с понятием сканирующей прямой l(р, 0), определенной на плоскости нормальными координатами: р - расстояние до начала координат, 0 - угол наклона относительно оси х.
В результате пересечения F и l(р, 0) получаем некоторый вектор L, который в случае бинарного изображения представляет собой набор нулей и единиц, соответствующих пересекаемым объектам на изображении F.
К полученному вектору L применяется некоторая функция ^Е), ставящая ему в соответствие число. Вычисление Т-функционала осуществляется для множества сканирующих прямых, полученных изменением параметров р и 0. Обычно используется фиксированный набор значений р и 0 с заданным шагом. В результате вычисления Т-функционала для данного набора сканирующих прямых получается трейс-матрица. Каждое число в этой матрице является значением функции ^Е) для заданных р и 0.
Функционал Р используется для обработки столбцов матрицы. В результате его вычисления трейс-матрица преобразуется в вектор. Дальнейшее применение функционала 0 преобразует данный вектор в число, которое и является результатом вычисления триплетного признака.
Функционалы Р и 0 идентичны. Для их вычисления обычно используются стандартные математические или статистические формулы, например, среднее значение, сумма, минимум, максимум и т.д. Можно сказать, что для вычисления подходит любая функция, аргументом которой является вектор, а результат представлен единственным числом. Очевидно, что данные функционалы, используемые только для обработки трейс-матрицы, не связаны с типом изображения.
Трейс-функционал осуществляет переход от вектора Е, являющегося «частью изображения», к его числовой характеристике. С точки зрения алгоритма вычисления удобно разделить трейс-функционал на две последовательно вычисляемые функции. Первая осуществляет преобразование исходного вектора Е в новый вектор Е. В результате преобразования осуществляется переход от вектора точек исходного изображения к новому вектору числовых характеристик графических объектов, которые пересекла сканирую-
щая прямая I. Для бинарных изображений традиционно используется вычисление длин пересекаемых областей. К полученному вектору Е применяется функция, аналогичная используемой для вычисления функционалов Р и 0. Применение данного подхода позволяет получить оценку большинства геометрических характеристик объекта [3].
Для обработки цветных изображений необходимо изменить Т-функци-онал. Для случая, когда признак вычисляется только для одной компоненты цвета (независимо от способа представления цвета ЯДВ, И8У или др.), результатом пересечения сканирующей прямой с изображением является вектор Е, состоящий из значений яркости соответствующих точек сканирующей прямой для заданной цветовой компоненты. Если признак вычисляется на основе всех компонент цвета, то результат пересечения сканирующей прямой и изображения представлен векторами , Ъ2 и Ез, каждый из которых представляет отдельную цветовую компоненту. Существует целый ряд методов перехода от трех компонентного представления цвета к однокомпонентному, поэтому будем считать, что результат пересечения сканирующей прямой и изображения представлен одним вектором Е. Как и в случае с бинарным изображением, необходимо осуществить переход к вектору Ъ'.
На сегодня найдены три подхода для осуществления данного преобразования:
1. Традиционный подход для бинарных изображений, когда вектор Е состоит из длин пересекаемых отрезков. Разделить вектор яркостей или цветов точек на отдельные отрезки можно путем введения некоторого критерия, например, выделить области с заданными цветовыми характеристиками. В данном случае получаемые триплетные признаки изображения будут характеризовать геометрические особенности распределения цвета на площади объекта. В ряде случаев предложенный подход позволяет осуществить распознавание объекта на цветном изображении без какой-либо предварительной обработки.
2. Преобразование исходного вектора яркостей к гистограммному виду. Суть данного преобразования сводится к вычислению частоты появления на сканирующей прямой яркостей или цветов точек. В отличие от классического анализа гистограммы, данный подход позволяет оценить не только цветовые характеристики всего изображения, но и отдельных его частей. Это достигается путем использования различных функционалов и множества сканирующих прямых.
3. Третий подход заключается в рассмотрении характеристик и динамики изменения цвета или яркости точек на сканирующей прямой. Возможно построение множества оценок данного показателя. Наиболее простыми являются частота изменения яркости, количество подобных изменений и т.д. Более сложная обработка позволит получить спектральные характеристики. Данные признаки очень полезны на практике. Цвет объектов на изображении зависит от многих факторов и зачастую подвержен значительным вариациям. Динамика изменения цвета или яркости остается достаточно устойчивым признаком даже при значительном изменении условий получения изображения.
Данный список нельзя считать полным, возможно формирование новых подходов к решению данной задачи, но даже сейчас можно отметить, что применение триплетных признаков распознавания к цветным изображениям
позволяет получить большое количество разнообразных цветовых и геометрических характеристик.
3. Формирование триплетного признака распознавания для цветного изображения
На практике применяются два подхода к формированию триплетного признака распознавания: экстракция и автоматическая компьютерная генерация [3, 4]. Суть экстракции признака заключается в выделении неких графических или геометрических особенностей объекта и последующем поиске функционалов, которые давали бы устойчивую числовую оценку заданным особенностям. Многочисленные эксперименты позволили подобрать для бинарных изображений триплетные признаки распознавания, которые характеризуют площадь объекта, его периметр, диаметр, количество углов и т.д. Обычно экстракция признаков отличается высокой сложностью и трудоемкостью, так как этот процесс мало формализован и, зачастую, носит эмпирический характер. Дополнительно возникает необходимость точно сформулировать особенности объектов, которые будут использоваться для их распознавания. На данном этапе появляется определенная субъективность в выборе признаков и сокращение информации об объекте.
Вторым подходом к формированию триплетного признака является ав-тематическая компьютерная генерация. Данный метод основывается на структуре триплетного признака. Путем комбинаторного перебора базы функционалов получается огромное число признаков. На следующем шаге осуществляется отбор наиболее информативных. Для минимизации признакового пространства используются специальные алгоритмы, основанные на анализе компактности класса и расстояний между классами или использующие теорию решеток. К недостаткам второго метода можно отнести неизвестность геометрических характеристик объекта, которые легли в основу вычисления признаков.
Автоматическая генерация признаков позволяет значительно сократить время разработки системы распознавания и обеспечить необходимую точность работы.
На сегодня полностью автоматическая компьютерная генерация признаков цветного изображения не реализована. Учитывая трудоемкость процедуры экстракции признаков, объединим данные подходы для формирования триплетных признаков цветного изображения. Экстракция будет использоваться только для выбора функции, осуществляющей переход от вектора L к вектору L', дальнейшее формирование триплетного признака возможно путем компьютерной генерации.
Для перехода от множества точек вектора L к длинам отрезков L' необходимо эмпирическим путем определить цветовой критерий однородности. Данная процедура во многом сходна с сегментацией изображения, которая выполняется для разделения объекта и фона. Выбор критерия однородности осуществляется эмпирически. Полностью автоматизировать данную процедуру практически невозможно, но она не является трудоемкой и не требует постоянной модификации системы распознавания.
Преобразование вектора яркости к гистограммному виду полностью формализовано, поэтому данный подход допускает автоматическую компьютерную генерацию.
зз
Анализ характера и динамики изменений цвета или яркости подразумевает некоторое конечное множество оценок. Следовательно, возможна разработка и внесение их в базу функционалов, поэтому для данного подхода также возможна автоматическая компьютерная генерация триплетных признаков распознавания.
Формирование триплетных признаков распознавания цветного изображения не значительно сложнее по сравнению с бинарным и может эффективно использовать преимущества компьютерной генерации.
4. Оптимизация вычисления триплетных признаков
Вычисление триплетного признака распознавания является достаточно ресурсоемкой задачей, что долгое время ограничивало их применение. Оптимизация данной задачи позволяет в разы сократить время, необходимое для осуществления вычислений. Возможности для ускорения вычислений существуют как на этапе проектирования системы, так и на этапе ее реализации.
Время вычисления напрямую связано с количеством сканирующих прямых. Одним из способов ускорения распознавания является уменьшение размеров изображения. Очевидно, что данный подход приводит к падению точности вычисления признаков и требует выбора оптимального размера изображения. Для триплетных признаков распознавания возможно вместо изменения размеров изображения увеличение шагов изменения параметров р и 0, что приводит к уменьшению размерности трейс-матрицы и ускорению вычислений. Уменьшение размерности трейс-матрицы в меньшей мере влияет на точность вычисления признаков и не требует дополнительных операций над изображением, что положительно сказывается на скорости обработки. В ряде случаев может быть эффективным вычисление признаков с различными значениями параметров р и 0. Процедура не требует изменения исходного изображения, поэтому может быть эффективным вычисление признаков на трейс-матрице малого размера и последующее уточнение с меньшими шагами.
Вычисление триплетного признака осуществляется последовательно: трейс-матрица, вектор значений кругового функционала, диаметральный функционал. В самом общем случае на этапе автоматической генерации осуществляется расчет всех возможных признаков. Таким образом, на основании одной трейс-матрицы вычисляются все возможные круговые функционалы, каждый из полученных результатов является исходными данными для вычисления всех возможных диаметральных функционалов. Данные вычисления могут быть представлены в форме нескольких деревьев. Количество деревьев равно количеству используемых трейс-функционалов. Кэширование результатов предыдущего шага обработки позволяет сократить время выполнения задачи в сотни раз за счет однократного вычисления ресурсоемких трейс и круговых функционалов. В реальной системе распознавания используются только информативные признаки, поэтому полных деревьев не существует, тем не менее кэширование результатов дает определенный прирост производительности, определяемый конкретным набором признаков. На этапе минимизации признакового пространства возможно введение дополнительного оптимизационного условия; кроме оценки информативности признака, необходимо учитывать эффективность его вычисления. Критерием эффективности может служить минимальное количество деревьев вычисления или минимальное количество ветвей второго порядка.
Значительный прирост производительности можно достигнуть путем применения параллельных вычислений. Во многих современных компьютерах применяются многоядерные процессоры. Эффективное использование данной технологии позволяет ускорить вычисления в несколько раз (близко к количеству ядер).
Основной задачей при разработке алгоритма параллельных вычислений является минимизация количества блокировок и синхронизаций между потоками. Для триплетных признаков распознавания существует очень эффективная методика применения параллельных вычислений, основанная на последовательной древовидной схеме вычисления. Суть данного подхода сводится к вычислению в отдельном потоке существующего дерева признаков. Данный алгоритм полностью исключает блокировки, так как признаки могут быть вычислены в любой последовательности в пределах одного дерева. По результатам наших экспериментов, проводимых на 1, 2, 4 и 6-ти ядерных процессорах, для процедуры минимизации признакового пространства цветных изображений прирост производительности составил 0,91N, где N - используемое количество ядер.
Если количество деревьев признаков близко или меньше количества ядер, то возможно вычисление в отдельном потоке поддерева, исходными данными которого является трейс-матрица (обход ветвей второго порядка). Данный способ особенно актуален для бинарных изображений, так как существует только одно дерево признаков. Прирост производительности для задачи минимизации в данном случае составил 0,84N.
Заключение
Непосредственное распознавание цветных изображений является перспективным направлением развития данной области знаний. Потенциально вычисление признака цветного изображения позволяет получить более высокую точность распознавания. Ряд вопросов по применению триплетных признаков распознавания цветных изображений требует дальнейшей проработки и формализации, тем не менее уже сегодня можно отметить, что данный подход позволяет дать численную характеристику цветовых свойств объекта и динамики их изменений; обеспечивает вычисление всех геометрических признаков, которые могут быть получены при обработке бинарных изображений.
Очевидно, что система распознавания образов, в которой используется единый математический аппарат вычисления всех признаков, является более простой с точки зрения разработки и обучения.
Список литературы
1. Пр этт, У. К. Цифровая обработка изображений : в 2 т. / У. К. Прэтт. - М. : Мир, 1982. - 305 с.
2. Sonka, M. Image Processing, Analysis, and Machine Vision / M. Sonka, V. Hlavac, R. Boyle. - Brooks and Cole Publishing, 1998. - 829 с.
3. Федотов, Н. Г. Теория признаков распознавания образов на основе стохастической геометрии и функционального анализа / Н. Г. Федотов. - М. : Физматлит, 2009. - 304 с.
4. Федотов, Н. Г. Распознавание изображений со сложной полутоновой текстурой / Н. Г. Федотов, Д. А. Мокшанина // Измерительная техника. - 2010. - № 11. -С. 27-31.
Федотов Николай Гаврилович
доктор технических наук, профессор, заведующий кафедрой экономической кибернетики, Пензенский государственный университет
E-mail: [email protected]
Романов Сергей Валентинович
программист, кафедра экономической кибернетики, Пензенский государственный университет
E-mail: [email protected]
Fedotov Nikolay Gavrilovich Doctor of engineering sciences, professor, head of sub-department of economical cybernetics, Penza State University
Romanov Sergey Valentinovich Programmer, sub-department of economical cybernetics, Penza State University
УДК 004.93 Федотов, Н. Г.
Триплетные признаки цветных изображений (методы формирования и оптимизация вычисления) / Н. Г. Федотов, С. В. Романов // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2012. -№ 1 (21). - С. 29-36.
