CC BY
40
АВТОМАТИЧЕСКАЯ ГРАДАЦИОННАЯ КОРРЕКЦИЯ ВИДЕОИНФОРМАЦИИ
1. ВВЕДЕНИЕ
Проблема автоматической градационной коррекции видеоинформации, поступающей в виде неподвижных или движущихся изображений, является одной из наименее исследованных теоретически, несмотря на то, что ей уделяется внимание почти в каждой монографии, посвященной обработке изображений. В классической постановке данная задача связывается с общим вопросом улучшения изображений [1-3], и часто формулируется как построение алгоритмов модификации гистограммы. Однако традиционный подход, основанный лишь на анализе га сто граммы получаемого изображения [4-7], не в состоянии предложить удовлетворительного решения проблемы, что связано с весьма существенным влиянием сюжета изображаемой сцены на вид гистограммы, а значит и на форму градационного преобразования сигнала.
Основные трудности в исследовании данного вопроса связаны с отсутствием формальных критериев качества изображения: до сих пор наиболее часто используемым критерием такой оценки является визуальное восприятие и опыт. Как следствие, до сих пор не решена проблема отыскания каких-либо измеримых характеристик реальных изображений, которые могли бы лечь в основу построения функции градационной коррекции (иногда называемой функцией гамма-коррекции).
Целью настоящей работы является разработка автоматических методов улучшения изображений путем использования градационной коррекции в условиях, когда априорные сведения о виде градационного искажения, которому было подвергнуто полученное изображение, отсутствуют, и единственным источником информации может служить лишь получаемое (предположительно искаженное) изображение.
В данной статье мы пытаемся отыскать некоторые общие статистические закономерности для изображений высокого визуального качества, которые могли бы помочь оценить градационные искажения и, как результат, построить подходящую корректирующую функцию, позволяющую улучшить изображение. Предлагаемый подход базируется на оценивании локальных контрастов изображения, с помощью чего затем формулируется метод градационной коррекции, называнный метод выравнивания локальных контрастов. Данный метод может быть с успехом использован при автоматической обработке изображений, например при анализе медицинских снимков, при полиграфическом воспроизведении изображений, при улучшении видеоинформации, получаемой в дистанционном зондировании, при обработке данных в системах технического зрения, и во многих других приложениях.
Наряду с этим предлагается новый алгоритм, называемый алгоритм эквализации клипированной гистограммы, сравнительно невысокая сложность которого позволяет реализовывать его в системах реального времени (например, в устройствах телевизионного ввода, автоматических видеокамерах).
2. ПОСТАНОВКА ЗАДАЧИ
Предполагается, что при обработке изображения единственно доступной информацией для анализа является само уже подвергнутое искажению изображение хтп £ X, причем градационное искажение, которому оно подверглось, описывается следующим поэлементным преобразованием:
Здесь утп и хтп являются значениями яркости точек соответственно неискаженного оригинала и зарегистрированного изображения, а /(_; является искажающей функцией. Предполагая, что /(г) является монотонной и однозначной, существует обратная функция Р(х), которая может быть использована для восстановления исходного изображения, а также для улучшения получаемых видеоданных. Ее формальное представление также чрезвычайно просто:
где F(x) есть функция градационной коррекции, предназначенной для компенсации характеристик устройств регистрации видеоинформации. Однако, как это часто бывает, простота формулы не является отражением простоты задачи.
Центральный вопрос здесь - как найти функцию F(x). В подавляющем большинстве
случаев не существует иной доступной информации кроме уже искаженных видеоданных, а сама искажающая функция f{z) остается неизвестной. Таким образом единственным путем отыскания функции F(x) является анализ получаемого изображения, при этом один из ключевых вопросов - выбор критерия оценивания градационного искажения изображения.
Почти все известные методы, применяемые для градационной коррекции, основаны на использовании распределения значений элементов изображения (гистограммы изображения), и не принимают во внимание статистические связи между соседними элементами, хотя очевидно, что градационные искажения будут также менять и их. Ниже будет показана возможность построения алгоритма градационной коррекции, основанного на этих статистических свойствах. Для более глубокого обсуждения данного вопроса мы должны базироваться на некоторой модели изображения, адекватной поставленной задаче.
Реальные изображения характеризуются наличием протяженных областей различного размера (деталей изображаемой сцены) с приблизительно постоянной или слабо меняющейся яркостью внутри, разделенных контурными границами. Изображение часто трактуют как некоторую двумерную поверхность хтп = Х(т,п) над координатной плоскостью, проведенную с некоторой точностью через значения яркости в соответствующих точках [3, 8, 9]. Протяженные детали изображения представляются здесь
(1)
Утп = F(Xmn ) >
(2)
3. МОДЕЛЬ ИЗОБРАЖЕНИЯ
как гладкие и приблизительно горизонтальные области, а контуры - как узкие полосы с большими углами наклона.
Подходящая модель изображения была предложена и исследована в [8]. В соответствии с моделью, каждой точке изображения хтп может быть приписана некоторая окрестность Утп (форма окрестности не обязательно является одинаковой), содержащая
набор соседних точек хгтп еУтп; г = 1,...Л, принадлежащих тому же самому объекту изображения или контуру, что и точка хтп. Через элементы окрестности методом наименьших квадратов может быть проведена плоскость, которая будет составлять с горизонтальной плоскостью двугранный угол ц/тп. Таким образом каждой точке изображения можно приписать вектор gmn в плоскости координат с амплитудой 8тп = *8 Утп и углом поворота (ртп.
Пусть grmn есть проекция %тп на вектор из центральной точки окрестности (т,п) в точку окрестности Г. Тогда элементы окрестности могут быть описаны следующей формулой:
Хтп=Нтп+?8тп+/тп’ (3)
где цтп есть значение проведенной плоскости в центральной точке окрестности (,т,п),
// - расстояние от центральной точки до точки Г, и /тп - некоторая случайная величина (шумовая помеха), определяемая зернистостью регистрирующего материала и шумом устройства ввода. Значение gmn определяет локальный контраст внутри окрестности.
Определим зависимость значения локального контраста g от яркости сигнала, усредняя его по множеству окрестностей Ук, имеющих одно и то же значение в центре Цтп = к, и пусть М(ук) есть общее число таких окрестностей:
с(*)= * , (4)
Полученную зависимость с(к) будем называть функцией локальных контрастов изображения.
Данная модель исследовалась в [8], где было продемонстрировано, что распределение значений локальных контрастов gmn для изображения в целом может быть представлено в виде суммы независимых распределений двух различных наборов точек изображения: контурных точек и внутренних точек протяженных областей (объектов). Каждое из данных распределений может быть хорошо аппроксимировано соответствующим нормальным распределением, причем для множества контурных точек дисперсия распределения оказывается в 20-400 раз больше, чем дисперсия распределения для множества внутренних точек протяженных областей.
4. ГИПОТЕЗА О ФУНКЦИИ ЛОКАЛЬНЫХ КОНТРАСТОВ
Подставим формулу (3) в (1). Среднее значение /итп изменится на а
компонента 0¿тп на (/'(/0 + о(/'(/“т„)))/£тЛ> гдс /'(*) есть производная /(х).
Компонента у>1'тп не изменится, поскольку шумовая помеха появляется уже после градационного искажения. Полагая о{/\^тп)) пренебрежимо малым, мы получаем:
= /0*ш ) +/'(Мтп )/*ётп + /тп ■ (5)
Тангенс угла наклона плоскости, проведенной через элементы окрестности, изменится следующим образом:
£ = /'(/*о)«Ъ- <6)
Подставляя (6) в (4) для изображения с изначальной функцией локальных контрастов с0(к) получим:
с(/(к)) = Г(к)с0(к). (7)
Поскольку предполагается, что для /(к) существует обратная функция Г (к), можно записать уравнение обратного преобразования:
с0(Г(к)) = Р'(к)с(к). (8)
Отсюда очевидно, что для нахождения функции градационной коррекции Р(к) требуется определить имеющуюся функцию локальных контрастов с{к) искаженного изображения, более того, необходимо сделать предположение о форме идеальной функции локальных контрастов с0(к).
Как изменится функция локальных контрастов с0(к), если мы примем во внимание только некоторое подмножество точек изображения? В соответствии с моделью изображения [8) статистические свойства величины gmп будут существенно меняться в зависимости от того, которому из множеств принадлежит окрестность Утп: множеству внутренних точек областей или же множеству контурных точек. В зависимости от этого форма функции с0(к) также будет зависеть от выбранного множества.
Выбор для анализа множества внутренних точек, относящихся к плоским областям, обладает следующими двумя недостатками: а) статистические свойства текстур различных областей могут существенно отличаться друг от друга, а значит gmn и с{к) будут отражать скорее эти различия, а не действительные градационные искажения; б) из-за сравнительно малой дисперсии текстурной компоненты существует заметная вероятность того, что распределение Ри(к) для совокупного множества внутренних точек будет иметь разрывы, а значит с(к) окажется не определена для некоторых значений аргумента.
Более предпочтительным выглядит выбор для анализа множества контурных точек. Значения gmп для контурных окрестностей зависят от модуля разности яркостей соседних
областей - sJ и от ширины контурного перепада. Конечно, абсолютные значения gmn
также зависят от резкости изображения и от его дискретизации, но данные факторы влияют линейно и одинаково для всех точек изображения, и тем самым оказываются скомпенсированы. При условии, что множество контурных точек является достаточно представительным, мы можем предположить следующее: а) вероятность распределения
?{/л = к) для множества точек к е У, У , принадлежащих контурному перепаду между соседними двумя областями Ц1 и и1, распределена равномерно на интервале яркостей
^ ,sJ ; б) резкость контуров не зависит от значений я1 и sJ, и может считаться
одинаковой для всего диапазона яркостей; в) множество интервалов У покрывает
весь диапазон яркостей изображения кт1„, ктяу .
Исходя из указанных предположений мы можем заключить, что для неискаженного изображения значения функции локальных контрастов с(к), измеренные на множестве контурных точек, должны будут распределены равномерно на всем диапазоне яркостей изображения к1пт < к < к^ . Таким образом мы можем принять гипотезу о равномерности распределения функции локальных контрастов для множество контурных точек изображения: с(к) = С0.
Эксперименты, проведенные над набором изображений высокого визуального качества показали, что функция локальных контрастов с(к), измеренная для множества контурных точек, действительно близка к равномерной. И наоборот, при измерении по всему изображению, данная функция оказывается сильно коррелирована с гистограммой изображения: впадины с(к) совпадают с пиками гистограммы Н(к).
5. АЛГОРИТМ ВЫРАВНИВАНИЯ ЛОКАЛЬНЫХ КОНТРАСТОВ
Основываясь на выдвинутой выше гипотезе, что с(к) = С0, и на уравнении (8) можно написать: Р\к) = С0/ с(к). Подсчитывая сумму от 0 до £ находим:
^) = С„Е 1 .
,=ос(0
Вводя нормализацию для максимальной яркости: /Г(А'- 1) = К - 1 получаем:
к-1 !
С0 = (К~ 1)/1
ыос(к)
Таким образом уравнение для вычисления функции градационной коррекции /*'(£) для выравнивания локальных контрастов на изображении будет выглядеть:
* 1 К~х 1
Р\к) = (К- 1)Х /I (9)
,=ос(/) к=ос(к)
Предлагаемый алгоритм был проверен на серии эталонных изображений. Результаты показывают, что визуальное качество изображений, обработанных алгоритмом (9), является предпочтительным по сравнению с качеством изображений, обработанных другими алгоритмами градационной коррекции.
Серьезный недостаток данного алгоритма заключается в необходимости предварительного выделения контуров на изображении. Действительно, поскольку градационные искажения заметно влияют на результаты выделения контуров, решение данной задачи не может быть вполне корректным. Чтобы преодолеть данную проблему мы должны или разработать некоторый адаптивный алгоритм выделения контуров, не
зависящий от градационных искажений, или же найти какую-то модификацию алгоритма, не требующую предварительного выделения контуров.
6. МОДИФИКАЦИЯ АЛГОРИТМА
Если нам не удается достаточно надежно выделить на изображении контурную компоненту, то попытаемся модифицировать алгоритм так, чтобы использовались все точки изображения без какого-либо их предварительного разделения. В этом случае величина Л^(у^ ) в (4) эквивалентна числу точек изображения яркости к, т.с. гистограмме изображения Н(к). Как уже говорилось выше, функция локальных контрастов с(к) в этом случае будет иметь заметные спады при значениях аргумента к, соответствующих яркостям протяженных объектов изображения (пикам гистограммы), и нам потребуется компенсировать влияние множества внутренних точек областей.
Возможны различные подходы к тому, как подавить это влияние. Одним из наиболее простых и распространенных яатяется введение компенсационного члена в формулу (4), для чего к Н(к) в знаменателе прибавляется небольшая по сравнению с общим числом точек изображения W величина ¿’(Ж):
*'я(^)= и (К\ ХПХ7Л ^8тп'
Н(к) + 6(Ю Хтпе*к
Такое добавление $(№) уменьшает с(к) при малых Н(к), и тем самым компенсирует подавление с(к) при больших Н(к). Полученное сн(к) должно быть подставлено в (9), как и ранее.
7. ЭКВАЛИЗАЦИЯ КОПИРОВАННОЙ ГИСТОГРАММЫ
В некоторых приложениях не требуется универсальной компенсации искажений, достаточно было бы максимально использовать имеющийся диапазон яркостей, однако необходимо иметь более простой в реализации алгоритм. Такие задачи ставятся при разработке устройств реального времени, когда алгоритм (10) оказывается недопустимо сложным. В других случаях влияют специфические условия экспозиции, например при съемке яркого объекта на темном фоне возникает значительный перепад яркости, который не удается уменьшить алгоритмом (10).
Рассматривая данную задачу в контексте улучшения изображений можно заметить, что более часто наблюдателю требуется скомпенсировать недостатки освещения реальной сцены, чем возможные нелинейности регистрирующих устройств. Более того, при визуальном анализе наблюдатель хотел бы получить изображение с максимально возможным контрастом, и зачастую он готов при этом простить некоторые ошибки в разницах яркостей деталей, если сами детали остаются хорошо различимыми.
Таким образом задачу градационной коррекции можно сформулировать в следующем виде: усилить контраст в представительных участках диапазона яркостей за счет сжатия незанятых его участков, при условии, что контраст не может превышать некоторого
порогового значения. Данный подход может быть использован для разработки достаточно простого и эффективного алгоритма.
Задачу можно формализовать в следующем виде. Распределение значений элементов изображения описывается его гистограммой: ?{х = к) = Н(к)11У, где Н(к) есть гистограмма изображения, а IV - общее число точек изображения. В соответствии с поставленной задачей, весь диапазон значений яркости [О, А"] может быть разбит на
набор интервалов где Н(к) считается или имеющим некоторое
представительное значение (т.е. большее некоторого порога значимости), или равное нулю (в случае меньше порога). Допуская существование интервалов нулевой длины мы можем принять, что Н(к) равно нулю в каждом четном интервале [кь ,къ+х], и отлично от нуля в каждом нечетном Таким образом для решения задачи достаточно
удалить все четные интервалы, затем слить вместе все нечетные, и наконец линейно растянуть полученный набор на весь диапазон значений [О, /Г].
Сформулированная задача может бьггь решена различными путями, но мы предлагаем один весьма простой и обладающий достаточной устойчивостью алгоритм. Существует хорошо известный метод эквализации гистограммы [7], обладающий способностью удалять неиспользуемые участки диапазона яркостей и растягивать оставшиеся зоны. Его недостаток заключается в сильной неравномерности преобразования контраста: контраст преобразования в точке яркости к пропорционален частоте появления точки данной яркости (другими словами, пропорционален значению гистограммы Н(к)). Чтобы применить данный алгоритм к нашей задаче он должен быть модифицирован следующим образом.
Пусть заданы два порога: Т0 в качестве порога представительности, и Тх в качестве порога ограничения (клипирования) (7^^). Если Р{к}^:Т0, мы будем считать, что яркость к является представительной и данная точка добавляется к ближайшему нечетному интервалу (или будет началом нового такого интервала). Наоборот, если Р{Лг} < 7^, точка добавляется к нулевому (четному) интервалу. Дополнительно, если Р{£}>7^ то значение Н(к) ограничивается до уровня Т0. Тем самым мы можем записать следующую формулу преобразования (клипирования) гистограммы изображения:
ПГ01¥, // Н(к)<
Нс(к) = ^Н(к), // Т01У <Н(к)<Щ- (И)
// Н(к) > ТХ\У.
Теперь становится возможным выполнение обычного алгоритма эквализации гистограммы [7] для полученной функции Нс(к). Окончательное уравнение для вычисления преобразования эквализации клипированной гистограммы 17(к) будет следующим:
Р(к) = (К-\)£Нс(к)/К'£Н(к). (12)
1=0 ¿=о
Предложенный алгоритм обеспечивает близкий к максимально возможному контраст
изображения при отсутствии ограничения сигнала. Преимуществом его является достаточно простой алгоритм анализа - требуется лишь подсчет гистограммы. Данный алгоритм может быть использован в системах реального времени.
Такое преобразование было успешно реализовано в экспериментальной цифровой видеокамере для улучшения изображения в реальном времени. Для подсчета гистограммы Н(к) и выполнения табличного преобразования использовалась интегральная микросхема L64250 (изготавливаемая LSI Logic Corporation). Данные передавались процессору Motorola 68020 для выполнения клипирования и эквализации по формулам (11) и (12). Результирующая функция градационного преобразования F(k) загружалась обратно в L64250 для обработки видеосигнала в реальном времени. Максимальная задержка по времени между получением анализируемого сигнала и загрузкой таблицы градационного преобразования составляла один видео кадр.
Эквализация клипированной гистограммы тестировалась как на отдельных (статических) изображениях, так в для реальных видеосъемках. Визуальное качество выходного изображения было оценено как вполне удовлетворительное.
8. РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЯ
Для тестирования предложенного алгоритма выравнивания локальных контрастов (10) были выбраны различные по сюжету изображения, разделенные на следующие три группы: а) изображения низкого визуального качества; б) эталонные изображения высокого качества, искусственно искаженные градационным преобразованием неизвестной формы; в) те же эталонные изображения в нескаженном виде. После обработан алгоритмом (10) для каждого изображения определялись две оценки: оценка абсолютного визуального качества и оценка относительного качества по сравнению с исходным изображением (лучше или хуже оригинала).
Общая оценка применимости алгоритма (10) показывает, что он является вполне удовлетворительным для большинства изображений. Изображения низкого качества (а) были улучшены как по абсолютной так и по относительной оценкам. Искаженные изображения (б) также были улучшены по сравнению с исходным (искаженным) экземпляром, но в ряде случаях качество обработанного изображения оставалось хуже первоначального неискаженного оригинала. Эталонные изображения (в) после преобразования разделились на три приблизительно равные группы: группу практически не изменившихся изображений, группу измененных, но имеющих близкое визуальное качество, и группу изображений ухудшенного качества. Объяснение факту ухудшения некоторых эталонных изображений можно дать следующее. Изображения высокого качества как правило занимают полный диапазон яркостей и обладают высоким контрастом между протяженными объектами. Алгоритм (10) зачастую стремится повысить контраст деталей в затененных или ярких областях, где возможно произошло "зарезание" яркостей. Однако при растяжении диапазона для повышения контраста указанных деталей приходится снижать контраст между остальными объектами в средней части диапазона яркостей, что часто воспринимается как ухудшение качества изображения.
Мы обсуждали выше только обработку черно-белых изображений, однако предлагаемый алгоритм может быть с успехом применен и к цветным изображениям. Для этого цветное изображение должно быть разложено на компоненты яркости, цветности и насыщенности. Если же оно представлено в виде обычных цветовых компонент (красная, синяя, зеленая), то следует провести соответствующее матричное цветовое преобразование. Затем преобразование (10) должно быть произведено только над яркостной компонентой, остальные же две следует сохранить без изменения. Обратным цветовым преобразованием изображение переводится к исходному виду. Проведенные эксперименты показали эффективность данного алгоритма для улучшения качества цветных изображений.
Экспериментальные оценки показали эффективность алгоритма выравнивания локальных контрастов (10) для улучшения изображения, а также его предпочтительность по сравнению с другими алгоритмами градационной коррекции. Несмотря на то, что не все изображения удается улучшать подобным образом, он может быть рекомендован для обработки большинства изображений низкого качества. Дальнейшим шагом по пути улучшения визуального качества изображений может являться применение методов повышения локальных контрастов [10].
Алгоритм эквализации клипированной гистограммы может рекомендоваться для приложений, связанных с обработкой видеоинформации в реальном (телевизионном) масштабе времени.
ЛИТЕРАТУРА
1. Huang T.S. Image Enhancement: A Review // Opto-Electronic, 1969, Vol.l, pp.49-59.
2. Rosenfeld A., Kak A.C. Digital Picture Processing. Academic press, New York, 1976.
3. Прэтт У.К. Цифровая обработка изображений, Мир, Москва, 1982.
4. Hall E.L. Almost Uniform Distribution for Computer Image enhancement // IEEE Trans. Comput., 1974 Vol.C-23, no.2, pp.207-208.
5. Hummel R.A. Image Enhancement by Histogram Transformation // Computer Graphics, and Image Processing, 1977, Vol.6, no.2, pp. 184-195.
6. Fu-Nian Ku The Principles and Methods of Histogram Modification Adapted for Visual Perception // Computer Vision, Graphics, and Image Procès., 1984, Vol.26, no.l, pp.107-117.
7. Mitra S.К. and Tian-Hu Yu Transform Amplitude Sharpening: A New Method of Image Enhancement // Computer Vision, Graphics, and Image Processing, 1987, Vol.40, no.2, pp.205-218.
8. Чочиа Л.А. Двухмасштабная модель изображения // Кодирование и обработка изображений, М., Наука, 1988, стр.69-87.
9. Чочиа Л.А. Методы преобразования изображений, использующие двухмасштабную модель // Кодирование и обработка изображений, М., Наука, стр.98-111.
10. Chochia P.A. Image Enhancement Using Sliding Histograms // Computer Vision, Graphics, and Image Processing, 1988, Vol.44, no.2, pp.211-229.
