CC BY
301
УДК 004.932 Дата подачи статьи: 05.05.16
DOI: 10.15827/0236-235X.115.109-120
УЛУЧШЕНИЕ ВИЗУАЛЬНОГО КАЧЕСТВА ИЗОБРАЖЕНИЙ, ПОЛУЧЕННЫХ В СЛОЖНЫХ УСЛОВИЯХ ОСВЕЩЕННОСТИ НА ОСНОВЕ ИНФРАКРАСНЫХ ДАННЫХ
(Работа выполнена при поддержке РФФИ, грант № 16-07-00121 А)
А.Г. Зотин, к.т.н., доцент, [email protected]; А.И. Пахирка, к.т.н., доцент, [email protected];
М.В. Дамов, к.т.н., доцент, [email protected]; Е.И. Савчина, магистрант, [email protected] (Сибирский государственный аэрокосмический университет им. академика М.Ф. Решетнева, просп.. им. газ. «Красноярский рабочий», 31, г. Красноярск, 660014, Россия)
В настоящее время широкое распространение получили системы видеонаблюдения на основе цифровых камер. Однако оператору довольно часто приходится сталкиваться с проблемой плохой видимости наблюдаемого объекта, обусловленной недостаточным освещением и погодными условиями. В статье рассматриваются методы повышения визуального качества изображений, полученных в сложных условиях освещенности на основе инфракрасных данных. Так, повышение визуального качества возможно за счет слияния данных визуального (RGB) и инфракрасного (IR) изображений. Методы слияния можно условно разделить на три основные категории в зависимости от принципа их работы: попиксельное слияние, слияние на основе характеристических особенностей и слияние на основе объектов. Поскольку в системах видеонаблюдения важна скорость обработки данных, в качестве основы разрабатываемого алгоритма был взят подход попиксельного слияния с установкой весовых коэффициентов.
Предлагаемый алгоритм условно разделен на два основных этапа - подготовка и обработка. В ходе подготовительного этапа формируются данные, необходимые для выполнения слияния и формирования карты хроматических компонентов цветовой модели YUV. Для повышения визуального качества предложено выполнять корректировку инфракрасного изображения в зависимости от его типа (NIR SWIR или LWIR) и значения средней яркости. Для определения коэффициента коррекции предлагается использовать данные гистограмм и таблиц перекодировки, которые позволяют значительно сократить вычислительную сложность алгоритма.
На этапе обработки формируется улучшенное визуальное изображение с адаптивной подстройкой коэффициентов. При этом учитываются такие параметры, как яркость пикселей визуального и скорректированного инфракрасного изображений, а также сведения о насыщенности цвета.
Экспериментальные исследования показали целесообразность использования предлагаемого алгоритма.
Ключевые слова: обработка изображений, анализ изображений, слияние изображений, инфракрасные изображения, Retinex, LWIR, NIR, Image fusion.
Различные организации очень часто используют цифровые системы охранного видеонаблюдения. Однако в большинстве случаев применение таких систем ограничивается установкой обычных видеокамер для слежения оператором за происходящим. При этом данные с камер могут отображаться на множестве мониторов. При организации видеонаблюдения с использованием традиционных камер оператору приходится сталкиваться с проблемой плохой видимости наблюдаемого объекта в силу плохого освещения и погодных условий. Так, при недостаточном освещении в видеопоследовательности возникают шумы, характеризующиеся разноцветными точками, хаотично распределенными по экрану, и образуются засвеченные области, если в поле зрения камеры попадает источник освещения.
Для решения проблемы плохой видимости могут применяться различные методы цветовой коррекции [1-3] и шумоподавления [1, 4]. Однако при недостаточном уровне освещенности данные методы не всегда дают приемлемые результаты, в частности, возникающие шумы будут усилены алгоритмами коррекции освещения.
В последние годы растет популярность инфракрасных камер, позволяющих фиксировать различие тепловой энергии у наблюдаемого объекта и сцены. Это обусловлено тем, что они могут обеспечить достаточно четкое видео при неблагоприятных погодных условиях (дождь, туман), а также в условиях недостаточной освещенности (ночью, на рассвете и закате). Помимо этого, инфракрасные камеры полезны, когда имеются засвеченные участки, что может сделать традиционное видео непригодным для использования. Инфракрасные видеоданные в системах видеонаблюдения обычно представляются как оттенки серого, что создает хороший контраст между объектами и их фоном. Однако это не всегда удобно для оператора.
Объединение данных, полученных с помощью инфракрасной (IR) и традиционной (RGB) камер, позволит получить информацию, которую нельзя было бы получить путем просмотра данных по отдельности. Для этой цели могут применяться различные методы слияния инфракрасных и визуальных изображений. Характеристики инфракрасных изображений и область их применения определяются типом камер.
Типы инфракрасных камер
Инфракрасное излучение (IR - infrared) - это электромагнитное излучение с длиной волны от 0,76 до 100 мкм, то есть больше, чем у видимого света. Этот диапазон условно разделяется на следующие составляющие [5]:
- ближний инфракрасный диапазон (NIR -Near Infrared Range) с длиной волны от 0,76 до 1,0 мкм;
- коротковолновый инфракрасный диапазон (SWIR - Short Wavelength Infrared Range) с длиной волны от 1 до 3 мкм;
- средний инфракрасный диапазон (MWIR -Medium Wavelength Infrared Range) с длиной волны от 3 до 6 мкм;
- длинноволновый инфракрасный диапазон (LWIR - Long Wavelength Infrared Range) с длиной волны от 6 до 15 мкм;
- сверхдлинноволновый инфракрасный диапазон (VLWIR - Very Long Wavelength Infrared Range) с длиной волны от 15 до 30 мкм;
- дальний инфракрасный диапазон (FIR - Far Infrared Range) с длиной волны от 30 до100 мкм.
При использовании NIR- и SWIR-приемников на захватываемых изображениях у объектов есть тени и определенная контрастность, так как захватывается излучение, отражаемое от объектов. При этом объекты выглядят точно так же, как при видимом освещении с четко различимыми деталями, а разрешающая способность таких детекторов сопоставима с устройствами захвата, работающими в видимом диапазоне. Так как объекты легко различимы и узнаваемы, NIR и SWIR используют при организации систем видеонаблюдения с возможностью обнаружения и сопровождения объектов интереса. При этом при более длинной волне, чем видимый диапазон света, данные детекторы способны «видеть» сквозь туман, дым и пыль лучше, чем камеры, работающие в видимом диапазоне.
Стоит отметить, что большинство оптических материалов, используемых в обычных камерах, подходят и для NIR, и для SWIR (обычное стекло пропускает излучение до 2,5 мкм), что может существенно снизить стоимость оборудования.
При использовании MWIR и LWIR длина волны излучения больше 3,5 мкм, что влияет на захватываемое изображение, так как оно формируется на основе собственного теплового излучения объектов сцены, которое может не отличаться от теплового излучения фона. При этом уменьшается динамический диапазон изображения, ухудшаются контрастность и узнаваемость объектов.
Устройства, работающие в этом диапазоне длин волн (тепловизоры), имеют высокую стоимость, так как приходится применять специальные материалы для оптики приборов и при необходимости охлаждение детекторов, при этом разрешающая способность у дорогих устройств составляет на те-
кущий момент 1280x1024 пикселя. Данные детекторы применяются во многих областях: ночное видение, инспекция зданий, обеспечение безопасности, контроль качества в производстве товаров, авиация и т.д.
Примеры изображений [6] для различных спектральных диапазонов, полученных в различных условиях освещения, показаны на рисунке 1. Так, на рисунке приведены снимки, сделанные во время заката и в ночное время.
Подходы к слиянию инфракрасных и видимых изображений
Методы слияния инфракрасных и видимых изображений можно разделить на три обширных класса, зависящих от уровня объекта, с которым они работают: пиксели изображения, характерные особенности изображения, конкретные объекты изображения [7-9].
Слияние на основе пикселей - это нижний уровень обработки изображений, на котором происходит слияние физических параметров исходных изображений. Наиболее известными подходами попиксельного слияния изображений являются алгоритмы простого усреднения [10], усреднение с весовыми коэффициентами (a-blend), метод переноса хроматических характеристик (color transfer) [11], метод главных компонент (PCA - principal component analysis) [12], слияние с использованием пирамиды изображений [13], вейвлет-преобразова-ние [14]. При использовании данного подхода требуется, чтобы пиксели входных изображений имели одинаковое положение на захватываемой сцене, то есть, чтобы захват инфракрасного и визуального изображений происходил в одно и то же время и в одной и той же точке сцены.
Следующий уровень обработки входных изображений - слияние на основе характерных особенностей. На данном уровне сопоставляются ключевые особенности каждого из входных изображений. Такой подход дает лучшие результаты слияния, чем обработка на пиксельном уровне, но требует предварительной подготовки используемых данных. Наиболее распространенными подходами слияния изображений на основе характерных особенностей [15] являются методы на основе выделения границ [16] и искусственные нейронные сети [17].
Слияние на основе выделения объектов на изображении - наивысший уровень обработки. На данном уровне происходит идентификация объектов индивидуально для каждого из входных изображений. Полученная информация комбинируется и используется для точного распознавания наблюдаемых объектов. Если объекты корректно распознаны со всех источников изображений, происходит их слияние для получения действительного представления сцены. Наиболее распространен-
а) б) в)
Рис. 1. Примеры изображений в различных спектральных диапазонах: а) видимый спектр - RGB-изображение;
б) инфракрасное NIR-изображение; в) инфракрасное LWIR-изображение
Fig. 1. Examples of images in different spectral ranges: a) RGB-image in a visible spectrum; б) infrared NIR-image;
в) infraredLWIR-image
ными подходами слияния изображений на основе выделения объектов являются алгоритмы нечеткой логики [18], байесовская сеть [19], алгоритмы машинного обучения [20].
В результате анализа принципов работы алгоритмов на каждом уровне можно прийти к выводу, что наибольшее быстродействие наблюдается у методов попиксельного слияния.
Методы попиксельного слияния
Наиболее простым методом слияния изображений является слияние на основе сложения данных. Так, яркость результирующего изображения может быть получена как среднеарифметическое значение инфракрасных (IR) и визуальных (RGB) данных. Помимо вычисления среднеарифметического значения, при расчете результирующей яркости может использоваться максимальное или минимальное значение.
Расширением этого метода является использование весовых коэффициентов, которые будут определять вклад исходных изображений при выполнении слияния. При этом весовые коэффициенты могут быть применены к изображению в целом или корректироваться для каждого пикселя на основе разумного правила. Такой метод иногда называют а-смешиванием (a-blend), поскольку весовой коэффициент представлен альфой:
INew(x, y)= a х Irgb(x, y)+ (1-a) x IRx, y), (1) где х, у - координаты обрабатываемого пикселя изображений; a - весовой коэффициент слияния;
INew - выходное изображение; Irgb, Iir - входные изображения RGB и IR соответственно.
Существенным недостатком этого метода является занижение контраста при выполнении слияния. Так, если одно из изображений имеет область с равномерной яркостью или низким контрастом, в результате слияния будет выравниваться контраст в этой области на результирующем изображении. Весовые коэффициенты могут помочь, но если задавать их глобально (для всего изображения), следует учитывать возможные варианты снижения контрастности.
Наиболее часто используемый алгоритм для объединения визуальных (RGB) и инфракрасных изображений типа Near Infrared (NIR) и Short Wavelength Infrared (SWIR) основывается на использовании цветовой модели HSI. К этой модели приводится RGB-изображение, затем его яркостная составляющая заменяется яркостью из NIR-изобра-жения. Данный подход позволяет объединять изображения с большой скоростью, но обладает некоторыми недостатками. Темные пиксели NIR-изображения могут не являться таковыми на RGB-изображении, тогда при простой замене яркостей у результирующего изображения понижается интенсивность цветов пикселей или они просто становятся черными.
Эта проблема частично решается задействованием насыщенности и яркостной компоненты RGB-изображения:
INew(x, y) = SaturationRGB х IntensityRGB(x, y) + +(1- SaturationRGB) x IntensityRx, y).
Однако сформированные таким способом изображения будут отображать растительность (кустарники, деревья и т.п.) в неестественных цветах.
Метод главных компонент (PCA - principal component analysis) позволяет вычислить компактное описание набора данных. Он сводится к вычислению собственных векторов и собственных значений ковариационной матрицы входных данных. Слияние изображений при помощи метода главных компонент происходит следующим образом: входные изображения Ii (x, y) и I2(x, y) преобразуются в два вектора-столбца, из которых вычитается их усредненный вектор. Далее они комбинируются в матрицу размером n*2, где n - длина вектора-столбца изображения, затем рассчитываются собственные векторы и собственные значения полученной матрицы. В дальнейшем используются собственные векторы (Pi, P2), соответствующие максимальным собственным значениям. Непосредственное слияние изображений происходит согласно выражению Nw(x, y) = PiIi(x, y) + P2I2X y).
Используется также дискретное вейвлет-преоб-разование (DWT - discrete wavelet transform), которое во многих аспектах является аналогом преобразования Фурье. В преобразовании Фурье происходит декомпозиция сигнала на синусы и косинусы, а вейвлет-преобразование проецирует сигнал на базис, сформированный посредством масштабных изменений и переносов вейвлет-функций. Дискретное вейвлет-преобразование реализуется при помощи пирамидального алгоритма Малла [21]. При слиянии изображений с использованием DWT входные изображения раскладываются на сглаживающие и детализирующие коэффициенты с требуемым уровнем вейвлет-разложения. Далее полученные коэффициенты обоих изображений комбинируются в соответствии с выражением lNew(x, y) = IDWTf{DWT(Ii(x, y)), DWT(l2(x, y))}], где Ii(x, y), I2(x, y) - входные изображения; f - правило слияния изображений, в данном случае усреднение сглаживающих коэффициентов и выборка детализирующих коэффициентов в каждом диапазоне с наибольшей величиной; IDWT - обратное дискретное вейвлет-преобразование.
Предлагаемый алгоритм
Поскольку в системах видеонаблюдения одним из значимых факторов является скорость обработки, в основу предлагаемого алгоритма взята попиксельная обработка. Так, для улучшения визуального качества видеопоследовательности с использованием инфракрасных данных предлагается алгоритм, обобщенная схема которого представлена на рисунке 2.
Условно данный алгоритм можно разделить на два основных этапа - подготовительный этап и этап обработки. На подготовительном этапе формируются данные, необходимые для выполнения
1 г Вывод RGB-кадра
Рис. 2. Обобщенная схема алгоритма Fig. 2. Generalized algorithm flowchart
слияния, а на этапе обработки формируется улучшенное визуальное изображение.
В самом начале подготовительного этапа при считывании изображений кадров формируются гистограммы яркости визуального ряда и HistIR для данных инфракрасной съемки и одновременно рассчитываются значения средней яркости AvgIRGв и Лу^т. При этом параллельно с формированием гистограммы яркости визуального ряда происходит генерация карт хроматических компонент и карты яркости с использованием цветовой модели УиУ.
Попиксельное слияние с учетом весовых коэффициентов позволяет улучшить визуальное качество, однако, если используются изображения, сильно отличающиеся по яркостному представлению, можно наблюдать затемнение или же, наоборот, осветление участков изображения, а также снижение уровня контрастности. Важным фактором является и тип инфракрасного изображения. Так, в ходе анализа исходных данных было выяснено, что в условиях недостаточной освещенности средняя яркость инфракрасного изображения зачастую меньше, чем у визуального ряда, а у изображений и SWIR больше. Принимая это во внимание, было решено выполнить корректировку инфракрасных данных перед слиянием.
Поскольку интенсивность пикселей находится в диапазоне от 0 до 255, для ускорения расчетов предлагается проводить обработку с использованием таблиц перекодировки (LookUp Table - LUT).
Разные типы инфракрасных изображений обладают различными характеристиками, поэтому необходимо генерировать таблицы перекодировки с учетом этих особенностей. Так, формирование таблицы перекодировки для LWIR-изображений предлагается осуществлять по формуле
LUTf (i, Kstœ ) =
(—) 255
x 255
где К^ер - коэффициент преобразования.
Эта же формула может быть использована для МТО,- или SWIR-изображений, средняя яркость которых меньше, чем у RGB-изображения. Однако при использовании инфракрасных изображений, средняя яркость которых ЛvgIIR превышает ЛvgIRGв, таблица перекодировки задается по следующей формуле:
LUTf (i, Kslœ ) =
AvglB
)
'-AvgIB
если i < AvgIB
^ - AvgIB )Kte
AvglT x(AvglT -+AvgIB
AvgIIR - AvgIR
K
L)+
AvgIB =
(AvgIRGB )2
K =
AvgIIR
AvgIm
если i > AvgIB,
Avg[T = 255 - AvgIB
AvgIRGB
Вычисление среднего значения яркости на основе оригинальной гистограммы и таблицы перекодировки Avglfk) будет выполняться согласно
255
выражению AvgIv(k) = ^LUT^(i,k) xHistm (i).
1=0
Для выполнения коррекции визуального (RGB) изображения необходимо определить значение коэффициента коррекции яркости инфракрасного изображения (К^Д при котором отклонение средней яркости AvgIf(Kstep) минимально отличалось бы от значения эталонной яркости AvgIET. Значение эталонной яркости зависит от яркости визуального изображения и вычисляется согласно условию
AvgIRGB , если AvgIRGB > AvgIIR ,
AvgIET = j AvgIRGB + AvgIm
,если AvgIRGB < AvgIR
Расчет коэффициента коррекции Kstep осуществляется по формуле
Ksep = argmin
keR \kmn <k<km
(|AvgIET - AvgIf (k)|) ;
где ктт, ктах - минимально и максимально возможные значения для коэффициента коррекции, определяемые следующим образом:
AvgIRGB
k„;„ = ^
k_ = ^
AvgIR
AvgIR
, если AvgIRGB < AvgIIR , если AvgIRGB > -AvgIIR , , если AvgIRGB > AvgIIR ,
AvgIR
1, если AvgIRGB < AvgIRR .
В связи с этим формирование скорректированного значения яркости инфракрасного изображения (Yir) будет осуществляться следующим образом: Yr = lutrn[irn] = Lutkf (Iir,kstep) , где iir -оригинальное значение интенсивности (яркости) инфракрасного изображения; LUTir - таблица перекодировки для инфракрасного изображения.
Во время экспериментального исследования выяснено, что в случае использования LWIR-изо-бражений для повышения визуального качества видеопоследовательностей с низким уровнем освещения (вечер/ночь/утро) целесообразно использовать скорректированное значение яркости инфракрасного изображения в инвертированной форме. Это связано с тем, что инвертированное инфракрасное изображение более приемлемо для восприятия человеком (рис. 3). Итоговая таблица перекодировки для инфракрасного LWIR-изображения с учетом инвертирования значения будет генерироваться следующим образом:
LUTr[I] = 255 -LUTf (I,Kstep)].
После завершения подготовительного этапа формируется карта яркости путем попиксельного слияния на основе весовых коэффициентов. В предлагаемом алгоритме слияние осуществляется в зависимости от яркости пикселя RGB-изображения Yrgb и скорректированного значения яркости инфракрасного изображения. При этом весовые коэффициенты для каждого изображения в каждом пикселе вычисляются динамически и учитывают такие показатели, как разница яркости пикселя у изображений и насыщенность пикселя RGB-изображения. В общем виде расчет нового значения яркости можно представить следующим образом:
(Krgb - Ka ) x Yrgb + (KIR + Ka - Kd ) x Yir
(Krgb + Kmc - Kat ) X Yrgb + (Kr - Kmc + Ka ) X Yr
KRGB + KIR - Kd
а) б)
Рис. 3. Пример инфракрасных данных: а) оригинальное LWIR-изображение; б) скорректированное LWIR-изображение с учетом инверсии
Fig. 3. Example of infrared data: a) original LWIR-image; б) adjusted LWIR-image considering the inversion
255
<0,5, если Yrgb < TsD и \Yrgb -Yir\ > TsD
10 в противном случае;
^ - - 0,5 x , если Yrgb < TsD,
K„„, =
TsD
Y - Y - Ts
RGB 1IR JlJD
TsL - TSD
если Tsd < YRGB < TsL
Y - Y - Ts Yrgb Yir Tsn_ если Y,
Ts
> Ts
RGB > TsL ,
где TsD - порог определения темной области спектра; Tsl - порог определения светлой области спектра; KRGB, Kir - значения базовых весовых коэффициентов для RGB - и IR-изображений соответственно.
Значение насыщенности, используемое для подстройки коэффициентов, вычисляется согласно цветовой модели HSV по формуле 0, если max(R, G, B) = 0, max(R, G, B) - min(R, G, B)
S =
max(R, G, B) если max(R, G, B) Ф 0, где R, G, B - значения цветовых каналов модели RGB.
Величина коэффициента насыщенности Ka определяется по формуле
Ksat =
0,
(1 -
S_
T
если S > T
■) X KfBaseS , есЛи S ^ Tsat,
где Та - пороговое значение насыщенности цвета;
- насыщенность цвета; К/вшеБ - базовое значение коэффициента влияния насыщенности цвета.
Одновременно с вычислением нового значения яркости пересчитываются минимальное (7тт) и
максимальное (7max) значения для определения динамического диапазона.
Если динамический диапазон яркости будет меньше предусмотренного в компьютерной графике (0-255), перед формированием RGB-изображения производится дополнительная корректировка значения яркости пикселя для расширения
(Y _ у ) х 255
диапазона по формуле Y^ = ———-.
Ymax Ymin
Непосредственное формирование улучшенного изображения осуществляется на основе перевода значений цветовой модели YUV в RGB. При этом используется новое значение яркостной компоненты и от оригинального изображения берется карта хроматических данных.
Сравнение с существующими решениями
Предлагаемый адаптивный алгоритм сравнивался с такими алгоритмами цветокоррекции Reti-nex [2], для которых были взяты реализация графического редактора Gimp и модифицированный Multiscale Retinex [1]. Дополнительно проведено сравнение с широко распространенными методами попиксельного слияния на основе вычисления среднего и максимального значений, а также использования статически заданных взвешенных коэффициентов (a-blend). Для инфракрасных изображений NIR осуществлено сравнение с методом слияния, использующим цветовую модель HSI. Подробные результаты работы алгоритмов приведены в работе [22].
Для выполнения экспериментального исследования с инфракрасными изображениями LWIR использовались тестовые базы KAIST Multispectral Pedestrian Dataset [23] и Litiv Dataset [24]. В базе KAIST Multispectral Pedestrian Dataset содержатся
K =
12 наборов пар инфракрасных и визуальных изображений с разрешением 640^480, полученных в различных условиях освещения. При этом захват данных происходит из автомобиля.
Изображение на рисунке 4 взято из набора КЛ1БТ зеФ7 У002.8ед, данные которого получены в вечернее время суток, при этом в последовательности наблюдается относительно равномерное освещение. На рисунке 4а отражаются вечернее
небо и городская улица с автомобилями и небоскребами. При этом наблюдаются как чрезмерно темные, так и яркие области в оптическом диапазоне.
Как можно заметить, предлагаемый алгоритм формирует достаточно качественное изображение (рис. 4д), на котором можно различать детали объектов, при этом не искажаются светлая область (небо) и естественные цвета сцены, как в случае с
г) д) е)
Рис. 4. Пример обработки данных, полученных в вечернее время Fig. 4. Examples oof processing data obtained in the evening
г) д) е)
Рис. 5. Пример обработки данных, полученных в ночное время Примечание: на рисунках 4 и 5 а) исходное RGB-изображение; б) исходное инфракрасное LWIR-изображение; в) модифицированный алгоритм MSR; г) a-blend, a=0,6; д) предлагаемый алгоритм; е) предлагаемый алгоритм без инвертирования инфракрасных данных.
Fig. 5. Examples oof processing data obtained at night Comment for fig. 4 and fig. 5: a) original RGB image; б) original infrared LWIR image; в) modified algorithm MSR; г) a-blend a = 0.6; д) proposed algorithm; е) proposed algorithm without inverting the infrared data.
применением алгоритмов на основе технологии Retinex. Алгоритм а-ЪкМ снижает среднюю яркость изображения, но при этом позволяет лучше разглядеть часть объектов сцены (деревья, фрагменты автомобилей). В случае применения предлагаемого алгоритма без инвертирования инфракрасных данных можно наблюдать ряд артефактов в области неба, это связано с тем, что небо на LWIR-изображении (рис. 4б) имеет почти черный цвет.
На рисунке 5 показаны примеры обработки ночной сцены, полученной из набора КАШТ 8еЮ3 V000.seq. В данной последовательности наблюдаются значительная неравномерность освещения и наличие шумов. На изображении в оптическом спектре видна дорога с автомобилями, подсвеченная фарами. Инфракрасное изображение в основном темное, с небольшими яркими пятнами на месте впереди идущих пешеходов и автомобиля по ходу движения.
На основе анализа результатов обработки ночных сцен можно сделать заключение, что алгоритмы на основе технологии Retinex не только делают сцену более светлой, но и усиливают шум, возникающий в камерах при недостаточном уровне освещения. Изображение после обработки предлагаемым алгоритмом имеет некоторые шумовые искажения в области неба, но в целом комфортно для восприятия, к тому же только на нем четко видны деревья на обочине. Изображение после обработки предлагаемым алгоритмом без инвертирования не имеет видимых шумовых артефактов, более комфортно для восприятия, но на нем менее четко видны деревья на обочине. Результаты алгоритмов попиксельного слияния на основе среднеарифметического и максимального значений, а также а-ЪкМ показывают наихудшие результаты с точки зрения визуального восприятия [22]. Это связано с очень низкой интенсивностью инфракрасного LWIR-изображения.
Улучшение результатов работы этих алгоритмов возможно в случае корректировки исходного LWIR-изображения, которая может быть основана на нормализации интенсивности или же расширении диапазона путем линейного контрастирования. Однако даже в таком случае наблюдаемая ночная сцена по визуальному качеству уступает предложенному алгоритму (рис. 6) [22]. Аналогичная ситуация характерна и для вечерней сцены, что можно наблюдать на рисунке 7 в работе [22]. Слияние по среднеарифметическому значению и алгоритм а-ЪкМ с а=0,6 для ночной сцены с учетом предварительной коррекции инфракрасного изображения дают результат, схожий с тем, что и предлагаемый алгоритм без выполнения инвертирования скорректированной яркости инфракрасного изображения.
Тестирование алгоритма при работе с инфракрасными изображениями МТО. происходило с ис-
пользованием тестовой базы IVRL - RGB-NIR Scene Dataset [25], в которой представлены 477 пар изображений, разделенных на 9 категорий.
В качестве демонстрационных примеров выбраны изображения из категории Street. Так, на рисунке 6 представлена естественная сцена с деревьями, снятая во время восхода, где наблюдается сильный засвет. В связи с особенностью съемки дерево, попадающее на линию света, выглядит очень темным, кусты на клумбе в тени почти не различимы. Инфракрасные данные NIR этой сцены (рис. 6б) позволяют оператору увидеть то, что было засвечено, а также разглядеть растительность (кусты на клумбе и деревья на заднем плане). Средняя яркость инфракрасного изображения в данном тестовом наборе ниже, чем у визуального RGB-изо-бражения.
Работа предлагаемого алгоритма в условиях, когда средняя яркость инфракрасного изображения выше, чем у визуального, продемонстрирована на рисунке 7 (набор Street № 25). На нем показана сцена, снятая в дневное время, при этом живая изгородь, расположенная в левой части, попадает в тень и плохо различима на визуальном изображении, но хорошо видна на инфракрасном. Также на визуальном изображении есть засвеченная область, фрагменты объектов в которой хорошо различимы в инфракрасном диапазоне.
Можно заметить (см рис. 6в, 7в, а также рис. 8 и 9 в [22]), что алгоритмы на основе технологии Retinex позволяют разглядеть все детали объектов, находящихся в тени, но они не способны исправить засвеченную область изображения, и при этом происходит искажение цветов. Так, алгоритм Retinex редактора GIMP нарушает естественность изображения в сторону снижения насыщенности цвета, изображение при этом выглядит блеклым. Модифицированный алгоритм MSR, наоборот, чрезмерно увеличивает насыщенность цветов.
Алгоритм, выполняющий слияние на основе максимального значения, значительно повышает визуальное качество в затененных областях, однако не может устранить засвет. Слияние с использованием модели HSI делает различимыми детали и при этом показывает, что было в засвеченной области. Однако у него проявляется недостаток в виде снижения уровня яркости в области с низкой насыщенностью (например, фрагмент засвеченного участка неба на рисунке 6) и растительность приобретает неестественный цветовой оттенок.
Слияние как на основе среднеарифметического значения, так и алгоритмом a-blend дает более естественную сцену, но объекты, попавшие в тень дерева (кустарник на клумбе), выглядят темнее по сравнению со слиянием на основе максимального значения. Предложенный алгоритм демонстрирует лучшее визуальное качество, он дает естественные цвета сцены и при этом в большей степени позволяет разглядеть объекты, попавшие в тень.
Г
•v
"w
г) д) е)
Рис. 6. Пример обработки набора Street 57 Fig. 6. Examples ofprocessing of data set Street 57
г) д) е)
Рис. 7. Пример обработки набора Street 25 Fig. 7. Examples ofprocessing of data set Street 25
г) д) е)
Рис. 8. Пример обработки набора Country 01 Примечание: на рисунках 6, 7, 8 а) исходное RGB-изображение; б) исходное инфракрасное NIR-изображение; в) модифицированный алгоритм MSR; г) a-blend, a=0,6; д) слияние с использованием модели HSI; е) предлагаемый алгоритм
Fig. 8. Examples ofprocessing of data set Country 01 Comment for fig. 6, 7, 8: a) original RGB image; б) original infrared NIR image; в) modified algorithm MSR; г) a-blend, a = 0,6; д) HSI image fusion; е) proposed algorithm
Принимая во внимание особенности инфракрасных изображений типа N1^ было решено про-
верить возможности предлагаемого алгоритма по устранению эффекта дымки (Haze). Данный эф-
фект возникает при наблюдении объектов на значительном расстоянии или же при наличии таких погодных явлений, как туман, мелкий дождь и т.п. В связи с этим данный эффект иногда называют эффектом тумана. Рассмотрим на примере набора Country № 0i, представленного на рисунке 8 (рис. 12 в [22]), результаты работы различных алгоритмов.
В нижней части рисунка 8 изображены деревенские дома на фоне зеленой растительности, в верхней части - небо с облаками, на заднем плане расположен горный рельеф, фактически неразличимый в видимом спектре, но отчетливо просматриваемый на инфракрасном изображении. Наиболее корректно это изображение улучшают предложенный алгоритм и алгоритм a-blend. Остальные результаты обработки обладают различными искажениями: тусклостью или перенасыщенностью цвета, размытостью или излишней резкостью границ объектов, что некомфортно для оператора. При этом алгоритмы на основе технологии Retinex не в состоянии сделать различимым рельеф гор на заднем плане.
В ходе экспериментального исследования было выявлено, что вне зависимости от типа инфракрасного изображения наибольшее повышение визуального качества достигается при значениях базовых коэффициентов KRGB=3, KIR=2 и пороговых значениях, определяющих темные и светлые участки изображения: TsD=80, TsL=210. Базовое значение коэффициента влияния насыщенности цвета и пороговое значение насыщенности цвета для LWIR-изображений: Tsc,t=0,3, KfBases=0,2. В случае использования инфракрасных изображений NIR пороговое значение Tsat рекомендуется брать в диапазоне от 0,4 до 0,7, а значение коэффициента KfBases - в диапазоне от 0,2 до 0,5.
Для выяснения, какой же тип инфракрасного изображения (LWIR или NIR) дает наилучший результат с точки зрения визуального качества, было выполнено сравнение на примере ночной сцены, отраженной на рисунке i. Проанализировав результат (рис. 11 [22]), можно сделать вывод, что инфракрасные NIR-изображения дают более высокое визуальное качество. Это непосредственно связано с характеристиками инфракрасных изображений и особенностями их формирования.
На основании изложенного можно сделать следующие выводы. Инфракрасные камеры относительно недавно стали активно появляться на потребительском рынке. Поэтому возникла возможность задействовать их преимущества (ночная съемка, независимость от погодных условий, таких как туман и дым) наряду с преимуществами камер, работающих в визуальном спектре (высокие разрешения, позволяющие задействовать в анализе текстурные и цветовые характеристики объектов). Использование мультиспектральных изображений позволяет скомбинировать преимущества обоих
типов камер, сделать захват изображения частично независимым от погодных условий и условий освещения. Представленный в данной работе адаптивный алгоритм попиксельного слияния входных визуальных и инфракрасных изображений продемонстрировал свою состоятельность. Алгоритм может работать как с инфракрасными снимками типа NIR, так и LWIR. Определенный в ходе экспериментального исследования набор параметров позволяет получать качественный результат вне зависимости от типа инфракрасного изображения. При обработке материала, отснятого в ночное время, удалось получить лучшие результаты по сравнению с алгоритмами на основе технологии Retinex и классическими алгоритмами слияния изображений.
Литература
1. Зотин А.Г., Пахирка А.И., Буряченко В.В. Система видеонаблюдения c возможностью улучшения визуального качества видеопотока // Программные продукты и системы. 2013. № 2. С. 191-i97.
2. Petro A., Sbert C., Morel J.-M. Multiscale Retinex. Image Processing On Line. 20i4, pp. 7i-88.
3. Chao An, Mei Yu. Fast color image enhancement based on fuzzy multiple-scale Retinex. Strategic Technology (IFOST). 6th Intern. Forum, Harbin, Heilongjiang. 20ii, pp. i065-i069.
4. Зотин А.Г., Пахирка А.И. Адаптивный алгоритм шумоподавления в системах видеонаблюдения при низком уровне освещения сцены // Цифровая обработка сигналов и ее применение - DSPA 2016: сб. докл. 18-й Междунар. конф. М., 2016. Т. 2. С. 838-843.
5. Rogalski A. Infrared Detectors. 2nd Edn. CRC Press, Taylor & Francis Group, Boca Raton, Florida, USA, 20ii, 898 p.
6. Zheng Y. An exploration of color fusion with multispectral images for night vision enhancement. 20ii. URL: http://www.intechopen.com/books/image-fusion-and-its-applica-tions/an-exploration-of-color-fusion-with-multispectral-images-for-night-vision-enhancement (дата обращения: 29.03.20i6).
7. Zin T., Takahashi H., Hiromitsu T. Fusion of Infrared and Visible Images for Robust Person Detection. Image Fusion, Osamu Ukimura (Ed.). 20ii, pp. 239-264.
8. Malviya A., Bhirud S.G. Image Fusion of Digital Images. Intern. Journ. of Recent Trends in Engineering. 2009, vol. 2, no. 3, pp. i46-i48.
9. Nikolakopoulos G.K. Comparison of nine fusion techniques for very high resolution data. Photogrammetric Engineering & Remote Sensing. 2008, vol. 74, no. 5, pp. 647-659.
10. Khaleghi B., Khamis A., Karray F.O., Razavi S.N. Multisensor data fusion: A review of the state-of-the-art. Information Fusion. 20i3, vol. i4, pp. 28-44.
11. Al-Wassai F.A., Kalyankar N.V., Al-Zuky A.A. The IHS transformations based image fusion. Journ. of Global Research in Comp. Sc. 20ii, vol. 2, no. 5, pp. 70-77.
12. Wang Z., Deller J.R., Jr., Fleet B.D. Pixel-level multisensor image fusion based on matrix completion and robust principal component analysis. Journ. Electron. Imaging, 20i5, vol. 25, no. i. URL: http://electronicimaging.spiedigitallibrary.org/article.aspx7arti-cleid=248274i (дата обращения: 29.03.20i6).
13. Wang W., Chang F. A multi-focus image fusion method based on laplacian pyramid. Journ. of Computers. 20ii, vol. 6, no. i2, pp. 2559-2566.
14. Pajares G., Cruz J.M. A wavelet-based image fusion tutorial. Pattern Recognition. 2004, vol. 37, no. 9, pp. i855-i872.
15. Liu Y., Liu S., Wang Z. Multi-focus image fusion with dense SIFT. Information Fusion. 20i5, vol. 23, pp. i 3 9- i55.
16. Ehlers M., Tomowski D. On segment based image fusion. Springer Berlin Heidelberg. 2008, pp. 735-754.
17. Gao L.-Q., Wang R., Yang S. An image fusion algorithm based on RBF neural networks. Machine Learning and Cybernetics. 2005, vol. 8, pp. 5i94-5i99.
18. Zheng Y., Zheng P. Multisensor image fusion using fuzzy logic for surveillance systems. Fuzzy Systems and Knowledge Discovery (FSKD). 2010, pp. 588-592.
19. Smaili C.C., Najjar M.E., Charpillet F. Multi-sensor fusion method using dynamic bayesian network for precise vehicle localization and road matching. Tools with Artificial Intelligence. 2007, pp. 146-151.
20. Tomowski D., Ehlers M., Michel U., Bohmann G. Decision based data fusion techniques for settlement area detection from multisensor remote sensing data. 1st EARSeL Workshop of the SIG Urban Remote Sensing Humboldt-Universität zu Berlin. 2006, pp. 1-8.
21. Малла С. Вейвлеты в обработке сигналов; [пер. с англ.]. М.: Мир, 2005. 672 с.
22. Зотин А.Г., Пахирка А.И., Дамов М.В., Савчина Е.И. Улучшение визуального качества изображений на основе инфракрасных данных в системах видеонаблюдения // Программные продукты, системы и алгоритмы. 2016. № 2. URL: http://swsys-web.ru/improved-visual-quality-of-images-in-video-surveillance-systems.html (дата обращения: 30.04.2016).
23. KAIST Multispectral Pedestrian Dataset. URL: https://sites.google.com/site/pedestrianbenchmark/home (дата обращения: 29.03.2016).
24. Litiv Dataset. URL: http://www.polymtl.ca/litiv/en/vid/ (дата обращения: 29.03.2016).
25. IVRL - RGB-NIR Scene Dataset. URL: http://ivrl.epfl.ch/ supplementary_material/cvpr11/ (дата обращения: 29.03.2016).
DOI: 10.15827/0236-235X.115.109-120 Received 05.05.16
VISUAL QUALITY ENHANCEMENT OF IMAGES OBTAINED IN ADVERSE ILLUMINATION CONDITIONS BASED ON INFRARED DATA
(Acknowledgements. The work has been done with support from the Russian Foundation for Basic Research,
project no. 16-07-00121 A) 1Zotin A.G., Ph.D. (Engineering), Associate Professor, [email protected] lPakhirka A.I., Ph.D. (Engineering), Assistant Professor, [email protected] lDamov M. V., Ph.D. (Engineering), Assistant Professor, [email protected] lSavchinaE.I., Undergraduate, [email protected] 1 Siberian State Aerospace University named after academician M.F. Reshetnev, Krasnoyarsky Rabochy Av. 31, Krasnoyarsk, 660014, Russian Federation
Abstract. Nowadays video surveillance systems based on digital cameras are extremely popular. However, a video surveillance operator is often faced the problem of poor visibility of the observed object. This occurs in low light and adverse weather conditions.
The article considers the methods of visual quality enhancement of the images obtained in adverse lighting conditions. Thus, visual quality enhancement is possible to obtain by fusing visual data (RGB) and infrared (IR) images.
Fusion methods can be divided into three main categories according to the principles of their operation: pixel fusion, features fusion and object-based fusion. The speed of data processing is very important in video surveillance systems. The images are fused in the transform domain using novel pixel-based rules.
The proposed algorithm is divided into two main stages, which are preparation and processing. The preparation stage forms the data necessary to carry out the fusion and to form the chromatic components map of YUV color model. To enhance the visual quality the authors offer to perform the adjustment of the infrared image depending on its type (NIR SWIR and LWIR) and average brightness value. To determine the correction factor they propose to use histograms and lookup tables, which can significantly reduce the computational complexity of the algorithm.
At the processing stage forms the fused image with enhanced visual quality. During fusion the adaptation of fusion coefficients is conducted for each pixel. It is based on such parameters as brightness values of pixels of visual and corrected infrared images, as well as information of color saturation.
Experimental results show that images fused by the proposed algorithm demonstrated better spectral features than the original ones.
Keywords: image processing, image analysis, infrared image, Retinex, LWIR, NIR, image fusion.
References
1. Zotin A.G., Pakhirka A.I., Buryachenko V.V. Development of video surveillance system with visual quality enhancement. Programmnyeprodukty i sistemy [Software & Systems]. 2013, no. 2, pp. 191-197 (in Russ.).
2. Petro A., Sbert C., Morel J-M. Multiscale Retinex. Image Processing on Line. 2014, pp. 71-88.
3. Chao An, Mei Yu. Fast color image enhancement based on fuzzy multiple-scale Retinex. Strategic Technology (IFOST). Proc. of 6th Int. Forum on. Harbin, Heilongjiang, 2011, pp. 1065-1069.
4. Zotin A.G., Pakhirka A.I. The adaptive noise reduction algorithm in video surveillance systems at low light levels scene. Doklady 18 Mezhdunar. konf. "Tsifrovaya obrabotka signalov i ee primenenie - DSPA 2016" [Proc. 18th Int. Conf. "Digital signal processing and its applications. DSPA 2016"]. Moscow, BRIS-M Publ., 2016, pp. 838-843 (in Russ.).
5. Rogalski A. Infrared Detectors. 2nd ed. CRC Press, Taylor & Francis Group, Boca Raton, Florida, USA, 2011, 898 p.
6. Zheng Y. An Exploration of Color Fusion with Multispectral Images for Night Vision Enhancement. Image Fusion and its Applications. 2011. Available at: http://www.intechopen.com/books/image-fusion-and-its-applications/an-exploration-of-color-fusion-with-multispectral-images-for-night-vision-enhancement (accessed March 29, 2016).
7. Zin T., Takahashi H., Hiromitsu T. Fusion of Infrared and Visible Images for Robust Person Detection. Image Fusion. Ukimura O. (Ed.). 2011, pp. 239-264.
8. Malviya A., Bhirud S.G. Image Fusion of Digital Images. Int. Journal of Recent Trends in Engineering. 2009, vol. 2, no. 3, pp. 146-148.
9. Nikolakopoulos G.K. Comparison of Nine Fusion Techniques for Very High Resolution Data. PhotogrammetricEngineering & Remote Sensing. 2008, vol. 74, no. 5, pp. 647-659.
10. Khaleghi B., Khamis A., Karray F.O., Razavi S.N. Multisensor Data Fusion: A Review of the State-of-the-Art. Information Fusion. 2013, vol. 14, pp. 28-44.
11. Al-Wassai F.A., Kalyankar N.V., Al-Zuky A.A. The IHS Transformations Based Image Fusion. Journal of Global Research in Computer Science. 2011, vol. 2, no. 5, pp. 70-77.
12. Wang Z/, Deller J.R. Jr., Fleet B.D. Pixel-level multisensor image fusion based on matrix completion and robust principal component analysis. Journ. Electron. Imaging. 2015, vol. 25, no. 1. Available at: http://electronicimaging.spiedigitalli-brary.org/article.aspx?articleid=2482741 (accessed March 29, 2013).
13. Wang W., Chang F. A Multi-focus Image Fusion Method Based on Laplacian Pyramid. Journal of Computers. 2011, vol. 6, no. 12, pp. 2559-2566.
14. Pajares G., Cruz J.M. A wavelet-based image fusion tutorial. Pattern Recognition. 2004, vol. 37, no. 9, pp. 1855-1872.
15. Liu Y., Liu S., Wang Z. Multi-focus image fusion with dense SIFT. Information Fusion. 2015, vol. 23, pp. 139-155.
16. Ehlers M., Tomowski D. On segment based image fusion. Springer Berlin Heidelberg. 2008, pp. 735-754.
17. Gao L.-Q., Wang R., Yang S. An image fusion algorithm based on RBF neural networks. Machine Learning and Cybernetics. 2005, vol. 8, pp. 5194-5199.
18. Zheng Y., Zheng P. Multisensor image fusion using fuzzy logic for surveillance systems. Fuzzy Systems and Knowledge Discovery (FSKD). 2010, pp. 588-592.
19. Smaili C.C., Najjar M.E., Charpillet F. Multi-sensor Fusion Method Using Dynamic Bayesian Network for Precise Vehicle Localization and Road Matching. Tools with Artificial Intelligence. 2007, pp. 146-151.
20. Tomowski D., Ehlers M., Michel U., Bohmann G. Decision Based Data Fusion Techniques For Settlement Area Detection From Multisensor Remote Sensing Data. 1st EARSeL Workshop of the SIG Urban Remote Sensing Humboldt-Univer-sitatzuBerlin. 2006, pp. 1-8.
21. Mallat S. A wavelet tour of signal processing. Academic press, 1999 (Russ. ed.: Zhileykina Ya.M. Moscow, Mir Publ., 2005, 672 p).
22. Zotin A.G., Pakhirka A.I., Damov M.V., Savchina E.I. Visual quality enhancement of the image based on infrared data in video surveillance systems. Programmnyeprodukty, sistemy i algoritmy. 2016, vol. 2. Available at: http://swsys-web.ru/im-proved-visual-quality-of-images-in-video-surveillance-systems.html (accessed April 30, 2016).
23. KAISTMultispectral Pedestrian Dataset. Available at: https://sites.google.com/site/pedestrianbenchmark/home (accessed March 29, 2016).
24. Litiv Dataset. Available at: http://www.polymtl.ca/litiv/en/vid/ (accessed March 29, 2016).
25. IVRL -RGB-NIR Scene Dataset. Available at: http://ivrl.epfl.ch/supplementary_material/cvpr11/ (accessed March 29, 2016).
Фонд «Сколково» и Национальный исследовательский ядерный университет
МИФИ объявляют конкурс проектов по информационной безопасности Skolkovo Cybersecurity Challenge 2016
Конкурс посвящен поиску лучших инновационных решений, направленных на защиту бизнеса и частных лиц от киберугроз, и проводится при поддержке Банка России.
Партнерами выступили Kaspersky Lab, InfoWatch, Almaz Capital, НТИ SafeNet, Eset и Московский политехнический университет.
Стратегический партнер конкурса - компания Cisco, мировой лидер в области разработки решений по обеспечению информационной безопасности и ключевой партнер Фонда «Сколково».
Заявки принимаются с 1 августа по 15 ноября 2016 года.
Итоги конкурса станут известны в финале, 8 декабря 2016 года, на ежегодной Международной конференции Skolkovo Cyberday, посвященной актуальным вопросам развития инновационных технологий в области информационной безопасности.
Три призовых проекта получат финансирование по 5 млн. рублей на развитие технологии. Особым решением организаторов количество призовых мест может быть увеличено до 5.
Подробная информация на сайте
http://cyber2016.sk.ru/
Оргкомитет
