CC BY
80
Способы обработки гистограммы тепловизионного изображения
12 1 1 Р.Р. Агафонова ' , А.В. Мингалев , С.Н. Шушарин
1 АО «НПО ГИПО» 2КНИТУ-КАИ им. А.Н. Туполева
Аннотация: Представлены результаты реализации методов линейного контрастирования, эквализации гистограммы изображения, адаптивной эквализации гистограммы (Adaptive Histogram Equalization (AHE)) и адаптивной эквализации гистограммы с ограничением по контрасту (Contrast Limited Adaptive Histogram Equalization (CLAHE)) в виде тестового программного обеспечения для обработки тепловизионных изображений. Предложены варианты доработки метода CLAHE, позволяющие исключить необходимость подбора изменяемых параметров вручную.
Ключевые слова: обработка изображений, компьютерная обработка, обработка гистограммы, эквализация гистограммы.
Введение
В настоящее время цифровая обработка изображений применяется во всех областях науки и техники, в том числе и в тепловидении. Целью обработки является повышения качества изображения для дальнейшего дешифрирования данных оператором или системой автоматического распознавания [1-7].
В данной статье приведены 4 способа обработки гистограммы тепловизионного изображения: линейное контрастирование, эквализация гистограммы, адаптивная эквализация гистограммы, адаптивная эквализация гистограммы с ограничением по яркости, а также предложены две доработки последнего метода, которые обеспечивают возможность автоматизации процесса обработки изображений.
Для сравнения способов обработки гистограммы тепловизионного изображения, описанные методы были реализованы на персональном компьютере в виде тестового программного обеспечения, обрабатывающего тепловизионные изображения, полученные при работе с тепловизионными каналами, выпускаемыми АО «НПО ГИПО».
и
1. Линейное контрастирование
Линейное контрастирование - это преобразование гистограммы тепловизионного изображения, при котором гистограмма равномерно растягивается на весь максимальный интервал уровней яркости от 0 до 255. При этом из рассмотрения исключаются малоинформативные края гистограммы, которые отбрасывают перед растяжением гистограммы (в нашем случае левый и правый края гистограммы были отброшены) [8].
Недостатком линейного контрастирования является наличие черных и белых пятен на изображении, так называемых «зашкалов», на которых детали не различимы. На рис.1 (а) приведено исходное тепловизионное изображение и его гистограмма, а на рисунке 1 (б) результат линейного контрастирования, на изображении видны появившиеся черные и белые области.
а)
Рис. 1. - а) исходное изображение и гистограмма; б) результат линейного
контрастирования и гистограмма
2. Эквализация гистограммы
В гистограмме изображения каждой яркости соответствует определенное количество пикселей, которое определяет высоту соответствующего столбца. Необходимо определить вероятность появления пикселя каждой яркости. На основании найденных значений строится таблица «Распределение вероятностей», в которой для каждого столбца
исходной гистограммы хранится числовое значение. Далее для каждого непустого столбца гистограммы определяют новое значение яркости, умножая вероятность на 255 (по количеству градаций серого). [8] Исходное изображение и его гистограмма представлены на рис. 2 (а), а результат представлен на рис. 2 (б).
Рис. 2. - а) исходное изображение и гистограмма; б) эквализованное
изображение и гистограмма
Эквализация гистограммы также не приводит к желаемому эффекту, т. к. наряду с увеличением контрастности изображения «зашкалы» остаются.
3. АНЕ
Метод АНЕ заключается в том, что изображение разбивается на квадратные сегменты, для каждого сегмента производится эквализация его гистограммы, в результате которой для каждого сегмента составляется таблица «Распределение вероятностей». Далее вычисляется значение интенсивности яркости в пикселе на основании таблиц соседних сегментов и весов, определяемых удаленностью пикселя от центрального пикселя каждого из сегментов [9]. Размер окрестности зависит от исходного изображения и выбирается оператором индивидуально в результате эксперимента, что является существенным недостатком метода, так как это подразумевает подбор параметра для каждого изображения отдельно. Результат работы метода представлен на рис. 3 (б).
и
Рис.3. - а) исходное изображение; б) результат АНЕ
4. СЬЛНЕ
Метод эквализации гистограммы ^АНЕ является усовершенствованным методом АНЕ. [10] Суть усовершенствования состоит в том, что помимо эквализации гистограммы сегмента, описанной выше, устанавливается ограничение на максимальное количество пикселей в столбце гистограммы, при этом лишние «верхушки» столбцов равномерно распределяются по всей гистограмме. Максимальное количество пикселей в столбце гистограммы определяется так:
CUpLbmt = constant * -
(1)
Co-iiiitOf i'jFtfra
где ClipLimit - максимальное количество пикселей в столбце гистограммы; xSize, ySize - размер изображения; CountOfColors - количество столбцов гистограммы; constant - число, отвечающее за интенсивность обработки исходного изображения, от значения constant зависит максимальная высота столбца при обрезке «верхушек». Результат работы метода представлен на рис. 4 (б).
а) б) ,
Рис.4. - а) исходное изображение; б) результат CLAHE
и
Недостатком метода CLAHE является необходимость участия оператора в определении максимального количества пикселей в столбце гистограммы ClipLimit, так как в оригинальной формуле присутствует constant, подбираемая вручную. Авторами статьи предложена формула, по которой ClipLimit вычисляется по максимальной и средней высоте столбцов гистограммы:
ClipLimit = ffrigftU-)
4 (2)
где Heightma!f - максимальная высота столбца гистограммы, HeightmffCfiL -
средняя высота столбца гистограммы.
Вторым недостатком метода CLAHE является необходимость определения размера сегментов, на которые будет разбито изображение. Было сделано наблюдение, что при подборе размера сегмента существенное влияние оказывает количество градаций серого в изображении CountOfColors и то, насколько велик их диапазон HistSize. Исходя из этого авторами была предложена формула для вычисления размера сегмента:
I ССНСК£ ОТСЫ&гз $1яе£вдтв№ = \ 1тд$1%е * —щ^Ше-
Л . (3)
На рис. 5(а) представлено изображение, обработанное методом СЬАНЕ с использованием оригинальной формулы для вычисления ClipLimit, на рис. 5(б) методом СЬАНЕ с использованием предложенной формулы для вычисления ClipLimit, а на рис. 5(в) методом СЬАНЕ с использованием предложенной формулы для вычисления ClipLimit и формулы для вычисления размера сегмента SizeSegment.
Предложенные доработки не только позволяют обрабатывать изображение без подбора параметров оператором для каждого изображения отдельно, но и приводят к лучшему результату - рис. 5(в), чем при ручном
M Инженерный вестник Дона, №1 (2019) ivdon.ru/ru/magazine/arcliive/nly2019/5657
подборе - рис. 5 (а). На рис. 5 (в) различимы все детали, но при этом нет усиления шумов, заметного на рис. 5(а).
Рис.5 а) результат CLAHE; б) результат CLAHE с формулой ClipLimit; в) результат CLAHE с формулой ClipLimit и SizeSegment
Полученные результаты демонстрируют эффективность предложенного усовершенствования метода CLAHE и актуальности дальнейших его исследований с целью доработки для возможности реализации непосредственно на плате видеообработки тепловизионного канала.
Литература
1. Захаров Р.К. Методы повышения качества изображения в задачах распознавания // Современные научные исследования и инновации. 2012. №8. URL: web.snauka.ru/issues/2012/08/16488.
2. Хрящев Д.А. Повышение качества изображений, полученных в условиях недостаточной освещенности // Инженерный вестник Дона, 2013, №3 URL: ivdon.ru/ru/magazine/archive/n3y2013/1796.
3. Воронин В.В., Сизякин Р.А., Гапон Н.В., Франц В.А., Колосов А.Ю. Алгоритм реконструкции изображений на основе анализа локальных бинарных окрестностей // Инженерный вестник Дона, 2013, №3 URL: ivdon.ru/ru/magazine/archive/n3y2013/1857.
4. S.M. Pizer, E.P. Amburn, J.D. Austin, R. Cromartie, A. Geselowitz, T. Greer, B.M. ter Haar Romeny, J.B. Zimmerman, and K. Zuiderveld, Adaptive
II Инженерный вестник Дона, №1 (2019)
НИ ivdon.ru/ru/magazine/arcliive/nly2019/5657
Histogram Equalization and its Variations // Computer Vision, Graphics and Image Processing. vol. 39. 1987. pp. 355-368.
5. Zuiderveld K. Contrast Limited Adaptive Histogram Equalization. Chapter VIII.5, Graphics Gems IV. P.S. Heckbert (Eds.), Cambridge, MA, Academic Press. 1994. pp. 474-485.
6. Pizer S.M., Zimmerman J.B., and Staab E.V. Adaptive Grey Level Assignment in CT Scan Display // Journal of Computer Assisted Tomography. vol. 8. 1984. pp. 300-308.
7. Martinez D. Online Adaptive Histogram Equalization," Neural Networks for Signal Processing VIII // Proceedings of the 1998 IEEE Signal Processing Society Workshop. 1998. pp. 531-538.
8. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р.Вудс - М.: Техносфера, 2005. - 1072 с.
9. Stephen M. Pizer, E. Philip Amburn, John D. Austin, Robert Cromartie, Ari Geselowitz, Trey Greer, Bart ter Haar Romeny, John B. Zimmermam, Karel Zuiderveld, Adaptive Histogram Equalization and its variations // Computer vision, graphics, and image processing. pp. 355-367 (1987).
10.Ali M. Reza, Realization of the Contrast Limited Adaptive Histogram Equalization (CLAHE) for Real-Time Image Enhancement // Journal of VLSI Signal Processing 38. pp. 35-44, 2004.
References
1. Zaharov R.K. Sovremennye nauchnye issledovaniya i innovacii (Rus). 2012. №8. URL: web.snauka.ru/issues/2012/08/16488.
2. Khryashchev D.A. Inzenernyj vestnik Dona (Rus). 2013. №3. URL: ivdon.ru/ru/magazine/archive/n3y2013/1796.
II Инженерный вестник Дона, №1 (2019)
НИ ivdon.ru/ru/magazine/arcliive/nly2019/5657
3. Voronin V.V., Sizyakin R.A., Gapon N.V., Frants V.A., Kolosov A.Yu., Inzenernyj vestnik Dona (Rus), 2013, №3 URL: ivdon.ru/ru/magazine/archive/n3y2013/1857.
4. Pizer S.M., Amburn E.P., Austin J.D., Cromartie R., Geselowitz A., Greer T., B.M. ter Haar Romeny, Zimmerman J.B., and Zuiderveld K. Computer Vision, Graphics and Image Processing. vol. 39. 1987. pp. 355-368.
5. Zuiderveld K. Graphics Gems IV. P.S. Heckbert (Eds.), Cambridge, MA, Academic Press. 1994. pp. 474-485.
6. Pizer S.M., Zimmerman J.B., and Staab E.V. Journal of Computer Assisted Tomography. vol. 8. 1984. pp. 300-308.
7. Martinez D. Neural Networks for Signal Processing VIII, Proceedings of the 1998 IEEE Signal Processing Society Workshop. 1998. pp. 531-538.
8. Gonzalez R., Woods R. Tsifrovaya obrabotka izobrazenii [Digital image processing]. М.: Tecnosfera, 2005. 1072 p.
9. Stephen M. Pizer, E. Philip Amburn, John D. Austin, Robert Cromartie, Ari Geselowitz, Trey Greer, Bart ter Haar Romeny, John B. Zimmermam, Karel Zuiderveld, Computer vision, graphics, and image processing. pp. 355-367 (1987).
10. Ali M. Reza. Journal of VLSI Signal Processing 38. pp. 35-44, 2004.
