CC BY
134
ОПТИЧЕСКИЕ И ОПТИКО-ЭЛЕКТРОННЫЕ ПРИБОРЫ И СИСТЕМЫ
УДК 681.78, 004.932 DOI: 10.17586/0021-3454-2017-60-7-647-653
КРИТЕРИИ ОЦЕНКИ КАЧЕСТВА ПРОЦЕССА КОМПЛЕКСИРОВАНИЯ ИЗОБРАЖЕНИЙ В МНОГОСПЕКТРАЛЬНЫХ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМАХ
А. С. Васильев, А. Н. Тимофеев, А. В. Васильева, С. А. Ряпосов
Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: [email protected]
Рассматриваются вопросы, связанные с комплексированием цифровых изображений в многоспектральных оптико-электронных системах. Представлен анализ процесса формирования комплексированных изображений, на основе которого предложены критерии оценки их качества с учетом пространственных искажений и изменения яркости. Для оценки качества пространственного преобразования при комплексировании изображений предлагается использовать такие критерии, как дисперсия разности уровней яркости исходного и преобразованного изображений и коэффициент их корреляции. Для оценки качества функции преобразования яркости при комплексировании изображений рассчитывается значение перекрестной энтропии, что позволяет уменьшить влияние шумовой составляющей изображения на оценку количества информации; другим критерием является характеристика распределения симметричности фурье-спектра изображения — эксцесс фурье-спектра, позволяющая определить контрастность изображения по частотным составляющим.
Ключевые слова: многоспектральная оптико-электронная система, комплек-сирование изображений, критерии качества изображений, цифровое изображение
Введение. Многоспектральные оптико-электронные системы (ОЭС) контроля состояния объектов и окружающей среды используются во многих областях, например: в промышленности, для обеспечения безопасности и противодействия терроризму, при экологическом мониторинге, для предотвращения техногенных катастроф и др. Применение многоспектральных ОЭС актуально и в военной технике — благодаря возможности обнаружения и распознавания объектов путем регистрации их собственного оптического излучения в различных диапазонах [1], а также и при решении задач раннего обнаружения лесных пожаров [2, 3].
При комплексировании изображений в многоспектральных ОЭС предполагается, что повышение эффективности распознавания достигается за счет суммирования параметров информационных признаков объектов (например, их яркости в различных спектральных диапазонах). Однако процедура комплексирования информации связана с проблемой объективной оценки качества получаемого изображения и его пригодности для дальнейшего анализа и дешифрования [4].
В настоящей статье представлен анализ процесса комплексирования изображений в многоспектральных ОЭС: на основе анализа предложены критерии оценки качества процесса,
учитывающие пространственные искажения и изменение яркости при комплексировании разноспектральных изображений. Под комплексированием в данном случае понимается такое совмещение нескольких изображений, которое приводит к повышению их информативности по сравнению с исходными.
Процесс формирования комплексированного изображения. Излучение объекта наблюдения можно описать совокупностью изменяемых информационных параметров (интенсивность излучения, температура, спектральный состав и т.д.). При этом структурированное множество параметров объекта целесообразно представить в виде информационного поля [5], на основе оценок параметров которого можно сформировать критерии качества процесса комплексирования изображений.
Обобщенная структура многоспектральной ОЭС комплексирования изображений (рис. 1) состоит из приемного оптического модуля, содержащего оптические элементы разделения спектрального диапазона, электронного блока, системы комплексирования и устройства вывода. Объект наблюдения формирует излучение в широком спектральном диапазоне, приемный модуль формирует изображение объекта с учетом его спектрального состава в отдельных каналах (АХ1, ДХ2, ..., ДХИ). В электронном блоке осуществляется обработка сигналов, которые поступают в систему комплексирования, где происходит объединение разно-спектральных изображений. Устройство вывода, в зависимости от конкретных решаемых задач, передает комплексированное изображение в систему отображения или другим устройствам дешифрования.
Рис. 1
В системе комплексирования изображение формируется на основе регистрации параметров информационного поля объекта наблюдения. В общем случае информационное поле объекта может быть представлено в виде цифровых изображений
р1 (хъ У1 ) р2 (^ У2)рп ( хп, уп ) .
Результатом комплексирования изображений является множество Ъ [6—9]:
¥1 (ХЪ У1) Р2 (^ У2 рп (хп, Уп ) Ъ , где г — размерность комплексированного множества, как правило, равная двум, однако в некоторых задачах (например, с применением объемных изображений) может быть больше двух.
Задача комплексирования информации сводится к поиску параметрического преобразования (для частного случая — пространственного, временного или яркостного), которое позволяет преобразовать одну группу параметров относительно другой в соответствии с заданным критерием.
Преобразование групп параметров излучения объекта при формировании изображения реализуется посредством выбранной схемы построения ОЭС комплексирования изображений. Анализ таких оптических схем показывает, что для простейшей реализации системы эффективного распознавания изображений следует использовать схему построения ОЭС
с независимыми оптическими каналами, обладающей широким рабочим спектральным диапазоном и высоким пространственным разрешением [2, 7]. Недостаток такой схемы — пространственные искажения на изображении, которые могут быть минимизированы (или устранены) на этапе юстировки системы или с помощью программных методов обработки изображений. Тогда общая формула комплексирования изображений может быть представлена в следующем виде:
£{с[Р1 (хъу )Р2 У2Рп (хъу z(у),
где — функция преобразования яркости цифрового изображения, С — функция пространственного преобразования, Z (x, у) — комплексированное изображение.
Таким образом, для изображений, полученных в независимых каналах многоспектральной ОЭС, в общем случае задача комплексирования сводится к нахождению функций С и В результате возникает задача определения эффективности предлагаемых преобразований, включающая оценку функции С и оценку информационной составляющей результирующего изображения.
Критерии оценки качества пространственного преобразования при комплексиро-вании изображений. В общем случае критерием объективной оценки качества пространственного преобразования при комплексировании может служить значение дисперсии разности уровней яркости исходного и преобразованного изображений [10, 11]. Этот критерий не требует опорных точек, соответствующие позиции которых будут идентифицированы на исходных изображениях. Для расчета дисперсии яркости необходимо, чтобы одно из исходных изображений не имело геометрических искажений и принималось за „эталон" [10]:
- L-1 2
а2 ((у)-р(у)))( -т) p()
k
где а2 — дисперсия яркости изображения; Р (х, у) — изображение, восстановленное одним
из методов пространственного преобразования; Р (х, у) — исходное изображение;
L-1
т = ^ ZkP(zk) — математическое ожидание яркости изображения; к = 0,1,2,...,Ь -1 — воз-
k=0
можные значения яркости пикселов изображения; Ь — максимально возможное значение уровня яркости пикселов изображения; р (к ) = ^П^ — вероятность появления пиксела с яркостью гк; МЫ — общее количество пикселов изображения; щ — количество пикселов с яркостью гк.
Дисперсия разности уровней яркости двух изображений позволяет оценить точность восстановления пространственных координат изображения в пикселах.
Другим критерием качества пространственного преобразования является расчет значения коэффициента корреляции исходного Р (х, у) и восстановленного Р (х, у) изображений.
В данном случае, так же как и при расчете дисперсии яркости, исходное изображение принимается за „эталон" [11, 12]:
Р
Ш =
Р ( х, у )п Р ( х, у )
Р Р (х, у) иР (х, у)
где Ш — коэффициент корреляции исходного и восстановленного изображений, Р — количество ненулевых элементов на изображении.
Максимум коэффициента корреляции, характеризующего схожесть двух изображений, будет соответствовать искомой точке их совмещения.
Критерии оценки качества функции преобразования яркости при комплексирова-нии изображений. В соответствии с определением понятия „комплексирование", критерий качества может быть реализован на основе применения теории информации и вычислен напрямую как среднее количество информации (энтропия). Оценка энтропии не позволяет с большой достоверностью установить количество информации комплексированного изображения: при оценке необходимо сегментировать источники энтропии — полезную информацию и шум.
Расчет значения перекрестной энтропии (кросс-энтропии) позволяет уменьшить влияние шумовой составляющей изображения на общее количество информации. Для полного устранения влияния источника шума предлагается применить метод, базирующийся на расчете перекрестной энтропии для изображения с выделенными контурами объектов. В этом случае количество информации комплексированного изображения зависит только от числа объектов. Контуры объектов определяются на основе изотропного фильтра Лапласа. Тогда перекрестная энтропия на границах объектов комплексированного изображения будет рассчитываться следующим образом [9, 13, 14]:
/ 2 2 ч СЕ(у2^1,У2ъ) СЕ(р^,РЪ)
(V2 Д, У2Ъ) = Ю1-У . . ; + ш2-\ 1 . ';
^ 1 ) 1 Е(2Д) 2 Е^)
CEEp^
i2 2 ч CE(,V2Z) CE(2,ßz) CEEf2,z(2,V2z) = Q3-X , . , ' + Q -^-
CEE (V2 Fb V2 F2, V2Z ) =
E (v2 F2 ) E (ßF2)
2CEE- ,z (V2 F1, V2Z) CEEf2 ,z (V 2 F>, V 2Z)
CEEf1;Z (, V2Z )2 + CEEF2,Z (V2 V2Z )
где CEE — значение перекрестной энтропии, полученное от лапласиана изображения; Qj, Ш2, Ш3, Ш4 — положительные константы, удовлетворяющие равенствам Qj +Ш2 = 1 и Q3 +Q4 = 1; ß — нормированная функция ориентации границ объектов на изображении;
CE — перекрестная энтропия исходного изображения; E — энтропия изображения; V2 — оператор Лапласа.
Для оценки функции был предложен также другой критерий — характеристика распределения симметричности фурье-спектра изображения (эксцесс фурье-спектра). Преобразование Фурье позволяет описать изображение с помощью совокупности составляющих его спектральных частот. Так, низкие частоты, расположенные вблизи оси симметрии фурье-спектра, соответствуют медленному изменению яркости изображения; высокие частоты, расположенные на удалении от оси симметрии, характеризуют более быстрые изменения яркости, такие как переходы на границах объектов, детали изображения, шум и т.д. Количественной характеристикой эксцесса фурье-спектра комплексированного изображения является коэффициент у, который описывает центральный момент четвертого порядка и характеризует плосковершинность и островершинность симметричной функции[13, 15]:
= М4 - 3 У = (М2 )2 - '
1 М -1N-1 1 М-1N -1
М4 = MN^ ZZ4(a-v)- М2 = MN^ ZZ2("• v)
MN u =0 v=0 1V1N u =0 v=0
где М2, М4 — моменты второго и четвертого порядка соответственно; число 3 в первом из приведенных выражений вычитается для сравнения относительно отклонения от нормального закона, для которого выполняется равенство М^(М2 )2 = 3 .
Следовательно, если коэффициент у > 0, то распределение фурье-спектра имеет острую вершину и на изображении преобладают высокие частоты; при у < 0 распределение фурье-спектра имеет более пологий характер и на изображении преобладают низкочастотные составляющие (рис. 2).
Рис. 2
Тогда критерием качества при оценке эксцесса фурье-спектра комплексированного изображения будет соотношение [7]
Уъ >У р^ У F2,
где Уъ, ур1, Ур2 — коэффициент эксцесса фурье-спектра комплексированного и исходных изображений соответственно.
Метод оценивания эксцесса фурье-спектра изображения позволяет получить характеристику частотных составляющих в области центральной симметрии. Более высокий показатель эксцесса фурье-спектра характеризует контрастное изображение с большим количеством деталей.
Заключение. Анализ процесса комплексирования изображений в многоспектральной ОЭС с разделенными независимыми оптическими каналами показал, что задача комплекси-рования сводится к оценке пространственного преобразования и функции преобразования яркости разноспектральных изображений; оценку качества пространственного преобразования целесообразно проводить на основе дисперсии яркости и коэффициента корреляции, оценку функции преобразования яркости — на основе перекрестной энтропии и эксцесса фурье-спектра.
Статья подготовлена по результатам работы, выполненной при поддержке Правительства Российской Федерации (грант 074-И01).
СПИСОК ЛИТЕРАТУРЫ
1. Тарасов В. В., Якушенков Ю. Г. Двух- и многодиапазонные оптико-электронные системы с матричными приемниками излучения. М.: Университетская книга; Логос, 2007. 192 с.
2. Васильев А. С., Коротаев В. В., Краснящих А. В., Лашманов О. Ю., Ненарокомов О. Н. Совмещение тепловизионного и телевизионного изображений при обследовании строительных конструкций зданий и сооружений // Изв. вузов. Приборостроение. 2012. Т. 55, № 4. С. 12—16.
3. Васильев А. С., Краснящих А. В., Коротаев В. В., Лашманов О. Ю., Ненарокомов О. Н., Лысенко Д. Ю., Широков А. С., Ярышев С. Н. Разработка программно-аппаратного комплекса обнаружения лесных пожаров методом совмещения изображений // Изв. вузов. Приборостроение. 2012. Т. 55, № 12. С. 50—56.
4. Антюфеев В. И., Быков В. Н. Сравнительный анализ алгоритмов совмещения изображений в корреляционно-экстремальных системах навигации летательных аппаратов // Авиационно-космическая техника и технология. 2008. № 1. С. 70—78.
5. Войтов В. А., Голицын A. B., Дегтярев Е. В., Журавлев П. В., Журов Г. Е., Шлишевский В. Б. Способ формирования единого информационного поля // Оптич. журн. 2009. Т. 76, № 12. С. 84—87.
6. Аксенов О. Ю. Совмещение изображений // Цифровая обработка сигналов. 2005. № 3. С. 51—55.
7. Vasilev A. S., Korotaev V. V. Research of the fusion methods of the multispectral optoelectronic systems images // Proc. of SPIE. 2015. Vol. 9530. Р. 953007—1.
8. Порфирьев Л. Ф. Основы теории преобразования сигналов в оптико-электронных системах. СПб: Лань, 2013. 400 с.
9. Jianfang Dou, Jianxun Li. Optimal image-fusion method based on nonsubsampled contourlet transform // Opt. Engineering. 2012. Vol. 51(10), 107006.
10. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2012. 1104 с.
11. Al-Wassai F., Kalyankar N., Al-zuky A. The IHS transformations based image fusion // J. of Global Research in Computer Science. 2011. Vol. 2, N 5. P. 70—77.
12. Ramac L. C., Uner M. K., Varshney P. K. Morphological filters and wavelet based image fusion for concealed weapon detection // Proc. of SPIE. 1998. Vol. 3376.
13. Deepali A. Godse, Dattatraya S. Bormane. Wavelet based image fusion using pixel based maximum selection rule // Intern. Journal of Engineering Science and Technology. 2011. Vol. 3, N 7.
14. Ким H. B., Коссов П. В., Михеев C. M. Увеличение информативности телевизионных и тепловизионных изображений // Вестник компьютерных технологий. 2011. № 10.
15. Вероятность и математическая статистика: Энциклопедия / Под ред. Ю. В. Прохорова. М.: Большая российская энциклопедия, 2003. 912 с.
Сведения об авторах
Александр Сергеевич Васильев — канд. техн. наук; Университет ИТМО; кафедра оптико-электронных
приборов и систем; E-mail: [email protected]
Александр Николаевич Тимофеев — канд. техн. наук; Университет ИТМО; кафедра оптико-электронных
приборов и систем; E-mail: [email protected]
Анна Владимировна Васильева — аспирант; Университет ИТМО; кафедра оптико-электронных прибо-
ров и систем; E-mail: [email protected]
Сергей Александрович Ряпосов — студент; Университет ИТМО; кафедра оптико-электронных прибо-
ров и систем; E-mail: [email protected]
Рекомендована кафедрой Поступила в редакцию
оптико-электронных приборов 19.12.16 г.
и систем
Ссылка для цитирования: Васильев А. С., Тимофеев А. Н., Васильева А. В., Ряпосов С. А. Критерии оценки качества процесса комплексирования изображений в многоспектральных оптико-электронных системах // Изв. вузов. Приборостроение. 2017. Т. 60, № 7. С. 647—653.
QUALITY ASSESSMENT CRITERIA FOR IMAGE FUSION IN MULTISPECTRAL OPTICAL-ELECTRONIC SYSTEMS
A. S. Vasiliev, A. N. Timofeev, A. V. Vasilieva, S. A. Ryaposov
ITMO University, 197101, St. Petersburg, Russia E-mail: [email protected]
The problems related to fusion of digital images in multispectral optical-electronic systems are considered. The presented analysis of the procedure of fusion image creation is used as a base for development of criteria of the resulting image quality evaluation with the account for spatial distortion and brightness change. To evaluate the quality of spatial transformation at image fusion, it is proposed to use such criteria as the dispersion of brightness levels difference for original image and image after spatial trans-
formation, and the correlation coefficient for initial (without spatial distortion) and the transformed images. To assess the quality of brightness transformation in fusion image, the cross-entropy value is calculated to reduce the influence of the noise component of the image on the information quantity estimate. Another criterion is a characteristic of symmetry distribution of the fusion image Fourier spectrum - excess of Fourier spectrum - which allows to define the contrast of the image by the frequency components.
Keywords: multispectral optical-electronic system, image fusion, image quality criteria, digital
image
Data on authors
Alexander S. Vasiliev — PhD; ITMO University, Department of Optical-Electronic Devices and
Systems; E-mail: [email protected] Alexander N. Timofeev — PhD; ITMO University, Department of Optical-Electronic Devices and
Systems; E-mail: [email protected] Anna V. Vasilieva — Post-Graduate Student; ITMO University, Department of Optical-
Electronic Devices and Systems; E-mail: [email protected] Sergey A. Ryaposov — Student; ITMO University, Department of Optical-Electronic Devices
and Systems; E-mail: [email protected]
For citation: Vasiliev A. S., Timofeev A. N., Vasilieva A. V., Ryaposov S. A. Quality assessment criteria for image fusion in multispectral optical-electronic systems. Journal of Instrument Engineering. 2017. Vol. 60, N 7. P. 647—653 (in Russian).
DOI: 10.17586/0021-3454-2017-60-7-647-653
