CC BY
57
УДК 528.854
СПЕКТРАЛЬНО-ТЕКСТУРНАЯ КЛАССИФИКАЦИЯ ГИПЕРСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИЙ ВЫСОКОГО ПРОСТРАНСТВЕННОГО РАЗРЕШЕНИЯ
Сергей Александрович Рылов
Институт вычислительных технологий СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, ведущий специалист, тел. (383)334-91-55, e-mail: [email protected]
Павел Владимирович Мельников
Институт вычислительных технологий СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, ведущий специалист, тел. (383)334-91-55, e-mail: [email protected]
Игорь Алексеевич Пестунов
Институт вычислительных технологий СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, зав. лабораторией обработки данных, тел. (383)334-91-55, e-mail: [email protected]
Предложен метод спектрально-текстурной классификации гиперспектральных изображений высокого пространственного разрешения. Приводятся результаты экспериментов с модельными и реальными изображениями, подтверждающие эффективность предложенного метода.
Ключевые слова: гиперспектральные изображения, высокое пространственное разрешение, спектрально-текстурные признаки, классификация.
SPETRAL-TEXTURAL CLASSIFICATION OF HYPERSPECTRAL IMAGES WITH HIGH SPATIAL RESOLUTION
Sergey A. Rylov
Institute of Computational Technologies SB RAS, 630090, Russia, Novosibirsk, 6 Acad. Lavrentjev ave., leading specialist, tel. (383)334-91-55, e-mail: [email protected]
Pavel V. Melnikov
Institute of Computational Technologies SB RAS, 630090, Russia, Novosibirsk, 6 Acad. Lavrentjev ave., leading specialist, tel. (383)334-91-55, e-mail: [email protected]
Igor A. Pestunov
Institute of Computational Technologies SB RAS, 630090, Russia, Novosibirsk, 6 Acad. Lavrentjev ave., head of Data Processing Laboratory, tel. (383)334-91-55, e-mail: [email protected]
А method of spectral-textural classification of hyperspectral images with high spatial resolution is proposed. Experiments on models and real-world data are described proving the effectiveness of the method.
Key words: hyperspectral images, high spatial resolution, spatial and texture features, classification.
В последние годы в области аэрокосмического дистанционного зондирования Земли наблюдается активное внедрение гиперспектральных систем, обеспечивающих съемку в видимом и инфракрасном диапазонах спектра [1].
Поэтому в настоящее время появились потенциальные возможности использования высокоинформативных гиперспектральных изображений (ГСИ) для решения широкого круга научных и практических задач. Однако существенным сдерживающим фактором для реализации этих возможностей является отсутствие приемлемого инструментария для их автоматизированного анализа.
В работе [2] предложены схема и методы классификации ГСИ, для которых текстурные характеристики не несут существенной информации об объектах сцены и поэтому не учитываются при обработке. Но при классификации изображений высокого пространственного разрешения (4 м и лучше) в текстуре зачастую заключена основная информации об объектах сцены, вследствие чего игнорировать ее нельзя.
К настоящему времени известен целый ряд эффективных методов формирования текстурных признаков для полутоновых изображений [3], но проблема спектрально-текстурной классификации мульти- и гиперспектральных изображений до сих пор остается открытой [4-6].
В докладе предлагается метод классификации гиперспектральных изображений высокого пространственного разрешения, учитывающий как спектральные, так и текстурные их характеристики. Эффективность предлагаемого метода демонстрируется на модельных и реальных изображениях.
Краткое описание метода. Применительно к мульти- и гиперспектральным изображениям, текстуру можно интерпретировать, как характер распределения векторов спектральных яркостей по полю изображения объекта, обусловленный взаимным закономерным расположением неоднородных составляющих объект элементов. Если произвести кластеризацию пикселей текстурного изображения только по спектральным признакам, ее результат будет представлять чрезмерно раздробленную картину. Но для текстур одного и того же типа процентное содержание пикселов из разных кластеров примерно одинаково, а для разных типов текстур, как правило, отличается. Эта закономерность справедлива для большинства текстур, соответствующих естественным объектам природного происхождения (например, лесным, болотным, тундровым и другим природным ландшафтам). Такой подход успешно применялся в работе [7] для автоматической сегментации мультиспектральных изображений.
Предлагаемый метод классификации гиперспектральных изображений высокого пространственного разрешения, основанный на использовании этого подхода, включает пять этапов.
Большое число каналов и высокое спектральное разрешение ГСИ приводят к значительной информационной избыточности. Поэтому на первом этапе производится выделение информативного набора спектральных признаков. Для этих целей используется метод главных компонент (МГК) или его модификации (блочный МГК и метод минимизации шумовых помех), позволяющие на порядок сокращать число спектральных признаков без существенного снижения качества классификации [2].
На втором этапе производится сегментация исходного ГСИ по выделенному набору информативных спектральных признаков с помощью ансамблевого
алгоритма кластеризации ECCA [8]. Этот алгоритм обеспечивает выделение кластеров различной формы, размера и плотности. Кроме того, алгоритм ECCA является сеточным и характеризуется высоким быстродействием.
На третьем этапе по полученной картосхеме вычисляются спектрально-текстурные признаки, описывающие мультиспектральную текстуру. Процедура вычисления признаков заключается в следующем. Предположим, что на втором этапе выделено К кластеров и построена соответствующая картосхема. Она разбивается на непересекающиеся квадратные фрагменты размером hxh пикселей (на краях изображения возможно появление прямоугольных фрагментов): fM ■ Каждому фрагменту /, сопоставляется вектор спектральных частот
z=Zi,---,zf , где zj=Nj/к2, где N/ - число элементов фрагмента f, относящихся к кластеру с номером j, j =\, ...,K.
Векторы спектральных частот z,---,zM описывают многомерную гистограмму фрагментов изображения. При этом их размерность равна числу кластеров, полученных при кластеризации по спектральным признакам, что на порядки меньше числа элементов, необходимых для описания многомерной гистограммы исходного изображения.
Расстояние между двумя векторами спектральных частот zt и Zj задается
к
с помощью манхэттенской метрики: ¡л^,у =\!2 Xl-V-V/I • Эта метрика часто ис-
i=1
пользуется для сравнения гистограмм [5, 6].
На четвертом этапе алгоритма выполняется классификация фрагментов изображения посредством отнесения их к ближайшим представителям классов. Обучающие представители для классов задаются пользователем в виде набора пикселей с указанием класса, к которому они принадлежат. Для окрестности каждого помеченного пикселя вычисляется соответствующий вектор спектральных частот. Таким образом формируется список представителей классов.
Пофрагментная, а не попиксельная классификация обеспечивает высокую скорость обработки. Однако получаемые при этом классы характеризуются грубыми границами. Поэтому на заключительном этапе обработки выполняется попиксельная коррекция границ классов. Для этого рассматриваются все граничные фрагменты. Каждый пиксель, попадающий на границу, относится к тому классу, к которому ближе вектор спектральных частот фрагмента с центром в этом пикселе. При этом могут появиться новые граничные пиксели. Процесс продолжается до тех пор, пока все граничные пиксели не будут рассмотрены.
Результаты экспериментальных исследований. Обработка данных проводилась на ПЭВМ с процессором Intel Core i7 (4 ядра, 3.3 ГГц). Во всех экспериментах при работе алгоритма ECCA использовался ансамбль из восьми элементов.
На рис. 1 представлен пример классификации модельного RGB-изображения размером 622^622 пикселей, составленного из пяти цветных текстур. При этом две текстуры (верхняя левая и верхняя правая) имеют одинаковый средний цвет, что делает невозможным их корректное разделение без ис-
пользования текстурных характеристик. Для каждого из классов задавалось по одной обучающей метке, размер фрагментов - 35^35. Точность классификации с коррекцией границ составила 99.5 %, а без коррекции - 97.0 %.
а б в
Рис. 1. а - исходное изображение; б, в - результаты классификации без коррекции границ и с коррекцией соответственно
На рис. 2, а представлен RGB-композит изображения, полученного августе 2011 г. гиперспектральным сенсором, разработанным НПО «Лептон» [9, 10]. Изображение содержит 87 спектральных каналов в диапазоне 404-1016 нм, пространственное разрешение - около 1 м, размер - 1000x350 пикселей. На изображении представлена тестовая территория Савватьевского лесничества (Тверская область). Для этого изображения имеется эталонная картосхема, полученная по результатам лесотаксационных исследований (рис. 2, б). Картосхема описывает видовой и возрастной составы лесных выделов. С момента создания картосхемы до момента съемки прошло много лет, поэтому специалистами была выполнена модификация картосхемы на основе визуального анализа изображения (рис. 2, в). Из оригинальной картосхемы были удалены (отнесены к классу-фону) сомнительные пиксели на границах классов.
Для классификации изображения были взяты первые четыре признака, выделенные МГК. Для семи классов на картосхеме было задано 25 обучающих меток. На рис. 2, г представлены результаты спектрально-текстурной классификации с нанесенными обучающими метками при И=35.
Точность классификации составила 98.47% для модифицированной и 85.61% - для оригинальной картосхемы соответственно. График зависимости точности классификации от размера фрагмента И представлен на рис. 3. Время работы алгоритма кластеризации ЕССА составляет 8 с, дальнейшая спектрально-текстурная классификация занимает 0.5 с (при И=35).
Для демонстрации преимуществ гиперспектральных данных перед муль-тиспектральными на основе рассматриваемого изображения было создано синтезированное мультиспектральное изображение с восемью спектральными признаками. Значения спектральных яркостей вычислялись путем усреднения значений по всем каналам гиперспектральных данных, попадающим в диапазоны длин волн, которые соответствуют каналам сенсора WorldView-2.
Рис. 2. а - ЯОБ-композит исходного изображения (каналы 82, 19, 10); б, в -оригинальная и модифицированная картосхемы соответственно, г - результаты спектрально-текстурной классификации с нанесенными обучающими метками
Для сравнительного анализа использовалась упрощенная модификация предложенного метода (вместо векторов спектральных частот использовались вектора усредненных по фрагментам значений спектральных яркостей в различных каналах). При этом размерность векторов равнялась числу выбранных спектральных каналов, а предварительная кластеризация не требовалась. В таблице показана точность классификации модифицированным алгоритмом в зависимости от размера фрагмента для различного числа главных компонент, а также для синтезированного восьмиканального изображения У^2 и изображения СИ-4, сформированного из четырех синтезированных каналов (соответствующих синему, зеленому, красному и ближнему инфракрасному диапазонам спектра).
Анализ полученных результатов показывает, что учет спектрально-текстурных признаков обеспечивает лучшие результаты классификации, по сравнению с усредненными спектральными характеристиками. Использование главных компонент гиперспектрального изображения обеспечивает более высокую точность по сравнению с мультиспектральным набором каналов из восьми каналов.
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (гран № 14-07-00249-а) и Российского научного фонда (грант № 14-14-00453).
30 35 40 Размер фрагментов, Ь
Рис. 3. Зависимость точности классификации от размера фрагмента
разных наборов признаков
Зависимость точности классификации от размера фрагмента И
Точность классификации (%) Точность классификации по средним значениям спектральных признаков (%)
И МГК (4) СИ-4 МГК (2) МГК (3) МГК (4) МГК (5) МГК (6) МГК (8) МГК (10) СИ-4 У№-2 (8)
10 86.4 82.4 67.7 81.9 85.9 88.7 88.3 86.7 86.0 67.9 74.1
20 96.3 95.2 74.0 91.6 94.2 94.5 94.5 94.2 94.3 79.0 82.0
25 97.4 96.8 75.4 91.3 94.4 95.0 94.7 92.8 92.7 80.8 88.3
26 97.7 97.3 76.7 91.5 94.3 95.0 94.5 94.0 94.2 83.7 88.3
27 97.6 97.3 78.4 91.0 94.9 94.5 94.8 93.8 93.4 83.0 89.6
28 97.9 97.0 76.4 91.4 95.7 95.9 95.4 93.8 92.7 83.5 87.4
29 97.7 97.0 76.0 91.0 95.3 94.7 95.2 93.2 92.9 86.1 88.4
30 97.7 97.3 76.1 90.9 95.2 94.8 94.2 91.9 92.5 82.1 88.0
31 98.4 97.0 75.4 93.3 94.6 95.6 95.1 93.4 93.4 85.5 90.0
32 97.9 97.2 75.2 91.5 94.7 94.6 94.4 93.3 93.4 81.7 85.3
33 97.9 97.2 73.5 91.3 95.5 94.5 94.4 92.8 93.2 84.2 89.1
34 97.8 96.8 75.9 91.1 95.6 94.7 93.5 91.9 92.2 83.6 88.0
35 98.5 96.8 75.3 92.4 95.2 95.7 93.8 93.3 93.3 81.7 85.8
36 97.9 96.7 77.3 92.7 94.9 96.3 95.0 92.8 93.0 85.6 89.8
37 97.9 97.1 80.1 93.2 95.4 96.0 95.1 94.7 94.1 80.5 87.1
38 97.3 96.7 77.6 91.8 94.8 95.2 94.6 93.5 93.9 82.3 88.4
39 97.8 96.8 80.2 91.2 95.0 95.5 94.4 94.8 93.7 81.9 86.8
40 97.5 96.5 80.1 90.8 94.1 95.2 95.7 94.6 94.8 84.0 86.3
45 97.1 96.2 81.2 89.4 93.5 94.3 93.4 92.8 92.1 81.9 86.4
52 96.0 95.3 75.6 91.2 94.2 94.1 95.2 93.3 92.9 84.1 90.5
55 95.9 95.1 84.0 90.5 93.9 94.9 95.2 93.8 92.9 77.0 89.1
60 95.7 94.3 77.3 90.6 92.4 94.0 94.2 93.0 92.5 81.0 88.7
Мах 98.5 97.3 84.0 93.3 95.7 96.3 95.7 94.8 94.8 86.1 90.5
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Бондур В.Г. Современные подходы к обработке больших потоков гиперспектральной и многоспектральной аэрокосмической информации // Исследование Земли из космоса. -2014. - № 1. С. 4-16.
2. Борзов С.М., Федотов А.М., Мельников П.В., Пестунов И.А., Потатуркин О.И. Комплексная обработка гиперспектральных изображений на основе спектральной и пространственной информации // Вычислительные технологии. - 2016. - Т. 21. - № 1. - С. 25-39.
3. Petrou M., Gacia Sevilla P. Image processing: Dealing with texture. - 2006. 618 p.
4. Yuan J., Wang D. L., Li R. Remote sensing image segmentation by combining spectral and texture features // IEEE Transactions on Geoscience and Remote Sensing, - 2014. - Vol. 52. - N. 1. -P. 16-24.
5. Mignotte M. A de-texturing and spatially constrained K-means approach for image segmentation // Pattern Recognition Letters. - 2011. - Vol. 32. - N. 2. - P. 359-367.
6. Nammalwar P., Ghita O., Whelan P. F. Integration of feature distributions for colour texture segmentation // Pattern Recognition. - 2004. - Vol. 1. - P. 716-719.
7. Пестунов И.А., Рылов С.А. Алгоритмы спектрально-текстурной сегментации спутниковых изображений высокого пространственного разрешения // Вестник КемГУ. - 2012. -№ 4/2 (52). - C. 104-110.
8. Пестунов И.А., Бериков В.Б., Куликова Е.А., Рылов С.А. Ансамблевый алгоритм кластеризации больших массивов данных // Автометрия. - 2011. - Т. 47. - № 3. - С. 49-58.
9. Kozoderov V.V., Kondranin T.V., Dmitriev E.V., Sokolov A.A. Retrieval of forest stand attributes using optical airborne remote sensing data // Optics Express. - 2014. - Vol. 22. - N 13. -P. 15410-15423.
10. Kozoderov V.V., Kondranin T.V., Dmitriev E.V., Kamentsev V.P. Bayesian classifier applications of airborne hyperspectral imagery processing for forested areas // Advances in Space Research. - 2015. - Vol. 55. - N 11. - P. 2657-2667.
© С. А. Рылов, П. В. Мельников, И. А. Пестунов, 2016
