CC BY
84
Исследование эффективности классификации трудноразличимых типов растительности по гиперспектральным изображениям
С.М. Борзов1, М.А. Гурьянов1, О.И. Потатуркин1 1Институт автоматики и электрометрии СО РАН, 630090, Россия, г. Новосибирск, просп. акад. Коптюга, д. 1
Аннотация
Работа посвящена исследованию эффективности методов контролируемой спектральной и спектрально-пространственной классификации гиперспектральных данных. В частности, на примере различения типов растительности рассмотрены методы минимального расстояния, опорных векторов, Махаланобиса, максимального правдоподобия. Значительное внимание уделено изучению зависимости точности классификации данных при применении перечисленных методов от количества и способа выбора спектральных признаков. Продемонстрирована перспективность совместной обработки спектральных и пространственных признаков, учитывающей коррелированность близкорасположенных пикселей. Приведены экспериментальные результаты, полученные при различных способах формирования обучающих выборок.
Ключевые слова: дистанционное зондирование Земли, гиперспектральные изображения, классификация типов поверхностей, спектральные и пространственные признаки, обработка изображений.
Цитирование: Борзов, С.М. Исследование эффективности классификации трудноразличимых типов растительности по гиперспектральных изображениям / С.М. Борзов, М.А. Гурьянов, О.И. Потатуркин // Компьютерная оптика. - 2019. - Т. 43, № 3. - С. 464473. - DOI: 10.18287/2412-6179-2019-43-3-464-473.
Введение
В настоящее время развитие средств дистанционного зондирования Земли (ДЗЗ) характеризуется внедрением технологий гиперспектральной (ГС) съёмки в видимом, ближнем и коротковолновом инфракрасных диапазонах [1]. При подобной съёмке формируется несколько десятков или даже сотен изображений в узких спектральных полосах. С учётом того, что спектры поглощения различных веществ и материалов уникальны, в совокупности они позволяют определять тип и состояние растительности и почвенного покрова, идентифицировать материал наблюдаемых объектов. В частности, разработаны многочисленные подходы, реализующие анализ тонкой структуры спектров пикселей изображений и их классификацию путем сравнения со спектрами эталонных участков поверхности [2-5]. Но проблема заключается в том, что при анализе ГС изображений слабо различимых типов подстилающей поверхности классические попиксельные методы демонстрируют недостаточно высокую точность. Это обусловлено несколькими причинами. Во-первых, спектральный состав каждого пикселя является комбинацией спектральных характеристик объектов, образующих этот пиксель [6, 7]. Во-вторых, различные участки поверхности оказываются в разных условиях. Одни освещены прямым солнечным излучением, другие находятся в тени и освещаются отражённым или рассеянным светом [8]. Кроме того, они отличаются влажностью и ориентацией поверхности по отношению к источнику освещения и регистрирующей системе. Значительные искажения в результирующие спектры также вносит переотражение между слоями, такими как вода/почва, растительность/почва и т.п.
Это приводит к тому, что для широкого круга практических приложений спектральных признаков оказывается недостаточно [9].
Повышение достоверности классификации может быть достигнуто при одновременном анализе спектральных и пространственных признаков ГС изображений [10-14]. В частности, может быть применён подход, основанный на непосредственном использовании для классификации каждого пикселя его ближайшей окрестности [15]. В этом случае с учётом пространственной связности данных принимается допущение, что пиксель изображения зависит от своего окружения, и каждый из соседей может рассматриваться как гипотеза при его уточнении. Способы выбора наиболее достоверной из имеющихся гипотез рассматриваются различные [16-22]. В простейшем случае на этапе предварительной обработки может быть выполнена процедура сглаживания.
Широкое распространение получили также методы, осуществляющие предварительную сегментацию изображения (деление его на области с близкими по параметрам пикселями) [23]. После этого класс каждого сегмента определяется на основе усреднения спектральных характеристик его пикселей либо посредством выбора наиболее часто встречающегося в границах сегмента класса в картосхеме, сформированной в результате попиксельной спектральной классификации [24]. Такой подход в последнее десятилетие активно развивается и считается одним из наиболее перспективных для анализа данных ГС-съёмки [25]. Его эффективность в значительной степени определяется корректностью выполнения процедуры предварительной сегментации изображений, поэтому в ряде работ предлагаются и рассматривают-
ся различные методы спектрально-пространственной классификации, отличающиеся в первую очередь реализацией этого этапа обработки [26].
Достоверную оценку эффективности предлагаемых методов классификации ГС-изображений можно получить лишь на основе сопоставления результатов обработки реальных данных ДЗЗ и карт наземных (подспутниковых) наблюдений. К сожалению, количества имеющихся в общем доступе крупноформатных ГС изображений с соответствующими данными наземных наблюдений для верификации результатов классификации в настоящее время недостаточно, что является существенным сдерживающим фактором совершенствования перечисленных технологий.
Данная работа посвящена исследованию эффективности методов спектральной и спектрально-пространственной классификации типов растительности по гиперспектральным данным при различном количестве учитываемых спектральных признаков и способах формирования обучающих выборок.
Исходные данные
Исследование эффективности методов классификации данных ДЗЗ проводилось на примере обработки крупноформатного ГС изображения (рис. 1а), полученного в рамках программы AVIRIS (Airborne Visible Infrared Imaging Spectrometer) на опытном полигоне Indian Pines (штат Индиана, США). Его размер -614^2677 пикселей, разрешение - 20 м/пикс., число каналов - 220 в диапазоне 0,4-2,5 мкм, при этом 20 каналов, содержащих высокий уровень шума, при проведении исследований удалены из рассмотрения.
Рис. 1. Один из каналов обрабатываемого изображения (а) и карта классов по наземным данным (б)
Данное изображение по сравнению с другими доступными в сети отличается большим количеством классов поверхности. По результатам наземных наблюдений оно разбито на 58 классов, в частности, 15
классов кукурузы и 18 сои, отличающихся способами их производства. Среди них имеются участки с различными методиками возделывания почвы: no-till -вспашка не производится, min-till - вспашка с применением малоразрушающих технологий, clear - обычная вспашка, а отдельные участки отличаются лишь направлением посева (север-юг или запад-восток). Часть территории не размечена и в работе не рассматривается. Общее количество пикселей в размеченной части изображения 334 245, из них 39 % - различные классы кукурузы, 27 % - сои, 19 % - лес. 15% пикселей относятся к прочим 24 классам. Отметим, что многочисленные небольшие особенности, визуально различимые на исходном ГС-изображении, не отмечены на карте наземных наблюдений. Кроме того, из-за ранней даты регистрации изображения (12 июня) области, отмеченные на карте как кукуруза или соя, в действительности в значительной мере содержат участки голой почвы и остатки прошлогодней растительности, а всходы составляют только малый процент покрытия. Т.е. карта в большей степени даёт классы использования земли, вместо того чтобы отражать классы покрывающей её растительности. Таким образом, не следует ожидать, что каждый пиксель определённой области будет отнесён к классу, с ней связанному.
Можно также отметить значительную спектральную изменчивость отдельных культур на различных участках изображения. Так, классы кукурузы и сои имеют близкие спектральные характеристики, однако внутри каждой из этих зон наблюдается существенный разброс значений. Среднеквадратичное отклонение спектральных коэффициентов отражения в наиболее информативных диапазонах более чем на порядок превышает разброс средних значений для классов [27].
Спектральная классификация типов растительности по ГС-изображениям
Получение и использование ГС-данных требует сложной регистрирующей аппаратуры, а также значительных затрат на передачу, обработку и хранение большого объёма поступающей информации. Поэтому оно принципиально оправдано только в тех задачах, которые не могут быть решены другими средствами. Для сравнения возможностей различных вариантов съёмки при классификации трудноразличимых подклассов растительности из ГС-данных было синтезировано мультиспектральное изображение (усреднением по 6 спектральным диапазонам, соответствующим аппаратуре спутника Landsat 7 ETM+), которое классифицировалось наряду с исходным ГС изображением.
При проведении исследований обучающие выборки (ОВ) формировались случайным образом из 25 % пикселей каждого класса мультиспектрального и ГС-изображений. На их основе определялись границы между областями, соответствующими выбранным классам, в многомерном пространстве признаков (яркостей спектральных каналов). После этого различными методами осуществлялась классификация
изображений. Оценка их эффективности выполнялась по тестовой выборке (75 % пикселей, не включённых в ОВ), путём сопоставления полученных картосхем классов и данных наземных наблюдений. В качестве критерия использовалась так называемая результирующая точность классификации (overall accuracy), определяемая как выраженное в процентах отношение количества верно классифицированных пикселей к их общему количеству. При этом оценка точности выполнялась как по всем, так и по основным классам (с объединением подклассов сои и подклассов кукурузы).
Классификация осуществлялось несколькими наиболее распространенными методами. Напомним их суть.
Метод минимального расстояния (MinD) определяет кластер, центр которого находится на минимальном Евклидовом расстоянии от классифицируемого пикселя в многомерном пространстве признаков. Метод спектрального угла [28] (SAM (Spectral Angle Mapper)) определяет кластер, у которого угол между вектором, направленным к центру из начала координат, наиболее близок к углу вектора, направленного к классифицируемому пикселю.
Метод опорных векторов (SVM) [29], в отличие от предыдущих, учитывает только ближайшие к разделяющей границе пиксели и формирует её таким образом, чтобы максимально увеличить расстояние от границы до классифицируемого объекта в пространстве признаков (или максимально уменьшить количество пересечений классов, если невозможно построить разделяющую поверхность).
Методы классификации по расстоянию Махала-нобиса (MahD) и максимальному правдоподобию (ML) [30] основаны на определении плотности распределения пикселей обучающей выборки в выбранной системе признаков. При этом в качестве меры близости используется расстояние от классифицируемого пикселя до центра кластера, нормированное на среднеквадратичное отклонение ст функции распределения класса вдоль сечения в данном направлении. Отсюда следует, что при равных расстояниях от классифицируемого пикселя до двух кластеров результат классификации определяется именно разбросом данных ОВ. Основное отличие этих методов состоит в том, что первый использует усреднённую по всем данным ковариационную матрицу, а второй - различные матрицы для каждого класса.
Результаты классификации синтезированного и исходного изображений в формате: «точность по всем классам»/«точность по основным классам» приведены в табл. 1.
Табл. 1. Сравнение эффективности классификации мультиспектрального и ГС-изображений
Показано, что независимо от применяемого метода эффективность по гиперспектральным данным существенно выше, чем по мультиспектральным, причём лучшие результаты достигаются статистическими методами ML и SVM.
Исследована зависимость точности классификации этими методами крупноформатного ГС-изображения от количества спектральных признаков. Их выбор осуществлялся регулярным прореживанием, а также методами главных компонент (PCA) и главных компонент с предварительной нормализацией шума (MNF) [31]. При этом с точки зрения перспективности практического применения для обучения использовано не 25 % пикселей, выбранных случайным образом из всего крупноформатного ГС-изображения (как в предыдущем случае), а его небольшой фрагмент размерностью 145*145. Для сохранения большого объема тестовой выборки в данном эксперименте на предварительном этапе было выполнено объединение подклассов кукурузы и сои, отличающихся только направлением посева. Таким образом, 15 классов кукурузы образовывали 3 класса, отличающиеся методом возделывания почвы (no-till, min-till, clear). Аналогично, 18 классов сои были сведены в 3 класса. Таким образом, из 58 классов был сформирован 31 класс. На выбранном для обучения фрагменте при этом отсутствовали 15 классов, отнесённых к категории прочие. Участки изображения, относящиеся на крупноформатном изображении к этим классам, были исключены из рассмотрения. В результате классификация осуществлялась по 16 классам, 14 из которых относились к различным типам растительности.
На рис. 2 представлены полученные зависимости. 70 60 50 40 30 20 10
а) 0 70
60
50
40
30
20
10
б) 0
Рис. 2. Эффективность классификации ГС-изображения методами SVM (а) и МЬ(б) при различном количестве признаков, выбранных методами прореживания (1), PCA (2), MNF (3)
Тип изображения MinD SAM SVM MahD ML
Мульти-спектральное 17,6/ 44,6 23,4/ 52,9 43,5/ 67,5 19,9/ 46,5 28,9/ 53,9
Гиперспектральное 27,2/ 53,7 34,1/ 56,8 52,8/ 76,2 34,3/ 60,3 59,6/ 76,6
f . ...................... *
-Ф-1
■■a.......2
i i i —3
..A....... 7
1 1 1 -o—3
50 100 150 200
Видно, что при сокращении размерности пространства признаков наблюдается незначительное (на уровне единиц процентов) изменение точности классификации вплоть до 10 -20 признаков, после чего эффективность обработки существенно уменьшается. При этом выбор признаков методом М№ оказывается предпочтительнее.
Таким образом, при анализе изображений плохо-различимых типов растительности (с близкими средними значениями для разделяемых классов и с высоким внутриклассовым разбросом) целесообразно использовать ГС-данные для выбора небольшого количества наиболее информативных признаков методом М№ с последующим применением методов статистической классификации SVM и МЬ.
Классификация типов подстилающей поверхности при совместном использовании спектральных и пространственных признаков При гиперспектральной съёмке поверхности Земли изображения большинства объектов оказываются неоднородными, несмотря то, что соседние пиксели с большой долей вероятности относятся к одному и тому же классу. По этой причине картосхемы, получаемые в результате попиксельной спектральной классификации, весьма раздроблены и содержат большое количество ложно классифицированных пикселей. Для решения данной проблемы, как уже отмечалось во введении, целесообразно применять совместный анализ спектральных и пространственных признаков.
Исследована эффективность методов спектрально-пространственной классификации, учитывающих при анализе пикселей ГС-изображений их локальные окрестности. Рассмотрены алгоритмы, основанные как на предварительном пространственном усреднении исходных данных, так и на постобработке картосхем попиксельной спектральной классификации путём выбора наиболее часто встречающегося класса [32]. При этом в качестве зоны усреднения/выбора доминирующего класса используется либо прямоугольная окрестность, либо сегменты, сформированные из наиболее близких по параметрам пикселей [26]. Попиксельная спектральная классификация, исходя из результатов, приведённых на рис. 2, выполнена методом SVM по 20 признакам, выбранным с применением М№.
Кратко охарактеризуем каждый из сравниваемых методов:
I. Выполняется предварительное двумерное сгла-
живание (скользящим окном) данных каждого канала посредством медианной фильтрации, затем - попиксельная спектральная классификация сформированного изображения.
II. Выполняется сегментация, основанная на выде-
лении связных границ, затем в рамках образованных сегментов значения пикселей в каждом канале усредняются и осуществляется их спектральная классификация.
III. Выполняется попиксельная спектральная класси-
фикация, затем - мажоритарная обработка сформированной картосхемы, т.е. класс определяется в результате голосования пикселей окрестности.
IV. Выполняется попиксельная спектральная класси-
фикация и, независимо, сегментация, затем в каждом из образованных сегментов класс определяется в результате голосования пикселей сегмента.
Исследование эффективности спектрально-пространственной классификации ГС-данных выполнено на примере обработки крупноформатного изображения (рис. 1а). При этом реализовано три варианта формирования обучающей выборки:
- в каждом классе такое же количество пикселей, что и при использовании фрагмента, но выбранных случайным образом из всего изображения (ОВ 1);
- 10 % пикселей каждого класса, выбранных случайным образом из всего изображения (ОВ 2);
- 25 % пикселей каждого класса, выбранных случайным образом из всего изображения (ОВ 3). Оценка эффективности методов классификации,
как и ранее, выполнялась путём сопоставления сформированных картосхем классов и карт подспутниковых наблюдений. При этом подклассы кукурузы и сои на изображении были объединены в класс «кукуруза» и класс «соя».
Результаты спектрально-пространственной классификации ГС-изображения приведены в табл. 2, откуда следует, что методы I, III, основанные на предварительном сглаживании, более эффективны. Они позволяют повысить точность классификации на 7-9 %. Методы II, IV, основанные на постобработке картосхем попиксельной классификации, в лучшем случае, приводят к увеличению точности лишь на 2 %. Причём эта тенденция сохраняется для различных ОВ.
Табл. 2. Эффективность классификации ГС изображения при ОВ различного объёма
Методы классификации ОВ 1 ОВ 2 ОВ 3
Спектральная 70,5 75,3 76,3
Спектрально-пространственная I 79,4 82,1 84,0
II 73,9 79,4 81,4
III 72,2 77,5 78,9
IV 68,6 75,1 77,2
Следует отметить, что увеличение объёма ОВ на порядок (с 1 % до 10 %) приводит к повышению точности на 3-7 %, а дальнейшее расширение ОВ (с 10 % до 25 % пикселей размеченной области изображения) - лишь на 1 -2 %.
Важным аспектом применения рассмотренных выше методов является зависимость результирующей точности формируемых картосхем от количества признаков. Ранее показано, что эффективность спектральной классификации ГС-данных при применении в качестве обучающей выборки фрагмента изображения имеет слабую зависимость от количества используемых признаков, если их более 10 -20.
Это объясняется известным в теории классификации эффектом, получившим название "Hughes feno-men" [32] (по имени Gordon F. Hughes). Он заключается в том, что в случае фиксированного объёма обучающей выборки точность классификации при увеличении количества признаков, начиная с некоторого значения, не растёт, а зачастую падает. Однако в случае формирования ОВ случайным образом из всего изображения и выполнения спектрально-пространственной классификации с предварительным сглаживанием (I) зависимость от числа признаков (с ростом их количества) становится монотонно возрастающей. Причём для большого количества признаков точность метода ML существенно выше, чем SVM, и приближается к 97 % (для 200 признаков). Это наглядно продемонстрировано на рис. 3, где представлена зависимость точности классификации исходного и предварительно сглаженного (окном 7*7) ГС-изображения от количества признаков для ОВ 3. Указанный эффект, по всей видимости, объясняется снижением шумовой составляющей в изображении после низкочастотной фильтрации.
100
90 80 70 60 50 40 30
.........г..............
_______*---------
"Л
-А.......2
-о—3
i i i -о—4
б) 0 50 100 150 200 Рис. 3. Зависимость точности SVM и ML спектральной (кривые 1,2) и спектрально-пространственной (кривые 3,4) классификации от количества признаков для основных (а) и для всех (б) классов
Спектральная и спектрально-пространственная классификация типов подстилающей поверхности при различных способах формирования ОВ
Исследование эффективности указанных выше спектрально-пространственных методов выполнено при трёх различных способах формирования обучающей выборки:
- случайным образом выбирается по 25 % пикселей из всего изображения (ОВ 3);
- выбираются 50 % пикселей клеток одного цвета по периодической клетчатой структуре в виде шахматной доски (ОВ 4);
- случайным образом выбирается 50 % пикселей из левой половины изображения (ОВ 5). Отметим, что объёмы обучающих выборок во всех
случаях приблизительно равны. Незначительное их отличие связано с необходимостью исключения из рассмотрения классов, пиксели которых в малом количестве попадают в зоны формирования ОВ. В качестве тестовой выборки в первом случае используются все пиксели, не вошедшие в ОВ 3 (75 %), а во втором и третьем - области изображения, не использованные для формирования ОВ 4, ОВ 5 (~50 %).
Оценка эффективности классификации выполнена путём сопоставления сформированных картосхем классов и карт подспутниковых наблюдений:
- по всем классам;
- по основным классам (с объединением подклассов кукурузы и сои в класс кукуруза и класс соя в результирующей картосхеме).
На рис. 4 представлены результирующие картосхемы классов для ОВ 3 при спектральной и спектрально-пространственной (I) классификации методом ML по 100 МОТ признакам. Точность классификации по всем классам в данном случае составляет 59,6 % и 89,2 % соответственно.
а) б)
Рис. 4. Результирующие картосхемы спектральной и спектрально-пространственной (I) классификации крупноформатного ГС-изображения для ОВ 3
Численные значения точности спектральной и спектрально-пространственной классификации крупноформатного ГС-изображения методами I, III при использовании 20 и 100 признаков, выбранных методом МОТ, приведены в табл. 3 (по основным 27 классам) и табл. 4 (по всем 58 классам).
Видно, что результаты исследований с применением обучающих выборок, сформированных перечисленными выше способами, существенно отличаются друг от друга. Причем во всех случаях наиболее компактное расположение пикселей (ОВ 5) оказывается наименее эффективным.
Табл. 3. Эффективность классификации ГС-изображения по основным классам при различных ОВ
Методы классификации МЬ
ОВ 3 ОВ 4 ОВ 5 ОВ 3 ОВ 4 ОВ 5
20 признаков
Спектральная 76,3 71,6 64,0 72,5 66,2 56,8
Спектрально пространственная I 84,0 77,1 67,0 84,0 73,7 59,2
III 78,9 75,2 66,5 77,2 69,8 60,1
100 признаков
Спектральная 76,2 71,5 64,6 76,6 68,3 58,0
Спектрально пространственная I 86,0 70,5 67,8 93,1 72,2 59,4
III 79,8 75,5 66,5 83,6 74,5 62,3
Табл.4. Эффективность классификации ГС-изображения по всем классам при различных ОВ
Методы классификации МЬ
ОВ 3 ОВ 4 ОВ 5 ОВ 3 ОВ 4 ОВ 5
20 признаков
Спектральная 52,8 43,1 35,2 53,8 42,8 27,9
Спектрально-пространственная I 63,4 48,0 36,1 72,1 49,1 32,5
III 56,9 43,2 37,9 59,7 46,8 30,5
100 признаков
Спектральная 52,8 42,6 36,2 59,6 43,0 27,7
Спектрально-пространственная I 69,1 41,6 33,7 89,2 46,1 28,4
III 57,3 45,9 39,1 70,2 47,2 29,7
Следовательно, в дальнейшем целесообразно рассмотреть способы с более распределённым (ОВ 4) и полностью случайным (ОВ 3) формированием обучающей выборки, отразив при этом влияние сокращения количества признаков, а также применение дополнительной пространственной обработки в наиболее её эффективном варианте - предварительной низкочастотной фильтрации. Необходимо отметить, что при использовании большого количества признаков статистический метод МЬ практически всегда эффективнее метода SVM, а при их значительном сокращении метод SVM предпочтительнее при разделении основных классов.
Из табл. 3 следует, что точность спектральной классификации основных классов по 20 признакам составила 76,3 % для ОВ 3 и 71,6% для ОВ 4, а применение предварительного пространственного сглаживания улучшило результаты до 84,0 % и 77,1 % соответственно. Точность для 100 признаков практически неизменна во всех случаях спектральной классификации и существенно улучшается (до 93,1 %) лишь при спектрально-пространственной обработке и случайном формировании ОВ 3.
В случае разделения всех классов (включая подклассы кукурузы и сои) по 20 признакам точность спектральной классификации составила лишь 53,8 % для ОВ 3 и 42,8% для ОВ 4, а применение предварительного пространственного сглаживания улучшило результаты до 72,1 % и 49,1 % соответственно. При использовании 100 признаков точность спектральной классификации практически неизменна и существенно улучшается (до 89,2 %) лишь при спектрально-
пространственной обработке и случайном формировании ОВ 3. Таким образом, использование большого количества признаков при разделении всех (по сравнению с разделением основных) классов повышает эффективность классификации за счёт совместной спектрально-пространственной обработки на предварительном этапе при случайном формировании обучающих выборок. Отметим, что применение более компактных ОВ 4, ОВ 5 не даёт этого эффекта, т.е. сокращение количества признаков и дополнительная низкочастотная фильтрация в этом случае практически не влияют на точность классификации.
Заключение
В работе на примере обработки крупноформатного ГС-изображения, полученного в рамках программы АУНЮБ, выполнено экспериментальное сравнение эффективности ряда методов спектральной и спектрально-пространственной классификации трудноразличимых типов растительности.
Установлено, что лучшая эффективность спектральной классификации достигается при применении метода максимального правдоподобия, учитывающего оценку функции плотности вероятности распределения эталонных классов. Это требует, однако, значительного объёма обучающих выборок. В случае же недостаточного объёма обучающих данных целесообразно использовать метод опорных векторов. Показано, что при спектральной классификации ГС-изображений природных территорий целесообразно использовать небольшое количество признаков (10 -20), выделенных методом главных компонент с нормализацией шума каналов (М№Р). Это позволяет снизить трудоёмкость вычислений на два порядка без существенного снижения эффективности классификации растительности.
Продемонстрирована перспективность комплексной обработки спектральных и пространственных признаков, учитывающей коррелированность близкорасположенных пикселей. При этом методы, основанные на предварительной пространственной обработке, обеспечивают большую точность, чем использующие постобработку картосхем попиксельной спектральной классификации.
В результате сравнительного анализа эффективности спектральной и спектрально-пространственной классификации типов растительности по ГС-данным при формировании обучающих выборок (ОВ) случайным образом из всего изображения и из его части установлено, что результирующая точность при указанных способах обучения в значительной степени различается. Так, в случае использования первого способа (ОВ 3) при классификации трудноразличимых типов растительности предварительная пространственная обработка при 20 признаках приводит к увеличению точности до 18 %, а при 100 - до 30 %, тогда как для второго способа (ОВ 4) - 3 % и 6 % соответственно. Отсюда следует, что при формировании ОВ по части изображения такое существенное
сокращение количества спектральных признаков незначительно сказывается на процедуре классификации. Однако результирующая точность при этом оказывается ниже, чем при обучении, распределённом по всему изображению.
Основными причинами невысокой точности классификации при обучении по части изображения (помимо схожести спектров отражения различных классов), по всей видимости, является неполное устранение влияния неоднородности параметров регистрирующей системы по полю зрения, а также определённая внутриклассовая изменчивость характеристик растительности, связанная с локальными условиями её прорастания (состав почвы, влажность, высота, направление склона и т.п.).
Из этого следует, что для разделения трудноразличимых классов растительности необходимо использовать обучающие выборки с максимальной степенью распределения пикселей по всему изображению. Однако такой подход на практике трудно реализуем, поскольку в большинстве реальных задач невозможно обеспечить подспутниковые данные по всей наблюдаемой территории. Как правило, достоверные наземные данные могут быть получены лишь на отдельных её участках, и, следовательно, только по ним имеется возможность формировать ОВ. Поэтому исследования, ориентированные на оценку эффективности традиционных и оригинальных алгоритмов классификации ГС-изображений при обучении по всему полю наблюдения, следует признать недостаточно значимыми с точки зрения практических приложений.
Дальнейшие исследования в этой области целесообразно направить на разработку алгоритмов классификации, обеспечивающих повышение эффективности разделения трудноразличимых типов растительности, при обучении по отдельным фрагментам анализируемого ГС изображения. В этом плане могут быть рассмотрены алгоритмы с адаптивным формированием обучающей выборки из пространственно наиболее близких пикселей каждого класса.
Благодарности
Работа выполнена при поддержке Министерства науки и высшего образования в рамках выполнения работ по Государственному заданию №АААА-А17-117052410034-6 в ИАиЭ СО РАН.
Литература
1. Перспективные информационные технологии дистанционного зондирования Земли / М.В. Гашников, Н.И. Глумов, Е.В. Гошин, А.Ю. Денисова, А.В. Кузнецов, В.А. Ми-текин, В.В. Мясников, В.В. Сергеев, В.А. Сойфер, В.А. Федосеев, В.А. Фурсов, М.А. Чичёва, П.Ю. Якимов; под ред. В.А. Сойфера. - Самара: Новая техника, 2015. -255 с. - ISBN: 978-5-88940-138-4.
2. Остриков, В.Н Обработка гиперспектральных данных, получаемых с авиационных и космических носителей / В.Н. Остриков, О.В. Плахотников, А.В. Кириенко // Современные проблемы дистанционного зондирования Земли из космоса. - 2013. - Т. 10, № 2. - С. 243-251.
3. Кузнецов, А.В. Сравнение алгоритмов управляемой поэлементной классификации гиперспектральных изображений / А.В. Кузнецов, В.В. Мясников // Компьютерная оптика. - 2014. - Т. 38, № 3. - С. 494-502.
4. Фурсов, В.А. Тематическая классификация гиперспектральных изображений по показателю сопряжённости / В.А. Фурсов, С.А. Бибиков, О.А. Байда // Компьютерная оптика. - 2014. - Т. 38, № 1. - С. 154-158.
5. Бибиков, С.А. Распознавание растительного покрова на гиперспектральных изображениях по показателю сопряжённости / С.А. Бибиков, Н.Л. Казанский. В.А. Фурсов // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 846-854. - DOI: 10.18287/2412-6179-2018-42-5-846-854.
6. Plaza, A. Foreword to the special issue on spectral unmixing of remotely sensed data / A. Plaza, Q. Du, J. Bioucas-Dias, X. Jia, F. Kruse // IEEE Transactions on Geoscience and Remote Sensing. - 2011. - Vol. 49, Issue 11. - P. 41034110.
7. Денисова, А.Ю. Анализ линейной спектральной смеси, инвариантный к атмосферным искажениям гиперспектральных изображений / А.Ю. Денисова, Ю.Н. Журавель, В.В. Мясников // Компьютерная оптика. - 2016. -Т. 40, № 3. - С. 380-387. - DOI: 10.18287/2412-61792016-40-3-380-387.
8. Козодеров, В.В. Распознавание природно-техногенных объектов по гиперспектральным самолётным изображениям / В.В. Козодеров, Т.В. Кондранин, Е.В. Дмитриев // Исследование Земли из космоса. - 2014. - № 1. - С. 35-42.
9. Асмус, В.В. Контролируемая классификация данных дистанционного зондирования Земли / В.В. Асмус, А.А. Бучнев, В.П. Пяткин // Автометрия. - 2008. - Т. 44, № 4. - С. 60-67.
10. Plaza, A. Recent advances in techniques for hyperspectral image processing / A. Plaza, J.A. Benediktsson, J.W. Bo-ardman, J. Brazile, L. Bruzzone, G. Camps-Valls, J. Cha-nussot, M. Fauvel, P. Gamba, A. Gualtieri, M. Marconcini, J.C. Tilton, G. Trianni // Remote Sensing of Environment. -2009. - Vol. 113. - P. 110-122.
11. Борзов, С.М. Исследование эффективности спектрально-пространственной классификации данных гиперспектральных наблюдений / С.М. Борзов, О.И. Потатуркин // Автометрия. - 2017. - Т. 53, № 1. - С. 32-42.
12. Борзов, С.М. Спектрально-пространственные методы классификации гиперспектральных изображений, обзор / С.М. Борзов, О.И. Потатуркин // Автометрия. - 2018. -Т. 54, № 6. - С. 64-86. - DOI: 10.15372/AUT20180607.
13. Huang, X. An SVM ensemble approach combining spectral, structural, and semantic features for the classification of high-resolution remotely sensed imagery / X. Huang, L. Zhang // IEEE Transactions on Geoscience and Remote Sensing. - 2013. - Vol. 51, Issue 1. - P. 257-272.
14. Wang, Z.Y. Spatial-spectral classification of hyperspectral images using discriminative dictionary designed by learning vector quantization / Z.Y. Wang, N.M. Nasrabadi, T.S. Huang // IEEE Transactions on Geoscience and Remote Sensing. - 2014. - Vol. 52, Issue 8. - P. 4808-4822.
15. Chen, C. Spectral-spatial preprocessing using multihypoth-esis prediction for noise-robust hyperspectral image classification / C. Chen, W. Li, E.W. Tramel, M. Cui, S. Prasad, J.E. Fowler // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. - 2014. - Vol. 7, Issue 4. - P. 1047-1059.
16. Li, W. Improved classification of conservation tillage practices using hyperspectral imagery with spatial-spectral features / W. Li, Q. Ran, Q. Du, C. Yang // Proceedings in the 3rd Interna-
tional Conference on Argo-Infoimatics. - 2014. - 14618199. -DOI: 10.1109/Agro-Geoinformatics.2014.6910589.
17. Li, W. Improving hyperspectral image classification using smoothing filter via sparse gradient minimization / W. Li, W. Hu, Q. Ran, F. Zhang, Q. Du, N. Younan // Proceedings of the 8th IAPR Workshop on Pattern Recognition in Remote Sensing. - 2014. - 14649026. - DOI: 10.1109/PRRS.2014.6914279.
18. Palsson, F. Hyperspectral image denoising using a sparse low rank model and dual-tree complex wavelet transform / F. Palsson, M.O. Ulfarsson, J.R. Sveinsson // IEEE Geosci-ence and Remote Sensing Symposium (IGARSS). - 2014. -14716286. - DOI: 10.1109/IGARSS.2014.6947279.
19. Borhani, M. Hyperspectral image classification based on spectral-spatial features using probabilistic SVM and locally weighted Markov random fields / M. Borhani, H. Ghassemian // Proceedings of the Iranian Conference on Intelligent Systems (ICIS). - 2014. - 14253336. - DOI: 10.1109/IranianCIS.2014.6802573.
20. Borhani, M. Hyperspectral image classification based on non-uniform spatial-spectral kernels / M. Borhani, H. Ghassemian // Proceedings of the Iranian Conference on Intelligent Systems (ICIS). - 2014. - 14253321. - DOI: 10.1109/IranianCIS.2014.6802579.
21. Zhen, Ye. Hyperspectral image classification based on spectra derivative features and locality preserving analysis / Ye. Zhen, He. Mingyi, J.E. Fowler, Du. Qian // Proceedings of the Signal and Information Processing (ChinaSIP), IEEE China Summit & International Conference. - 2014. -P. 138-142. - DOI: 10.1109/ChinaSIP.2014.6889218.
22. Нежевенко, Е.С. Нейросетевая классификация гиперспектральных изображений на основе преобразования Гильберта-Хуанга / Е.С. Нежевенко, А.С. Феоктистов, О.Ю. Дашевский // Автометрия. - 2017. - Т. 53, № 2. -С. 79-85.
23. Myasnikov, E.V. Hyperspectral image segmentation using dimensionality reduction and classical segmentation approaches // Computer Optics. - 2017. - Vol. 41, Issue 4. -P. 564-572. - DOI: 10.18287/2412-6179-2017-41-4-564-572.
24. Зимичев, Е.А. Пространственная классификация гиперспектральных изображений с использованием метода кластеризации K-MEANS++ / Е.А. Зимичев, Н.Л. Ка-
занский, П.Г. Серафимович // Компьютерная оптика. -2014. - Т. 38, № 2. - С. 281-286.
25. Бондур, В.Г. Современные подходы к обработке больших потоков гиперспектральной и многоспектральной аэрокосмической информации / В.Г. Бондур // Исследование Земли из космоса. - 2014. - № 1. - С. 4-16.
26. Пестунов, И.А. Алгоритмы спектрально-текстурной сегментации спутниковых изображений высокого пространственного разрешения / И.А. Пестунов, С.А. Рылов // Вестник КемГУ. - 2012. - Т. 52, № 4/2. - С. 104-109.
27. Борзов, С.М. Классификация типов растительного покрова по гиперспектральным данным дистанционного зондирования Земли / С.М. Борзов, О.И. Потатуркин // Вестник НГУ: Информационные технологии. - 2014. -Т. 12, № 4. - С. 13-22.
28. Kruse, F.A. The spectral image processing system (SIPS) -interactive visualization and analysis of imaging spectrometer data / F.A Kruse, A.B. Lefkoff, J.B. Boardman, K.B. Heidebrecht, A.T. Shapiro, P.J. Barloon. A.F.H Goetz // Remote Sensing of Environment. - 1993. - Vol. 44. -P. 145-163.
29. Joachims, T. Making large scale SVM learning practical / T. Joachims. - In: Advances in kernel methods - Support vector learning / ed. by B. Scholkopf, Ch.J.C. Burges, A.J. Smola. - Cambridge: MIT Press, 1998. - P. 169-184. -DOI: 10.17877/DE290R-5098.
30. Richards, J.A. Remote sensing digital image analysis / J.A. Richards. - Berlin, Heidelberg: Springer, 2013. -494 p.
31. Green, A.A. A transformation for ordering multispectral data in terms of image quality with implications for noise removal / A.A. Green, M. Berman, P. Switzer, M.D. Craig // IEEE Transactions on Geoscience and Remote Sensing. -1988. - Vol. 26, Issue 1. - P. 65-74.
32. Lillesand, T.M. Remote sensing and image interpretation / T.M. Lillesand, R.W. Kiefer, J.W. Chipman.- New York: John Wiley & Song, Inc., 2004. - 763 p.
33. Hughes, G.F. On the mean accuracy of statistical pattern recognizers // IEEE Transactions on Information Theory. -1968. - Vol. 14, Issue 1. - P. 55-63. - DOI: 10.1109/TIT.1968.1054102.
Сведения об авторах
Борзов Сергей Михайлович, кандидат технических наук, 1961 года рождения, в 1983 году окончил Новосибирский государственный университет по специальности «Автоматизация физико-технических исследований», работает заведующим лабораторией в Федеральном государственном бюджетном учреждении науки Институте автоматики и электрометрии СО РАН. Область научных интересов: цифровая обработка изображений, обработка данных дистанционного зондирования Земли. E-mail: [email protected] .
Гурьянов Марк Александрович, 1995 года рождения, в 2017 году окончил бакалавриат Новосибирского государственного университета по специальности «Информатика и вычислительная техника», работает инженером-программистом в Федеральном государственном бюджетном учреждении науки Институте автоматики и электрометрии СО РАН. Область научных интересов: цифровая обработка изображений, обработка данных дистанционного зондирования Земли. E-mail: [email protected] .
Потатуркин Олег Иосифович, доктор технических наук, профессор, 1947 года рождения, в 1970 году окончил Новосибирский государственный университет по специальности «Квантовая оптика», работает главным научным сотрудником в Федеральном государственном бюджетном учреждении науки Институте автоматики и электрометрии СО РАН. Область научных интересов: геоинформационные системы, дистанционное зондирования Земли, обработка и анализ многоспектральных изображений, распознавание образов, спектроскопия, физическая оптика. E-mail: potaturkin@iae. nsk.su.
ГРНТИ: 89.57.35
Поступила в редакцию 18 марта 2019 г. Окончательный вариант - 8 апреля 2019 г.
Study of the classification efficiency of difficult-to-distinguish vegetation types
using hyperspectral data
S.M. Borzov1, M.A. Guryanov1, O.I. Potaturkin1 1 Institute of Automation and Electrometry of the Siberian Branch of the Russian Academy of Sciences, 630090, Novosibirsk Russia, Academician Koptyug ave. 1
Abstract
The article is devoted to the effectiveness research of methods of controlled spectral and spectral-spatial classification of hyperspectral data. In particular, minimum distance, support vector machine, mahalanobis distance and maximum likelihood methods are considered on the example of vegetative cover types differentiation. Significant attention is paid to studying the dependence of the accuracy of data classification with listed methods on the spectral features number and their selection method. The perspectivity of complex processing of spectral and spatial features, considering the correlation of close pixels, is demonstrated. The experimental results obtained with various methods of forming training sets are presented.
Keywords: remote sensing, hyperspectral images, cover types classification, spectral and spatial features, image processing.
Citation: Borzov SM, Guryanov MA, Potaturkin OI. Study of the classification efficiency of difficult-to-distinguish vegetation types using hyperspectral data. Computer Optics 2019; 43(3): 464-473. DOI: 10.18287/2412-6179-2019-43-3-464-473.
Acknowledgements: This work was supported by the Ministry of Science and Higher Education within the State assignment №АААА-А17-117052410034-6 in IA&E SB RAS.
References
[1] Soifer VA, ed. Information technologies remote sensing of the Earth [In Russian]. Samara: "Novaya Tehnika" Publisher; 2015. ISBN: 978-5-88940-138-4.
[2] Ostrikov VN, Plahotnikov OV, Kirienko AV. Processing of hyperspectral data obtained from aeronautical and space carriers [In Russian]. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa 2013; 10(2): 243-251.
[3] Kuznetsov AV, Myasnikov VV. A comparison of algorithms for supervised classification using hyperspectral data [In Russian]. Computer Optics 2014; 38(3): 494-502.
[4] Fursov VA, Bibikov SA, Bajda OA. Thematic classification of hyperspectral images using conjugacy indicator. [In Russian]. Computer Optics 2014; 38(1): 154-158.
[5] Bibikov SA, Kazanskiy NL, Fursov VA. Vegetation type recognition in hyperspectral images using a conjugacy indicator [In Russian]. Computer Optics 2018; 42(5): 846854. DOI: 10.18287/2412-6179-2018-42-5-846-854.
[6] Plaza A, Du Q, Bioucas-Dias J, Jia X, Kruse F. Foreword to the special issue on spectral unmixing of remotely sensed data. IEEE Trans Geosci and Remote Sensing 2011; 49(11): 4103-4110.
[7] Denisova AY, Juravel YN, Myasnikov VV. Estimation of parameters of a linear spectral mixture for hyperspectral images with atmospheric distortions [In Russian]. Computer Optics 2016; 40(3): 380-387. DOI: 10.18287/24126179-2016-40-3-380-387.
[8] Kozoderov VV, Kondranin TV, Dmitriev EV. Natural and anthropogenic objects pattern recognition and their condition assessment using multispectral and hyperspectral airspace remote sensing data [In Russian]. Issledovanie Zemli iz kosmosa 2014; 1: 35-42.
[9] Asmus VV, Buchnev AA, Pyatkin VP. Controlled classification of Earth remote sensing data. Optoelectronics, instrumentation and data processing 2008; 44(4): 60-67.
[10] Plaza A, Benediktsson JA, Boardman JW, Brazile J, Bruz-zone L, Camps-Valls G, Chanussot J, Fauvel M, Gamba P, Gualtieri A, Marconcini M, Tilton JC, Trianni G. Recent advances in techniques for hyperspectral image processing/ Remote Sensing of Environment 2009; 113: 110-122.
[11] Borzov SM, Potaturkin OI. Efficiency of the spectral-spatial classification of hyperspectral imaging data. Optoelectronics, instrumentation and data processing 2017; 53(1): 26-34.
[12] Borzov SM, Potaturkin OI. Spectral-spatial methods for hy-perspectral image classification: Review. Optoelectronics, instrumentation and data processing 2018; 54(6): 582-599.
[13] Huang X, Zhang L. An SVM ensemble approach combining spectral, structural, and semantic features for the classification of high-resolution remotely sensed imagery. IEEE Trans Geosci Remote Sens 2013; 51(1): 257-272.
[14] Wang ZY, Nasrabadi NM, Huang TS. Spatial-spectral classification of hyperspectral images using discriminative dictionary designed by learning vector quantization. IEEE Trans Geosci Remote Sens 2014; 52(8): 4808-4822.
[15] Chen C, Li W, Tramel EW, Cui M, Prasad S, Fowler JE. Spectral-spatial preprocessing using multihypothesis prediction for noise-robust hyperspectral image classification. IEEE J Sel Top Appl Earth Observ Remote Sens 2014; 7(4): 1047-1059.
[16] Li W, Ran Q, Du Q, Yang C. Improved classification of conservation tillage practices using hyperspectral imagery with spatial-spectral features. Proceedings in the 3rd International Conference on Argo-Informatics 2014; 14618199. DOI: 10.1109/Agro-Geoinformatics.2014.6910589.
[17] Li W, Hu W, Ran Q, Zhang F, Du Q, Younan N. Improving hyperspectral image classification using smoothing filter via sparse gradient minimization. Proceedings of the 8th IAPR Workshop on Pattern Recognition in Remote Sensing 2014; 14649026. DOI: 10.1109/PRRS.2014. 6914279.
[18] Palsson F, Ulfarsson MO, Sveinsson JR. Hyperspectral image denoising using a sparse low rank model and dual-tree complex wavelet transform. IEEE Geoscience and Remote Sensing Symposium (IGARSS) 2014: 14716286. DOI: 10.1109/IGARSS.2014.6947279.
[19] Borhani M, Ghassemian H. Hyperspectral image classification based on spectral-spatial features using probabilistic SVM and locally weighted Markov random fields. Proceedings of the Iranian Conference on Intelligent Systems (ICIS) 2014: 14253336. DOI: 10.1109/IranianCIS.2014.6802573.
[20] Borhani M, Ghassemian H. Hyperspectral image classification based on non-uniform spatial-spectral kernels. Proceedings of the Iranian Conference on Intelligent Systems (ICIS) 2014: 14253321. DOI: 10.1109/IranianCIS.2014.6802579.
[21] Zhen Ye, Mingyi He, Fowler JE, Qian Du. Hyperspectral image classification based on spectra derivative features and locality preserving analysis. Proceedings of the Signal and Information Processing (ChinaSIP), IEEE China Summit & International Conference 2014: 138-142. DOI: 10.1109/ChinaSIP.2014.6889218.
[22] Nezhevenko ES, Feoktistov AS, Dashevskii OYu. Neural network classification of hyperspectral images on the basis of the Hilbert-Huang transform. Optoelectronics, instrumentation and data processing 2017; 53(2): 165-170.
[23] Myasnikov EV. Hyperspectral image segmentation using dimensionality reduction and classical segmentation approaches. Computer Optics 2017; 41(4): 564-572.
[24] Zimichev EA, Kazanskiy NL, Serafimovich PG. Spectral-spatial classification with k-means++ particional clustering [In Russian]. Computer Optics 2014; 38(2): 281-286.
[25] Bondur VG. Modern approaches to processing large hy-perspectral and multispectral aerospace data flow. Izvesti-
ya. Atmospheric and oceanic physics 2014; 50(9): 840852.
[26] Pestunov IA, Rylov SA. Algorithms of spectral and texture segmentation of satellite images of high spatial resolution [In Russian]. Vestnik KemGU 2012; 52(4/2): 104-109.
[27] Borzov SM, Potaturkin OI. Classification of vegetation types according to hyperspectral data of remote sensing of the Earth [In Russian]. Vestnik NGU: Informacionnye tehnologii 2014; 12(4): 13-22.
[28] Kruse FA, Lefkoff AB, Boardman JB, Heidebrecht KB, Shapiro AT, Barloon PJ, Goetz AFH. The spectral image processing system (SIPS) - interactive visualization and analysis of imaging spectrometer data. Remote Sensing of Environment 1993; 44: 145-163.
[29] Joachims T. Making large scale SVM learning practical. In Book: Schölkopf B, Burges ChJC, Smola AJ, eds. Cambridge: MIT Press; 1998: 169-184. DOI: 10.17877/DE290R-5098.
[30] Richards JA. Remote sensing digital image analysis. Berlin, Heidelberg: Springer; 2013.
[31] Green AA, Berman M, Switzer P, Craig MD. A transformation for ordering multispectral data in terms of image quality with implications for noise removal. IEEE Transactions on Geoscience and Remote Sensing 1988; 26(1): 6574.
[32] Lillesand TM, Kiefer RW, Chipman JW. Remote sensing and image interpretation. New York: John Wiley & Song Inc; 2004.
[33] Hughes GF. On the mean accuracy of statistical pattern recognizers. IEEE Transactions on Information Theory 1968; 14(1): 55-63. D0I:10.1109/TIT.1968.1054102.
Author's information
Sergey Mihaylovich Borzov (b. 1961) graduated from Novosibirsk State University in 1983, majoring in Automation of Physico-technical researches. Candidate of Technical Science. Currently he works as the head of laboratory at the Institute of Automation and Electrometry Siberian Branch of the Russian Academy of Sciences . Research interests are digital processing of images, data processing of remote sensing. E-mail: [email protected] .
Mark Aleksandrovich Guryanov (b. 1995) graduated from Novosibirsk State University in 2017, majoring in Computer Science and Engineering. Currently he works as the software engineer at the Institute of Automation and Electrometry Siberian Branch of the Russian Academy of Sciences. Research interests are digital processing of images, data processing of remote sensing. E-mail: [email protected] .
Oleg Iosifovich Potaturkin (b. 1947) graduated from Novosibirsk State University in 1970, majoring in Quantum Optics. Doctor of Technical Science, Professor. Currently he works as the main researcher at the Institute of Automation and Electrometry Siberian Branch of the Russian Academy of Sciences. Research interests are GIS, digital processing of images, data processing of remote sensing, images recognition, spectroscopy, physical optics. E-mail: potaturkin @iae. nsk. su .
Received March 18, 2019. The final version - April 8, 2019.
