CC BY
50Journal of Siberian Federal University. Engineering & Technologies, 2018, 11(8), 892-901
yflK 528.7, 528.87
The Main Direction Improve of Automatic Classification of Forest Land, Using Multi Spectral Aero Spase Imageries
Aleksander P. Guka and Larisa G. Evstratovab*
aSiberian State University of Geosystems and Technologies 10 Plakhotnogo, Novosibirsk, 630108, Russia bState University of Land Use Planning 15 Kazakova, Moscow, 105064, Russia
Received 16.12.2017, received in revised form 13.07.2018, accepted 16.11.2018
The principals of image processing for recognition of high resolution space imageries of forest land are discussed. The main important problems different levels of image processing and the several methods and algorithms developed by authors are showed. The important direction developing of image processing for classification offorest land are outlined and new investigation are glide down.
Keywords: image classification, image processing, forest land, recognition problem, new principal of recognition multispectral image.
Citation: Guk A.P., Evstratova L.G. The main direction improve of automatic classification of forest land, using multi spectral aero spase imageries, J. Sib. Fed. Univ. Eng. technol., 2018, 11(8), 892-901. DOI: 10.17516/1999-494X-0111.
Основные направления совершенствования автоматизации дешифрирования лесных массивов по многоспектральным аэрокосмическим снимкам
А.П. Гука, Л.Г. Евстратова®
аСибирский государственный университет геосистем и технологий
Россия, 630108, Новосибирск, Плахотного, 10 бГосударственный университет по землеустройству Россия, 105064, Москва, Казакова, 15
Рассмотрены основные вопросы, возникающие при дешифрировании лесных массивов по космическим снимкам высокого разрешения. Выделены главные проблемы каждого этапа
© Siberian Federal University. All rights reserved
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0). Corresponding author E-mail address: [email protected], [email protected]
обработки. Приведен ряд примеров действующих практически автоматических алгоритмов дешифрирования лесных массивов по многоспектральным снимкам высокого разрешения. Отмечены основные направления развития автоматических алгоритмов дешифрирования. Перечислены основные алгоритмы, над которыми ведется работа в настоящее время.
Ключевые слова: дешифрирование лесных массивов, основные проблемы дешифрирования, примеры использования различных дешифровочных признаков, автоматические алгоритмы.
Авторы в течение ряда лет занимались исследованиями методов автоматизации дешифрирования лесных массивов по многоспектральным космическим снимкам среднего и высокого пространственного разрешения. В настоящее время под их руководством уже разработано несколько автоматических алгоритмов различного типа, некоторые из них приведены в данной статье.
На основе анализа современных методов автоматизации дешифрирования многоспектральных снимков [1] и методов выявления изменений [2] были определены основные принципы конструирования объектов по изображениям на многоспектральных космических снимках высокого разрешения [3] и разработаны (или усовершенствованы) несколько различных алгоритмов дешифрирования. Установлен ряд проблем, которые требуют решения для улучшения методов распознавания образов и выявления изменений, повышения их эффективности [4].
Рассмотрим основные процессы обработки многоспектральных космических снимков и отметим некоторые проблемы автоматического дешифрирования снимков при решении задачи мониторинга лесных массивов.
Алгоритмы делятся на алгоритмы с обучением и без обучения; кроме того, используются статистические и функциональные подходы, а в статистическом подходе следует выделить параметрические и непараметрические методы.
Алгоритмы без обучения, например кластерный анализ, позволяют лишь приближенно разделить объекты и используются при быстром анализе снимков для организации интерактивной работы оператора-дешифровщика при автоматизированном дешифрировании снимков. При анализе снимков леса такой инструмент можно рассматривать как некоторую помощь оператору, выполняющему визуальное дешифрирование снимков.
Наиболее широко используются методы с обучением. При этом одна из ключевых проблем распознавания образов - организация процесса обучения.
В основном применяется два подхода: первый - эталонные участки выбирают на одном и том же снимке (дешифрируемый снимок), второй вариант - эти эталоны получают заранее по большому количеству снимков, с обеспечением достаточной статистической значимости признаков, т. е. формируют банк данных признаков для различных классов объектов.
При этом для каждого класса объектов (группы объектов) создается собственная база данных. Условия съемки должны быть также учтены (хотя бы приблизительно). Заметим, что в последнее время появились весьма эффективные алгоритмы учета влияния атмосферы путем использования значений яркостей в дополнительных спектральных каналах, на основе которых выполняется коррекция модели атмосферы.
Таким образом, первое наше предложение состоит в том, что необходимо создать специализированные библиотеки дешифровочных признаков объектов или свойств объектов. Кажущаяся сложность задачи на самом деле достаточно просто разрешима за счет особен- 893 -
ностей структуры признаков и их устойчивости относительно ряда факторов, связанных со съемкой объектов. Однако необходимо создавать региональные базы данных для различных классов объектов. Так, например, авторами разработаны принципы создания баз данных для лесных массивов.
Следующий этап автоматического или автоматизированного дешифрирования связан с сегментацией изображения. Сегментация - это процесс выделения на снимках областей, однородных по заданному признаку, но в отличие от кластеризации каждый элемент сегмента должен быть связан с соседним элементом изображения. Проблема сегментации до сих пор не решена, несмотря на то, что проведено большое количество исследований, предложены разнообразные методы и алгоритмы [5], до сих пор нет оптимальных методов, что, в общем, справедливо и для процесса распознавания образов в целом.
Анализируя существующие методы, установили, что для сегментации леса возможно применять методы, основанные на выделении границ, в частности метод водоразделов [6]. Также были разработаны методы выделения границ, основанные на применении вейвлет-анализа [7]. Кроме того, было предложено оценивать однородность сегментов на основе применения непараметрического статистического метода, описанного далее. Оказалось, что использование функции распределения вероятностей дает неплохой результат, особенно совместно с методами выделения границ.
Второе предложение - для каждого типа объектов выбирать метод сегментации, используя соответствующие признаки, т. е. для дешифрирования леса требуется использовать специально разработанные методы сегментации.
Далее необходимо определить метод классификации. Наиболее широко для классификации природных объектов, в частности при исследовании леса, используются статистические методы. Статистические методы подразделяются на параметрические и непараметрические. Причем в параметрических методах, как правило, считается, что распределение признаков подчиняется нормальному закону. В этом случае достаточно просто получить решение для многомерных векторов признаков, что и является основным преимуществом такого решения [6]. Однако практически реальное распределение признаков не подчиняется нормальному закону, и в связи с этим статистические методы, использующие нормальное распределение, часто являются неэффективными [8]. Нами предложено использовать непараметрический подход, основанный на применении функций плотности распределения вероятностей яркостей многоспектрального изображения [8, 9]. Сущность подхода излагается далее. При этом отметим, что существуют значительные теоретические и практические проблемы применения непараметрического подхода при обработке многомерных данных, до настоящего времени нет эффективных теоретических разработок в этой области. Поэтому в предполагаемом подходе используются одномерные или двухмерные данные (т. е. один - два канала исходного многоспектрального изображения или комбинация каналов, изображений), полученные после предварительной обработки исходных многоспектральных изображений, применяя метод главных компонент или формируя индексные изображения и т. п.
Третье предложение - разработать теорию и практические методы многомерного непараметрического анализа многоспектральных объектов и создать соответствующие банки эталонных данных.
Следующий этап - выбор критерия соответствия образов и, соответственно, формирование разделяющих функций.
Выбрать критерий соответствия дешифровочных признаков объектов, а также критерии близости объектов, т. е. собственно принадлежности объекта заданному классу, является нетривиальной задачей, решение которой должно быть логически связано с типом распознаваемого объекта. При этом весьма важна надежность этих критериев [3]. Независимо от используемого метода распознавания в большинстве случаев используются линейные разделяющие функции. Однако это не всегда лучший вариант, и в последние время стали использоваться и нелинейные разделяющие функции, а также сложные комплексные критерии распознавания.
Следует определиться с методом «просмотра» объектов на снимке с целью дешифрирования изображения.
Наиболее применяемый способ, как уже упоминалось, - это сегментация, построенная тем или иным методом. В результате выделяются связанные области, однородные по заданному признаку, которые затем распознаются путем сравнения заданных критериев.
Для практических решений задач нами был предложен метод скользящей сегментации, который заключается в последовательном просматривании снимка маской определенного вида: квадрат, прямоугольник и т. п. Целесообразно использовать метод скользящего площадного анализа в быстрых алгоритмах распознавания. Например, с модифицированными методами; главных компонент или Tаsseled Cap, независимых компонент, а также методами кратно-масштабных преобразований при сегментации [9, 10].
В целом последовательный просмотр изображения хотя еще и не до конца исследован, но, на наш взгляд, имеет большие перспективы.
Следующий важный этап - это собственно дешифрирование снимков, т. е. присвоение значения выделенному объекту. В большинстве алгоритмов это выполняется путем последовательного сравнения каждого дешифрируемого элемента с каждым эталоном, после чего в соответствии с заданными критериями дешифрируемый объект относят к тому или иному классу.
Также следует обратить внимание на отображение полученных результатов в форме, необходимой заказчику: в виде карты, пространственной модели, 3D-модели, ортофотоплана и т. д.
Отметим, что практически каждая из вышеописанных проблем требует дополнительных исследований разработки новых и усовершенствованных применяемых алгоритмов.
Тем не менее на кафедре разработан ряд действующих автоматических алгоритмов, некоторые из них будут приведены в данной работе.
Модифицированный метод главных компонент. Как известно, измерения яркостей в многоспектральной съемочной системе сильно коррелированны. Сущность метода главных компонент (PCA) состоит в выборе нового базиса, в котором изменения не коррелированны (по крайней мере, менее коррелированны). Получение матрицы преобразования в PCA основывается на использовании корреляционной матрицы измерений. В работе предложен видоизмененный метод главных компонент, отличающийся тем, что для различных участков леса выбирают базисные векторы, имеющие подобные спектральные значения, что позволяет не только выделять наиболее значительные компоненты преобразованного изображения, но так- 895 -
же использовать более тонкие эффекты, применяя ряды преобразованных изображений, что будетподробно изложеновпослсдующихработах.
Модифицырованныймитоп Tas.eled СардРысвятисмыгеоодаРСАпялаатая оюуыиариоо-ятнныд мтопя Tasseaed Cao [AlCC.
ToaoiCeC Pop - тисдйноа ираобразыянние асходнуеа мтмооспаптратоииго изыбраженая в пвнсЕранспаовразиакЕисрАнвсе1поторогооАренмляютсв HCOOTBeTCTBBHCBTi6psHHH0 сънмоч-ной системой и с набором типовых объектов. Таким образом, Tasseled Cap - это метод главных компонинт,использующдл от^делеоныму^азомоычисленные коэффщйынты ираыЯвеаова-ukc[TL].
В этнм меседе мектныы1 матрицы преобразования Ui,U2 . > . U. выыисляюе таако кредние значения базисных векторов, полученных в результате обработки большого количества снимков однотипной поверхности путем преобразования Карунена-Лоэва матрицы R = pp'. Таким образом, базисные векторы определяют средние направления вектора измерений яркости для ыоотведсоы.ющеасифидиеко. иоэффощдеаио1 птаеЯс>озоведия рпрзделяюесяе пери°юыеедедь уиыам дапчидоз системы), но таюкеоящоаовения зтодсят uo наборд дбзактов, фор-
мироющих дце1йо В судтветктсди e эсдм опродепяра коэффнциенры Таssded E0h[> омиесообраз-нее по типовым участкам, включающим характерный набор объектов для исследуемой местности. Авторами впервые были получены коэффициенты Tasseled Cap для многоспектральной космической системы FORMOSAT-2 [10]:
UTas =
A u,303 0,730 - 0,470 -0,122^
0,218 0,337 0,772 - 0,212
0,084 0,231 0,228440 0,7428!
v 0,894 -0,316 -0,065 0,021
(1)
Расчет коэффициентов был выполнен по фрагментам снимков, содержащих заданный набор объектов (в нашем примере - хвойную и лиственную растительность, водные объекты, болота, луга) по всему снимку и по фрагментам, с использованием процедуры отбраковки измерений. коэффициенты, определенные по эталонным участкам с заданным набором объектов, работают лучше, чем коэффициенты, рассчитанные по всему снимку.
Как показано в [10], яркости элементов исходного изображения различных классов лежат в достаточно узком диапазоне яркостей в пространстве спектральных признаков и области распределения перекрываются. Преобразованные яркости после применения Tasseled Cap более «растянуты» по пространству признаков и практически не перекрываются; это улучшает разделимость классов по сравнению с методом главных компонент и, соответственно, повышает качество дешифрирования (рис. 1).
Собственные векторы и собственные значения различны для каждого изображения в зависимости от масштаба и условий съемки и от изображенной на снимке местности, а также от других факторов.
кроме того, базисные векторы можно связать с определенными свойствами объекта, т. е. значения элементов базисного (собственного) вектора характеризуют состояние объекта, изображенного на снимке, и его можно использовать как дополнительный дешифровочный признак. Практически данные алгоритмы целесообразно использовать для оперативного выделе- 896 -
a be
Рис. 1. РезультатыпреобразованияТаззеЬН Cap иметодаглавныхкомпонент: а — исходныйснимок FOR-MOSAT-2; b - псевдоцветное изображение по первым трем компонентам метода главных компонент; c -псевдоцветное изображение по первым трем компонентам преобразования Tasseled Cap
Fig. 1. The Tasseled Cap transformation results and principal component analysis: a - the original image of FOR-MOSAO-T;Tae poeudoTelorimygeoM TrtOtCree components of principal component analysis; c - pseudo color image on first 1hrpet omMoneota of TheTasseled Cap transformation
ния объектов на больших массивах леса, хотя вероятность распознавания не выше 70 % [10]. Тем не менее при оперативном мониторинге больших объемов лесных массивов этот метод можно считать приемлемым.
Алгоритм дешифрирования лесных массивов по космическим снимкам высокого пространственного разрешения статистическим непараметрическим способом.
Меохнтдодтралтуме цифоовоендоуражениеаР(/р,к?2д-.дН иажнт раехмутриндтткак сово-купиотеь изтаренил в пространствеубмзктх,зл1шсантыхл пнеской системехтюрдиоод многоспектрального снимка, pi - вектор измерений, содержащий измерения яркостей в соответствии с количеством каналов к.
Если рассматривать все измерения, записанные в матрице Р, как случайный векторный процесс, сформированный последовательно из векторов измерений каждого элемента изображения, то можно обрабатывать эти измерения, используя известные статистические подходы. В этом случае каждый элементp(x,y) случайного процесса P будет рассматриваться как отдельное измерение в соответствующем канале [8]. Учитывая, что каждый вектор измерений несет к измеренных яркостей, то в общем случае имеем многомерный случайный процесс размерности Nk, где N - количество точек, измеряемых на снимке.
Как известно, случайный процесс полностью характеризуется функцией плотности распределения вероятностей [8, 9], которая в общем случае неизвестна. Исследования, выполненные по космическим снимкам высокого разрешения, показали, что функция плотности распределения вероятностей яркостей является существенным фактором, характеризующим состояние лесного покрова. Причем функции плотности распределения различны для разных видов растительности [9]. На основе этого был разработан алгоритм дешифрирования снимков, основанный на сравнении функции плотности вероятностей яркостей оцениваемого (дешифрируемого) объекта и функции плотности распределения вероятностей эталонного объекта. Были также выполнены исследования устойчивости функции плотности распределения вероятностей относительно высоты изменения полета носителя (в определенных пределах), а также относительно ряда других факторов в пределах регио-
Рис. 2. Функции плотности распределения вероятностей яркостей для различных типов леса Fig. 2. The function density of distribution brightnessprobabilitiesfordifferentforest types
нального ландшафта [9]. На рис. 2 показаны различные функции плотности распределения вероятностей яркостей, по которым можно идентифицировать параметры леса. Достоверность дешифрирования 90-95 %.
Фрагменты изображений, полученных с беспилотных летательных аппаратов, различных типов леса и соответствующие функции плотностей распределения вероятностей приведены на рис. 3.
Также была разработана целая группа методов определения параметров для мониторинга леса: алгоритмы, основанные на использовании структурных признаков; алгоритмы многоуровневого дешифрирования, основанные на применении Фурье-анализа; алгоритмы, основанные на использовании вейвлет-анализа; алгоритмы, использующие геометрические образы для выделения крон деревьев. Алгоритмы, основанные на вейвлет-анализе, были применены для выделения границ леса и выделения мест рубок леса.
Проведены экспериментальные работы по определению большинства таксационных характеристик леса, включая размер кроны, высоту дерева, тип леса, возраст леса и т.д. Результаты выполненных работ подробно рассмотрены в [7-14].
Заключение
Оценим некоторые возможные перспективы развития алгоритмов, а также новые общие направления развития методов распознавания образов:
Рис. 3. Фрагменты изображения и графики функций плотности распределения яркостей для некоторых типов леса
Fig. 3. Image fragments and function graphics of the density brightness distribution for some forest types
- поискновых устойчивыхдешифровочныхпризнаковобъектовнаразличныхизображе-ниях,разработкаметодових факмализацаи игфимекеиия;
о внаоаУ ооаекокълаксныхвешиЧиввечных признаков и алеоротмва;
- коаоаботыгаыееннуурных олевоитманна базеФдрье-нвейвоны-ндообразованио;
дошифровочоычпризныфаыобъектови нзотхове
олывригмов распознавания, использующих многомерные дешифровочные признаки;
- разработка алгоритмов сегментации и распознавания образов, использующих геометрические, топологические и комплексные признаки;
- создание региональных баз данных, содержащих эталонные дешифровочные признаки об ектов;
- разработка системы надежных критериевсоответствия образов и разделяющих функций.
Инркoнeц,арнíоeглеоноо о аыоыенигзаконинннылееыциализированных технологий дешифрирования различаыеытифдзенмыовн обитытоеуазлчнеаевфаыначения длв еонечения заданного вида продукции. На кафедре в настоящее время ведутся интенсивные исследования в этой области, и в ближайшее время будут представлены рабочие технологии определения по космическим снимкам высокого разрешения большинства таксационных признаков лесных массивов [13].
В результате проведенных исследований установлено, что для эффективного решения задачи дешифрирования леса по многоспектральным космическим снимкам необходимо разра-
ботать технологию, основанную на специализированных алгоритмах дешифрирования снимков и создании базы дешифровочных признаков леса для различных регионов.
Список литературы
[1] Гук А.П., Евстратова Л.Г., Хлебникова Е.П., Алтынцев М.А., Арбузов С.А., Гордиен-ко А.С., Симонов Д.П. Разработка методик автоматизированного дешифрирования аэрокосмических снимков. Дешифровочные признаки изображений объектов на многоспектральных космических снимках. Геодезия и картография, 2013, 7, 31-40 [Guk A.P., Evstratova L.G., Khlebnikova E.P., Altyntsev M.A., Arbuzov S.A., Gordienko A.S., Simonov D.P. Development of techniques for automated classification of aerospace images. Object interpretive features on multispectral satellite images. Geodesy and Cartography, 2013, 7, 31-40 (in Russian)]
[2] Гук А.П., Евстратова Л.Г., Хлебникова Е.П., Алтынцев М.А., Арбузов С.А., Гордиен-ко А.С., Гук А.А. Автоматизированное дешифрирование аэрокосмических снимков. Выявление изменений состояния территорий и объектов по многозональным космическим снимкам, полученным на разные даты. Геодезия и картография, 2013, 8, 39-47 [Guk A.P., Evstratova L.G., Khlebnikova E.P., Altyntsev M.A., Arbuzov S.A., Gordienko A.S., Guk A.A. Automated classification of aerospace images. Detection of changes in the status of territories and objects on multispectral satellite images obtained at different dates. Geodesy and Cartography, 2013, 8, 39-47 (in Russian)]
[3] Гук А.П., Евстратова Л.Г. Конструирование технологических схем обработки изображений для автоматизированного дешифрирования многоспектральных космических снимков. Геодезия и картография, 2015, S15(2), 9-16 [Guk A.P., Evstratova L.G. The creation of technologies for automatic recognition of multispectral space imageries. Geodesy and Cartography, 2015, S15(2), 9-16 (in Russian)]
[4] Гук А.П., Евстратова Л.Г., Алферова А.С. Использование структурных признаков изображений типовых участков местности для выявления изменений состояния территорий по космическим снимкам высокого разрешения. Известия ВУЗов. Геодезия и аэрофотосъемка, 2009, 6, 52-56 [Guk A.P., Evstratova L.G., Alfyorova A.S. The land change detection based on the structural features of high resolution space imageries. Scientific journal Izvestia vuzov. Geodesy and aero surveying, 2009, 6, 52-56 (in Russian)]
[5] Dey V., Zhang Y., Zhong M. A Review on Image Segmentation Techniques with Remote Sensing Perspective. ISPRS TC VII Symposium - 100 Years ISPRS, Vienna, 2010, IAPRS, XXXVIII (7A), 31-42
[6] Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. 1072 с. [Gonzalez R., Woods R. Digital Image Processing, Moscow, Technosfera, 2006, 1072 р. (in Russian)]
[7] Гук А.П., Евстратова Л.Г., Алтынцев М.А. Разработка методики определения изменений границы леса по разновременным разномасштабным аэрокосмическим снимкам. Геодезия и картография, 2015, 12, 32-39 [Guk A.P., Evstratova L.G., Altyntsev M.A. Development of the forest change detection technique using multitemporal and different scale satellite imageries. Geodesy and Cartography, 2015, 12, 32-39 (in Russian)]
[8] Гук А.П. Автоматизация дешифрирования снимков. Теоретические аспекты статистического распознавания образов. Известия ВУЗов. Геодезия и аэрофотосъемка, 2015, 5, 166-169 [Automatic image recognition. The theoretical aspects of non- parametrical statistical image
recognition methods. Scientific journal Izvestia vuzov. Geodesy and aero surveying, 2015, 5, 166-169 (in Russian)]
[9] Гук А.П., Евстратова Л.Г. Новый статистический подход к распознаванию лесных массивов. Региональные проблемы дистанционного зондирования Земли: материалы IIIмеждунар. науч. конф. Красноярск: Сиб. федер. ун-т, 2016, 14-16 [Guk A.P., Evstratova L.G. New statistical approach of forest image recognition. Regional Problems of Earth Remote Sensing: proceedings of the III International Scientific Conference. Krasnoyarsk, 2016, 14-16 (in Russian)].
[10] Гук А.П., Алтынцев М.А. Преобразование Tasseled Cap для космических снимков FORMOSAT-2. Известия ВУЗов. Геодезия и аэрофотосъемка, 2012, 3, 39-47 [Guk A.P., Altyntsev M.A. The Tasseled Cap transformations of FORMOSAT-2 imageries. Scientific journal Izvestia vuzov. Geodesy and aerophotsurvey, 2012, 3, 39-47 (in Russian)]
[11] Crit E.P., Kfuth R.J. The Tasseled Caр De-Mystified. Photogrammetric Engineering and Remote Sensing, 1986, 32(1), 81-86
[12] Гук А.П., Арбузов С.А., Гук А.А. Использование метода независимых компонент при дешифрировании снимков лесных массивов. Труды X международного научного конгресса «Интерэкспо ГЕО-Сибирь-2014», Новосибирск, 2014, 4(1), 3-9 [Guk A.P., Arbuzov S.A., Guk A.A. Possibility of interpretation of multispectral images of forest land by means of independent components analysis method. Proceedings of the X International scientific congress "GEO-Siberia 2014", Novosibirsk, 2014, 4(1), 3-9 (in Russian)]
[13] Манович В.Г., Гук А.П., Евстратова Л.Г., Алтынцев М.А. Автоматизированное дешифрирование многоспектральных космических снимков высокого разрешения при решении задач лесоустройства и таксации леса. Лесное хозяйство, 2013, 2, 37-41 [Manovich V.N., Guk A.P., Evstratova L.G., Altyntsev M.A. The automatics classification of multispectral satellite high resolution imageries for solving of forest tasks. Forest, 2010, 2, 19-25 (in Russian)]
[14] Гук А.П., Евстратова Л.Г., Гордиенко А.С., Алтынцев М.А. Локализация изменений природно-территориальных комплексов по разновременным космическим снимкам. Геодезия и картография, 2010, 2, 19-25 [Guk A.P., Evstratova L.G., Gordienko A.S., Altyntsev M.A. Objects changes localization of natural-territorial complexes based on multitemporal satellite images. Geodesy and Cartography, 2010, 2, 19-25 (in Russian)]
