CC BY
1
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
Челябинский физико-математический журнал. 2024■ Т. 9, вып. 3. С. 523-534.
УДК 004.93 DOI: 10.47475/2500-0101-2024-9-3-523-534
СЕГМЕНТАЦИЯ ЛЕСНЫХ РУБОК ПО ПАРЕ КОСМИЧЕСКИХ СНИМКОВ SENTINEL-2 В ЗИМНИЙ ПЕРИОД
В. Р. Аббазов1'2'", А. В. Мельников1'26, М. А. Русанов12с, О. И. Соколков1'2^
1 Югорский научно-исследовательский институт информационных технологий, Ханты-Мансийск, Россия
2 Югорский государственный университет, Ханты-Мансийск, Россия
"[email protected], [email protected], [email protected], [email protected]
Приводится сравнение моделей сегментации для решения задачи выявления лесных рубок в зимний период по паре космических снимков Sentinel-2. В сравнение попали модели, основанные на свёрточных нейронных сетях из библиотеки segmentation models, разработанной для языка программирования Python. В качестве данных для обучения моделей использовались снимки с 2018 по 2022 г. из открытых источников Европейского космического агентства, которые были сделаны над территорией Ханты-Мансийского автономного округа — Югры. Данные снимки были предобрабо-таны для решения задач: проведения атмосферной коррекции снимков, приведения пар снимков к единой проекции, нарезки снимков на кадры. Маски лесных рубок формировались вручную с 2015 г. в центре космических услуг Югорского научно-исследовательского института информационных технологий. Для оценки качества моделей использовалась Fl-мера, так как требуется оценить, находит ли модель все рубки, насколько точно модель находит рубки, а также Fl-мера позволяет учесть ложные срабатывания модели. Лучший результат показала модель UNetH—H с оценкой 0.847. Остальные рассмотренные модели показали близкий результат, что говорит о схожести данных моделей применительно к задачам сегментации лесных рубок.
Ключевые слова: сегментация изображений, лесные рубки, космоснимки, Sentinel-2, машинное обучение, архитектура UNet.
Введение
Задача сегментации лесных рубок по паре космических снимков подразумевает этап предобработки данных, который включает в себя следующие процессы:
— атмосферная коррекция снимков;
— обнаружение и отсечение облаков;
— приведение к единым географическим координатам обоих снимков;
— привязка снимков к местности;
— нарезка снимков на кадры.
Непосредственно обнаружение лесных рубок будет проводиться уже по обработанным снимкам. В статье приводится обзор аналогов отдельно по моделям предобработки (будем рассматривать атмосферную коррекцию и обнаружение облаков;
всё остальное имеет более технический и однозначный характер исполнения) и отдельно — по моделям обнаружения лесных рубок.
1. Модели атмосферной коррекции
Под атмосферной коррекцией понимается процесс минимизации негативного влияния атмосферы на снимок, полученный спутниковыми или бортовыми датчиками. Проблема состоит в следующем: не всегда со спутника чётко видно поверхность ввиду того, что мы наблюдаем за поверхностью через атмосферу, среда которой не является абсолютно прозрачной. К примеру, зелёный хвойный лес с большой высоты в силу свойств атмосферы может иметь голубой или белый оттенок. Имеет место рассеяние в атмосфере, приводящее к дополнительной засветке, которая может заметно снизить качество обнаружения.
Отличия детектируемой на борту космического аппарата освещённости поверхности от истинной зависят от множества факторов: угла склонения солнца, положения и угла съёмки космического аппарата, состава и влажности атмосферы и т. д. [1]. Атмосферная коррекция осуществляется с целью минимизировать влияние представленных выше факторов (всех либо их части) на полученный снимок. Далее приведём обзор доступных, известных средств и методов осуществления атмосферной коррекции снимков.
Существует метод атмосферной коррекции DOS (Dark Object Subtraction). Общая суть метода состоит в нахождении яркости тёмного объекта снимка с последующей коррекцией минимума значений каждого пикселя изображения относительно спектральной яркости найденного объекта (DN). Речь идёт о получении константы DN, которая впоследствии вычитается из всего цифрового изображения [2]. Выражаясь упрощённо, этот алгоритм основан на принципе вычитания «тёмного фона».
Стоит вопрос касательно выбора этой константы. Есть эмпирический метод: пользователь выбирает это значение непосредственно из гистограммы частоты DN цифрового изображения. Вычислительный метод: суммарная яркость (от 0 до n) тёмного объекта будет соответствовать 0.01 % от суммарной яркости всех пикселей спутникового снимка [3]. Однако минус заключается в том, что в рамках данного метода предполагается, что на всём снимке туманность одинаковая, но это часто не соответствует действительности [2].
Также существует и иная проблема: выбранные значения DN могут не соответствовать реалистичной модели относительного атмосферного рассеяния. Ввиду этого данный метод дорабатывался и расширялся [2].
Существует и другой метод проведения атмосферной коррекции — с помощью приближённого решения уравнения переноса MODTRAN [1]. В данной работе предложен метод проведения атмосферной коррекции гиперспектральных ДЗЗ, основанный на приближённом решении упрощённого уравнения переноса модели MODTRAN. При таком подходе нет необходимости моделировать атмосферу явным образом, задача сводится к определению неизвестных коэффициентов уравнения, а все тонкости прохождения света через атмосферу остаются в рамках модели. Однако для такого решения требуется идеальное (т. е. свободное от атмосферных искажений) ГСИ той же местности. В качестве такого изображения предлагается использовать ГСИ, полученные с помощью съёмки с низколетящих летательных аппаратов (ЛА) или со стационарных гиперспектрометров. Очевидно, что для таких изображений атмосферные искажения будут весьма незначительными.
2. Модели обнаружения облаков
Обнаружение облаков и теней облаков является необходимым этапом предварительной обработки для приложений оптического дистанционного зондирования из-за огромного негативного влияния облаков и теней облаков на анализ данных [4].
Если же облака не отсекать, то это может повлечь значительные ошибки обнаружения. К примеру, система будет по ошибке определять некоторые облачные участки в качестве вырубки, нам такого допустить не хотелось бы. С другой стороны, чрезмерное обнаружение и отсечение облаков может привести к уменьшению количества достоверных наблюдений и, следовательно, также повлиять на качество получаемых результатов.
Ввиду вышеописанного такая задача является довольно непростой и требует рассмотрения: разработка алгоритмов маскирования облаков остаётся областью активных исследований в области дистанционного зондирования [5].
Отдельно следует отметить проблему, характерную для зимних снимков северных регионов: бывает трудно различить облака на фоне заснеженной поверхности. Они могут на снимке слиться воедино: как следствие, облака можно распознать как снег и наоборот.
Алгоритм F-маски и его улучшенные версии были разработаны под Landsat и получили превосходные характеристики обнаружения облака/тени посредством серии спектральных тестов и процесса соответствия облаков и их тени. В результате алгоритм F-маски и его улучшенные версии уже успешно использовались для практических применений с большим количеством изображений Landsat [4].
Важно отметить, что большинство существующих методов обнаружения облаков/тени (в том числе и выше представленный F-mask) строятся под конкретные спутниковые сенсоры [4].
Как следствие, такие методы имеют существенный недостаток: ограничения в плане применимости. К примеру, если некоторый алгоритм опирается на тепловую инфракрасную полосу, он не может быть эффективно применён к другим оптическим датчикам (например, ikonos) без тепловой инфракрасной полосы. Более того, оба спутника могут иметь инфракрасную полосу, но фиксировать разные её диапазоны: возможно, что в таком случае некоторый алгоритм на одном спутнике будет работать как задумывалось, а на другом — некорректно [4].
Однако разработаны и универсальные в этом плане методы, в числе которых унифицированный алгоритм, основанный на спектральных индексах (Unified cloud/shadow detection algorithm based on spectral indices, CSD-SI). Он подходит для различных гиперспектральных оптических датчиков дистанционного зондирования как с видимыми, так и с инфракрасными спектральными каналами. Общая суть метода заключается в вычислении двух величин: индекса облачности (CI) и индекса облачных теней (CSI). На их основании в итоге определяется итоговая маска облаков (Final cloud mask) и итоговая маска теней от облаков (Final cloud shadow mask). В конечном же итоге на основе последних формируется общая маска и облаков, и их теней (Cloud and cloud shadow mask) [4].
В исследовании, которое приводится в статье [6], предлагается подход к обнаружению облаков и облачных теней на изображениях посредством модифицированной свёрточной нейронной сети UNet. Речь идёт об осуществлении семантической сегментации. Обучение производилось на глобальной базе данных изображений Landsat OLI для сегментации пяти классов: "shadow" (тень), "cloud" (облако), "water" (вода), "land" (суша) and "snow/ice" (снег/лёд). Решение проверялось для сенсоров спутников Landsat TM, Landsat OLI, Landsat OLI и Sentinel-2 [6].
3. Модели сегментации лесных рубок
Для решения проблемы оперативного картографирования лесных рубок был выполнен поиск и изучены существующие средства и методы сегментации. Алгоритмы на основе свёрточных сетей позволяют выделять выборочные и проходные рубки как целостный объект, в отличие от традиционных методов, основанных на спектральных признаках, что увеличивает оперативность картографирования за счёт снижения затрат на проведение генерализации [7].
Рассмотрим архитектуру свёрточных сетей SegNet, отличительной особенностью которой является технология декодирования (decoder). На этапе кодирования (encoder) осуществляется пулинг по максимальному значению (max-pooling), который нацелен сократить последующую сложность вычислений. Однако это негативно сказывается на результате, особенно на границах объекта. Операции пулинга по максимальному значению на этапе кодирования снижают пространственное разрешение и вычислительную сложность, приводя к потере пространственной информации, что негативно сказывается на результате, особенно на границах объекта. SegNet стремится преодолеть этот недостаток, сохраняя максимальные индексы в кодировщике и используя их для восстановления местоположения мелких деталей в операции повышения дискретизации на соответствующем этапе декодирования. Эта стратегия позволяет ускорить процесс обучения, поскольку для сети не нужно определять веса на этапе повышения дискретизации [8].
Далее разберём архитектуру свёрточных сетей DeepLabv3+. Такая модель имеет этап кодирования, на котором извлекается компактное представление изображения, и этап декодирования, на котором восстанавливается исходное разрешение изображения и обеспечиваются вероятности апостериорного класса по пикселям. По сравнению с предыдущими вариантами DeepLab этап декодирования в DeepLabV3+ позволяет улучшить результаты сегментации по границам объектов. DeepLabV3+ использует модуль Xception-65 в качестве основы, глубинный модуль, полностью основанный на разделяемых по глубине свёртках с различными шагами. Концептуально пространственная разделяемая свёртка разбивает свёртку на две отдельные операции: глубинную и точечную свёртку [8].
Рассмотрим архитектуру свёрточных сетей UNet. Отмечается, что свёрточные нейронные сети архитектуры UNet одни из наиболее эффективных алгоритмов анализа изображений. Использование свёрточных нейронных сетей этой архитектуры обеспечивает существенное повышение точности обнаружения и оперативного картографирования нарушений лесного покрова по разновременным снимкам Sentinel-2 в любой сезон года [7].
UNet, вероятно, является наиболее широко используемой сетевой архитектурой для семантической сегментации. Подобно SegNet, она состоит из двух последовательных этапов. Во-первых, на этапе кодирования последовательно уменьшается пространственное разрешение по мере извлечения всё более чётко определённых признаков. Затем на этапе декодирования продолжают извлекаться черты со всё более высокими разрешениями, пока не будет достигнуто исходное разрешение и, наконец, будет связан один класс с каждой позицией входного пикселя. Характерной чертой архитектуры UNet является произведение конкатенации признаков, которые были установлены в процессе понижающей дискретизации с признаками, вычисленными соответствующими уровнями в процессе повышающей дискретизации. Таким образом, восстанавливаются мелкие детали, утраченные в результате операций пулинга, и тем самым обеспечивается более быстрая сходимость [8].
Существует модификация данной сети UNetH—Во-первых, она отличается от UNet тем, что использует видоизменённый пропуск пути (skip pathway). Эта мера направлена на сокращение семантического разрыва между картами признаков подсетей кодировщика и декодировщика, что может привести к упрощению оптимизации. Второе отличие: использование механизма глубокого наблюдения (deep supervision), который обеспечивает более точную сегментацию [9].
Далее рассмотрим архитектуру сети MA-Net (Multi-scale Attention Net), которая может фиксировать важные контекстные зависимости на основе механизма внимания. Имеется два блока: блок внимания по положению (Position-wise Attention Block, PAB) и блок многомасштабного объединения внимания (Multi-scale Fusion Attention Block, MFAB). PAB используется для моделирования взаимозависимостей объектов в пространственных измерениях, которые фиксируют пространственные зависимости между пикселями в глобальном представлении. MFAB предназначен для захвата зависимостей каналов между любой картой признаков путём слияния многомасштабных семантических признаков [10].
Выше представлена описательная характеристика свёрточных нейронных сетей: SegNet, DeepLabv3+, UNet, UNet++, MA-Net. Далее в статье мы получим представления о качестве работы этих сетей в контексте рассматриваемой нами задачи — сегментации лесных рубок.
4. Постановка задачи
Целью данной работы является обучение нейросетевых моделей сегментации областей с вырубленным лесом на парах мультиспектральных снимков спутника Sentinel-2 в снежный период (ноябрь-март).
Для реализации поставленной цели решены следующие задачи:
1. Подготовка набора данных:
(a) разметка лесных рубок на территории ХМАО — Югры за 2018-2022 гг.;
(b) подбор пересекающихся разновременных пар снимков;
(c) проведение атмосферной коррекции снимков;
(d) приведение пар снимков к единой проекции;
(e) нарезка снимков в зоне рубок на 24-канальные (12 каналов нового снимка и 12 каналов старого снимка) кадры размером 256 на 256 пикселей;
(f) подготовка масок лесных рубок, соответствующих подготовленным кадрам;
(g) разделение набора данных на территориально не пересекающуюся обучающую, валидационную и тестовые выборки.
2. Обучение моделей.
3. Оценка качества моделей.
5. Описание эксперимента 5.1. Набор данных
Для построения набора данных используется 236 снимков территории ХМАО — Югры со спутника Sentinel-2 за снежный период (ноябрь-март) 2018-2022 гг.
Данный спутник выбран из-за высокой частоты съёмки, около 5 суток на одну и ту же территорию, достаточно высокого пространственного разрешения от 10 до 60 метров на пиксель в зависимости от канала, а также открытости данных.
Предварительно была проведена ручная разметка лесных рубок, а также обработка снимков до уровня 2A [11], что представляет собой ортотрансфор-мированые изображения с атмосферной коррекцией, пересчитанные в альбедо земной поверхности (surface reflectance). Для коррекции использован процессор Sen2Cor v2.10 [12; 13], разработанный Европейским космическим агентством для спутника Sentinel-2. Каждый снимок имеет 12 спектральных каналов.
Датасет состоит из парных, разновременных снимков (до и после появления рубки). Всего задействована 991 комбинация пар снимков. При несоответствии проекций более старый снимок приводился в проекцию более нового. В зоне рубок снимки разрезались на 24-канальные (12 каналов нового снимка и 12 — старого) кадры размером 256 на 256 пикселей. Каналы, имеющие 20- и 60-метровое разрешение, предварительно повышались до 10 метров, т.е. производилось увеличение разрешения в 2 и 6 раз соответственно моделью нейронной сети в открытой библиотеке DSen2 [14]. На рис. 1 показано rgb-представление кадра, состоящее из каналов 4, 3, 2 старого и нового снимка, что соответствует каналам 16, 15, 14, 4, 3, 2 в кадре датасета, а также маска рубок на этом кадре.
Рис. 1. Пример кадра (слева направо): ^Ь-каналы старого снимка, ^Ь-каналы нового снимка,
маска рубок
В общей сложности подготовлено 71 600 кадров. Распределение кадров показано на рис. 2 и разделено на следующие непересекающиеся выборки:
— обучающая выборка (синий на рисунке) — 58 000 кадров;
— валидационная выборка (жёлтый на рисунке) — 10 000 кадров;
— тестовая выборка (красный на рисунке) — 3 600 кадров.
5.2. Модели и метрики
Для эксперимента из библиотеки Segmentation models для языка программирования Python были выбраны модели: UNet++, DeepLabV3+ и MA-Net. Модель UNet++ рассматривалась с разными энкодерами: resnet101 и se-resnext101, которые также представлены в библиотеке Segmentation models [15; 16].
В качестве метрик оценки качества моделей были выбраны: F1, IoU (intersection over union), recall и precision. За базовую метрику была выбрана метрика F1, остальные метрики будем считать дополнительными.
5.3. Результаты эксперимента
При обучении моделей использован оптимизатор Adadelta [17], функция потерь Lovasz loss [18]. Среднее время обучения — 2 дня (15 эпох) на видеокарте NVIDIA GeForce RTX 2080Ti с 11 Гб видеопамяти, обучение прекращалось при отсутствии
ш
ШУ"
Ушй оа
Горки Овгорт Лолхари
■ Надым \ ■
* ■ ■ Iй Право «ттинский
■■■•>. • ■ v
Щскурья
\ '*(
i . i
Хулимсунт.
' I НйКСИМВОЛВ.
) * ■ , ■
[ A* ^
i'
/ ивдель
4epwyiOBO
■евроуральек 1 КраСмо'урьинсч
Серее
Теги- Вэнзевэ1 г
S-..,. Сословие
ieo
Полном- Веряиекмымский
Белонрскнй1
Перегреб«ое Шеркалы Приобье
i / ■ я? -
• : :■ , -1-," i'^OfTP ■ ''-.А Тадимк^
\ Хй^т' +'Уы - ■
• Лоигыогвн .
, " • Ягельный
) ■ , i ■ Г'убкинский ■
.,Приозерный • I ' , (
<
Ч • ' .
■ ^рввяенко Ханымей. ;
Нумю1 .. .,.:-» •• V
' i • .... , •>,'.' • * f *
\ ...........''•. Ноябрьск '
Холмы • '"•""• Вмнгдпуровскш;
ИШ •' ri ;-.>?<<■■■:
■ .,->
Тарко-Сме ■
1олы<а <
Киккиакки
■ / • 'J 1 , V"" н"
Когапыи , ' '.
да t
■• ..Йторок " '
Нижмееоргыммий
Хогапыы ,
Радужный' Ноиоагоькк
Помчи Колек «гам
ЛЯнТОр Федоровский -V** *
Верхне-Тазовский ( ■ государственный " '
природным х заповедник ' ' Ке
Жрэй
Межуречлнский
г . Ca/ieiv
С"1-
Демь'яиское
Дечьянка
Уват Гургвс
Сургут Ланг
I ; ■ Государственный природный , заповедник * Юганский* ]J
i Лорьяк
Нг je&epToeof
Сгрежевой
Каргассж
Парабсло
Рис. 2. Распределение кадров по территории Ханты-Мансийского автономного округа
улучшения метрики IoU на валидационной выборке. Для увеличения разнообразия данных и улучшения обобщающей способности модели в ходе обучения использовались аугментации данных: вертикальное и горизонтальное отражение, транспонирование, а также их сочетания.
Оценка обученных моделей производилась на тестовых кадрах, территориально не пересекающихся с данными из обучающей выборки. На рис. 3 представлен пример кадра с результатами сегментации рассматриваемых моделей. Маска сегментации наложена на rgb-каналы нового снимка. Зелёным представлена маска, оценённая как true positive (правильно распознанная рубка), красным — false negative (не найденная моделью рубка), фиолетовым — false positive (помеченная моделью область, не являющаяся рубкой). Данный пример весьма сложен ввиду затемнённости каналов старого снимка, неоднородной поверхности рубок и малого размера одного из объектов, однако модели всё же определили сегменты. На представленном примере лучшей моделью оказалась UNetH—H с кодировщиком resnet101. Чуть хуже определила контуры модель DeepLabV3+ с аналогичным кодировщиком, однако данная архитектура показала лучшую false positive оценку. UNetH—H с кодировщиком se-resnext101 и MA-Net с кодировщиком resnet101 упустили один объект.
В целом оценка моделей представлена в таблице. Лучшей, как и в приведённом выше примере, оказалась модель UNet++ с кодировщиком resnet101. DeepLabV3+ реже выделяет объекты не являющиеся рубками, однако значительно хуже находит сами объекты. MA-Net и UNet++ с кодировщиком se-resnext101 показали средние результаты.
Оценка моделей (жирным выделен лучший результат)
IoU Recall Precision F1
Unet++ (кодировщик: resnet101) 0.781 0.849 0.874 0.847
Unet++ (кодировщик: se-resnext101) 0.723 0.825 0.844 0.811
DeepLabV3+ (кодировщик: resnet101) 0.622 0.655 0.933 0.716
MANet (кодировщик: resnet101) 0.738 0.820 0.877 0.822
Рис.3. Пример работы моделей: 1) ^Ь-каналы старого снимка, 2) ^Ь-каналы нового снимка, 3) результат с кодировщиком геэпеЙО! 4) результат иМе1++ с кодировщиком
ве-геэпехЙО! 5) результат БеерЬаЬУ3+ с кодировщиком гевпеЙО! 6) результат МЛ-Ме1
с кодировщиком гевпеЙО!
Выводы
Полученные результаты позволяют говорить о применимости свёрточных нейронных сетей для решения задачи сегментации лесных рубок в снежный период года. По метрике F1 модель UNet+—+ с кодировщиком resnet101 достигает качества 85%. Стоит отметить, что выборка содержала кадры с облаками, что могло негативно повлиять на оценку качества модели.
В дальнейших исследованиях планируется описать летнюю модель сегментации рубок и расширить перечень моделей. На текущий момент стоит рассмотреть модели на основе трансформеров и проанализировать возможности генеративных моделей для решения задачи сегментации лесных рубок.
References
1. Белов А. М., Мясников В. В. Атмосферная коррекция гиперспектральных изображений с помощью приближённого решения уравнения переноса MODTRAN // Компьютерная оптика. 2014. Т. 38, № 3. С. 489-493.
2. Chavez P. S., Jr. An improved dark-object subtraction technique for atmospheric scattering correction of multispectral data // Remote Sensing of Environment. 1988. Vol. 24, no. 3. P. 459-479.
3. Атмосферная коррекция по методу DOS. URL: https://gis-lab.info/qa/atcorr-dos.html?ysclid=lfkpvs0on6702807400 (дата обращения 13.07.2023).
4. ZhaiH., ZhangH., ZhangL., Li P. Cloud/shadow detection based on spectral indices for multi/hyperspectral optical remote sensing imagery // ISPRS Journal of Photogrammetry and Remote Sensing. 2018. Vol. 144. P. 235-253.
5. SkakunS., Weavers J., BrockmannC., et al. Cloud Mask Intercomparison eXercise (CMIX): An evaluation of cloud masking algorithms for Landsat 8 and Sentinel-2 // Remote Sensing of Environment. 2022. Vol. 274, no. 1. P. 112990.
6. WielandM., LiY., Martinis S. Multi-sensor cloud and cloud shadow segmentation with a convolutional neural network // Remote Sensing of Environment. 2019. Vol. 230. P. 111203.
7. Тарасов А. В. Оперативное картографирование нарушений лесного покрова на основе спутниковых данных с высоким пространственно-временным разрешением : дис. ... канд. техн. наук. Новосибирск : Сиб. гос. ун-т геосистем и технологий, 2021.
8. Lobo Torres D., NoaTurnesJ., Juan Soto Vega P., et al. Deforestation detection with fully convolutional networks in the Amazon forest from Landsat-8 and Sentinel-2 images // Remote Sensing. 2021. Vol. 13, no. 24. P. 5084.
9. ZhouZ., SiddiqueeM. M. R., TajbakhshN., Liang J. UNet++: A nested U-Net architecture for medical image segmentation // Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Proceedings of 4th International Workshop, DLMIA 2018, and 8th International Workshop, ML-CDS 2018, Granada, Spain, September 20, 2018. P. 3-11.
10. FanT., WangG., LiY., WangH. MA-Net: A multi-scale attention network for liver and tumor segmentation // IEEE Access. 2020. Vol. 8. P. 179656-179665.
11. Sentinel-2 MSI. Processing Levels: Level-2. URL: https://sentinel.esa.int/web/sentinel/ user-guides/sentinel-2-msi/processing-levels/level-2 (дата обращения 13.07.2023).
12. SNAP Supported Plugins: Sen2cor. URL: https://step.esa.int/main/snap-supported-plugins/sen2cor/ (дата обращения 13.07.2023).
13. Main-Knorn M., PflugB., Louis J., DebaeckerV., Muller-Wilm U., Gascon F. Sen2Cor for Sentinel-2 // Image and Signal Processing for Remote Sensing XXIII. 2017. Vol. 10427. P. 1042704.
14. Lanaras C., Bioucas-Dias J., Galliani S., et al. Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network // ISPRS Journal of Photogrammetry and Remote Sensing. 2018. Vol. 146. P. 305-319.
15. Segmentation models: Python library with neural networks for image segmentation based on PyTorch. URL: https://github.com/qubvel/segmentation_models.pytorch#models (дата обращения 13.07.2023).
16. Segmentation Models. URL: https://segmentation-modelspytorch.readthedocs.io/en/ latest/ (дата обращения 13.07.2023).
17. Zeiler M. D. ADADELTA: An Adaptive Learning Rate Method. 2012. arXiv:1212.5701.
18. BermanM., Rannen Triki А., BlaschkoM. B. The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks. 2018. arXiv:1705.08790.
Поступила в редакцию 14.07.2023. После переработки 23.06.2024
Сведения об авторах
Аббазов Валерьян Ринатович, программист, Югорский научно-исследовательский институт информационных технологий; студент, Югорский государственный университет, Ханты-Мансийск, Россия; e-mail: [email protected].
Мельников Андрей Витальевич, доктор технических наук, профессор, директор, Югорский научно-исследовательский институт информационных технологий; профессор, Югорский государственный университет, Ханты-Мансийск, Россия; e-mail: [email protected].
Русанов Михаил Александрович, руководитель центра информационно-аналитических систем, Югорский научно-исследовательский институт информационных технологий; старший преподаватель, Югорский государственный университет, Ханты-Мансийск, Россия; e-mail: [email protected].
Соколков Олег Игоревич, специалист по информационным системам, Югорский научно-исследовательский институт информационных технологий; студент, Югорский государственный университет, Ханты-Мансийск, Россия; e-mail: [email protected].
Chelyabinsk Physical and Mathematical Journal. 2024. Vol. 9, iss. 3. P. 523-534.
DOI: 10.47475/2500-0101-2024-9-3-523-534
SEGMENTATION OF FOREST FELLING USING A PAIR OF SENTINEL-2 SPACE IMAGES IN WINTER PERIOD
V.R. Abbazov1'2'", A.V. Melnikov12b, M.A. Rusanov12c, O.I. Sokolkov12d
1 Yugorsky Research Institute of Information Technologies, Khanty-Mansiysk, Russia
2Yugra State University, Khanty-Mansiysk, Russia
"[email protected], [email protected], [email protected], [email protected]
The paper presents a comparison of segmentation models for solving the problem of detecting forest felling in winter using a pair of Sentinel-2 satellite images. The comparison includes models based on convolutional neural networks from the segmentation models library developed for the python programming language. As data for model training we used images from 2018 to 2022 from open sources of the European Space Agency, which were taken over the territory of Khanty-Mansiysk Autonomous Okrug — Yugra. These images were preprocessed to solve the following tasks: atmospheric correction of images, bringing image pairs to a single projection, slicing images into frames. Forest felling masks were manually generated since 2015 in the space services center of the Ugra Research Institute of Information Technologies. Fl-measure was used to assess the quality of models, as it is required to evaluate whether the model finds all felling areas, how accurately the model finds felling areas, as well as Fl-measure allows taking into account false positives of the model. The UNet++ model showed the best result with a score of 0.847. The other models showed similar results, which indicates the similarity of these models for forest harvest segmentation tasks.
Keywords: image segmentation, forest harvesting, satellite imagery, Sentinel-2, machine
learning, UNet architecture.
References
1. BelovA.M., Myasnikov V.V. Atmosfernaya korrektsiya giperspektral'nykh izobrazheniy s pomoshch'yu priblizhyonnogo resheniya uravneniya perenosa MODTRAN [Atmospheric correction of hyperspectral images using an approximate solution of the transport equation]. Komp'yuternaya optika [Computer optics], 2014, vol. 38, no. 3, pp. 489-493. (In Russ.).
2. Chavez P.S., Jr. An improved dark-object subtraction technique for atmospheric scattering correction of multispectral data. Remote Sensing of Environment, 1988, vol. 24, no. 3, pp. 459-479.
3. Atmospheric correction by DOS method. Available at https://gis-lab.info/qa/atcorr-dos.html?ysclid=lfkpvs0on6702807400, accessed 13.07.2023.
4. ZhaiH., Zhang H., Zhang L., Li P. Cloud/shadow detection based on spectral indices for multi/hyperspectral optical remote sensing imagery. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, vol. 144, pp. 235-253.
5. SkakunS., Weavers J., BrockmannC., et al. Cloud Mask Intercomparison eXercise (CMIX): An evaluation of cloud masking algorithms for Landsat 8 and Sentinel-2. Remote Sensing of Environment, 2022, vol. 274, no. 1, p. 112990.
6. WielandM., LiY., Martinis S. Multi-sensor cloud and cloud shadow segmentation with a convolutional neural network. Remote Sensing of Environment, 2019, vol. 230, p. 111203.
7. Tarasov A.V. Operativnoye kartografirovaniye narusheniy lesnogo pokrova na osnove sputnikovykh dannykh s vysokim prostranstvenno-vremennym razresheniyem [Operational mapping of forest cover disturbances on the basis of satellite data with high spatial and temporal resolution]. Thesis, Candidate of Technical Sciences. Novosibirsk, Siberian State University of Geosystems and Technologies, 2021. (In Russ.).
8. Lobo Torres D., NoaTurnesJ., Juan Soto Vega P., et al. Deforestation detection with fully convolutional networks in the Amazon forest from Landsat-8 and Sentinel-2 images. Remote Sensing, 2021, vol. 13, no. 24, p. 5084.
9. ZhouZ., SiddiqueeM. M.R., TajbakhshN., Liang J. UNet++: A nested U-Net architecture for medical image segmentation. Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Proceedings of 4th International Workshop, DLMIA 2018, and 8th International Workshop, ML-CDS 2018, Granada, Spain, September 20, 2018. Pp. 3-11.
10. FanT., WangG., LiY., WangH. MA-Net: A multi-scale attention network for liver and tumor segmentation. IEEE Access, 2020, vol. 8, pp. 179656-179665.
11. Sentinel-2 MSI. Processing Levels: Level-2. Available at https://sentinel.esa.int/web/ sentinel/user-guides/sentinel-2-msi/processing-levels/level-2, accessed 13.07.2023.
12. SNAP SUPPORTED PLUGINS: Sen2cor. Available at https://step.esa.int/main/snap-supported-plugins/sen2cor/, accessed 13.07.2023.
13. Main-Knorn M., PflugB., Louis J., DebaeckerV., Muller-Wilm U., Gascon F. Sen2Cor for Sentinel-2. Image and Signal Processing for Remote Sensing XXIII, 2017, vol. 10427, p. 1042704.
14. LanarasC., Bioucas-Dias J., GallianiS., et al. Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, vol. 146, pp. 305-319.
15. Segmentation Models: Python library with Neural Networks for Image Segmentation based on PyTorch. Available at https://github.com/qubvel/segmentation_models.pytorch# models, accessed 13.07.2023.
16. Segmentation Models Pytorch's Documentation. Available at https://segmentation-modelspytorch.readthedocs.io/en/latest/, accessed 13.07.2023.
17. ZeilerM. ADADELTA: An adaptive learning rate method. 2012. arXiv:1212.5701.
18. Berman M., Rannen Triki A., Blaschko M. B. The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks. 2018. arXiv:1705.08790.
Article received 14.07.2023.
Corrections received 23.06.2024.
