CC BY
36
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.891.3 DOI: 10.24412/2071-6168-2021-6-3-10
ПРИМЕНЕНИЕ СВЕРТОЧНЫХ СЕГМЕНТАЦИОННЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ЭКОЛОГИЧЕСКОГО МОНИТОРИНГА ЗЕМНОЙ ПОВЕРХНОСТИ
А.С. Тарасов, М.Б. Никифоров, Бакамбис Нгонго Ирстенн
Рассматривается применение сверточных сегментационных нейронных сетей для экологического мониторинга земной поверхности. Предлагается использовать сегментационные нейронные сети, такие как U-NET и SegNet для сегментации земной поверхности на классы: луговая/лесная растительность, городская/сельская застройка, автомобильные дороги, промышленные полигоны, водные объекты, облака. Исходя из изменения площади сегментов на космическом снимке, удаётся сделать предположение о техногенном изменении в данном участке местности. Предложено готовое программное решение, построенное на TensorFlow, обладающее высокой производительностью и позволяющее подготовить подробный отчет (размер детализации: 1,5 м2 на пиксель) по всей территории РФ. Система носит рекомендательный характер, уведомляя оператора о необходимости более детального рассмотрения ситуации в данной местности.
Ключевые слова: дистанционное зондирование земли, экологический мониторинг, сегментационные нейронные сети, U-NET и SegNet, обучение нейронной сети, готовое программное решение, TensorFlow, детализация 1,5 м2 на пиксель, рекомендательный характер.
Территориальное планирование в настоящее время является важным инструментом региональной политики развитых стран и направлено на гармонизацию отношений в системе «производство - население - природа». К сожалению, современное территориальное планирование зачастую сохраняет градостроительную, а не природоохранную доминанту, хотя и включают природоохранные компоненты, которые получают в последнее время всё более широкое развитие. В ряде стран, кроме территориального, применяется и ландшафтное планирование, задачей которого является экологическая ориентация планов регионального развития [1, 2, 3].
Одним из важнейших элементов жизненной среды является атмосфера. Её деградация - это реальная деградация среды обитания людей. Наибольшее негативное влияние на атмосферу оказывают выбросы вредных веществ (ВВ); классическими источниками ВВ являются теплоэлектростанции; двигатели автомобилей; котельные; заводы, производящие цемент, минеральные удобрения, различные красители [4]. Вредные вещества выбрасываются в атмосферу как в результате проистекания некоторых процессов в самой природе, так и вследствие антропогенной деятельности. Современная цивилизация превратила второй фактор в доминирующий [5,6,7, 8].
По оценкам Всемирной организации здравоохранения, загрязнение воздуха каждый год приводит к преждевременной смерти около 7 миллионов человек во всем мире. Исследования [5, 9, 10] показали, что их число может составлять около 8,8 миллиона.
Существуют различные технологии и стратегии контроля и снижения загрязнения воздуха. На самом базовом уровне долгосрочный эффект может принести планирование землепользования. В большинстве развитых стран планирование землепользования является важной частью социальной политики, обеспечивающей эффективное использование земли в интересах экономики и населения в целом, а также для защиты окружающей среды.
Наличие обширной базы спутниковых снимков для самых удалённых уголков Земли позволяет получить детальную информацию о состоянии экологии даже для тех участков, доступ в которые затруднён.
В качестве оцениваемых экологических факторов региона были выбраны:
1. Количество лесных зон в окрестностях города;
2. Обеспеченность объектами гидрографии (реки, озёра, моря);
3. Наличие/отсутствие свалок или других промышленных полигонов;
4. Объемы незаконной вырубки лесов;
5. Объёмы урбанизации;
6. Плотность автомобильных дорог.
В статье рассматривается применение сверточных сегментационных нейронных сетей для экологического мониторинга земной поверхности.
Семантическая сегментация. Поиск интересующих классов выполнялся при помощи семантической сегментации. Семантическая сегментация — это процесс разбиения изображения на составные части (сегменты) и одновременная классификация этих частей. Разбиение происходит таким образом, что при объединении всех частей вместе, получается оригинальное изображение. Каждый сегмент изображения состоит из пикселей, пиксели одного сегмента имеют одну и ту же метку класса, которая показывает принадлежность данного сегмента к классу сегментов, объединенных какими-либо общими характеристиками, например, текстурой, цветом, яркостью, наличием повторяющихся элементарных объектов и т.п. [11, 12, 13].
Примеры классов сегментов: дорога, автомобиль, небо, пешеход, здание, животное, велосипед и т.п. Соответственно, задача семантической сегментации состоит в нахождении на изображении областей (сегментов), а также их классификация по заранее заданному набору классов. Не существует универсального метода решения данной задачи, поэтому чаще всего выбор метода основывается на предметной области, в которой эта задача ставится. Однако, в последнее десятилетие на первый план по исследованиям и частоте применения (особенно для сегментации дорожной обстановки) вышел метод, основанный на попиксельной сегментации [14].
Попиксельная сегментация состоит в отдельной классификации каждого пикселя изображения, а на основе этого уже происходит восстановление сегментов. Классификация каждого пикселя чаще всего происходит с учетом окружающих его пикселей, то есть не независимо [15].
Несмотря на всё многообразие методов сегментации, наиболее универсальными из них считаются методы, основанные на применении нейронных сетей. В нашем случае это tt.Net и SegNet. [16, 17, 18]
Архитектура и-№1 За время своего существования, подобная архитектура приобрела широкое применение: сегментация дорожной обстановки, удаление фо-на,анализ сейсмологической ситуации, и многие другие [19, 20, 21]. Вход такой сети -изображение размером 128x128 пикселей. Выход - изображение идентичного размера. Главным преимуществом нейронной сети является её малый «вес» и высокая произво-
4
дительность. Из этих преимуществ вытекают и её недостатки: сеть сходится не на всех наборах данных и даже в случае сходимости не всегда обладает высокой точностью
[19].
На рис. 1 представлена классическая схема архитектуры Ц№е1 [16] Принцип работы такой сети достаточно простой: Также как и в задачах классификации, изображение сворачивается несколько раз, и на каждом слое формируется набор некоторых характеристик. Затем, эти характеристики участвуют в выполнении обратной операции: разворачивании.
128 64 64 2
»com 3x3, ReLU
copy and crop f max pool 2x2 f up-conv 2x2
Рис. 1. Архитектура U-Net
Благодаря высокой скорости работы, такая архитектура может быть полезна, например, в задачах статистической оценки некоторых величин.
Архитектура SegNet. Отличительной особенностью архитектуры являлось использование связки кодер-декодер для получения большего набора признаков, нежели что, в свою очередь, позволяет получать более детализированную картину [18,
21, 22].
Данная архитектура работает с большим размером изображения (на вход поступает изображение 256x256 точек, аналогичный размер ожидается на выходе) [18].
Convoiutional Encoder-Decoder
Pooling Indices
Output
I Conv + Batch Normalisation + ReLU
Segmentation
| Pnaltng ■■ Upfempling Softmi*
Рис. 2. Архитектура SegNet
Сбор данных, обучение нейронной сети и оценка точности. В зависимости от размера и качества обучающей выборки будет зависеть и точность работы конечной сети. В настоящее время спутниковые данные обычно представлены в виде тайлов -квадратов, размерами 256x256 точек [23]. Каждый такой квадрат представляется в виде тройки координат: долгота, широта и масштаб. Квадраты нумеруются от Гринвича на Восток, от Северного полюса на Юг. Масштаб определяется числом от 1 до 24. Каждый последующий масштаб вдвое крупнее предыдущего. В масштабе z1 наша планета занимает всего 1 тайл, в масштабе z2 -4 тайла, z3 -16 тайлов и так далее [24].
5
Рис. 3. Единственный тайл карты для масштаба (слева) и один из 16 тайлов масштаба z3 (справа)
Многие мелкие объекты, искомые на спутниковом изображении могут быть не видны при мелком масштабе, и наоборот, крупные объекты, занимающие площадь больше, чем целый тайл, не найтись на крупном масштабе.
Для каждого из классов были определены оптимальные величины масштабов, в которых нейронная сеть работает наиболее корректно и быстро. Сходимость оценивалась не для всех масштабов. Обучение для определения точности выполнялось на 100 эпохах.
Таблица 1
Точность работы в тайлах
Искомый класс Точность работы при определении объектов в данном масштабе
z14 z15 z16 z17 z18 z19 z20
Асфальтовые дороги 49,72% 57,34% 49,97% 48,94%
Зеленые зоны 65,23% 75,62% 72,15%
Свалки/полигоны 56,54% 60,60% 48,98%
Водная поверхность 66,92% 74,51% 72,87%
Вырубки леса 68,75% 71,74% 54,12% 52,49%
Городская/сельская застройка 66,24% 74,52% 70,54% 68,81%
Подготовка обучающей выборки велась с использованием графических редакторов и заключалась в выделении цветом тех областей, в которых присутствует интересующий класс. Примеры приведены на рис. 4.
Рис. 4. Пример одного изображения из обучающей выборки
Обучение выполнялось с использованием GoogleTensorFlow/Kerasна платформе GoogleColab, предоставляющий бесплатно вычислительные мощности.
Оценка точности производилась на тестовой выборке для всех представленных классов. Кроме этого была проведена оценка скорости сходимости нейронной сети и точность работы в процессе сходимости на обучающей выборке [25].
Рост точности работы в ходе обучения SegNET и U-Net
гмт
ню ч
ГМГО
ошоо 00 00 01
гмгмгмгмгмгмгмгмгмгмгч
1
0
-UNET SegNET
Рис. 5. Точность обучения сетей
При подготовке окончательных сетей использовалось 400 эпох, так как в ходе работы данное число эпох было определено как оптимальное.
Таблица 2
Точность работы при определении объектов
Точность работы при определении объектов в данном масштабе
Искомый класс и-ЫЕТ SegNet
Тгаш set Test set Тгаш set Test set
Асфальтовые дороги 87,25% 76,23% 67,27% 53,94%
Зеленые зоны 98,23% 85,51% 99,52% 97,52%
Свалки/полигоны 75,37% 50,16% 85,34% 80,82%
Водная поверхность 87,62% 76,34% 94,78% 90,51%
Вырубки леса 89,12% 75,46% 96,72% 93,62%
Городская/сельская застройка 76,33% 74,72% 89,78% 80,91%
Результаты анализа экологической обстановки. С целью подсчёта площади указанных классов и их распределении по территориям РФ необходимо «оцифровать» спутниковые изображения. Краткие итоги анализа экологической обстановки в некоторых городах представлены в табл. 3.
Таблица 3
Результаты анализа экологической обстановки в некоторых городах
Характеристика Сведения по различным городам
Москва Рязань Тула Владимир Прага
Количество зелёных зон в городе* 55,21% 51 м2 21,55% 89 м2 16,63% 44 м2 23,18% 88 м2 33,90% 130 м2
Плотность автодорог** 212 % 100 % 87 % 85 % 197 %
Количество свалок или промышленных полигонов 3 4 2 2 0
Обеспеченность водными ресурсами*** 9 % 13 % 2 % 10 % 9 %
Плотность застройки 48 % 51 % 34 % 32 % 56 %
* Количество зеленых зон рассчитывается исходя из площади всего города. Второй строчкой представлен расчёт на 1 жителя города (квадратных метров зеленых зон на 1 человека);
** Плотность автомобильных дорог рассчитывается исходя из плотности в г. Рязань (плотность в Рязани = 100%);
*** Обеспеченность водными ресурсами оценивается как площадь водоёмов в радиусе 100 км от центра города.
Заключение. В ходе проведённой работы выявлены экологические задачи, в решении которых могут помочь нейронные сети. Произведён анализ экологической обстановки в различных регионах, получены результаты, которые могут быть основанием для принятия различных мер, направленных на улучшение экологической обстановки как в регионах России, так и в других странах.
Список литературы
1. Кривцов В. А., Никифорова Е. М. Оценка туристско-рекреационной привлекательности рельефа на территории Милославского района Рязанской области // Вестник Рязанского государственного университета имени С.А. Есенина, № 4 (65), 2019. С. 86 - 96.
2. Никифорова Е.М. Эстетические свойства рельефа на ряде участков Рязанской области и их влияние на рекреационный потенциал территории // Тенденции и проблемы развития индустрии туризма и гостеприимства: материалы 5-й Межрегиональной научно-практической конференции с международным участием,15 ноября 2018г. / Ряз.гос.ун-т им. С.А.Есенина. Рязань, 2018. С. 29 - 33.
3. Vyacheslav A. Krivtsov, Elena M. Nikiforova, Natalya V. Akinina, Pavel V. Belyakov. The information technology of the terrain attractiveness assessment // Mediterranean conference on embedded computing (MECO-2019). Montenegro, Budva, 2019. P. 791794.
4. Всемирная организация здравоохранения. Загрязнение атмосферного воздуха: воздействие на здоровье [Электронный ресурс] URL: https://www.who.int/ airpollution/ambient/health-impacts/ru/ (дата обращения: 03.01.2021).
5. World Health Organization. Air quality and health. WHO official website in Russian (May 2, 2018). DateofhandlingNovember, 24, 2019.
6. Car emissions: taking tests out of the lab and onto the road - News. EuropeanParliament (25 February 2016). DateofhandlingJanuary 11, 2018.
7. Complete Guide To The 'Toxin Tax' For Diesel Cars. Motorway. Date of handling May, 25, 2017.
8. Damian Carrington Environment Air pollution deaths are double previous estimates, finds research. Theguardian.com (March 12, 2019).
9. Study links traffic pollution to thousands of deaths, The Guardian, London, UK: Guardian Media Group (April 15, 2008). DateofhandlingApril 15, 2008.
10. Mark Z. Jacobson et al.: 100 % clean and renewable wind, water, and sunlight (WWS) all-sector energy road maps for the 50 United States. In: Energyand Environmental Science (2015). DOI: 10.1039/C5EE01283J.
11. Brostow Gabriel J., Fauqueur Julien, Cipolla Roberto. Semantic Object Classes in Video: A High-Definition Ground Truth Database // Pattern Recognition Letters. 2008.
12. Акинин М.В., Никифоров М.Б., Таганов А.И. Нейросетевые системы искусственного интеллекта в задачах обработки изображений: монография. М.: Научно-техническое издательство «Горячая линия — Телеком», 2016. 152 с.
13. Socher R., Lin C.C., Manning C., Ng A.Y. Parsing natural scenes and natural language with recursive neural networks // ICML, 2011. P. 129- 136.
14. Eigen D., Fergus R. Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture // ICCV, 2015. P. 2650-2658.
15. Badrinarayanan V., Handa A., Cipolla R. Segnet: A deep convolutional encoderdecoder architecture for robust semantic pixel-wise labelling // CoRR, vol. abs/1505.07293, 2015.
16. Yao, Wei; Zeng, Zhigang; Lian, Cheng; Tang, Huiming (2018-10-27). "Pixel-wise regression using U-Net and its application on pansharpening". Neurocomputing.
17. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // CoRR, vol. abs/1409.1556, 2014.
18. BadrinarayananVijay, KendallAlex, CipollaRoberto. Segnet: A deep convolutional encoder-decoder architecture for image segmentation // IEEE transactions on pattern analysis and machine intelligence. 2017. Vol. 39. No. 12. P. 2481-2495.
19. Ronneberger Olaf, Fischer Philipp, Brox Thomas. U-Net: Convolutional Networks for Biomedical Image Segmentation // CoRR. 2015. Vol. abs/1505.04597. 1505.04597.
20. Liang-Chieh C., Papandreou G., Kokkinos I., Murphy K., Yuille A. Semantic image segmentation with deep convolutional nets and fully connected crfs // in ICLR, 2015.
21. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // IEEE TransactionsonPatternAnalysisandMachineIntelligence, 2014.
22. Kendall A., Badrinarayanan V., Cipolla R. Bayesian segnet: Modeluncertainty in deep convolutional encoder-decoder rchitectures for sceneunderstanding.
23. Brewer C.A., Buttenfield B.P. Framing guidelines for multi-scale map design using databases at multiple resolutions. Cartography and Geographic Information Science. 2007. 34(1). P. 3-15.
24. Raposo P. Scale and generalization. In: The Geographic Information Science & Technology Body of Knowledge (4th Quarter 2017 Edition), John P. Wilson, 2017.
25. Hft N., Schulz H., Behnke S. Fast semantic segmentation of rgb-d scenes with gpu-accelerated deep neural networks // KI 2014: Advances in Artificial Intelligence (C. Lutz and M. Thielscher, eds.). Springer International Publishing, 2014. Vol. 8736 of Lecture Notes in Computer Science. P. 80-85.
Тарасов Андрей Сергеевич, аспирант, vb2005@yandex.ru, Россия, Рязань, Рязанский государственный радиотехнический университет имени В. Ф. Уткина,
Никифоров Михаил Борисович, канд. техн. наук, доцент, директор НОЦ «Спе-цЭВМ», nikiforov.m.b@,mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет имени В. Ф. Уткина,
Бакамбис Нгонго Ирстенн, магистрант, irstennbam@,gmail. com, Россия, Рязань, Рязанский государственный радиотехнический университет имени В. Ф. Уткина
NEURAL NETWORKS IN ENVIRONMENTAL MONITORING A.S. Tarasov, M.B. Nikiforov, Bakambis Ngongo Irstenn
The article discusses the use of convolutional segmentation neural networks for environmental monitoring of the earth's surface. Some of the environmental problems associated with illegal mining, deforestation, waste storage, etc. can be identified by the operator using remote sensing technologies. However, large areas do not allow such monitoring in real time. It is proposed to use segmentation neural networks such as U-NET and SegNet to segment the earth's surface into classes: meadow / forest vegetation, urban /rural development, highways, industrial polygons, water bodies, clouds. Based on the change in the area of the segments in the satellite image, it is possible to make an assumption about the technogenic change in this area of the terrain. A ready-made software solution based on TensorFlow has been proposed, which has high performance and allows you to prepare a detailed report (detail size: 1.5 m2 per pixel) throughout the Russian Federation. Despite its broad capabilities, such a system can only be of a recommendatory nature, notifying the operator of the need for a more detailed consideration of the situation in a given area.
Key words: remote sensing of the earth, environmental monitoring, segmentation neural networks, U-NET and SegNet, neural network training, ready-made software solution, TensorFlow, detailing 1.5 m2 per pixel, advisory nature.
Tarasov Andrey Sergeevich, postgraduate, vb2005@,yandex.ru, Russia, Ryazan, Ryazan State Radio Engineering University named after V.F. Utkin,
Nikiforov Mikhail Borisovich, candidate of technical sciences, docent, director of REC "SpetsEVM", nikiforov.m.b@mail.ru, Russia, Ryazan, Ryazan State Radio Engineering University named after V.F. Utkin,
Bakambis Ngongo Irstenn, master's, irstennbam@,gmail.com, Russia, Ryazan, Ryazan State Radio Engineering University named after V.F. Utkin
УДК 004.932.75'1 DOI: 10.24412/2071-6168-2021-6-10-12
РАЗРАБОТКА СИМВОЛОВ НАВИГАЦИИ ДЛЯ РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ
П.Р. Кремповский, Ю.И. Луцков
Рассматривается способ навигации аппаратно-программных робототехниче-ских комплексов при помощи специальных символов. Предложена инструкция по изготовлению навигационных символов-стрелок, разработан пример правильно оформленных указателей. Сформулирован ряд требований к применению символов навигации для корректной работы робототехнического комплекса.
Ключевые слова: навигация, символы навигации, сегментация, шаблон, стрелка, контур, размер, тело указателя, толщина, направление.
Способ навигации с помощью символов или знаков для навигации роботов практически не исследован. Наиболее активно знаки навигации используются в судоходстве и авиации, существуют специальные нормативные документы, регламентирующие их использование. Данные факты подтверждают актуальность работы по использованию символов для навигации роботов.
Итоговый результат обработки робототехническим комплексом символов навигации определяется качеством сегментации или фильтрации, а степень детализации выделяемых характеристик зависит от поставленной задачи. В данный момент не существует отдельного алгоритма, который подходил бы для решения различных типов задач сегментации. Все способы имеют свои преимущества и недостатки. В большинстве случаев выбирается один или несколько алгоритмов, и модифициуются под специфичные условия задачи [1].
Сегментация решает две задачи:
1) разделение изображения на части для осуществления дальнейшего анализа;
2) изменение формы описания элементов изображения, что позволяет представить точки как высокоуровневые структуры, обеспечивающие эффективность дальнейшего анализа изображения.
Разделение изображения на части базируется на идеях, основанных на резких перепадах яркости. Изменение формы описания элементов изображения основывается на разделении изображения на однородные области с учетом заранее выбранных критериев.
К методам на основе разрывности яркости относится обнаружение точек, линий и перепадов. При их обнаружении с помощью специальных масок организуется соответствующий поиск. В качестве методов обнаружения перепадов используются производные и градиенты от функций яркости, такие методы основаны на более общих идеях [2].
Применение символов навигации для ориентирования робота в пространстве предполагает использование типового шаблона для изготовления символов навигации.
Предложена инструкция для изготовления указателей направления.
1. Размер полотна указателя должна занимать от половины кадра использующейся камеры.
2. Толщина контура рамки должна соответствовать толщине тела стрелки.
10
