CC BY
171
УДК 004.932
Е. А. Казачков, С. Н. Матюгин, И. В. Попов, В. В. Шаронов Обнаружение и классификация малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой
Исследована задача одновременного обнаружения и классификации (распознавания) объектов нескольких классов на радиолокационных изображениях с помощью сверточных нейронных сетей. Предложен двухэтапный алгоритм обработки, выполняющий обнаружение и распознавание объектов, с промежуточным подэтапом, который переводит участки с обнаруженными объектами из низкого в высокое разрешение. Показана возможность значительного повышения вероятностей обнаружения и распознавания за счет обучения модуля распознавания на данных с высоким разрешением. Этапы обнаружения и распознавания реализованы с применением подходов глубокого обучения сверточных нейронных сетей. Ключевые слова: сверточные нейронные сети, радар, синтезированная апертура, компьютерное зрение, M-STAR, CARABAS II, обнаружение наземных объектов, классификация наземных объектов.
Введение
В последнее время наиболее развиваемыми методами обнаружения и распознавания объектов на оптических изображениях являются глубокие сверточные нейронные сети (СНС). Основная идея таких сетей заключается в использовании множества аналогично устроенных сверточных слоев, каждый из которых позволяет выделять из двумерной матрицы признаков (выход предыдущего слоя) все более абстрактные признаки, вплоть до распознаваемых классов. Хотя концепция нейронных сетей известна достаточно давно, они широко не применялись вплоть до 2005-2006 гг., когда появились способы уменьшения размерностей нейронных сетей и вычислительных ресурсов, требуемых для обучения, приведшие к концепции сверточной нейронной сети.
Как известно, методы обработки радиолокационных изображений (РЛИ) имеют свои особенности (см., например, [1, 2]), поэтому новые методы, созданные для оптических изображений, не сразу нашли свое применение при обработке РЛИ. Одна из первых работ по использованию СНС для распознавания объектов на РЛИ [3] появилась в 2015 г. и сразу продемонстрировала преимущества СНС по сравнению с целым рядом ранее известных алгоритмов, применявшихся при обработке РЛИ из баз данных (БД) М8ТЛЯ и СЛЯЛБЛ8 -
© Казачков Е. А., Матюгин С. Н., Попов И. В., Шаронов В. В., 2018
наборов РЛИ наземной техники, снятых на разных высотах носителя, на разных дальностях, под разными углами и ракурсами [4, 5].
Очевидно, что задача одновременного обнаружения и распознавания объектов является более сложной, однако и для нее СНС показывают хорошие результаты, в частности, при обработке оптических изображений. В последнее время стали появляться подобные исследования и при обработке РЛИ [6]. Для решения задачи одновременного обнаружения и распознавания на РЛИ чаще всего используются СНС, являющиеся вариантом архитектуры GoogLeNet [7]. Сверточная нейросеть, основанная на данной архитектуре, в 2014 г. позволила достичь точности распознавания, сравнимой с человеческой, и выиграть соревнование по распознаванию изображений Image Net. В [8] предложен способ применения СНС, позволяющий обнаруживать на РЛИ корабли с малыми размерами. Важным отличием данной СНС от базового варианта является добавление в качестве финального подэтапа обработки алгоритма кластеризации предсказанных ограничивающих прямоугольников для получения финального набора областей интереса с вычислением для данной области наиболее вероятного класса [9].
Как показала практика, использование вариантов архитектуры GoogLeNet для обнаружения и распознавания наземных объектов из большого набора классов на РЛИ при малом размере классифицируемых объектов (напри- g
мер, при разрешении около 1Х1 м/пиксель и менее [10]) позволяет достичь высоких вероятностей обнаружения, но не распознавания. В данной работе предложен двухэтапный алгоритм, в котором этапы обнаружения и распознавания базируются на СНС различной архитектуры, что позволяет достичь высоких вероятностей на обоих этапах, в том числе для близко расположенных объектов малых размеров. Решение задачи обнаружения и распознавания групп объектов малых размеров на РЛИ, предложенное в данной статье, в определенной степени продолжает ранние работы авторов по данной тематике [11-13]. Описание алгоритма
Рассмотрим двухэтапный алгоритм, в котором модули, выполняющие обнаружение и распознавание объектов, базируются на СНС различной архитектуры. При этом на втором этапе применяется СНС классификации, которая обучается и работает с изображениями более высокого разрешения, чем СНС обнаружения. Последовательность шагов при обработке РЛИ данным алгоритмом приведена на рис. 1.
РЛИ низкого разрешения
Набор областей с обнаруженными объектами
Интерполяция
Набор областей с объектами повышенного разрешения
Координаты и классы объектов
тами относительно исходного изображения, в которых имеются объекты. Далее для обнаруженных областей путем интерполяции повышается разрешение, причем интерполяция может быть как фиксированной (например, бикубическая), так и адаптивной [8]. На втором этапе проводится распознавание объектов при повышенном разрешении. На выходе данного этапа определяются координаты и класс объекта.
Предложенный алгоритм позволяет использовать для обучения СНС обнаружения и распознавания радиолокационные данные при различном разрешении. В результате данный алгоритм способствует обнаружению и классифицированию объектов малых размеров с вероятностью более высокой по сравнению со случаем, когда вся обработка проводится только в низком разрешении.
Выбор вида интерполяции делает возможным применение варианта более быстрого обучения (при фиксированной интерполяции) или более точной классификации (при адаптивной интерполяции). Этап обнаружения
При реализации этапа обнаружения использовалась СНС DetectNet [14]. Особенностью данной архитектуры является активное применение сети GoogLeNet c начальными (inception) слоями, которые позволяют объединять в одном векторе признаков информацию с разных уровней детализации входного изображения. Эта особенность позволяет СНС такого типа проводить эффективное обнаружение объектов в нескольких масштабах одновременно, при этом уменьшается сложность сети и повышается точность обработки. Данные по предсказанным позициям обнаруженных объектов с DetectNet далее подаются на алгоритм кластеризации с целью формирования списка обнаруженных объектов [9]. Гиперпараметры и структура исходной модели DetectNet (в том числе количество начальных слоев) настраивались так, чтобы более эффективно решать задачу обнаружения близко расположенных объектов, а также снизить сложность и число параметров модели.
В качестве исходных данных для обучения были использованы РЛИ из БД CARABAS [5]
Обнаружение объектов и предварительная классификация
о сч
<1
I
(1 та
©
0 ^
СО та
1
о.
ф
£
и
V
со
сч ■ci-io
9 сч ■ci-
10 сч
(П (П
©
Рис. 1. Последовательность шагов алгоритма обнаружения и классификации
На первом этапе на РЛИ в исходном (низком) разрешении выполняется обнаружение областей с потенциальными объектами и проводится предварительное распознавание объектов. При этом на выходе генерируется набор областей фиксированного размера с координа-
Окончательная классификация
с разрешением 1*1 м/пиксель, содержащие объекты техники трех классов. Объекты на изображениях были получены в результате пролета носителя радара на высоте 6,36 км при удалении на 12 км от целевых объектов и под углами 225°, 135° и 230°. При этом радар излучал под углами 135°, 45° и 140° соответственно. Всего оказалось доступно уникальных эталонов: по классу TGB11 = 166, по классу TGB30 = 144, по классу TGB40 = 126, с размерами объектов от 10*10 до 23*23 пикселей.
Суммарное количество (436) уникальных эталонов оказалось недостаточным для качественного обучения СНС, поэтому для увеличения обучающей выборки был реализован генератор примеров. Генератор принимал на вход набор эталонов одного класса и фоновое РЛИ (взятое из БД CARABAS), очищенное от отметок исходных объектов, и генерировал изображение, содержащее некоторое множество копий эталонов исходных объектов поверх фонового РЛИ. Для «вставки» эталонов объектов в результирующее изображение эталона использовалось сглаживание по формуле
Out = Bg(5 - min ((Dist, 5))/5) + + Obj min((Dist, 5))/5,
где Out - результирующее значение яркости пикселя;
Bg - яркость пикселя фонового изображения;
Dist - расстояние в пикселях в пределах эталона от ближайшей границы изображения эталона до обрабатываемого пикселя;
Obj - яркость пикселя изображения объекта.
Исходные эталоны были разделены на обучающие (90 %) и проверочные (10 %). С помощью генератора было подготовлено 360 изображений для обучения, содержащих от 114 до 148 объектов. Для проверки было создано 360 изображений, содержащих от 14 до 18 объектов из проверочного набора эталонов. Обучение модуля обнаружения проводилось на спецвычислителе типа GTX1080 и занимало порядка одних суток.
Пример обработки реального РЛИ приведен на рис. 2. Объекты, распознанные как
Рис. 2. Результат обнаружения и предварительной классификации объектов на этапе обнаружения
класс ТОВ11, подсвечены синими прямоугольниками; класс ТОВЗО - большими окружностями зеленого цвета, класс ТОВ40 - меньшими окружностями красного цвета. Вероятность правильной классификации и ошибки, связанные с перепутыванием классов для обнаруженных (табл. 1) объектов представлены, в табл. 2.
Таблица 1
Вероятность обнаружения объектов трех классов
для проверочного набора
Класс Обнаружено целевых объектов
TGB11 1997 из 2040 (97,8 %)
TGB30 1794 из 1800 (99,6 %)
TGB40 1559 из 1560 (99,9 %)
Таблица 2
Вероятность предварительной классификации и ошибки перепутывания обнаруженных объектов
Класс TGB11 TGB30 TGB40
TGB11 1677 (82,2 %) 285 (13,9 %) 35 (1,7 %)
TGB30 48 (2,6 %) 1364 (75,7 %) 478 (26,5 %)
TGB40 0 (0 %) 200 (12,8%) 1359 (87,1 %)
Таким образом, для объектов на РЛИ с элементом разрешения 1*1 м/пиксель была достигнута высокая вероятность обнаружения: 97,8...99,9 %. Для доступной выборки данных — по объектам трех классов на проверочном на- | боре вероятность предварительной класси- | фикации обнаруженных объектов 75,7...87,1 %. Е
о см
<
I
со та
s
о ^
со та г
.
ф
£
и ф
со
см ■ci-io
с?
см ■ci-io см
(П (П
Этап классификации
Для реализации этапа классификации объектов применялась СНС архитектуры «Остаточная сеть» (ResNet) [15]. Данная архитектура использует модифицированный блок сверточ-ных слоев, в котором при обучении уменьшается не непосредственно ошибка на выходе блока, а остаток - разность между входом и ожидаемым выходом блока. Такая архитектура позволяет быстрее обучать более глубокие сети и является одной из лучших архитектур для распознавания. Сеть обучалась на изображениях объектов заданных классов фиксированного размера по данным с более высоким разрешением, чем сеть этапа обнаружения. В дальнейшем проверялось качество распознавания на изображениях низкого разрешения, а также варианты обучения на наборах данных смешанного типа.
В качестве исходных данных для обучения были использованы РЛИ из БДMSTAR [5] набора данных PUBLIC TARGETS CHIPS с объектами трех классов: Т72, БМП2 и БТР70. Набор разделен на две части - тренировочную и проверочную. Количество объектов каждого класса приведено в табл. 3.
Таблица 3
Количество объектов по типам
Набор БМП2 БТР70 T72 Всего
Тренировочный 698 233 691 1622
Проверочный 587 196 582 1365
Примеры изображений объектов показаны на рис. 3.
Поскольку в исходном наборе данных содержалось неравное число эталонов для каждого класса, а общее число эталонов было недостаточным, возникла необходимость дополнительной генерации исходного набора данных перед обучением. Для генерации использовалась случайная выборка с возвратом, и для каждого выбранного изображения вырезалась центральная область со случайным сдвигом в диапазоне [-7, 7] независимо по обеим осям. Для каждого класса генерировалось по 1024 дополненных изображения.
Итоговая вероятность правильного распознавания по трем классам на проверочном наборе составила 99 %.
Рис. 3. Примеры изображений объектов: а - БМП2; б - БТР70; в - Т72
Матрицы перепутываний при разном исходном разрешении изображений
Таблица 4
Класс Предсказание Класс Предсказание
БМП2 БТР70 Т72 БМП2 БТР70 Т72
Высокое разрешение Интерполяция с низкого разрешения
БМП2 581 4 2 БМП2 437 77 73
БТР70 2 194 0 БТР70 0 196 0
Т72 18 0 562 Т72 5 5 572
Для оценки точности работы модуля классификации в случае обработки объектов на РЛИ с низким разрешением проводилась проверка классификатора на примерах с ухудшенным разрешением. Для этого изображения проверочного набора прореживались в 2 раза, а затем восстанавливались до исходного размера с помощью бикубической интерполяции и распознавались уже обученной сетью.
В табл. 4 приведены матрицы перепу-тываний для исходного (высокого) и низкого (уменьшенного) разрешения для этого случая с восстановлением с помощью бикубической интерполяции. Общая вероятность правильного распознавания уменьшилась при этом до 88 %. Необходимо отметить, что при использовании для восстановления линейной интерполяции общая вероятность правильного распознавания снизилась до ~ 60 %.
В процессе исследования также было получено, что если во время обучения вместе с интерполированными использовать изображения с высоким разрешением, то в итоге вероятность правильного распознавания для восстановленных изображений уменьшалась только до 95 %. Заключение
В работе показано, что двухэтапный алгоритм обнаружения и классификации объектов на радиолокационных изображениях с использованием сверточных нейронных сетей двух различных архитектур обеспечивает более высокие результаты распознавания по сравнению с алгоритмами, применяющими одну сеть и для обнаружения, и для классификации.
Обучение модуля классификации на примерах с высоким разрешением позволяет использовать дополнительные данные (изображения объектов в повышенном разрешении) и тем самым повысить вероятности правильного распознавания обнаруженных объектов.
Предложенная методика подготовки данных дает возможность обучать сверточную нейросеть на обоих этапах алгоритма при относительно небольшом числе исходных радиолокационных изображений, применяя при этом имеющиеся изображения объектов в более высоком разрешении.
В дальнейшем предполагается отработка алгоритма и методики обнаружения и распознавания объектов на натурных радиолокационных изображениях, полученных для большого количества классов при работе в реальном времени. Список литературы
1. Кондратенков Г. С., Фролов А. Ю. Радиовидение. Радиолокационные системы дистанционного зондирования Земли / под ред. Г. С. Кондратенкова. М.: Радиотехника, 2005. 368 с.
2. Доросинский Л. Г. Оптимальная обработка радиолокационных изображений, формируемых в РСА. М.: Издательский дом Академии естествознания, 2017. 212 с.
3. WangH., Chen S., Xu F., Jin Y.-Q. Application of deep-learning algorithms to MSTAR data // International Geoscience and Remote Sensing Symposium (IGARSS). 2015. Рр. 3743-3745.
4. Moving and Stationary Target Acquisition and Recognition (MSTAR) Public Release Data // URL: https://www.sdms.afrl.af.mil/datasets/matar/ (data access 24.03.2018).
5. Hellsten H., UlanderL., Gustavsson A., Larsson B. Development of VHF CARABAS 11 SAR, Proc. SPIE. Vol. 2747 // Radar Sensor Technology, 8-9 April 1996. Рp. 48-60.
6. Long Y., Gong Y., Xiao Z., Liu Q. Accurate object _ localization in remote sensing images based on | convolutional neural networks // IEEE Transactions | on Geoscience and Remote Sensing. 2017. Vol. 55. S No. 5. D0I:10.3390/rs10010131 s
7. Szegedy Ch., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going Deeper With Convolutions // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. Pp. 1-9.
8. Kang M., Ji K., Leng X., Lin Z. Contextual Region-Based Convolutional Neural Network with Multilayer Fusion for SAR Ship Detection // Remote Sensing. 2017. Vol. 9. P. 221.
9. OpenCV group Rectangles // URL: https://docs.
opencv.org/3.4/d5/ d54/group_obj detect.html (data
access 24.03.2018).
10. Внотченко С. Л., Достовалов М. Ю., Дьяков А В., Дьяков И. В., Ермаков Р. В., Жаровская Е. П., Коваленко А. И., Мусинянц Т. Г., Нейман Л. С., Риман В. В., Суслов В. Е. Авиационные мобильные малогабаритные радиолокаторы с синтезированной апертурой семейства «Компакт» (принципы реализации и опыт применения) // Журнал радиоэлектроники. 2009. № 10. URL: http://jre.cplire.ru/jre/oct09/5/text.html (дата обращения 24.03.2018).
11. Матюгин С. Н., Чернигин А. А. Исследование применимости нейронных сетей для классификации объектов на изображениях //
Нейрокомпьютеры: разработка, применение. 2007. № 11. С. 38-42.
12. Матюгин С. Н., Попов И. В. Решение модельной задачи классификации с использованием нейронной сети // Материалы IX Международной конференции «Радиолокация, навигация, связь». Воронеж, 2003. С. 1615.
13. Казачков Е. А., Матюгин С. Н., Попов И. В., Шаронов В. В. Результаты исследования методов обработки радиолокационных изображений // Тезисы докладов Международной выставки-конференции военных и двойных технологий «Новые технологии в радиоэлектронике и системах управления». Нижний Новгород: Электроника, 2002. С. 125
14. Tao A., Barker J., Sarathy S. DetectNet: Deep Neural Network for Object Detection in DIGITS // URL: https://devblogs.nvidia.com/parallelforall/ detectnet-deep-neural-network-object-detection-digits (data access 24.03.2018).
15. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. Pp. 770-778.
Поступила 15.03.18
со Казачков Егор Андреевич - инженер АО «ФНПЦ «ННИИРТ», г. Нижний Новгород.
° Область научных интересов: исследование и разработка алгоритмов, цифровая обработка радиолокационных сиг-
т-" налов и оптических изображений, статистический анализ информации, распознавание образов, нейросети. 01
"а" Матюгин Сергей Никандрович - кандидат физико-математических наук, начальник сектора АО «ФНПЦ
0 «ННИИРТ», г. Нижний Новгород.
^ Область научных интересов: распространение радиосигналов, цифровая обработка радиолокационных сигналов
1 и оптических изображений, распознавание образов. о
г
^ Попов Илья Владимирович - инженер АО «ФНПЦ «ННИИРТ», г. Нижний Новгород.
® Область научных интересов: исследование и разработка алгоритмов, цифровая обработка радиолокационных сиг-
§ налов и оптических изображений, статистический анализ информации, распознавание образов, нейросети. со
о. Шаронов Владимир Витальевич - заместитель начальника отдела - заместитель главного конструктора по
а1 направлению АО «ФНПЦ «ННИИРТ», г. Нижний Новгород.
Область научных интересов: радиолокация, цифровая обработка радиолокационных сигналов, распознавание об-
| разов.
Detection and classification of small-scale objects in images obtained by synthetic-aperture radar stations
The investigation deals with the problem of simultaneous detection and classification (that is, recognition) of several classes of objects in radar images by means of convolutional neural networks. We present a two-stage processing algorithm that detects and recognises objects. It also features an intermediate sub-stage that increases the resolution of those zones where objects have been detected. We show that a considerable increase in detection and recognition probabilities is possible if the recognition module is trained using high-resolution data. We implemented the detection and recognition stages using deep learning approaches for convolutional neural networks.
Keywords: convolutional neural networks, radar, synthetic aperture, machine vision, M-STAR, CARABAS II, ground object detection, ground object classification.
Kazachkov Egor Andreevich - engineer, Federal Research and Production Centre "Nizhniy Novgorod Research Institute Of Radio Engineering", Nizhny Novgorod.
Science research interests: algorithm investigation and development, digital processing of radar signals and optical images, statistical analysis of data, image recognition, neural networks.
Matyugin Sergey Nikandrovich - Candidate of Physic and Mathematical Sciences, Head of Sector, Federal Research And Production Centre "Nizhniy Novgorod Research Institute Of Radio Engineering", Nizhny Novgorod. Science research interests: radio signal propagation, digital processing of radar signals and optical images, image recognition.
Popov Ilya Vladimirovich - engineer, Federal Research And Production Centre "Nizhniy Novgorod Research Institute Of Radio Engineering", Nizhny Novgorod.
Science research interests: algorithm investigation and development, digital processing of radar signals and optical images, statistical analysis of data, image recognition, neural networks.
Sharonov Vladimir Vitalevich - Deputy Head of Department - Deputy Chief Design Officer, Federal Research And Production Centre "Nizhniy Novgorod Research Institute Of Radio Engineering", Nizhny Novgorod. Science research interests: radiolocation, digital processing of radar signals, image recognition.
