CC BY
103
Башков Евгений Александрович - Донецкий национальный технический университет; e-mail: [email protected]; Украина, 83000, г. Донецк, Артема, 58; тел.: 810380622901027; д.т.н.; профессор; проректор по научной работе; зав. кафедрой прикладной математики и информатики.
Бабков Виктор Светозарович - e-mail: [email protected]; к.т.н., доцент кафедры прикладной математики и информатики.
Bashkov Evgen Alexandrovich - Donetsk National Technical University; e-mail: [email protected]; 58, Artyoma, Donetsk, 83000, Ukraine; phone: 810380622901027; dr. of eng. sc.; professor; head the department of applied mathematics & computer science.
Babkov Victor Svetozarovich - e-mail: [email protected]; cand. of eng. sc.; associate professor the department of applied mathematics and informatics.
УДК 621.396.933
Е.В. Герман, Е.Р. Муратов, М.Б. Никифоров
ДВА ПОДХОДА К ВЫДЕЛЕНИЮ И ВЕКТОРИЗАЦИИ КОНТУРНЫХ ЛИНИЙ ОБЪЕКТОВ ПОДСТИЛАЮЩЕЙ ПОВЕРХНОСТИ
В данной работе представлена постановка задачи совмещения изображений зака-бинной обстановки летательного аппарата и виртуальной модели местности, полученной по цифровой карте местности, для создания системы комбинированного (улучшенного/синтезированного) видения, представлены специфика и основные особенности данных типов изображений. Дан обзор существующих методов решения подзадачи выделения и векторизации контурных линий, рассмотрены яркостный метод выделения контуров, алгоритм подчеркивания границ и векторизации на основе метода Превитта. Описаны основные этапы реализации предложенных методов, выявлены их достоинства и недостатки. Представлена модификация метода Отсу. Приведен алгоритм скелетизации. Проведено сравнение предложенных методов по 5 параметрам, даны рекомендации по их дальнейшему использованию для решения задачи совмещения разнородных изображений.
Комбинированное видение; виртуальная модель местности; метод Отсу; метод Превитта; скелетизация.
E.V. German, Y.R. Muratov, M.B. Nikiforov
TWO APPROACHES TO THE SELECTION AND VECTORIZATION OF COUNTOR LINES OF OBJECTS OF THE UNDERLYINS SURFACE
This article presents a formulation of the problem of combining images situation of the aircraft cabin and the virtual terrain model obtained on the digital map of the area, to create a combined system (improved / synthesized) vision are specific and the main features of these types of images. A review of existing methods for solving the subproblem selection and vectorization of contour lines, a method considered luminance edge detection algorithm underscore boundaries and tracing on the basis of identified their strengths and weaknesses. Describes the main stages of the proposed methods, identified their strengths and weaknesses. Presented a modified method of Otsu. The algorithm for thin lines. A comparison of the proposed methods on five parameters, recommendations for their further use for solving the problem of combining disparate images.
Combined vision; virtual terrain model; tOtsu’smethod; Prewitt method; skeletonization.
Тенденции развития авиационной техники на сегодняшний день таковы, что одной из приоритетных задач инженерии в этой области становится создание системы комбинированного видения, позволяющей получить обработанное изобра-
жение закабинной обстановки. Для создания данного изображения необходимы алгоритмы, позволяющие совместить изображения подстилающей поверхности, полученных от сенсоров (рис. 1), и виртуальной модели местности (ВММ), полученной по цифровой карте местности (ЦКМ).
Рис. 1. Изображение подстилающей поверхности
В задаче совмещения изображений подстилающей поверхности и ВММ необходимо совместить принципиально отличающиеся по своей природе изображения одной и той же сцены, каждое из которых имеет свою специфику:
1. Изображение ВММ является искусственным изображением сцены, а полученное от сенсоров - естественным.
2. Количество и качество объектов на обоих типах изображений различно.
3. Координатное рассогласование обоих изображений невелико (имеются значительные области перекрытия) и в значительной мере может быть скомпенсировано предварительными геометрическими преобразованиями.
ЦКМ представлена векторным описанием и в большинстве случаев является трехмерной реализацией векторных топографических карт. В реальных условиях полета в телевизионном сигнале и сигнале от тепловизионных датчиков текстура объекта не может служить информационным признаком для совмещения с ВММ, особенно в условиях плохой видимости, а также при съемке одной и той же местности в разные сезоны [1]. Единственным общим информационным признаком служит контурное представление информации.
Для выделения линии горизонта выполняется разделение объектов на два класса («небо» и «подстилающая поверхность») методом Отсу [2]. Метод Отсу используется для выполнения пороговой бинаризации полутоновых изображений. Алгоритм предполагает наличие в изображении двух классов пикселей (фоновые и нефоновые) и ищет оптимальный порог, разделяющий эти два класса.
Метод использует гистограмму распределения значений яркости пикселей растрового изображения. Строится гистограмма по значениям р1 = п/Ы”, где N - это общее количество пикселей на изображении, п1 - это кол-во пикселей с уровнем яркости г Диапазон яркостей делится на два класса с помощью порогового значения уровня яркости к, к - целое значение от 0 до 255. Каждому классу соответствуют относительные частоты ю0, ю1:
к I к Ь
ш0(к) = ^р1,ш1(к) = ^ р1 = 1-шо(к),ц0(к) = ^1-^!-,ц1(к)= ^
1=1 1=к+1 1=1 0 1=к+1 1
Далее вычисляется максимальное значение оценки качества разделения изображения на две части.
Соответствующее значение уровня яркости 1 принимается за пороговое, пиксели, имеющие яркость выше пороговой, считаются принадлежащими классу «небо», остальные - принадлежащими классу «подстилающая поверхность».
Для выделения границы между классами производится операция дилатации, после чего находится разность между изображениями до и после ее выполнения. На получившемся бинарном изображении границ находится самый длинный сегмент, который и принимается за линию горизонта. После определения линии горизонта производится выделение объектов на части изображения, соответствующей классу «подстилающая поверхность».
Для выделения объектов будем использовать модифицированный алгоритм Отсу. Модификация необходима из-за неравномерной яркости подстилающей поверхности в окрестности линии горизонта, связанной с атмосферными явлениями. После проведения повторной бинаризации также производится выделение границ объектов с помощь операции дилатации [3]. Достоинством предложенного метода выделения объектов является замкнутость границ при переходе от бинарных изображений к контурам (векторизованным границам), что позволяет произвести дополнительную фильтрацию полученных контуров по количеству аппроксимирующих точек. Результат выделения контуров представлен на рис. 2,а.
Подчеркивание границ с использованием метода Превитта осуществляется градиентным методом, работающим с двумерной апертурой 3х3 над изображением источникам Sp [4].
Маски Превитта имеют вид
-1 -1 -1 1 1 1
P = о оо , P2 = о о о
1 11 -1 -1 -1
Методом скользящего окна для каждого пикселя Б (изображения источника Sp, кроме первой и последней строки, а также первого и последнего столбца) вычисляются по формулам:
х = к • ((л7 + л6+4) - (4 + л2 + Аз)), г = к • ((4+4+Аз) - (4 + 4+4)),
Е =4хГ+УТ.
По соответствующим координатам в изображение Бр записывается значение . [255 - Еесли 255 - F' <Д,
[ 255, если 255 - F >Д,
где Д - пороговое значение, осекающее шумовую составляющую.
Результат подчеркивания границ при Д = 230 представлен на рис. 2,б.
Затем производится попиксельный анализ изображения с целью нахождения и удаления мелких фрагментов изображения, не несущих информативности для операции совмещения. Скелетные линии являются «маршрутом прохождения» по пикселям границ, имеющих минимальную яркость. Для того чтобы алгоритм смог учесть ветвление контуров и нечеткую их реализацию (в силу возможностей градиентного оператора), необходимо предварительно расставить контрольные точки, которые помогут алгоритму скорректировать направление движения, а также будут служить точками начала следующей ветви движения, если контур имеет разветвления. Контрольные точки расставляются в местах локальных минимумов яркости пикселей при движении по строкам изображения.
Сравнение методов выделения и векторизации контуров будем проводить с использованием следующих подходов:
1. Сравнение полученных контуров с эталонными контурами объектов на обрабатываемом изображении (рис. 2,в).
2. Сравнение полученных контуров с контурами, полученными по изображению цифровой карты местности (рис. 2,г).
3. Сравнение быстродействия методов.
, , —^ — Я —■
Рис. 2. Сравнение методов выделения и векторизации контуров: а - границы контура, полученные яркостным методом; б - границы контура, полученные с помощью алгоритма подчеркивания границ по методу Превитта; в - эталонный контур; г - ЦКМ в контурных линиях
1. Сравнение контуров с эталонными контурами объектов на обрабатываемом изображении. Для оценки были подготовлены изображения, содержащие эталонные контуры объектов. Для каждой точки контуров, полученных методами выделения и векторизации, был осуществлен поиск точки эталонного контурав окрестности е, равной одной сотой ширины кадра. Далее был рассчитан средний по 100 кадрам процент точек, для которых точки эталонного контура были найдены, а также средний процент точек эталонного контура, не принадлежащих данным окрестностям ни для одной точки.
2. Сравнение контуров с контурами, полученными по изображению цифровой карты местности. Метод сравнения аналогичен вышеизложенному, за исключением того, что для сравнения были взяты изображения местности, построенные на основе цифровой карты местности. К недостаткам таких карт могут быть отнесены неточность привязки местоположения объектов и большой шаг (дискрет) построения, что позволяет получить лишь грубую модель объектов, причем около половины части изображения, соот-
б
а
в
г
ветствующей подстилающей поверхности, оказывается непригодной для сравнения из-за наличия большого количества шумовых линий. Для сравнения с контурами, полученными представленными методами, было взято изображение с искусственно выделенным информативным изображением контуров объектов. Стоит заметить, что для более совершенных карт могут быть получены значительно более высокие результаты сравнения контуров объектов.
3. Сравнение быстродействия методов. Оценка быстродействия была проведена на персональном компьютере с процессором 1Ш:е1^) Соге(ТМ) 17-3820 СРи© с тактовой частотой 3,60 ГГц и оперативной памятью 8 Гб. В табл. 1 приводятся усредненные оценки результатов работы алгоритмов за 1000 итераций.
Таблица 1
Сравнение предложенных методов
Метод сравнения Яркостный метод Метод подчеркивания границ
% точек, для которых найдены точки эталонного контура в окрестности 91 % 95 %
% точек эталонного контура, не принадлежащие окрестности выделенного контура В % 5 %
% точек, для которых найдены точки контура ЦКМ в окрестности 59 % 63 %
% точек контура ЦКМ, не принадлежащие окрестности выделенного контура 19 % 12 %
Быстродействие, с 0, 135 1,5
Вывод. В данной работе были предложены 2 принципиально различных метода выделения контуров на изображении подстилающей поверхности и проведен их анализ. Метод на основе яркостного анализа характеризуется низким быстродействием, однако метод подчеркивания границ имеет несколько более высокую точность обнаружения. Таким образом, в условиях реальной съемки комбинация данных методов может дать лучший результат, чем применение каждого из них в отдельности.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка и управление. - М.: Радиотехника, 2008. - 176 с.
2. Грузман И.С., Киричук В.С. и др. Цифровая обработка изображений в информационных системах: Учебное пособие. - Новосибирск: Изд-во НГТУ, 2002. - 352 с.
3. Техническое зрение в системах управления мобильными объектами - 2010 // Труды научно-технической конференции-семинара. Вып. 4 / Под ред. Назирова Р.Р. - М.: КДУ, 2011. - 328 с.
4. Гостев И.М. Методы идентификации графических объектов на основе геометрической корреляции // Физика элементарных частиц и атомного ядра. - 2010 - Т. 41. - Вып. 1.
Статью рекомендовал к опубликованию д.т.н., профессор А.В. Боженюк.
Герман Елена Владимировна - Рязанский государственный радиотехнический университет; e-mail: [email protected]; 390005, г. Рязань, ул. Гагарина, 59/1; тел.:
84912460303; аспирантка.
Муратов Евгений Рашитович - аспирант.
Никифоров Михаил Борисович - e-mail: [email protected]; к.т.н.; доцент.
German Elena Vladimirovna - Ryazan State Radio Engineering University; e-mail: [email protected]; 59/1, Gagarina street, Ryazan, 390005, Russia; phone: +74912460303; postgraduate student.
Muratov Yevgeniy Rashitovich - postgraduate student.
Nikiforov Mikhail Borisovich - e-mail: [email protected]; cand. of eng. sc.; associate professor.
УДК 004.9: 681.7.014.3 / 621.396.96
Л.Н. Костяшкин, А.А. Логинов, М.Б. Никифоров
ПРОБЛЕМНЫЕ АСПЕКТЫ СИСТЕМЫ КОМБИНИРОВАННОГО ВИДЕНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ
Рассматриваются подходы к решению ключевых задач при разработке системы комбинированного видения для авиации, которая объединяет в себе лучшие свойства и функциональные характеристики двух систем: системы улучшенного видения, формирующей улучшенное и комплексированное изображение от нескольких разноспектральных сенсоров системы технического зрения, и системы синтезированного видения, которая формирует изображение виртуальной модели местности по цифровой карте местности, навигационным и пилотажным параметрам летательного аппарата. Предложения основаны на выделении двух фаз операции совмещения реальных и виртуальных изображений: геометрическое совмещение, необходимость которого связана с погрешностями карт и погрешностями навигации, и визуализация геометрически совмещенных изображений с учетом этапа выполнения полетного задания и условий видимости.
Система комбинированного видения; система улучшенного видения; система синтезированного видения; совмещение изображений; визуализация изображений.
L.N. Kostyashkin, A.A. Loginov, M.B. Nikiforov PROBLEMATIC ASPECTS OF COMBINED VISION SYSTEM OF AIRCRAFT
This work describes different approaches to the solution of key problems in the development of a combined vision system for aviation, which combines the best functional characteristics of the two systems: enhanced vision system, which forms an improved and aggregate image from several different spectral sensor vision systems, and systems synthesized vision, which forms an image of a virtual model of the digital terrain map, navigation and flight parameters of the aircraft. The proposals are based on the selection of the two phases of the operation of combining the real and virtual images: geometric alignment, the need of which is related to the errors in maps and navigation, and rendering images geometrically aligned with the runflight mission and visibility conditions.
Combined vision system; enhanced vision system; synthesized vision system; composite image; visualization images.
В концепции авионики перспективных летательных аппаратов (ЛА) предусматривается комплексная обработка видеоинформации от датчиков системы технического зрения (СТЗ) и изображения виртуальной модели местности (ВММ), формируемого на базе априорной цифровой картографической информации с использованием навигационных данных, с целью формирования максимально объективной совокупности данных о его положении относительно закабинного пространства и о внешней обстановке в сложных условиях видимости. Совокупность таких средств принято называть системой комбинированного видения (Combined
