CC BY
14
УДК 621.397.6:629.7.05
DOI: 10.18698/0236-3933-2022-2-79-95
ФОРМИРОВАНИЕ И ОТОБРАЖЕНИЕ ВИДЕОИНФОРМАЦИИ В БОРТОВЫХ МУЛЬТИСПЕКТРАЛЬНЫХ СИСТЕМАХ УЛУЧШЕННОГО ВИДЕНИЯ
М.А. Бондаренко1
A.В. Бондаренко1
B.Н. Дрынкин2 Ю.В. Павлов2
[email protected] [email protected] [email protected] [email protected]
1 ООО «РАСТР ТЕХНОЛОДЖИ», Москва, Российская Федерация
2 ФГУП «ГосНИИАС», Москва, Российская Федерация
Аннотация
Рассмотрены результаты многолетних исследований и летных экспериментов, направленных на создание многоканальной системы улучшенного видения экипажа воздушного судна в сложных условиях видимости. Показана многокомпонентная природа совокупного видеосигнала, формируемого мульти-спектральной видеосистемой, что обосновывает его представление в цвете и необходимость разработки цветного индикатора лобового стекла воздушного судна для получения лучшего качества ситуационной осведомленности пилотов по сравнению с возможностями традиционно применяемых монохромных индикаторов. Предложен метод ком-плексирования монохромных изображений спектральных каналов многоканальной системы улучшенного видения в цветное многокомпонентное изображение. Для более естественного восприятия человеческим глазом получаемых цветных изображений проводят упорядочивание по спектру спектральных характеристик видеоканалов в направлении уменьшения длины волны. Для наиболее распространенного формата цветных изображений RGB в красную компоненту R системы отображения записывается изображение длинноволнового теплового диапазона, в зеленую компоненту G — изображение средневолнового инфракрасного диапазона, в синюю компоненту B — изображение коротковолнового видимого телевизионного диапазона. Получаемое при этом псевдоцветное изображение позволяет однозначно восстановить ис-
Ключевые слова
Цветной индикатор лобового стекла, система улучшенного видения, мультиспектральная видеосистема, комплектование разнородных изображений
ходные изображения. Это доказывает отсутствие потерь информации при комплексировании изображений. Поскольку пока еще нет цветных индикаторов лобового стекла, предложен метод воспроизведения псевдоцветного изображения на монохромном индикаторе. Для перевода псевдоцветного изображения в монохромное используются методы, при которых цветовые контрасты сохраняются в виде тональных контрастов. Преимущества предлагаемой технологии продемонстрированы на реальных примерах
Поступила 28.07.2021 Принята 27.09.2021 © Автор(ы), 2022
Введение. Информированность экипажа воздушного судна в сложных условиях видимости при заходе на посадку, при посадке и рулении остается важной задачей обеспечения безопасности полетов. Согласно исследованиям Всемирного фонда безопасности, почти 75 % аварий самолетов при заходе на посадку и посадке происходит в аэропортах при плохой видимости, в которых недоступны или отсутствуют приборы точного захода на посадку [1].
Для решения указанной проблемы производители бортовой авионики предлагают обычно системы улучшенного (усиленного) видения (СУВ), которые формируют видеоизображение подстилающей поверхности в спектральных диапазонах, находящихся за пределами видимого диапазона и имеющих повышенную чувствительность относительно возможностей человеческого глаза. Согласно ранее проведенным исследованиям и реальным летным испытаниям [2, 3], к обоснованным для указанного применения спектральным диапазонам следует отнести расширенный телевизионный (ТВ) диапазон (0,4...0,9 мкм), ближний инфракрасный (ИК) диапазон (0,9.1,7 мкм) и тепловизионный (ТП) диапазон (8.14 мкм). Выбор расширенного ТВ-диапазона обоснован высоким разрешением изготовляемых фотоприемников, необходимостью контрастного и детального сопоставления получаемого изображения с визуальным восприятием и повышенной чувствительностью при слабой освещенности по сравнению с глазом. Диапазон ИК позволяет получать изображения максимального контраста в условиях дымки, мороси при высокой влажности, когда одновременно ТВ- и ТП-диапазоны не выдают изображение приемлемой информативности. Применение ТП-зрения незаменимо темной ночью, когда ТВ- и ИК-диапазоны не дают изображение подстилающей поверхности. Таким образом, показано, что СУВ на основе видеокамер, отвечающих указанным спектральным диапазонам, способна в произвольных земных погодных и суточных условиях, при которых воздушное судно может быть
безопасно поднято в небо, обеспечить достаточную информативность для надежного пилотирования.
Подходы к представлению видеоинформации от бортовых многоканальных видеосистем. С появлением многоканальных видеосистем встает вопрос оптимального представления формируемой видеоинформации для максимизации эксплуатационных возможностей воздушного судна. Самое простое решение — выводить изображения от разнородных видеоканалов на различные экраны — не пригодно для оперативного принятия решений при пилотировании и может сбить пилота с толку. В связи с этим поскольку фотоприемники, чувствительные в рассматриваемых диапазонах, изготовляются по разным топологическим нормам и из разных материалов, то единственно подходящим решением этого вопроса остается совмещение и комплексирование формируемых СУВ изображений с использованием алгоритмов цифровой обработки изображений. В результате решения задачи совмещения изображений, одновременно формируемых разнородными видеодатчиками, получен патент [4]. Предлагаемый способ обеспечивает аппаратно-независимое совмещение в реальном масштабе времени с качеством, выше приемлемого в рамках [5], на основе предварительно вычисляемого проекционного преобразования изображений относительно опорного видеоканала независимо от сюжетных особенностей.
Вопрос представления совмещенных изображений от разнородных видеодатчиков обычно решается формированием из них одноцветного (монохромного) изображения. Однако указанный подход является компромиссным вариантом, так как контрасты одних составляющих мульти-спектрального комбинированного изображения необратимо подавляют контрасты и детали других составляющих, что приводит к неизбежным потерям полезной информации.
Метод безэталонной оценки информативности изображений с выводом наиболее информативного видеоканала предложен в [6]. Однако на практике выявлен существенный недостаток данного метода, обусловленный изменением контрастов результирующего изображения вплоть до их инвертирования даже при условии плавности перехода от одного режима вывода к другому при смене погодных и суточных условий, а также условий освещенности.
В рамках поиска бескомпромиссных вариантов комплексирования, когда полностью сохраняется полезная информация со всех комбинируемых видеоканалов, а характер закраски и деталей подстилающей поверхности в динамике эксплуатации меняется объективно и предсказуемо, было пред-
ложено комплексирование монохромных изображений в цветное многокомпонентное изображение [7]. В этом случае число цветовых каналов должно быть больше или равно числу входных изображений. При этом для естественного восприятия человеческим глазом получаемых цветных изображений необходимо хотя бы приблизительно воспроизвести механизм формирования человеческого цветного зрения и поставить в соответствие спектральные линии цветовых каналов спектральным диапазонам записываемых изображений. Для наиболее распространенного формата цветных изображений RGB в красную компоненту R следует записывать изображения ТП-диапазона как наиболее длинноволнового, в зеленую компоненту G — изображения ИК-диапазона, в синюю B — изображения ТВ-диапазона (рис. 1). В этом случае решив получаемую систему уравнений, можно однозначно восстановить исходные изображения, что строго доказывает отсутствие потерь информации при их комплексировании. При этом появляется возможность по комбинированному изображению визуально оценить оп-
в г
Рис. 1. Пример комплексирования двух разнородных изображений:
а, б — исходные изображения в ТВ- и ТП-диапазонах; в, г — взвешенное усреднение и цветное _КС£-комплексирование ТВ- и ТП-изображений
тические свойства отражения и излучения состава объектов наблюдаемой сцены. Например, можно одновременно оценивать степень нагрева объекта в канале ТП и его отражающие свойства в канале ТВ по условным цветам (рис. 1, г). По черно-белому изображению, скомбинированному путем взвешенного усреднения по формуле (ТВ + 2ТП)/3 [8] (рис. 1, в), нельзя однозначно сказать об уровне яркости изображения крыши в ТВ-диапазоне, поскольку ее черный цвет в основном связан с отражением холодного неба в ТП-диапазоне.
В общем случае цветовая аддитивная модель формирования комбинированного изображения из разноспектральных составляющих может быть записана как
R = ТП + ^ G = ИК + ^ B = ТВ + Д (1)
где Р — панхроматическая детальная составляющая комбинированного изображения. В случае комплексирования двух видеоканалов на рис. 1 ИК = 0 (этот канал отсутствует), а P = (ТВ + ТП) / 2.
На рис. 2 показан пример комплексирования трех изображений в ТВ-, ИК- и ТП-диапазонах, изображение рис. 2, е получено путем комплекси-рования по формулам:
ТП + P
R = —;—; (2)
2
ИК + P
G = —-—; (3)
2
ТВ + P
B = ——; (4)
2
P = ТВ. (5)
Если отдельные слагаемые комбинированного изображения в ТВ-, ИК-и ТП-диапазонах отвечают за цветовое зрение и аналогичны информации, получаемой от соответствующих «синих», «зеленых» и «красных» палочек сетчатки человеческого глаза, то панхроматическая составляющая Р отвечает за наличие деталей во всем наблюдаемом диапазоне и соответствует информации, передаваемой палочками сетчатки человеческого глаза. Составляющая Р определяется совокупностью деталей, содержащихся во всех видеоканалах и не зависит от цвета или выбора участка спектрального диапазона комбинированного изображения и поэтому добавляется одинаково во все цветовые каналы. В конкретном случае ТВ-видеоканал содержит практически все ключевые детали изображения, поэтому здесь достаточно выбрать P = ТВ.
Рис. 2. Сравнение результатов цветного комплексирования с простым усреднением ТВ-, ИК- и ТП-изображений:
а-в — изображение в ТВ-, ИК- и ТП-диапазонах; г — простое усреднение; д, е — цветное комплексирование (2)-(4) без детальной и с детальной составляющей (5)
На рис. 3 приведен пример цветного комплексирования двух изображений в ТВ- и ТП-диапазонах по сравнению с простым усреднением изображений и результатом комплексирования обученной нейронной сетью FusionNet [9].
где Рис. 3. Возможности цветного аддитивного комплексирования по сравнению с простым усреднением и результатом работы нейронной сети:
а, б — исходные ТВ- и ТП-изображения; в — простое усреднение; г — результат работы генеративной нейронной сети FusionNet; д — цветное комплексирование без детальной составляющей; е — цветное комплексирование по линейной аддитивной модели (1)
Видно, что изображение на рис. 3, г, несмотря на высокий контраст, не лишено ложного свечения вокруг объектов, а при более внимательном рассмотрении имеет детали и контрасты, которые на исходных изображениях (рис. 3, а и б) выглядят совсем иначе. Например, исказилась форма нагретой «белой» округлой детали на конце стрелы крана (на увеличенном фрагменте рис. 3, б показана стрелкой). Иными словами, при таком методе комплексирования произошла частичная потеря информации по сравнению с исходными данными (см. рис. 3, а и б). Указанных недостатков нет на изоражении, представленном на рис. 3, е, при гораздо более простом способе его получения и возможности полностью объективного восприятия: теплые цвета отвечают наиболее нагретым объектам, а холодные — наименее. Другим ключевым преимуществом предложенного метода комплексирования является простота аппаратной реализации и возможность высокой скорости обработки в порядке по-
ступления видеоинформации, что отлично подходит для аппаратной реализации метода на программируемых логических интегральных схемах в режиме реального времени.
Тем самым мультиспектральное изображение имеет принципиально многомерную многокомпонентную природу и не может полностью правильно восприниматься в одном цвете, как это делается во многих работах. Именно поэтому для одновременного правильного восприятия всех составляющих комбинированного изображения на одном экране лучший результат показывает комплексирование в рамках предложенной линейной аддитивной модели с выводом получаемого псевдоцветного трех-компонентного изображения на цветной дисплей.
Сравнение возможностей цветных и монохромных индикаторов на лобовом стекле для информирования пилотов. С учетом способов представления многоканальной видеоинформации [5] эксплуатационные преимущества при пилотировании с использованием СУВ дает только вывод комбинированного изображения на индикатор лобового стекла (ИЛС), когда пилот, не отводя взгляда и не поворачивая головы, видит перед собой дополненное изображение подстилающей поверхности и ключевую циф-рошкальную информацию. Однако в настоящее время не известны цветные авиационные RGB ИЛС, которые могли бы выводить цветной 24-битный видеопоток от СУВ. Сейчас в авиации используются ИЛС, которые в зеленом цвете выводят однокомпонентное черно-белое видеоизображение пространства за кабиной вместе с цифрошкальной полетной информацией наиболее яркого зеленого цвета (рис. 4).
Рис. 4. Современный авиационный ИЛС СУВ FalconEye
Как следует из рис. 4, цифрошкальная информация частично сливается с подстилающей поверхностью, этого можно было бы избежать при использовании цветного светодиодного проектора вместо одноцветного зеленого.
Тем самым возможности существующей бортовой авионики ограничивают возможности вывода полетной информации и не позволяют раскрыть полученный потенциал комплексирования разнородной мульти-спектральной (многоканальной) видеоинформации, что является основанием для разработки на основе современной техники цветного RGB ИЛС.
Анализируя рис. 5, можно понять преимущества предлагаемого технического решения как устройства вывода видеоинформации, позволяющего повысить эксплуатационные характеристики при пилотировании
Рис. 5. Сравнение возможностей вывода многоканальной видеоинформации для двухканальной ИК+ТП СУВ при заходе на посадку в сложных метеоусловиях (туманным днем, ночью и др.):
а — вывод ИК+ТП-изображения в режиме обычного авиационного ИЛС; б — моделирование вывода ИК+ТП-изображения на цветном ИЛС
воздушного судна в сложных условиях видимости [5]. Ключевым преимуществом новой для авионики технологии является повышение контрастности и реалистичности вывода обстановки за кабиной пилота при одновременном повышении контрастности цифрошкальной информации, для которой остается традиционный для бортовой авионики насыщенный зеленый цвет. При этом цифрошкальные данные могут выводиться разным цветом в зависимости от важности показателя и полетной ситуации, например, критическое расстояние до поверхности или опасный угол крена можно выделять ярко-красным цветом и т. д.
В настоящее время цветные проекторы на лобовое стекло уже начали активно использоваться как средства для повышения уровня информированности водителей автомобилей, что подтверждается наличием обзора готовых недорогих решений для автомобилей [10]. Ключевым преимуще-
ством является возможность вывода показаний приборов или маршрута с навигатора без отвода взгляда от дорожной обстановки. При этом проекторы оснащены датчиками освещенности, что позволяет непрерывно проецировать изображение приемлемого контраста с учетом изменения уровня освещенности внешней обстановки и салона автомобиля. Поэтому для разработки технологии создания цветного авиационного ИЛС нового поколения есть все предпосылки в виду наличия готовых решений на основе цветных лазерных проекторов, активно используемых в автомобильной отрасли для проецирования цифрошкальной информации на лобовое стекло.
Примером готового решения, которое может быть в рамках научно-исследовательской работы адаптировано для создания прототипа цветного авиационного ИЛС, служит цифровой .RGB-проектор DLP5531-Q1 [11] фирмы Texas Instruments, изначально предназначенный для автомобильных ИЛС. Важными параметрами этого модуля ИЛС являются широкий диапазон рабочих температур от -40 до 105 °С и хорошее разрешение 24-битного RGB-изображения, формируемого массивом микрозеркал 1152 х 1152 в спектральном диапазоне установленных групп светодиодов 0,42.0,7 мкм. Указанное разрешение проектора позволяет отображать почти без обрезки изображения от модулей ТП самого последнего поколения, например, с разрешением 1280 х 1024 пикселей [12, 13].
Рассматривая последние достижения в области совершенствования бортовых авиационных СУВ, следует также отметить появление в последние годы видеомодулей, работающих в совмещенном ТВ + ИК-диапазоне 0,5.1,7 мкм, что позволяет сократить число отдельных разноспектральных видеоканалов, упростить логику, снизить массу, габаритные размеры и энергопотребление при сохранении возможностей их применения. Данную возможность предполагается использовать при создании более компактной двухканальной ИК + ТП-видеосистемы улучшенного видения на базе видеомодуля Xenics с опцией vSWIR [14].
Перевод цветного изображения в монохромное для отображения на одноцветных индикаторах. Проведенный анализ показал плодотворность метода комплексированного многокомпонентного (трехкомпонент-ного) псевдоцветного изображения как наиболее информативного. Однако отсутствие цветных ИЛС может оказаться существенным препятствием на пути применения метода псевдоцветного комплексирования. В связи с этим представляется интересным разработать метод воспроизведения псевдоцветного изображения на монохромном индикаторе. В этом случае ставится задача перевода цветного изображения в монохромное с наименьшими потерями.
В настоящее время существует достаточно большое число алгоритмов получения монохромного изображения из цветного, но все они имеют разный результат [15, 16].
Основой хорошего черно-белого изображения является тональный контраст, который создается светлыми и темными тонами, лежащими рядом. При переводе цветного изображения в монохромное важно, чтобы цветовые контрасты сохранялись в виде тонального контраста.
Самые простые методы перевода цветного изображения в монохромное — это методы, основанные на обесцвечивании изображения, т. е. на уменьшении насыщенности цвета до нуля. Однако такие методы не всегда дают приемлемый для наших задач результат. Например, если в исходном цветном изображении тональный контраст невысокий, но есть цветовой контраст, то при переводе в монохромное изображение методом обесцвечивания потеряется цветовой контраст без получения тонального.
Для получения тонального контраста при переводе цветного изображения в монохромное можно воспользоваться идеей применения цветных фильтров. Цвет, совпадающий с цветом фильтра, будет выглядеть на снимке светлее, а дополняющий (противоположный на цветовом круге) — темнее обычного. Например, красный фильтр делает красные цвета светлее, а синие (например, небо) — темнее.
Известны достаточно эффективные интерактивные алгоритмы перевода цветного изображения в монохромное, которые используют идею цветных фильтров. Это алгоритм микширования каналов Channel Mixer и алгоритм Black & White. С помощью этих алгоритмов при получении монохромного изображения регулируется отношение между красным, зеленым и синим каналами цветного изображения. Например, в алгоритме микширования каналов при увеличении значения красного канала изображения области, близкие по цвету к красному, становятся светлее, а синие области темнее. Как правило, оптимальный результат получается, если сумма всех трех каналов R, G, B равна 100 %, что обеспечивает невыход за границы яркостного диапазона. Часто употребляемые значения — 30, 60 и 10 %. В первом приближении эти значения можно выбрать для автоматической реализации алгоритма. Тем самым алгоритм микширования каналов записывается в виде формулы
I = 0,3R + 0,6G + 0,1B. (6)
Близок к формуле (6) способ вычисления яркостной составляющей телевизионного сигнала в известной системе аналогового цветного телевидения PAL [17]:
I = 0,299R + 0,587G + 0,114В. (7)
Преобразование (7) разработано с учетом разной чувствительности глаза к красной, зеленой и синей составляющим, и в результате вклад в яркость изображения от разных цветовых каналов воспринимается одинаково.
На рис. 6 показаны примеры перевода цветного изображения (рис. 6, а) в монохромное. Изображение на рис. 6, б получено с помощью алгоритма обесцвечивания (Desaturate) по формуле
min(R, G, В) + max(R, G, В)
I =
2
(8)
Видно, что, с одной стороны, красно-зеленый цветовой контраст областей на заднем плане исчез, не образовав тонального контраста. С другой стороны, изображение на рис. 6, в получено с помощью алгоритма микширования каналов (6). Отметим, что цветовой контраст перешел в тональный, т. е. информация лучше сохранена.
Рис. 6. Примеры перевода цветного изображения в монохромное:
а — исходное изображение; б — обесцвечивание (8); в — микширование каналов (6)
в
Из этого примера следует, что с помощью «правильного» перевода цветного изображения в монохромное можно добиться эффективного сохранения информативности цветного изображения в монохромном.
Заключение. Полученные результаты являются предварительными и требуют дальнейших исследований. В частности, необходимо выполнить
количественную оценку информативности псевдоцветных и полученных из них монохромных изображений, оценить потери информативности и т. д. Предложенный подход уже сейчас позволит применять псевдоцветное комплексирование для формирования единого комбинированного изображения в многозональных СУВ с отображением их на монохромных индикаторах параллельно с работами по созданию цветного ИЛС.
ЛИТЕРАТУРА
[1] Визильтер Ю.В., Желтов С.Ю. Проблемы технического зрения в современных авиационных системах. Тр. науч.-техн. конф.-сем. «Техническое зрение в системах управления мобильными объектами-2010». М., Книжный Дом «Университет», 2011, вып. 4, с. 11-44.
[2] Акопджанян Ю.А., Биланчук В.В., Дрынкин В.Н. и др. Летное экспериментальное исследование бортового мультиспектрального оптико-электронного комплекса для всепогодной посадки летательных аппаратов. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2014, № 5 (98), с. 60-68.
[3] Бондаренко А.В., Бондаренко М.А. Аппаратно-программная реализация муль-тиспектральной системы улучшенного видения. Современная электроника, 2017, № 1, с. 32-37.
[4] Бондаренко М.А., Бондаренко А.В., Ядчук К.А. и др. Способ совмещения одновременно получаемых изображений от матричных фотоприемников разного спектрального диапазона. Патент РФ 2705423. Заявл. 17.01.2019, опубл. 07.11.2019.
[5] Руководство Р-315. По минимальным стандартам характеристик авиационных систем (МА8Р8) для систем улучшенного видения, систем ИИ, комбинированных систем искусственного видения и бортовых систем увеличения дальности видения. М., АРМАК, 2012.
[6] Бондаренко М.А., Дрынкин В.Н., Набоков С.А. и др. Адаптивный алгоритм выбора информативных каналов в бортовых мультиспектральных видеосистемах. Программные системы и вычислительные методы, 2017, № 1, с. 46-52.
Б01: http://doi.Org/10.7256/2454-0714.2017.1.21952
[7] Бондаренко М.А., Бондаренко А.В. Формирование изображений в мультиспек-тральных видеосистемах для визуального и автоматического неразрушающего контроля. Успехи прикладной физики, 2018, т. 6, № 4, с. 325-332.
[8] Бондаренко М.А., Дрынкин В.Н. Повышение информативности изображений в бортовых системах усиленного видения. Техническое зрение, 2015, № 1, с. 57-65.
[9] Лебедев М.А., Комаров Д.В., Выголов О.В. и др. Комплексирование изображений разных спектральных диапазонов на основе генеративной состязательной нейронной сети FusionNet. Сб. тез. докл. Всерос. науч.-техн. конф. «Техническое зрение в системах управления». М., ИКИ РАН, 2019, с. 48-49.
[10] Колодийчук А. Топ-5 недорогих проекторов на лобовое стекло авто с AliExpress. bycars.ru: веб-сайт.
URL: https://bycars.ru/journal/top-5-luchshih-proektorov-na-lobovoe-steklo-avto-s-aliexpress_3345 (дата обращения: 13.05.2021).
[11] DLP5531-Q1 0.55-inch 1.3-megapixel DMD for automotive exterior lighting. ti.com: веб-сайт. URL: https://www.ti.com/document-viewer/DLP5531-Q1/ datasheet/features-dlps0001089#DLPS0001089 (дата обращения: 31.03.2021).
[12] Тепловизионный модуль FLM1280-SDI (LWIR). npk-photonica.ru: веб-сайт. URL: https://www.npk-photonica.ru/product/21627 (дата обращения: 01.04.2021).
[13] Фомин Ф.В. Современное состояние и перспективы развития зарубежных ИК-систем. М., МНИТИ, 2018.
[14] Small, high performance InGaAs camera module with high image resolution. xen-ics.com: веб-сайт.
URL: https://www.xenics.com/short-wave-infrared-imagers/xsw-640-series (дата обращения: 01.04.2021).
[15] Как покорить монохромный режим? fotogora.ru: веб-сайт. URL: https://fotogora.ru/kak-pokorit-monokhromnyy-rezhim (дата обращения: 15.04.2021).
[16] Как перевести цветное изображение в черно-белое. livejournal.com: веб-сайт. URL: https://fotomeridian.livejournal.com/25340.html (дата обращения: 15.04.2021).
[17] Цветовая система PAL. hisour.com: веб-сайт. URL: https://www.hisour.com/ru/pal-color-system-25921 (дата обращения: 21.04.2021).
Бондаренко Максим Андреевич — канд. техн. наук, ведущий научный сотрудник ООО «РАСТР ТЕХНОЛОДЖИ» (Российская Федерация, 117593, Москва, Соловьиный пр-д, д. 4, корп. 1).
Бондаренко Андрей Викторович — генеральный директор ООО «РАСТР ТЕХНОЛОДЖИ» (Российская Федерация, 117593, Москва, Соловьиный пр-д, д. 4, корп. 1).
Дрынкин Владимир Николаевич — начальник сектора ФГУП «ГосНИИАС» (Российская Федерация, 125167, Москва, ул. Викторенко, д. 7).
Павлов Юрий Васильевич — канд. техн. наук, начальник лаборатории ФГУП «ГосНИИАС» (Российская Федерация, 125167, Москва, ул. Викторенко, д. 7).
Просьба ссылаться на эту статью следующим образом:
Бондаренко М.А., Бондаренко А.В., Дрынкин В.Н. и др. Формирование и отображение видеоинформации в бортовых мультиспектральных системах улучшенного видения. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2022, № 2 (139), с. 79-95. DOI: https://doi.org/10.18698/0236-3933-2022-2-79-95
FORMING AND DISPLAYING VIDEO DATA IN ONBOARD ENHANCED VISION MULTISPECTRAL SYSTEMS
M.A. Bondarenko1 [email protected]
A.V. Bondarenko1 [email protected]
V.N. Drynkin2 [email protected]
Yu.V. Pavlov2 [email protected]
1 LLC "RASTER TECHNOLOGY", Moscow, Russian Federation
2 State Research Institute of Aviation Systems (GosNIIAS), Moscow, Russian Federation
Abstract
The article considers the results of long-term research and real flight tests for developing a multichannel system for enhanced vision in difficult for aircraft crew visibility conditions. The multicomponent nature of the aggregate video signal generated by a multispectral video system is shown, justifying its representation in color and the need to develop a color indicator of the aircraft windshield to obtain a better quality of situa-tional awareness for pilot compared to the capabilities of traditionally used monochrome indicators. A method for integrating monochrome images of multichannel enhanced vision system spectral channels into a color multicomponent image is proposed. For more natural perception of the resulting color images by the human eye, the spectrum of the spectral characteristics of the video channels is rearranged in the direction of decreasing wavelength. For the most common RGB color image format, the red component R of the display system records the image of the long-wave thermal range, the green component G records the image of the mid-wave infrared range, the blue component B records the image of the short-wave visible television range. The resulting pseudo-color image allows unambiguous restoring the original images. This proves the absence of information loss during image integration. Since there are no colored windscreen displays yet, a method for reproducing a pseudo-color image on a monochrome display is proposed. To convert a pseudo-color image to monochrome one, methods are used in which color contrasts are preserved in the form of tonal contrasts. The advantages of the proposed technology are demonstrated on real examples
Keywords
Color head-up display, enhanced vision system, multi-spectral video system, image integration
Received 28.07.2021 Accepted 27.09.2021 © Author(s), 2022
REFERENCES
[1] Vizil'ter Yu.V., Zheltov S.Yu. [Technical vision problems in modern aviation systems]. Tr. nauch.-tekh. konf.-sem. "Tekhnicheskoe zrenie v sistemakh upravleniya mo-bil'nymi ob"ektami-2010". Vyp. 4 [Proc. Sc.-Tech. Conf.-Seminar Technical Vision in Control Systems for Mobile 0bjects-2010. Iss. 4]. Moscow, Knizhnyy Dom "Univer-sitet" Publ., 2011, pp. 11-44 (in Russ.).
[2] Akopdzhanyan Yu.A., Bilanchuk V.V., Drynkin V.N., et al. Flight experimental research of on-board multispectral imaging system for all-weather aircraft landing. Herald of the Bauman Moscow State Technical University, Series Instrument Engineering, 2014, no. 5 (98), pp. 60-68 (in Russ.).
[3] Bondarenko A.V., Bondarenko M.A. Hardware-software solution of multispectral enhanced vision system. Sovremennaya elektronika, 2017, no. 1, pp. 32-37 (in Russ.).
[4] Bondarenko M.A., Bondarenko A.V., Yadchuk K.A., et al. Sposob sovmeshcheniya odnovremenno poluchaemykh izobrazheniy ot matrichnykh fotopriemnikov raznogo spektral'nogo diapazona [Method of combining simultaneously obtained images from matrix photodetectors of different spectral range]. Patent RU 2705423. Appl. 17.01.2019, publ. 07.11.2019 (in Russ.).
[5] Rukovodstvo R-315. Po minimal'nym standartam kharakteristik aviatsionnykh sistem (MASPS) dlya sistem uluchshennogo videniya, sistem II, kombinirovannykh sistem iskusstvennogo videniya i bortovykh sistem uvelicheniya dal'nosti videniya [RTCA DO-315. Minimum aviation system performance standard (MASPS) for enhanced vision systems, synthetic vision systems, combine vision systems and enhanced flight vision systems]. Moscow, ARMAK, 2012.
[6] Bondarenko M.A., Drynkin V.N., Nabokov S.A., et al. Adaptive algorithm for selecting informative channels in on-board multispectral video systems. Programmnye sistemy i vychislitel'nye metody [Software Systems and Computational Methods], 2017, no. 1, pp. 46-52 (in Russ.). DOI: http://doi.org/10.7256/2454-0714.2017.L21952
[7] Bondarenko M.A., Bondarenko A.V. Image forming in multispectral video systems for visual and automatic nondestructive testing. Uspekhi prikladnoy fiziki [Advances in Applied Physics], 2018, vol. 6, no. 4, pp. 325-332 (in Russ.).
[8] Bondarenko M.A., Drynkin V.N. Image informative increasing for onboard enhanced vision systems. Tekhnicheskoe zrenie, 2015, no. 1, pp. 57-65 (in Russ.).
[9] Lebedev M.A., Komarov D.V., Vygolov O.V., et al. [Images complexation in different spectral bands based on FusionNet adversarial generative neural network]. Sb. tez. dokl. Vseros. nauch.-tekh. konf. "Tekhnicheskoe zrenie v sistemakh upravleniya" [Abs. Russ. Sc.-Tech. Conf. Technical Vision in Control Systems]. Moscow, IKI RAS Publ., 2019, pp. 48-49 (in Russ.).
[10] Kolodiychuk A. Top-5 nedorogikh proektorov na lobovoe steklo avto s AliExpress [Top-5 of cheap car wind screen projectors from AliExpress]. bycars.ru: website (in Russ.). Available at: https://bycars.ru/journal/top-5-luchshih-proektorov-na-lobovoe-steklo-avto-s-aliexpress_3345 (accessed: 13.05.2021).
[11] DLP5531-Q1 0.55-inch 1.3-megapixel DMD for automotive exterior lighting. ti.com: website. Available at: https://www.ti.com/document-viewer/DLP5531-Q1/ datasheet/features-dlps0001089#DLPS0001089 (accessed: 31.03.2021).
[12] Teplovizionnyy modul' FLM1280-SDI (LWIR) [FLM1280-SDI (LWIR) thermal imaging module]. npk-photonica.ru: website (in Russ.).
Available at: https://www.npk-photonica.ru/product/21627 (accessed: 01.04.2021).
[13] Fomin F.V. Sovremennoe sostoyanie i perspektivy razvitiya zarubezhnykh IK-sistem [Current state of the art and development prospects for foreign IR-systems]. Moscow, MNITI Publ., 2018.
[14] Small, high performance InGaAs camera module with high image resolution. xenics.com: website.
Available at: https://www.xenics.com/short-wave-infrared-imagers/xsw-640-series (accessed: 01.04.2021).
[15] Kak pokorit' monokhromnyy rezhim? [How to deal with monochrome mode?] fotogora.ru: website (in Russ.).
Available at: https://fotogora.ru/kak-pokorit-monokhromnyy-rezhim (accessed: 15.04.2021).
[16] Kak perevesti tsvetnoe izobrazhenie v cherno-beloe [How to transverse a chromatic image into black-and-white one]. livejournal.com: website (in Russ.).
Available at: https://fotomeridian.livejournal.com/25340.html (accessed: 15.04.2021).
[17] Tsvetovaya sistema PAL [PAL colour system]. hisour.com: website (in Russ.). Available at: https://www.hisour.com/ru/pal-color-system-25921 (accessed: 21.04.2021).
Bondarenko M.A. — Cand. Sc. (Eng.), Leading Researcher, LLC "RASTER TECHNOLOGY" (Solov'inyy proezd 4, str. 1, Moscow, 117593 Russian Federation).
Bondarenko A.V. — General Director, LLC "RASTER TECHNOLOGY" (Solov'inyy proezd 4, str. 1, Moscow, 117593 Russian Federation).
Drynkin V.N. — Head of the Sector, State Research Institute of Aviation Systems (GosNIIAS) (Viktorenko ul. 7, Moscow, 125167 Russian Federation).
Pavlov Yu.V. — Cand. Sc. (Eng.), Head of the Laboratory, State Research Institute of Aviation Systems (GosNIIAS) (Viktorenko ul. 7, Moscow, 125167 Russian Federation).
Please cite this article in English as:
Bondarenko M.A., Bondarenko A.V., Drynkin V.N., et al. Forming and displaying video data in onboard enhanced vision multispectral systems. Herald of the Bauman Moscow State Technical University, Series Instrument Engineering, 2022, no. 2 (139), pp. 79-95 (in Russ.). DOI: https://doi.org/10.18698/0236-3933-2022-2-79-95
