CC BY
25
УДК 621.39
Пщвищення шформативносп мультиспектральних зображень шляхом мультимодального комплексування
Гривачевсъкий А. П., Прудиус I. Н.
Нацшиалышй ушворситот "Лызшська иолггохшка" E-mail: ahryvach cvekyi&gmaU. com
Досл1джеппя присвячепе проблем! об'едпаппя граф1чпо1 шформацп з р1зпих сепсор1в в мультиспе-ктралышх системах мошторипгу за допомогою метод!в мультимодального комплексування зображень. Як критерш ефективпост! об'едпаппя граф1чно1 шформацп в едипе комплексовапе зображеппя ви-брапо шформатившсть цього зображешш. 1пформатившсть пропопуеться оциповати за допомогою запропоповапого вдоскопалепого методу, що базуеться па основ! багатокритер!алыюго апал!зу пара-метр!в зображень. Комплексування зображень впкопуеться за допомогою запропоповапого методу па основ! дискретного вейвлет-перетвореппя з формуваппям пизькочастотпих вейвлет-коеф1ц!епт1в ре-зультуючого вейвлет-спектра шляхом апал!зу perpecifuioi модел! зв'язку м!ж вх1дпими зображеппями. Шдтверджепо експеримепталышм шляхом, що запропоповапий метод комплексувашш дае можлшмсть сиптезувати бглын шформативш мультиспектральш зображешш шж в!дом! алгоритми.
Клюноог слова: комплексуваш1я зображень: мультиспектральпнй мошторипг: шформатившсть зображеппя: вейвлет-перетвореппя: регресшпий апал!з
DOI: 10.20535/RADAP.2018.73.40-49
Вступ
В ocTaiuii десятилитя активно розвиваеться ком-плексний шдхвд до обробки даних мошторипгу об'екпв та сцен. що передбачае використання pi3inix шструментав дистанцшного зондування прилад1в та coiicopiB: оптичних. шфрачорвоних та мшрохви-льових [1 8]. Якщо paiiiine головшгаи обложениями в досягненш максималышх иоказнишв офективно-cti таких систем були недостатньо biicokI техшчш параметри окремих блошв (особливо coiicopiB). то в ocTaiuii роки на перший план виходить бшьш повис використання потонцшно доступно! шформащ! 3 pi3IIIIX coiicopiB.
Кожей з coiicopiB мультиспсктралы101 систоми мошторипгу (МСМ) дозволяе отримати цифров1 зображеппя спосторожувансм сцени в pi3inix д1аиа-зонах олоктромагштного вииромпиовання. На сфор-мованих зображоннях шформашя про характеристики об'екпв в ncuii зору МСМ мштиться в про-сторовому розподЫ яскравосп по илонц цих зображень. Для того, щоб одержати якомога бшыне ко-piiciio'i шформанД з сукуиносп наявних зображень. вдаються до процедури шд назвою комплексування зображень (image fusion) [1 4]. В дашй робот1 шд комплексуваиням зображень розум1еться процес об'еднання шформаш! на шкеелыгому pinui ввд двох
або бшыне зображень в одно бшьш информативно, шж будь-яке з вхадних. В свою чергу мультимодаль-ним комплексуваиням називасться комплексування зображень. отриманих сенсорами р1зно1 ф1зично1 природи (РФП). яш ирацюють у р1зних дшянках спектра.
При мошторипгу одшя 1 тМ' ж сцени в р1зних дь апазонах олоктромагштного випромпиовання заро-естроваш зображеппя можуть иомино вщлзнятися в заложносп в1д властивостой об'екпв та параме-тр1в соредовшца в конкретному спектральному д1а-иазош. Даний факт впливае на те. що королящя хйж розташуванням об'ектав в по„ш зору МСМ та розпо-дшом яскравосп на кожному зображенш з р1зних д1аиазошв с неоднозначною. Тому задача ефектив-ного комплексування зображень с досить не тривь альною 1 необхщно визиачити. такий метод комплексування р1зноспсктралышх зображень. який би за-безиочив ефоктивну роботу МСМ в складнш фоно-цшьовШ обстановщ (ФЦО) (дим. пил. туман, опади, низька освилошсть. маскуваиня об'ектав. тощо) [8].
1 Постановка задач1
При комплексуванш р1зноспсктралышх зображень виникае ряд проблем остаточно ие вщлшених на даний момент [1]. Основна проблема полягае
в тому, що кожсн парщалышй сенсор МСМ представляв специс}нчш характеристики навколишнього ссрсдовшца (яскравость тсплов1 або радкшокащй-ш коитрасти об'ектав, тощо) [4,5]. 1ишою, не мснш важливою проблемою, с ргага просторова роздшьна здатшсть сснсор1в РФП та нсузгоджсшсть !х пол1в зору [9 11]. Це сильно ускладшое ироцес спшыго! ш-тсрпрстацп таких даиих, оскшьки иросторовий роз-подш зиачеиь шксо~тв у зображсннях може суттево вщлзнятися, иричому чим бшынс капали рознссс-ш по частот!, тим бшына вадмшшсть (тим меиший корслящйний зв'язок) хйж зображсннями з р1зних канал1в.
В дослщжсннях, ирисвячеиих комилексуваишо зображеиь [1 4, 7] та сухйжним задачам [5, 6, 9 14] розглядаються окрстш асиекти комплексуваиия (прив'язка, сам процес комплексування або оцш-ка комплексувания) 1 вщсутнш системиий шдхщ до розв'язання ще! задачь Тому, враховуючи осо-бливоста комплексувания р1зноспсктралышх зображеиь, в робот иропонуеться шд1йти до розгляду процесу мультимодальиого комплексувания графь чно1 шформацп з сснсор1в РФП системним шляхом
1 поетапно розглянути весь процес, починаючи ввд моменту поисрсдньо! обробки отримаиих вхщних зображеиь 1 завершуючи оцшкою сиитезованого ре-зультуючого зображення.
2 Етапи комплексувания зображеиь
Система мошторингу з комплексуваииям иарщ-алышх зображеиь повинна включати в себе наступи! етапи обробки вхвдних зображеиь (рис. 1):
- прив'язка (просторова синхрошзащя):
- оцшка шформативностк
- комплексувания на шксслыгому р1вш;
- оцшка шформативноста комплексоваиого зображення:
- постобробка (в залсжноста ввд поставлено! задач!).
2.1 Прив'язка зображеиь
Шд прив'язкою зображеиь слад розумии процес приведения до едино! системи координат декшькох зображеиь одше! 1 тае! ж сцени [9], тобто шшими словами, це просторова синхрошзащя зображеиь.
В бшыносп роби, що ирисвячсш задач1 комплексувания р1зносисктралышх зображеиь, не врахо-вуеться просторова нсузгоджсшсть зображеиь [2 5], яка зумовлена конструктивними особлнвостямн \1CIM або розглядаеться досить абстрактно [1,7]. Тому слад розглянути способи прив'язки зображеиь,
оскшьки без такого узгодження переходптп до комплексувания зображень на шксслыгому р1вш немо-жлнво.
Класпчнпй падхад до прив'язки зображень поля-гае у видшенш найбшын шформативних фрагменте (образ1в) на одному зображонш 1 пошук подобних фрагметтв па шшому зображонш з врахуванням вибраного криторпо подобносп [9]. Маючи шфор-мащю про взаемно розташування подобних образ1в на зображсннях, ощшоеться ступшь розузгоджоно-сп зображень 1 одно з них трансформуеться викори-стовуючи афише геометричне иоретвороння таким чином, щоб мптпзувати дане розузгодження.
Як критерп под1бноста образ1в, для прив'язки моиоспектралышх зображеиь, використовують мь шмум суми квадрапв розбЬкносп образ1в, або максимум нормовано! кореляцшно! функцп. Однак даш критерп не е швар1антними до вщмпиюсп характеру просторового розподшу яскравосп хйж зображеинями з сснсор1в РФП. Для прив'язки рь зиоспоктралышх зображень доцшыго використову-вати критср1й, що г"рунтуеться на макстпзацп функщ! взаемно! шформацп [9 11]. Вш е П1вар1антним до просторового розподшу яскравоста 1 дозволяе ви-коиати прив'язку зображеиь зиачио точшше. Фуи-кщя взаемно! шформацп М1 (), як показано в [ ], обчислюеться з впкорнстанням ентропп Е зображе-ня:
М1 (А, В) = Е(А) + Е(В) - Е(А,В), (1)
де Е(А), Е(В) — вщособлеш ентропп зображень А та В, вадповадно; Е(А, В) — епшьна ентрошя А та В.
2.2 Оцшка шформативност! зображень
Перед початком процедури комплексувания до-цшьно виконати ощику шформативносп вхадних зображень з метою I! врахування шд час комплексувания.
В даний час найбшын достов1рним методом ощн-ки шформативносп зображень, нсвадомого сюжетного змшту, все щс залишаеться метод скспср-тннх оцшок [16]. Однак нодатками методу скс-пертно! оцшки вважаеться: трудомктшеть, значш матср1альн1 внтратн I нсможлнв1сть використання рсзультат1в ощнки для корекцп цифрово! обробки в реальному масштаб! часу. Тому для вщлшення задач цифрово! обробки зображень не припиняю-ться досладжсння по розробщ мстод1в автономно! об'ективно! к1льк1сно! ощнки зображень [12 15].
Традищйним и1дходом до ощнки шформативно-ст1 зображення е обчислсння його ентропп по Шопену:
255
Е(А) = - £ Р({) log2 Р(г), (2)
¿=0
Рис. 1. Узагальнена блок-схема МСМ з комплексуванням зображень
де Р(г) = Н(i)/N — iMOBiprncTb появи шкселя з штенспвтстю i = 0,1,..., 255 (для восьмпбпно-го зображення); Н(г) вектор значенв пстограми зображення N — шльшсть шксел1в у зображенш.
Ентрошя зображення дозволяе доситв об'ек-тнвно ощнювати шформатпвшсть щеального зображення (без шум1в та спотворень), проте для реальных зображень под1бна екв1валентшсть ентропп та шформатпвносп може бути позбавлена сенсу [14], так як не враховуються просторова змша яскраво-CTi елеменпв зображення i особлпвосп ix зорового спрнйняття.
Часто в л1тератур1 [14,15], шльшсну ощнку ш-форматпвносп зображеня ототожнюють з ощнкою його якосп. Широко вжпваш шдходп для оцш-ки якосп, таю як ушверсальний показник якосп (UIQI — Universal Image Quality Index) [12] та ш-декс структурно!" iю/цбносп (SSIM — Structure SIMilarity) [13] ор1ентован1 на знаходження схожосп обробленого, тим чи шшим способом, зображення з еталонним i ефективно працюють в основному для ощнки алгоритм1в кодування зображень. Ушверсальний показник якосп ощнюе спотворен-ня обробленого зображення як комбшащю трьох фактор1в (шдекав): втрати кореляцп, спотворень яскравосп i контрасту. Подалыпий розвпток уш-версального показника якосп враховуе i структур-ну под1бшсть зображень. Незважаючп на те, що показники математично визначеш i показують до-статню вщповщшсть з суб'ективним яшсним ощ-нюванням, шяка модель в1зуально1 спстемп людпнп при цьому не використовуеться. Показники UIQI та SSIM дозволяють оцшити яшсть зображення значно краще, шж широко вжпваш середньоквадра-тпчна похибка та вщношення сигнал/шум. Однак для ощнки алгоритм1в шдвпщення шформатпвносп зображень, ор1ентованих на покращення ix пспхофь зичного сприйняття, показники дають неоднозначш результата. KpiM того, при ощнщ комплексованого зображення, для якого не icHye еталону, застосува-ння данпх метрик шчим необг"рунтовано.
Отже, хоча в л1тератур1 поняття «шформатпвшсть» та «яшсть» зображення часто використову-
ють поряд (як синошми), насправд1 вони не тото-жш: зображення може бути яшсним без шум1в 1 спотворень (напрпклад, артефакпв), але при цьому бути нешформативним [14]. Тому доцшьно розробити такий об'ективний показник шформатпвносп який буде якомога бшыпе корелювати з суб'ективною експертною ощнкою шляхом зорового сприйняття.
Головною проблемою при формал1зацп ощнки зорового сприйняття е встановлення зв'язку м1ж об'ектпвнимп окремими характеристиками (метриками) зображень 1 суб'ективними критер1ями зорового сприйняття. Яшсть зорового сприйняття ви-значаеться головним чином енергетичними характеристиками сигнал1в, що надходять до оператора. До них вщносяться, зокрема, таш параметры як д1апазон 1 шльшсть вщтворюваних р1вшв яскравосп, контраст об'ект/фон. Об'ективнимп показнп-ками цих параметр1в зорового анал1затора будуть контраст (X) 1 шльшсть шформацшнпх р1вшв (Н) вщповщно [15].
В робота [15] для ощнки шформатпвносп зображень пропонуеться багатокритер1альний показник, що враховуе наступш параметры зображення:
К контраст;
Е шформацшну ентрошю зображення;
Ь середне значения яскравосп;
а середне квадратичне вщхплення яскравосп вщ середнього значения;
Н шльшсть градащй яскравосп.
Осшлькп задача штегрально1 ощнки мае бага-токрптер1альнпй характер, то в [15] вводиться уза-гальнений критерш I, що мае вигляд:
N
I = Wi Ci,
(3)
i=1
де Wi ваговий коеф1 щент, Ci частковпй показник; N шльшсть часткових показнпшв.
BaroBi косф1щеити визначаються по критерпо конкретшй градацп) псвним порогом к:
(Шшберна [15]:
г N (Ж +1) ' '
3 (4) видно, що вагов1 коефщенти визначеш таким чипом, е р1зпими для всис Ж парамстр1в, причому змепшуеться з1 збшьшсппям г. Тобто кожей иастуииий частковий показник матиме менший вилив на штегралышй. Тому обчислеш иараметри сортуються по IX впливу на в1зуальиу 1нформа-тившсть зображеиия. В [15] автори, Грунтуючись на експеримеиталыюму дослщженш зображень з рь зною семантикою та р!зною суб'ективною якктю, пропонують розставити иараметри в наступному порядку: Ь, а, К, Н, Е.
3 врахуванням викладеиого, штегралышй показник шформативноеш мае вигляд:
I = ,ш1Ьп + 'Ю2ап + ызКп + ыаНп + ыъЕп, (5)
дс шдекс п озпачае, що вй персраховаш иараметри пронормоваш до д1апазоиу [0,1].
На основ! власиих дослщжеиь було встаиовлеио, що запропоиоваиа в [15] метрика дае завищеиу оцш-ку при низькш Iнформат ивноеш зображеиия. Тому пропонуеться внести змши до описано!* метрики для покращеиия 11 адекватности в оцшщ I и формати вно-еш зображеиия.
По-иерше, пропонуеться зам! нити ентрогию па град1епт зображеиия С, який враховуе просторов! перепади яскравоеш по полю зображеиия:
G(x, у) = gradA = ( i + ^^ ,
(6)
дА. дА ч дх ду
де дА/дх, дА/ду перепади яскравоеш в папрямку х з штервалом г та в папрямку у з штервалом j,
вщповщно.
У свою чергу пормоваиий град!еит Gn буде ви-значатися вщношенням кшькоеш гпксел1в з иену-льовим град!еитом до загальноТ кшькоеш гпксел1в у зображеши.
По-друге, в [15] год час оцшки кшькоеш градащй яскравоеш Н, якими представлено зображеиия, враховуються абсолютно Bci градащ'1, незалежно в1д числа шксел1в М(г), що формують копкретпу гра-дащю з яскравктю г:
Н
Н, при М (г) = 0
Н + 1, при М (г) > 0
(7)
дс г = 0,1,..., 255 яскравкть градацп (для во-сьмиб1тпого зображеиия).
Одиак, часто вииикае ситуащя, коли градащя представлена в зображенш тшьки кшькома гикселя-ми \ 11 иедощльио враховувати, оскшьки П вклад е досить мал им. Щоб визиачити тальки кшьюсть зна-чущих градащй, пропонуеться обмежити Тх значения (кшьюсть гпксел1в у зображешо, що належать
Я =
С-
+1
при М (г) < к при М (г) > к.
(8)
Таким чином будуть враховуватися тшьки fri градацп, значения яких иеревищують заданий nopir к (рис. ). Експсримсптальпим шляхом було визпа-чепо, що nopir дощльпо вибирати па pinni 1 — 5% вщ значения пайбшьш значущо! градацп Мтах.
Рис. 2. Визиачеиия кшькоеш значущих градащй яскравоеш для телев1зшиого зображеиия з рис. 5
3 рис. 2 видно, що кшьюсть вегх ирисуттох на зображенш градащй Н = 155, тод1 як значущих, тобто таких, значения яких перевищуе заданий по-р1г к, Н = 146. Причому для розгляпутого прикладу (рис. ) при к = 0, 03Мтах, буде певраховапо тшьки 0,173% гпксел!в.
3 враху вання м виесеиих зм1н, 1итегральиий показник Iнфор мативноет! ирийме вигляд:
I = wiLn + W2an + W3 Нп + wAKn + w5Gn. (9)
удоскоиалеиии шдхщ дозволяе об'ективно кшьюсно оц1иити in фор м ати Biii сть зображеиия. Причому дану метрику можна викори-стовувати як для оцшки вх1диих зображень перед комилексуванням, так i результуючого зображеиия теля комплексу вання.
2.3 Комплексування зображень
3 [14] вщома велика к1льк!сть р1зиома1итиих метод1в комплексування, а саме: усереднення; метод ваговоТ функцп; максимум яскравоеш; стеиеиеве иеретворення; черезрядкове комплексування; метод маски; гидсилеиия вщмшиостей; анал1з иизько- та високочастотних складових; метод анал1зу головиих компонент; комплексування з пр1оритетом телевь з1йного зображеиия; комплексування на основ! nipa-м!ди Лапласа; комплексування на основ! дискретного вейвлет-иеретвореиия (ДВП) {DWT Discrete Wavelet Transform).
Така велика кшьюсть алгоритмов св!дчить про те, що на даиий момент не icnye у и! вер сального алгоритму комплексування зображень, а досл1джеиия в даному напрямку е актуальними.
Рис. 3. Схема комплекоування зображень запропонованим методом
Доолщження показують, що комплекоування трьох i бшыне р1зноопектральних канашв е надли-шковим, що також шдтверджуеться в [7], оокшьки завада, яка впливае на один з спектральних кана-лгв, малоймов1рно буде впливати на iHnii канали, яю працюють в р1зних спектральних д1апазонах. 3 метою оптим1зацп використання обчиолювально1 гтотужносл! апаратних засоб1в для комплексуван-ня детально вибирати два найбшын шформативних канали. Тому датп розглядаеться комплекоування титьки двох зображень.
В [1-4] показано, що метод заонований на вико-риотанш ДВП характеризуетьея найвищою отабшь-тотю при комплекоуванш зображень ргшого сюжетного зм1сту. На вщмшу вщ Фур'е-перетворення, вейвлет-базиош функцп е добре локашзованими, що дае можлив1сть проводити локальний опектральний анашз. Спектральш вейвлет-коефщенти вщповща,-ють не тшьки ампштудам р1зних частот, але i р1зним просторовим дшянкнм на зображенш.
Вщомо [1-3] шлька метод1в комплекоування зображень побудованих на oohobI ДВП, кожен з яких призначений для виршення rif i чи iHnioi зада-4i. В загальному випадку за допомогою ДВП вхщш зображення на кожному piBHi декомпози-цп розкладаються на низькочастотну (НЧ) W(нч) та високочастотну (ВЧ) W(вч) складов! вейвлет-опектра. Р1вень декомпозицп може змшюватиоя вщ 1 до log2 (min (N, М)), де N, М — розм1ри зображення. В якос/п базисно1 вейвлет-функцп викориотову-етьоя вейвлет Хаара (Haar). НЧ вейвлет-опектр ре-зультуючого зображення формуеться шляхом уое-реднення НЧ окладових вейвлет-опектра вхщних зображень, а ВЧ вейвлет-опектр — вибором максимального по модулю значения з вщповщних окладових вейвлет-опектра вхщних зображень. На за-вершальному еташ до оформованого результуючого вейвлет-опектра заотооовуеться зворотне ДВП i таким чином отримуетьоя комплекооване зображення. Слщ вщмт-гги, що 3i збшыненням р1вня декомпозицп значно збшынуетьоя шльшоть математичних
операцш, яку необхщно виконати, а в результуючо-му зображенш можуть з'являтиоя опотворення та артефакти.
Легко передбачити, що формування НЧ вейвлет-опектра результуючого зображення шляхом уоере-днення буде призводити до зниження контрасту у випадку коли, одне з вхщних зображень е ма-лошформативним. Тому для усунення даного не-до.шку пропонуетьоя новий метод комплекоування (рис. 3), який вццнзняетьоя вщ опиоаного вище гнтпим принципом формування НЧ-чаотини результуючого вейвлет-опектра.
3 метою врахування шформативнооп вхщних зображень та зв'язку ix змюту мгж собою, формування НЧ-чаотини вейвлет-опектра результуючого зображення пропонуетьоя виконувати на oohobI ста-тистичного анатпзу НЧ-чаотин вхщних зображень за допомогою лшшно1 perpeoii (SLR — Simple Linear Regression) [17]. На вщмшу вщ корелящйного ана-.ni'iy, регреошний анашз дае можливкть побудувати модель зв'язку мгж зображеннями, яка виражаеться функщею perpeoii.
Припустимо, що е N точок (xi,yi), де Xi Е X, yi Е Y, i = 1, N. Функщя, яка описуе зв'язок X i Y запиоуеться виразом [17]:
yi = a + ßxi + £i,
(Ю)
де a i ß — коефщенти perpeciferoi модел1, a £i — вщхилення X вщ Y.
Завдання визначення характеру зв'язку X i Y полягае в тому, щоб знайти таш коефщенти a i ß р1вняння
& = a + ßxi, (11)
яш б забезпечували найменше квадратичне в1дхиле-ння .niHiiiHoi perpeeiiiHoi модел1 (11) вщ емп1ричних даних ( ). 1ншими словами, коефщенти a i ß е розв'язком наотупно! задач1 м1н1м1зацп [17]:
N
Q (a, ß) = ^2(Vi - а - ßxi)2 ^ min .
(12)
г=1
Продиференцповавши Q no ai [5 та прир1внявши частков1 похщш до нуля, отримаемо точков1 ощнки параметр1в модел1 a i яю мппм1зують цшьову функщю Q:
Р =
а = Ш - px~i,
N
Y, (Xi - Xl) (Уг - y~i)
i=1_
N _ 2 ;
У^ (Xi X{ )
г=1
(13)
де xl, yl ~ середне арифметичие значення X та Y, вщповщно.
Зробивши замшу в ( ) значень х^ yi на значения вейвлет-коефпцен™ НЧ-частин W^4\ вхщних зображень А та В вщповщно, отримаемо параметри a i f3 Hanioi регресшно1 модель Пщ-
ставивши IX в (11), отримаемо HOBi НЧ вейвлет--—(нч)
коефщенти Wb , що описують характер зв'язку
W
(нч) i w(нч)
А
В
НЧ-частина результуючого формуеться настуиним чином:
вейвлет-спектра
W
()
= W
()
+ к
W
()
-Wb
()
де к — коригуючий коефщент, який визначаеться, виходячи з шформативност1 вхщних зображень:
к = \1а - 1в - 1|,
(15)
де 1А, 1В — шформативиост1 зображень A i В, вщповщно, визначеш по ( ). Причому, як А завжди вибираеться зображения з бшыпою шформативш-стю пом1ж вхщних зображень.
()
В (14) р1зниця
W
()
- Wb
описуе еле-
менти зображения В, яю вщсутш в зображенш А. Таким чином використання регресшного аиал1зу дозволяе об'еднати на одному зображенш макси-мальну юльюсть деталей з вхщних зображень.
Для перев1рки працездатност1 запропоноваиих метод1в ощнки шформативиост1 та комплексуваиня зображень розроблено алгоритми Тх реал1защ1. Мо-делювания Тх роботи проводилося на зображеннях отриманих МСМ в р1зних умовах спостереження1: в нормальних умовах — (рис. 4); при наявност1 за-вад (дим) — (рис. 5); та при низьюй освп?леност1 —
(14) (рис. 6)
а) 1А = 0, 770
Ь) 1В = 0,746
с) IFi = 0,842
d) If2 = 0,851
Рис. 4. Ощика шформативност1 зображень при мошториигу в нормальних умовах: а) телев1зшне; Ь) теплов1зшне; с) комплексоване за допомогою ДВП; d) комплексоване запропонованим методом
1COPPE/Poli/UFRJ Visible-Infrared Database
* 1
а) 1А = 0, 637
Ь) 1В = 0, 415
<=Н
^ 1
0,498
а) I,
^ 2
0, 711
Рис. 5. Оцшка шформативноста зображонь мошторингу при наявносп завади (дим) в толев1зшному канат МСМ: а) телев1з1йне: Ь) топлов1зпшо; с) комплектовано за допомогою ДВП: (1) комплексовало
запропонованим методом
с) 1Р1 =0, 291 (1) 1Р2 =0,472
Рис. 6. Оцшка шформативноста зображонь мошторингу при низьшй освиленостк а) топлов1зпшо; Ь) телев1з1йне: с) комплоксоване за допомогою ДВП: (1) комплексовало запропонованим методом
Висновки
Проведений анатз процесу мультимодалыго-го комплоксуваиия зображонь в мультисиоктраль-них системах мошториигу иоказуе. що без точно! прив'язки р1зноспектралышх зображонь та оцшки 1х шформативносп комплоксуваиия зображонь но дае очжуваних позитивних розультапв. а навпа-ки може i'x спотворити. Натомкть. теля виконан-ня npocTopoBo'i синхрошзащ1 зображонь та ощнки i'x шформативносп можна досягти синоргетичного офекту.
Запропонований вдосконалоний метод ощнки iii-формативноста зображонь на ocuoBi багатокрите-р1ального анатзу зображення. дозволяе обективно кшьккно оцшити шформатившеть зображення. На ввдмшу ввд вже кшуючого методу, удосконалений дае бшын адокватну оцшку информативность Це яскраво видно по результатах наведених на рис. 6. до для зовам но информативного толов1зишого зображення (на суб'ективний погляд автор1в) ввдомий метод дае завищену оцшку 1В = 0,266, тод1 як запропонований мае значно менше значения 1в = 0,173.
Запропонований метод комплоксуваиия зображонь на ocnoBi дискретного вейвлет-перетворення з формуванням НЧ-частини розультуючого вейвлот-спектра на ocnoBi porpeciinio'i модель дозволяв еннтезуватн ново мультнепоктралыю зображення. яке м1стить в co6i корисну шформащю з обох вхвдних зображонь i мае бшыну шформатившеть (з рис. , IF2 = 0, 851), як вщ вхщних зображонь (1А = 0, 770, 1В = 0, 746), так i ввд комплексованого зображення по ведомому методу (IF1 = 0,842). Застосуваня комплоксуваиия зображонь запропо-нованнм методом при робот МСМ в складних умовах спостероження (рис. 5. 6) дозволяе видшити олемонти. яш малопомти на вхвдннх зображеннях (рис. 6).
Перелж посилань
1. Zhong Y. Imago Fusion and Its Applications / Y. Zheng, od. Publisher: InTech. 2011. 252 p.
2. Фролов В. H. Методы информационного совмещения изображений в многоканальных оитико-электроииых системах / В. Н. Фролов. В. Л. Тупиков. В. Л. Павлова.
B. Л. Александров // Известия ТулГУ. Технические науки. 2016. № 11-3. С. 95 104.
3. Zheng Y. An Advanced Image Fusion Algorithm Based on Wavelet Transform: Incorporation with PCA and Morphological Processing / Y. Zheng. E. A. Essock. B.
C. Hansen // Proc. SP1E 5298. 2004. pp. 177-187.
4. Гривачевський A. 11. АиалЬ мотодш комплоксуваиия сигиашв uapuia.;ibiiux сиоктралышх каиалш у системах мошториигу об:ект1в та сцеи / A. 11. Гривачевський // BicuuK Hauioiia.;ibuoi'o yuiBepcuTOTy "j'lbBiBCbKa иолгго-xuiKa". Рад1оелектрои1ка та толокомуижацй". 2015. № 818. С. 55-61.
5. Kondratov Р. О. Detection and allotment of the objects based on multispoctral monitoring / P. O. Kondratov. A. H. Ohanesyan. V. F. Tkachenko. 1. N. Prudyus. L. V. Lazko. A. P. Hryvachevskyi // Modern Problems of Radio Engineering. Telecommunications and Computer Science (TCSET). Lviv. 2016. pp. 259-262.
6. Пат. 94566 UA Украша. M11K G01S 13/00. G01.I 3/29. Вагатосиектралышй виявляч иаземиих об:ект!в / A. M. Зубков. 1. П. Прудиус. А. В. Д:яков. С. А. Марти-иеико. Д. О. MuMpiKOB. А. А. Щорба; заявиик i вла-сиик иатеиту Нацшиалышй ушворситот «jlbBÎBCbKa nojii'roxiiiKa». № а2010158036; заявл. 28.12.10; оиубл. 10.05.2011. Вюл. № 9.
7. Воидароико А. Аппаратно-программная реализация мультисиектральиой системы улучшенного видения / А. Воидароико. М. Воидароико // Современная электроника. 2017. № 1. С. 32-37.
8. Hryvachevskyi A. P. The inlluence of destabilizing factors in the high resolution multispoctral imaging systems / A. P. Hryvachevskyi. S. E. Fabirovskyy. L. V. Lazko. V. F. Tkachenko // International Conference on Information and Telecommunication Technologies and Radio Electronics (UkrMiCo). Odessa. 2017. pp. 1-4.
9. Гривачевський A. П. Суъпщеиия зображонь сформо-ваиих сенсорами pi3iioï фкшчшн ирироди в upoueci комплоксуваиия cui'ua.;iiB в мультисиоктралышх системах мошториигу / А. П. Гривачевський. С. С. Фаб1ровський // BicuuK nauioua;ibuoi'o ушворситоту "jlbBÎBCbKa иолггохшка". Радшелектрошка та толоко-MyuiKauiï. 2017. № 874. С. 73-80.
10. Sahoo Р. К. Image registration using mutual information with correlation for medical image / P. K. Sahoo. U. C. Pati // Global Conference on Communication Technologies (GCCT). Thuckalay. 2015. pp. 34-38.
11. Faycal S. A relined automatic co-rogistration method for high-resolution optical and sar images by maximizing mutual information / Saidi Faycal. Chen .lie. Wang Pengbo // IEEE International Conference on Signal and Image Processing (1CS1P). 2016. pp. 231-235.
12. Wang Zhou A universal image quality index / Zhou Wang.
A. C. Bovik // IEEE Signal Processing Letters. Vol. 9. No. 3. 2002. pp. 81-84
13. Wang Zhou Image Qualifty Assessment: From Error Visibility to Structural Similarity / Zhou Wang. A. C. Bovik. H. R. Sheikh. E. P. Simoncelli // IEEE Transactions on Imago Processing. Vol. 13. Issue 4. 2004. pp. 600-612.
14. Воидароико M. А. Оценка информативности комбинированных изображений в мультисиектральиых системах технического зрения / М. А. Воидароико. В. И. Дрыкии // Программные системы и вычислительные методы. 2016. № 1. С. 64-79.
15. Романов Ю. П. Оценка качества цифровых изображений / А. П. Вогдаиов. Ю. П. Романов // Механика, уиравлеиие и информатика. 2012. JY" 9. С. 218-226.
16. Кривошоов М. И. Международные стандарты по цифровому телевизионному вещаишо / М. И. Кривошоов.
B. Фодуиии // Связь и телекоммуникации. 2007. № 8. С. 28-36. '
17. Seltman H. .1. Experimental Design and Analysis / H. .1. Seltman. 2015. 414 p.
References
[1] Zheng Y. ("2011) Image Fusion and Its Applications. InTech, 252 p. DOl: 10.5772/691
[2] Frolov V.N., Tupikov V.A., Pavlova V'.A. and Aleksandrov V'.A. (2016) Informational imago fusion methods in multichannel optoelectronic systems. Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. No. 11-3, pp. 95-104.
[31 Zheng Y„ Essock E.A. and Hansen B.C. (2004) An advanced image fusion algorithm based on wavelet transform: incorporation with PCA and morphological processing. Image Processing: Algorithms and Systems 111. DOl: 10.1117/12.523966
[4] Hry vachovskyi A. P. (2015) Analysis of the methods of signal data fusion of partial spectral channels in the monitoring systems of objects and scenes. Bulletin of the Lviv Polytechnic National University. Radioelectronics and Telecommunications, No. 818, pp. 55-61.
[5] Kondratov P., Ohanesyan A., Tkachenko V., Pradyus 1., Lazko L. and Hryvachevskyi A. (2016) Detection and allotment of the objects based on multispectral monitoring. 2016 13th International Conference on Modern Problems of Radio Engineering, Telecommunications and Computer Science (TCSET). DOl: 10.1109/tcset.2016.7452030
[6] Zubkov A. M., Prudyus 1. N., Diakonov A. V., Martynenko S. A., Mymrikov D. O. and Sherba A. A. (2011) Multi-spectral detector of ground objects, Pat. UA94566.
[7] Bondarenko A. V. and Bondarenko M. A. (2017) Apparatno-programmnaya realizatsiya mul:tispektral:noi sistemy uluchshennogo videniya [Hardware-software implementation of the multispectral system of improved vision]. Sovremennaya elektronnika. No. 1, pp. 32-37.
[8] Hryvachevskyi A., Fabirovskyy S., Lazko L. and Tkachenko V. (2017) The inlluence of destabilizing factors in the high resolution multispectral imaging systems. 2017 International Conference on Information and Telecommunication Technologies and Radio Electronics (UkrMiCo). DOl: 10.1109/ ukrmico .2017.8095371
[9] Hryvachevskyi A. P. and Fabirovskyy S. E. (2017) Matching up of images which formed by sensors of diilerent physical nature in the process of signal fusion in multispectral monitoring systems. Bulletin of the Lviv Polytechnic National University. Radioelectronics and Telecommunications, No. 874, pp. 73-80.
[10] Sahoo P.K. and Pati U.C. (2015) Image registration using mutual information with correlation for medical image. 2015 Global Conference on Communication Technologies (GCCT). DOl: 10.1109/gcct.2015.7342619
[11] Saidi F., Chen .1. and Wang P. (2016) A reiined automatic co-registration method for high-resolution optical and sar images by maximizing mutual information. 2016 IEEE International Conference on Signal and Image Processing (1CS1P). DOl: 10.1109/siprocess.2016.7888258
[12] Wang Z. and Bovik A. (2002) A universal image quality index. IEEE Signal Processing Letters, Vol. 9, Iss. 3, pp. 81-84. DOl: 10.1109/97.995823
[13] Wang Z., Bovik A., Sheikh H. and Simoncelli E. (2004) Imago Quality Assessment: From Error Visibility to Structural Similarity. IEEE 'transactions on Image Processing, Vol. 13, Iss. 4, pp. 600-612. DOl: 10.1109/tip.2003.819861
[14] Bondarenko M. A. and Drynkin V. N. (2016) Assessment of the information content of image fusion in multispectral vision systems Software systems and computational methods), "No. 1, pp. 64-79. DOl: 10.7256/23056061.2016.1.18047
[15] Bogdanov A. P. and Romanov Yu. N. (2012) Digital images quality assessment. Mekhanika, upravlenie i informatika), No 9, pp. 218-226.
[16] Krivosheev M. and Fedunin V. (2007) International standards for digital television broadcasting Elektronika: Nauka, Tekhnologiya, Biznes, No 8, pp. 28-36.
[17] Seltman H. .1. (2015) Experimental Design and Analysis), 227 p.
Повышение информативности муль-тиспектральных изображений путем мультимодального комплексирования
Гривачевский А. П., Прудиус И. Н.
Исследование посвящено проблеме объединения графической информации с различных сенсоров в муль-тнепектральпых системах мониторинга с помощью методов мультимодального комплексирования изображений. В качестве критерия эффективности объединения графической информации в единое комплексировапое изображение выбрано информативность этого изображения. Информативность предлагается оценивать с помощью предложенного усовершенствованного метода, базирующегося па основе многокритериального анализа параметров изображения. Комплексировапие изображений выполняется с помощью предложенного метода па основе дискретного вейвлет-преобразовапия с формированием низкочастотных вейвлет-коэффициептов результирующего вейвлет-спектра путем анализа регрессионной модели связи между входными изображениями. Подтверждено экспериментальным путем, что предложенный метод комплексирования дает возможность синтезировать более информативные мультиспектраль-пые изображения чем известные алгоритмы.
Ключевые слова: комплексование изображений: му-льтиспектральпый мониторинг: информативность изображения: вейвлет-превращепие: регрессионный анализ
Enhancing the Informativeness of Multispectral Images by means of Multimodal Image Fusion
Hryvachevskyi A. P., Prudyus I. N.
The research is devoted to the problem of combining graphic information from sensors of various physical nature in multispectral monitoring systems using methods of multimodal image fusion. Each of the sensors of the multispectral monitoring system allows to obtain digital images of the observed scene in different ranges of electromagnetic radiation. In this paper, we consider a two-spectral monitoring system, the frst. sensor of which operates in the visible range, and the second in the infrared. The main problem with multimodal image fusion is that each partial sensor of the multispectral monitoring system represents specifc characteristics of the environment (brightness, thermal or radar contrasts of objects, etc). Another, no less important problem is the different spatial resolution of sensors of
different physical nature and the inconsistency of their felds of view. Therefore, the problem of effective multimodal image fusion is not trivial. As a criterion for the effectiveness of combining graphical information in a single fused image, which should contain the maximum available useful information from various sensors, the informativeness of this image is chosen. A quantitative assessment of image informativeness is proposed to be performed using an improved method based on multicriteria analysis of image parameters. Multimodal image fusion is performed using the proposed method based on the discrete wavelet transform with the formation of low-frequency wavelet coefcients of the resulting wavelet spectrum by analyzing
the regression communication model between the input images from different sensors. Confrmed experimentally that the proposed method of image fusion makes it possible to synthesize more informative multispectral images than known algorithms. The application of proposed method of image fusion for monitoring objects in difcult observation conditions (smoke, fog, low illumination) allows to increase the efciency of the multispectral monitoring system and signifcantly reduce the amount of redundant information coming to the operator of the system.
Key words: image fusion; multispectral monitoring; image informativeness; wavelet transform; regression analysis
