CC BY
18
УДК 004.932.2:519.6
В.В. Мороз, О.С. Чубач
ПРОСТОРОВО-ЧАСОВА 1НТЕРПОЛЯЦ1Я ПОСЛ1ДОВНОСТЕЙ ЗОБРАЖЕНЬ З ЗАСТОСУВАННЯМ УЗАГАЛЬНЕНИХ РЯД1В У1ТТЕКЕРА-КОТЕЛЬНИКОВА-ШЕННОНА
Постановка проблеми. Сучаснi цифровi технологи зробили можливим використання багатовимiрних сигналiв в широкому дiапазонi цифрово1 техшки: вiд простих датчиков, сенсорiв, цифрових схем на сигнальних процесорах та програмованих користувачем вентильних матриць, до розподшених i паралельних обчислювальних кластерiв. Вiзуальнi сигнали займають особливе мюце в сприйняттi шформацп людиною. Зiр дае змогу людинi ввдчувати i сприймати навколишнiй свiт, тодi як комп'ютерний зiр мае на меп вiдтворення цифрових вiзуальних образiв — зображень, як1 вiдповiдають цьому сприйняттю та !х розумiнню.
Бачення, поеднання «дивитися» i «бачити», е набагато складшшим процесом, нiж можна подумати. Те, як око фокусуе i збирае свiтло добре дослвджено i зрозумiло, але те, що робить наш мозок попм, залишаеться загадкою. Наприклад, як ми розрiзняемо якийсь об'ект лише одним поглядом? Це не так, якби ми порiвнювали двi фотографп: одну цього об'екту з шшою в мозку. Коли ми «бачимо», то акцентуемо увагу тiльки на невеликий площi, лише близько одного градусу нашого поля зору.
Аналiз публiкацiй за темою дослщження. Однiею з найвiдомiших щей е припущення, що зорова система генеруе наростаючу послiдовнiсть символiчних уявлень про сцену, прогресуючи вiд "первинного начерку" зображення сiткiвки, через 2.5Б ескiз до спрощених 3Б моделей об'ектш. В роботi [2] припускаеться, що iнформацiя з клiтин, налаштованих на рiзнi просторовi частоти (або шкали) об'еднуеться в "прикмети", що, ймовiрно, вiдповiдае сутностям реального свиу, таким як границi. Сьогоднi цей пвдхвд е звичайною практикою в комп'ютерному зорi i широко поширеним в бiологiчних дослвдженнях бачення.
При ввдсутносп глибокого розумiння механiзму сприйняття в!зуально1 шформаци, продовжуються пошуки нових формальних моделей штелектуально1 обробки в!зуально1 шформаци людиною i настроювання функцюнально1 вiдповiдностi таких моделей реально юнуючому механiзму шляхом введення евристичних припущень. Але задача побудови повноцшно1 моделi механiзму сприйняття та штелектуально1 обробки в!зуально1 шформаци людиною, що розв'язуються на даний час, залишаеться занадто складною через широкий спектр трактовок такого мехашзму та через його недостатню формалiзованiсть. Тому основнi зусилля направлен! на обробку конкретних тишв зображень або об'ектiв. Теор1я, моделi та методи аналiзу, обробки i розумiння зображень е основою для побудови систем комп'ютеризовано1 медично1 дiагностики, систем вiйськового застосування для виявлення живо1 сили i транспортних засобiв противника, систем наведення ракет, систем управлшня автономними транспортними засобами, у тому числ шдводними, наземними транспортними засобами (невелик! роботи на колесах, автомобш або вантаж1вки), пшотними та безпшотними лiтальними апаратами в режим реального часу [3, 4].
Ефектившсть роботи таких систем великою м!рою залежить в!д ефективностi пiдсистем збереження та передачi шформацп, тобто в!д компактного представлення зображень. Це означае, що зображення мае описуватися якомога меншим числом базисних функцш. Таю базиси юнують лише для глобально гладких зображень, а бшьшють реальних двом!рних сигналiв не е такими. Для побудови гладких апроксимацш зображень розроблено багато р!зних ефективних методiв на основ! методiв наближення двом!рних даних [5, 6, 7]. Але бшьшють з них е не адаптивними, мають високу надшршсть в структур! зображення та сильну ашзотрошю у вибор! напрям!в. Побудова гладких апроксимацш зображень разом з можливютю ефективно1 просторово1 та часово1 передискретизацп дозволяе значно зменшити об'ем даних при кодуванш статичних та динашчних зображень, шдвищити ефектившсть метод!в видалення шуму, сегментацп, знаходження границь, розтзнавання образ!в.
Одними з найбшьш поширених операцш обробки зображень в системах фшсацп, збереження, передач!, розтзнавання е афшш трансформацп (масштабування, перемщення, зсув, поворот) цифрових зображень. В залежносп в!д сфери застосування розр!зняються ! вимоги, яким мають задовольняти методи реал!зацп афшних трансформацш (АП) - в!зуальна як1сть та обчислювальна складшсть.
1снуюч! методи АП мають р!зш характеристики трансформованих зображень, як1 можуть суттево р!знитися. Очевидно, що в медичнш сфер! виршальним чинником у вибор! метод!в АП апрюр! важлившою буде як1сть отриманого зображення, шж швидк1сть обробки даних. Прикладом такого устшного застосування метод!в повороту та масштабування зображень, отриманих при обстеженш пащенпв, е магнина томограф1я. У вшськовш справ!, управлшш транспортними засобами швидшсть обробки в!зуальних даних мае таке ж важливе значення, як ! в!зуальна як1сть. А при вибор! граф!чних редактор!в та !гровш !ндустрп виб!р методу у значнш м!р! залежить в!д економ!чно1 складово1, оск1льки,
чим б№ш вимогливою до апаратних ресурав буде програмне забезпечення, тим вужче буде коло користувачiв подiбних систем. Якщо в графiчних редакторах дощльно надати можливiсть користувачевi самому вибрати метод трансформацп виходячи з параметрiв його комп'ютера i вимог користувача до якосп, то в ^ах така можливiсть, як правило, вщсутня, оск1льки в цьому випадку вирiшальне значения набувае швидк1сть обробки графiчних даних.
Незважаючи на всю актуальшсть i практичне значення юнуючих методiв АП зображень, iснуе певний попит на комплексний аналiз останшх дослiджень та новi дослiдження з дано! теми з зазначенням практичних рекомендацiй.
Цiль статтi. В дашй роботi пропонуеться пiдхiд до масштабування статичних зображень, який також може бути усшшно застосований при обчисленш оптичних потоков в задачi просторово-часовш штерполяцп вiдео.
Основна частина. Оптимальним методом АП з точки зору вiзуального сприйняття е такий, при якому вихвдне зображення зазнае найменших змiн. Але поворот графiчного об'екта на заданий кут, вщмшний вщ значення кратного 90°, перенос на дробш частини дискретно! сiтки, будь-яке масштабування, як правило, призводить до попршення його якостi. Причина даного явища лежить у необхiдностi штерполяцп зображення - визначеннi невiдомих значень зображення в пром1жних точках дискретно! сггки.
При поворотi графiчного об'екта вихщш координати точок зображення, яш вiдповiдають вузлам дискретно! сiтки, змщуються ввдносно початково! сiтки зображення, i в бiльшостi випадк1в цi точки вже не лежать у вузлах тксельно! решитси. У силу нецшочисельносл отриманих координат i необхiдностi !х приведення до цiлих чисел, при найпростшш операцi! округлення координат «повернених» пiкселiв на отриманому зображеннi виявляються артефакти, що представляють собою «порожнечЬ» - елементи зображення, що не мютять графiчно! iнформацi! й «накладеш» пiкселi (пiкселi, в як1 записуються даш про яскравiсть ввдразу вщ двох пiкселiв оригiнального зображення). Аналопчна ситуацiя виникае i при перенос на дрiбнi частини пiкселя. Операщя масштабування взагалi призводить до пошуку iнформацi! про пiкселi, як1 ввдсутш на початковому зображеннi.
Iнтерполяцiя шформаци [8, 9] про яскравiсть пiкселiв представляе собою iнструмент для компенсацп виникаючих артефактiв з метою приведення концевого зображення в максимальну вщповвдшсть вихвдного зображення. Щд iнтерполяцiею розумiеться спосiб знаходження пром1жних значень величини яскравостi (даиi про «промiжиий» тксель) за наявним дискретним набором вщомих значень яскравостей сусiднiх пiкселiв. Зазвичай в результатi iнтерполяцi! створюються промiжнi значення яскравостей як зважена сума яскравостей сусщтх пiкселiв. Очевидно, що штерпольоваш данi будуть вiдрiзиятися ввд реальних оптичних даних, отриманих за допомогою фотокамери, i як1сть шнцевого зображення буде залежати ввд типу застосовано! iнтерполяцi!, а саме - вщ кiлькостi сумiжиих пiкселiв, що використовуються для одержання пром1жних значень i видом функцi! сполучення, за допомогою яко! здiйснюеться iнтерполяцiя.
Загальноприйняп алгоритми iнтерполяцi! можна подiлити на двi категорi!: адаптивнi та неадаптивш. Адаптивнi методи змiнюються в залежносп вiд предмета iнтерполяцi! (рiзкi кордони, гладка текстура), тодi як неадаптивш [9] методи обробляють всi пiкселi однаково. До неадаптивних методiв штерполяцп вщносяться:
- метод найближчого суада;
- бiлiнiйна iнтерполяцiя,
- бiкубiчна iнтерполяцiя,
- сплайн-iнтерполяцiя,
- iдеалiзована iнтерполяцiя, яка грунтуеться на теоремi дискретизацi!.
Залежно в1д складностi, використовуеться ввд 0 до 256 (або бшьше) сумiжиих пiкселiв для штерполяцп. Чим б№ше сум1жних пiкселiв вони включають, тим бiльш точними можуть виявитися, але даний ефект досягаеться за рахунок значного збiльшения часу обробки. Щ алгоритми можуть використовуватися як для повороту, так i для масштабування i переносу зображення.
Адаптивш алгоритми застосовуються в алгоритмах таких комерцшних програмних продуктiв, як Qimage, PhotoZoomPro, GenuineFractals та шших. Багато з них застосовують рiзнi версi! сво!х алгоритмiв (на основi попiксельного аналiзу), коли виявляють наявшсть кордону - з метою локально! мiнiмiзацi! вiзуальних дефектiв iнтерполяцi!. Щ алгоритми, в першу чергу, розроблеш для максимiзацi! бездефектно! детальностi збшьшених зображень.
Iнтерполяцiя сигналiв та теорема про вибiрки. Традицiйний пiдхiд в цифровш обробцi сигналiв грунтуеться на теоремi Уiтгекера-Котельникова-Шеннона [10, 11] про вибiрки, яка розв'язуе задачу штерполяцп лише для ввдлЫв функцi! на несшнченому iнтервалi часу:
f (t) = jj f(k (D
kTL (&N (t - k- At))
де:
1
At =-— штервал дискретизацп;
2v
max
vmax — максимальна частота, якою обмежений спектр f (t); (0N = 2жУтлх — частота Найкыста.
В частотнiй областi для обмежених в час |t| < T сигналiв f (t) у випадку неперервного спектру f (v) будемо мати:
f(v) = jj f (2жк - A v)^ (V- kA AV)), (2)
k=-X 2kT (V- k- Av)
де:
V — лшшна частота; A v — крок ввдл^ частоти. Але припущення, прийнятi в теоремi Котельникова-Шеннона, не дозволяють позбутися таких недолЫв, як необмеженють спектру реальних стохастичних сигналiв, складнiсть розрахунк1в для вiдновлення функци числовими рядами, нерiвномiрнiсть вiдлiкiв, неможливють урахування похибки вимiрювання функци в точках дискретизацп та визначення статистичних характеристик похибки при дискретизацп [12].
Тому в практичних задачах залишаеться актуальним питання розробки методiв вщновлення значень функцп в промiжках м1ж дискретними значеннями - замiнi безшнечного ряду ск1нченим.
Узагальнення ря.ив Уггтекера-Котельникова-Шеннона
На даний час iснують практичш реалiзацil екстраполяторiв рiзноl складностi: у виглядi степеневого ряду, полiноми Лагранжа, Левiтана, сплайни, атомарнi функци) та шш.
Розглянемо узагальнення рядiв Утекера-Котельникова-Шеннона на основi атомарних функцiй
[13]. Тодi неперервний сигнал f (t) з обмеженим фiнiтним спектром supp f (а) = [-Q; Q] може бути
однозначно представлений його дискретними вщтками як:
XX
f (X) = j f (k- A) П sine ( -—), (3)
k=-X i! (A-a 1)(x -k- A)
за умови
ж a - 2
a > 2, A <--. (4)
Q a-1
Даний ряд задовольняе усiм вимогам теореми Уiттекера-Котельникова-Шеннона та мае кращу збiжнiсть у випадку розривних та локальних у чаС сигналiв. При обчисленнi застосовуеться скшчений добуток i тодi мае мюце точне розкладання [14]:
N _
ж
т - £/(к'А) П-<(д. а-х x - к. А)>' (5)
при
о Л х а (1 + а~ы ) - 2
а (1 + ам ) > 2, А-------. (6)
О а -1
По|)1вии. 11>1шй ана. из зображень р1змоТ роз]шрност1
Оскiльки при масштабуванш тим чи iншим методом нове зображення мае вiдмiннi розмiри i в ньому присутня нова шформащя про елементи зображення, то потрiбно виявити наск1льки ентропiя нового зображення ввдповщае оригiналу.
Фрактальна розмiрнiсть означае статистичну величину, яка говорить про те насшльки повно фрактал заповнюе простiр, коли збiльшувати його до дрiбнiших деталей [15]. У зображенш завжди присутнi подiбнi елементи, таю як лшп i квадрати, що наближають його до фракталу. Тодi можливо
X
розрахувати фрактальну po3MipHicTb початкового i вих1дного зображення за допомогою методу розбивання на квадрати i об'еднати за допомогою метрики PSNR (Peak Signal-Noise Ratio). Для цього roTpi6ffi3 розбити зображення на блоки iз принципово рiзними елементами i Bci послiдуючi операцп виконувати окремо для кожно! дiлянки, а також отримати чорно-бiлу мапу зображення на основi яскравостей пiкселiв. Метод квадратiв дозволяе шдрахувати кiлькiсть подiбних елементiв за допомогою подшу на квадратнi блоки, що накривають все зображення. Фрактальна розмiрнiсть Мiнковського розраховуеться по формула
^ log N(r)
D = ———, (7)
log r
де N - к1льк1сть вжон розмiру r , якими можна покрити непустi елементи фракталу.
Даний шдхвд дозволяе порiвнювати оригiнальне та масштабоване зображення без iснування орипналу зображення, яке вiдповiдае масштабованому.
Висновки. Порiвняльний аналiз запропонованого методу штерполяцп зображень був апробований в задачi потоково! передачi послiдовностi зображень для пошуку поля векторiв руху.
В залежносп ввд областi пошуку руху, методи визначення поля векторiв руху дшяться на двi групи: локальш диференцiйнi та глобальнi диференцiйнi. Перша група методiв для аналiзу рiзницi свiтлового потоку в сусiднiх кадрах застосовуе обмежений ошл елементiв дискретно! сгтки. Друга група методiв виконуе пошук або по усiй област кадру, або лише в окол^ розмiр якого не бiльше довжини глобального вектора руху. Обидвi групи методiв мають сво! переваги i недол1ки. Локальнi методи характеризуються низькою обчислювальною складнiстю, але похибка обчислення поля векторiв руху е великою. Для уточнення обчисленого поля векторiв руху застосовуеться або найбiльш популярна на сьогодшшнш день медiанна фшьтращя, або глобальнi методи, як1 мають обмеження на обчислювальну складнiсть, а тому не можуть бути застосованими в тих додатках, де необхвдною умовою е потокова передача ввдео i аналiз вiдео послiдовностi в режим реального часу.
■■■■вши ■■■■■■nit
Kill*« ■ ■ Е ■ ^-HBMSESEi
^nmnm I ■■■■■пит
■»■шпттшя!
ЛИ1*И juaar; ИМИ" T7IIII ■■p. tf'ibri
Рис. 1. 1нтерпольований кадр запропонованим методом (зл!ва) ! з застосуванням вейвлетно! кратно-масштабно! штерполяцп (справа).
Для розв'язання ще! дилеми пропонуеться застосування просторово-часово! штерполяцп послвдовносп зображень:
1. Часова децимащя послщовносп, в результат! яко! шльшсть кадр!в зменшуеться в два рази.
2. Просторова децимащя кадр!в, в результат! яко! шльшсть дискретних ввдлЫв на кадр
зменшуеться в (1--) раз, де кг, кс - коефщенти децимацп по рядках та по стовпцях ввдповвдно.
КК
3. Обчислення поля вектор!в руху для кожно! суадньо! пари кадр!в.
Результуюче поле вектор!в руху в залежносл вщ обласп застосування може бути отримане двома способами:
1. 1нтерполящя поля вектор!в руху, з наступною часовою штерполящею послщовносп зображень.
2. Часова штерполящя послщовносп зображень з наступною просторовою штерполящею кадр!в. При штерполяцп поля вектор!в враховувалася його гладшсть, а для вщновлення розм!р!в кадр!в
застосовувався розроблений метод просторово! штерполяцп. Даний метод грунтуеться на теорем! Парсеваля ! використовуе спектральну щшьтстъ енергп зображення в якосп розподшу послвдовносп енергп як функцп вщ частоти.
Аналiз результата показав, що запропонований пiдхiд суттево зменшуе похибки при обчисленш оптичного потоку в порiвняннi з iснуючими методами на основi погодження блоков зображення i мае переваги ввдносно методiв, що грунтуються на кратно-масштабному вейвлетному пiдходi. Отримаш результати пiдтвердили високу як1сть часово! штерполяцп на тестових даних. На рис. 1 показаний штерпольований кадр тестово! ввдео послiдовностi. Складнiсть зображення в ка^ при часовiй штерполяцп полягае в небажаних деформацiях, яш виникають при помилковому обчисленнi оптичного потоку. Як видно, вейвлетш кратно -масштабш апроксимацй' призводять до викривлення регулярно! сiтки на задньому фош, в той час як запропонований метод дае результати, яш е значно кращими при вiзуальному сприйнятп. Недол1ком запропонованого пiдходу е вища обчислювальна складнiсть, але подальша робота направлена на усунення цього обмеження в напрямку попередньо! сегментацп зображення в залежносп вiд типу локальних особливостей поведшки функцп' поверхнi, яка апроксимуе зображення.
Л1ТЕРАТУРА
1. D. Marr. A Computational Investigation into the Human Representation and Processing of Visual Information / D. Marr // Processing of Visual Information. — New York: Freeman, 1982. — P. 29-61.
2. R. Szeliski, Computer Vision: Algorithms and Applications. / R. Szeliski — Springer, 2010. — 812 р.
3. Dahlhaus, R., Kurths, J., Maass, P., Timmer, J. Mathematical Methods in Time Series Analysis and Digital Image Processing. — Springer, 2008. — 294 p.
4. Gu, X., Gortler, S., Hoppe, H.. Geometry images. / Gu, X., Gortler, S., Hoppe, H.. // Proc. of SIGGRAPH 2002, — P. 355-361.
5. Demaret, L., Dyn, N., Iske, A.: Image Compression by Linear Splines over Adaptive Triangulations. — Technische Universität München, Germany, 2004. — P.
6. Donoho, D., Johnstone, I. Ideal spatial adaptation via wavelet shrinkage. / Biometrika 81, 1994. — P. 425-455.
7. Shai Avidan. Seam Carving for Content-Aware Image Resizing / Shai Avidan, Ariel Shamir // Proceedings of SIGGRAPH 2007. — ACM Transactions on Graphics. — Vol. 26, no. 3. — 2008. — С. 16.1-16.10.
8. J.A. Leitao. Content-Adaptive Video Up-Scaling for High-Definition Displays / J.A. Leitao, M. Zhao and G. de Haan // Proceedings of the SPIE. — 2003. — Vol. 5022. — С. 612-622.
9. Ken Turkowski. Filters for Common Resampling Tasks / Ken Turkowski // Graphics gems I. — Academic Press Professional, Inc. — 1990. — C. 147-165.
10. Аветисян Д.О. О представлении непрерывных функций одного класса дискретным множеством их значений / Д.О. Аветисян // Проблемы передачи информации. — 1984. — Т. 20, Вып. 3. — С. 94-96.
11. Джерри А. Дж. Теорема отсчетов Шеннона, ее различные обобщения и приложения / Дж. Джерри // Обзор. ТИИЭР. — 1977. — Т. 65, № 11. — С. 53-89.
12. Petre Stoica. Spectral analysis of signals / Petre Stoica, Randolph L. Moses. — Pearson Prentice Hall. 2005. — 452 c.
13. Кравченко В.Ф. Лекции по теории атомарных функций и некоторым их приложеним / В.Ф. Кравченко. — М.: Радиотехника, 2003.— 512 с.
14. Спектральные свойства атомарных функций в задачах цифровой обработки сигналов / В. Ф. Кравченко, М. А. Басараб, Х. Перес-Меана // Радиотехника и электроника. — 2001. — Т.46, №5. — С. 534-552.
15. Fractals and the Fractal Dimension [Електронний ресурс] // Vanderbilt University official website. — Режим доступу: \www/ URL:
http://www.vanderbilt.edu/AnS/psychology/cogsci/chaos/workshop/Fractals.html/ —22.11.2012.
МОРОЗ Володимир Володимирович - к.т.н., доц., професор кафедри обчислювально! математики Одеського нащонального ушверситету iменi Ы.Мечникова. Науковi штереси:
- математичш моделi та методи цифрово! обробки сигналiв та зображень
ЧУБАЧ Олена Станiславiвна - астрант кафедри обчислювально! математики Одеського нащонального ушверситету iменi Ы.Мечникова. Науковi штереси:
- використання фрактал1в та вейвлепв в цифровш обробщ сигналiв та зображень
