CC BY
113
Краткий обзор и программная реализация избранных методов для
деконволюции изображений
А.Ю. Кулакович, Н.Н. Венцов Донской государственный технический университет, Ростов-на-Дону
Аннотация: Приведён краткий обзор проблемы потери качества изображения. Рассмотрены и проанализированы методы для восстановления расфокусированных изображений. Описаны функции смаза и способы дефокусировки изображения, а также механизм по устранению трёх основных видов смаза изображения. Был проведен ряд экспериментов над расфокусированными изображениями. Разобран алгоритм деконволюции изображения при помощи фильтра Винера и при помощи метода регуляризации Тихонова. В работе проведен анализ корректности применения фильтра Винера и регуляризации Тихонова для смазанных изображений. Определена зависимость времени выполнения алгоритма от размерности восстанавливаемого изображения. Установлено, что на тестируемых задачах - временная сложность фильтра Винера в 1,1 раза меньше временной сложности регуляризации Тихонова.
Ключевые слова: фильтр Винера, деконволюция по Винеру, регуляризации Тихонова, восстановление изображений, смазанные изображения, motion blur, размытие по Гауссу.
Введение
К факторам, обуславливающим проблему дефокусировки изображений можно отнести: неправильную наводку фокуса на фотоаппарате, движение камеры или объекта перед камерой, искусственное размытие изображений и д.р. Восстановление изображений является актуальной научной практической проблемой, по причине применения изображений при построении математических и информационных моделей.
I Краткий обзор проблемы потери качества изображения
Процесс моделирования искажения заключается в применении функции искажения к исходному, неискаженному изображению, называется сверткой функции или convolution (русс.свёртка), то есть определенная область начального неискаженного изображения сворачивается в один пиксель
II Инженерный вестник Дона, №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4468
искаженного изображения по определенному закону [1, С. 15]:
где h(x,y) - искажающая функция, «*» - операция свёртки изображения, g(x,y) - исходное, неискаженное изображение, a = (m — 1) / 2, b = (n - 1) / 2, ти n- размеры исходного и неискаженного изображения.
В работе рассмотрены часто встречающиеся варианты искажений, а так же приведены схемы построения ядра для каждого из них. Под ядром искажения понимают функцию искажения h(x,y).
Gaussian blur или размытие по Гауссу. В природе этот тип искажений встречается при фотографировании планеты Земля с помощью спутников и появляется в следствии турбулентности атмосферы.
Данный вид искажения достаточно часто умышленно применяется к уже отснятым изображением при их первой обработке для уменьшения количества шума, но при этом также и падает уровень резкости, что может в дальнейшем оказаться нежелательным [2, С. 336].
Размытие по Гауссу описывается формулой [1, С. 17]:
где y(m,n) - искаженное изображение, г - параметр размытия Гаусса, тип- размеры исходного и неискаженного изображения.
Out-of-focus blur или эффект Боке — размытость, которая возникает из-за неправильной или неточной наводки фокусного расстояния. R -обозначает радиус размытости изображения в пикселях. Out-of-focus blur описывается следующей формулой [1, С. 17]:
;
1
7, прн^/т2 + v? £ R О, ед ругам случае
h{m,n)= {теД2
СЗ]
где h(m,n) -размытое изображениеД - радиус размытия, ти n- размеры исходного и неискаженного изображения.
Motion blur - это размытое изображение, в результате движения объекта или движения камеры. Motion blur описывается следующей формулой [1, С. 17]:
где И(ш) - смазанное изображение, Ь-длина следа размытия, т-длина смазанного изображения.
II Краткий обзор методов для восстановления расфокусированных изображений.
Существует достаточно много методов для восстановления расфокусированных изображений. Наиболее известными являются: фильтр Винера и регуляризация по Тихонову, ввиду их популярности и эффективности. По причине непрерывного совершенствования программных и аппаратных средств ЭВМ, актуальной проблемой является проблема выбора наиболее приемлемого метода в каждом конкретном случае.
Фильтр Винера рассматривает изображение и шум как случайные процессы и находит такой коэффициент f для неискаженного изображения чтобы среднеквадратическое отклонение этих величин получилось минимальным. Минимум отклонения данной функции можно достичь в частотной области. Формула Фильтра Винера приведена ниже [2, С. 414]:
h(m) - к' ( 0
fl L L
(4)
0, в другом случае
II Инженерный вестник Дона, №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4468
где F"(u,v) - восстановленное изображение, H(u,v) -искажающая функция, G(u,v) -искаженное изображение, Sn / Sf-заменяется константой k = 0,00000000001.
Результаты работы программного обеспечения для реального изображения с функцией самаза out-of-focus blur и motion blur на основе фильтрации Винера продемонстрированы на следующий изображениях (рис.1, рис. 2). В качестве параметров для функции смаза out-of-focus blur использовался R = 9.5, для функции смаза motion blur L = 100.
a) Смазанное изображение б) Восстановленное изображение Рис.1 - Результаты работы программного обеспечения для реального изображения на основе фильтрации Винера, out-of-focus blur
a) Смазанное изображение б) Восстановленное изображение
IH Инженерный вестник Дона. №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4468
Рис.2 - Результаты работы программного обеспечения для реального изображения на основе фильтрации Винера, motion blur Фильтрация по Тихонову или Тихоновская регуляризация. Идея данных методов заключается в формулировке задачи в матричном виде с дальнейшем решением соответствующей задачи оптимизации. Формула фильтрация по Тихонову приведена ниже[3, с. 8]:
где F(u,v) - восстановленное изображение, H(u,v) -искажающая функция, y - параметр регуляризации, а P(u,v) - Фурье-преобразование оператора Лапласа, G(u,v) -искаженное изображение.
Результаты работы программного обеспечения для реального изображения с функцией смаза out-of-focus blur и motion blur на основе фильтрации Тихонова продемонстрированы на следующий изображениях (рис. 3, рис. 4). В качестве параметров для функции смаза out-of-focus blur использовался R = 9.4, для функции смаза motion blur L = 100.
ШШИиии^
ДШ
донской госудд?сго£йны11 ТЕХНИЧ1СЧИ*1 у«иэ£рс41тст
сггдгния об
a) Смазанное изображение б) Восстановленное изображение Рис. 3 - Результаты работы программного обеспечения для реального изображения на основе фильтрации по Тихонову, out-of-focus blur
а) Смазанное изображение б) Восстановленное изображение
Рис. 4 - Результаты работы программного обеспечения для реального изображения на основе фильтрации по Тихонову, motion blur Разработанная программа позволяет загружать фотографии формата jpeg, png, jpg и размерности до 1027*768.Вычислительный эксперимент производился на компьютереASUSN56(Inte® Core™ i7-3630QM, CPU @2.40 GHz, ОЗУ 8 ГБ, 64 - разрядная ОС), под управлением ОС Windows 8.
Целью эксперимента было определение эффективности использования алгоритмов Винера и Тихонова для деконволюции изображения. В качестве критериев эффективности использовалось время выполнения при различных размерностях изображения. Время работы определялось объективно.
На основании результатов, полученных при проведении серии экспериментов, установлено, что в среднем результат восстановления при помощи данного фильтра будет наилучшим, однако это не означает, что результат будет таковым для каждого определенного изображения (рис. 5).
1К1 Инженерный вестник Дона. №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4468
а) Смазанное изображение б) Восстановленное изображение Рис. 5 -Максимально приемлемый результат восстановления для
данного изображения В таблице приведены данные, отражающие зависимость времени выполнения алгоритма от размерности восстановленного изображения.
Таблица - Оценка методов для деконволюции изображения
Время выполнения алгоритма (сек)
Вид фильтра 512*512 612*612 712*712 812*812 912*912 1024*1024
Фильтр Винера 1,3 2,12 2,55 2,89 3,35 4,12
Фильтрация по Тихонову 1,32 2,18 2,62 3,08 3,43 4,21
На рис. 6 по оси абцисс отображена размерность воссанавливаемого изображения, измеряемая в пикселях, по оси ординат - время восстановления изображения соответствующим методом, измеряемое в секундах.
:
Рис. 6-Зависимость времени работы алгоритмов от размерности восстанавливаемых изображений Согласно графику, изображенному на рисунке 6 можно сделать вывод, что фильтр Винера эффективнее справляется с восстановлением расфокусированных изображений.
Заключение
1. Проведен краткий обзор функции смаза и дефокусировки изображений.
2. Рассмотрены основные алгоритмы для восстановления расфокусированных изображений.
3. Реализовано программное обеспечение для восстановления расфокусированных изображений в среде Microsoft Visual Studio 2012. Для преобразования Фурье использовалась библиотека - aForge.
4. Определена зависимость времени выполнения алгоритма от размерности восстанавливаемого изображения. Установлено, что временная сложность фильтра Винера приблизительно в 1,1 раза меньше временной сложность регуляризации Тихонова.
Работа выполнена при поддержке РФФИ проект № 16-01-00390.
Литература
1. Che-Yen Wen, Chien-Hsiung Lee. Point spread functions and their applications to forensic image restoration. Forensic Science Journal. 2002;pp. 15-26
2. Хуанга, Т. Обработка изображений и цифровая фильтрация / Т. Хуан-га. М.: Мир, 1979. - С.320
3. Вольфганг Стефан, Общая вариация, Регуляризация для линейных некорректных обратных задач: расширения и приложения, 2008. 151c.
4. Пасечник П. А., Белая Т.И., Терехов В.Г. Восстановление изображений с помощью битовых плоскостей в автоматизированных системах управления и обработки информации //Инженерный вестник Дона, №3, 2015URL: ivdon.ru/ru/magazine/archive/n3y2015/3189.
5. Туан Зунг Нгуен. Алгоритмы ускоренной обработки изображений препятствий в системе технического зрения робота. Инженерный вестник Дона, №1, ч.2, 2015URL: ivdon.ru/ru/magazine/archive/n1p2y2015/2855.
6. Андерсон Т. Статистический анализ временных рядов / Андерсон Т. -М.: Мир, 1976. - с.756
7. Гонсалес Р., Вудс Р. Цифроваяобработка изображений. - М.: Техносфера, 2005. -с. 1072
8. RichardsonW. H. Bayesian-Based Iterative Method of Image Restoration, M.: Journal of the Optical Society of America, 1972. - pp. 55-59.
9. Тихонов В.И.Статический анализ и синтез радиотехнических устройств и систем связи / В.И. Тихонов, В.Н. Харисов. - М.: Радио и связь, 2004. - С. 608.
10. Демиденко Е.З. Линейная и нелинейная регрессия. М.: Финансы и статистика, 1981. - С. 302.
11. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячаялиния - Телеком, 2002. - С. 382.
References
1. Che-Yen Wen, Chien-Hsiung Lee. Forensic Science Journal. 2002; pp. 1526
2. Khuanga, T.,Obrabotka izobrazheniy i tsifrovaya fil'tratsiya [Image processing and digital filtering], Mir, 1979. 320p.
3. Vol'fgang Stefan, Obshchaya variatsiya, Regulyarizatsiya dlya lineynykh nekorrektnykh obratnykhz adach: rasshireniya i prilozheniya [General variation, Regularization for linear inverse inverse problems: extensions and applications], 2008. 151 p.
4. Pasechnik P.A., Belaya T.I., Terekhov V.G. Inzenernyj vestnik Dona (Rus), №3, 2015. URL: ivdon.ru/ru/magazine/archive/n3y2015/3189.
5. Tuan ZungNguen. Inzenernyj vestnik Dona (Rus), №1, part2, 2015 URL: ivdon.ru/ru/magazine/archive/n1p2y2015/2855.
6. Anderson T., Statisticheskiy analiz vremennykh ryadov [Statistical analysis of time series]. Mir, 1976.756 p.
7. Gonsales R., Vuds R., Tsifrovaya obrabotka izobrazheniy [Digital image processing],Tekhnosfera. 2005. 1072 p.
8. Richardson W. H. Journal of the Optical Society of America. 1972. pp. 5559.
9. Tikhonov V.I., V.N. Kharisov., Staticheskiy analiz i sintez radiotekhnicheskikh ustroystv i system svyazi [Static analysis and synthesis of radio engineering devices and communication systems], Radio i svyaz'. 2004. 608 p.
10. Demidenko E.Z., Lineynaya i nelineynaya regressiya [Linear and nonlinear regression], Finansy i statistika. 1981. 302 p.
11. Kruglov V.V., Borisov V.V., Iskusstvennye neyronnye seti. Teoriya i praktika [Artificial neural networks. Theory and practice], Goryachayaliniya Telekom. 2002. 382 p.
