CC BY
43
-►
Радиотехника, антенны, СВЧ-устройства
УДК 004.932.4
В.И. Марчук, В.В. Воронин, В.А. Франц
МОДИФИЦИРОВАННЫМ МЕТОД ВОССТАНОВЛЕНИЯ ДВУМЕРНЫХ СИГНАЛОВ
Оценивание истинных значений пикселей изображений в той или иной степени необходимо в большинстве задач цифровой обработки изображений. Особенно данная проблема актуальна при автоматической обработке изображений, полученных в светочувствительных матрицах в цифровых фото- и видеокамерах и системах машинного зрения. Методы восстановления двумерных сигналов находят свое применение в задачах обработки архивных документов в виде изображений, имеющих различные искажения (например, царапины, пятна, пыль, ненужные надписи, линии сгиба). В видеосигналах встречаются статические изображения, которые мешают просмотру, закрывая часть полезной информации от зрителя. К таким изображениям относятся различные логотипы каналов, дата и время или субтитры, которые были наложены на видеосигнал с дальнейшим кодированием.
Большинство методов реконструкции изображений можно условно разделить на следующие группы: методы на основе решения дифференциальных уравнений в частных производных (PDE) [1-3]; методы на основе ортогональных преобразований [4-7]; методы на основе синтеза текстуры [8-10].
Использование известных методов восстановления значений пикселей изображений приводит к размытию резких перепадов яркостей и контуров и требует априорной информации для выбора параметров методов. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных методов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений.
К группе методов, основанных на синтезе текстуры относится exemplar-based methods (EBM)
[8], заключающийся в вычислении приоритета для каждого пикселя границы с последующим поиском похожего квадратного блока в области доступных пикселей и его копировании в область отсутствующих пикселей.
К недостаткам метода следует отнести:
видимость границ на восстановленном изображении между найденными похожими блоками;
неправильное восстановление при отсутствии похожего блока;
зависимость ошибки восстановления от размера блока для поиска подобия.
Цель данной статьи - уменьшение погрешности восстановления двумерных сигналов с помощью модифицированного метода на основе exemplar-based image inpainting.
В табл. 1 представлены значения RMSE для метода EBM при восстановлении тестовых изображений в зависимости от различных размеров блока поиска подобия, где
RMSE = ^¿faj-bJ^N-M, i = 1N,J = 1M.
В качестве тестовых выбраны изображения с различными геометрическими особенностями:
1) геометрические фигуры - бинарное изображение с геометрической структурой, представленной границами двух треугольников, с отсутствующим блоком пикселей в центре на пересечении четырех границ;
2) фрагмент изображения Cameramen - фрагмент изображения c резкими перепадами яркости и отсутствующим квадратным блоком пикселей;
3) фрагмент изображения Barbara - фрагмент изображения c текстурой и отсутствующим квадратным блоком пикселей;
4) фрагмент изображения Lena - фрагмент изображения c текстурой и структурой и отсутствующим квадратным блоком пикселей.
Таблица 1
Зависимость RMSE от размера блока для различных изображений
^^^ оГ Ыоск
Image ^^^^ 3 5 7 9 И 13 15 17 19 21
(ЗеотеМс вЬарев 34,1522 15,9586 14,0662 8,6590 9,5262 6,3980 9,6281 6,1567 6,2587 12,9473
Fгagment оГ Сатегатеп 16,4594 12,6302 18,3997 12,8937 9,9134 13,3841 15,7766 13,7812 9,9367 10,2303
Fгagmentof ВагЬага 11,2524 9,42925 9,633918 10,1900 8,7511 9,7985 9,6354 9,4858 10,8206 11,7561
Fragmentof Ьепа 11,8174 11,0699 11,7119 10,4102 12,8165 9,5307 9,7823 9,2618 9,0612 9,67334
Количество отсутствующих пикселей в квадратном блоке составляет примерно 5-12 % от общего количества пикселей изображения.
Анализ результатов, представленных в табл. 1 показывает, что для каждого типа изображений существует свой оптимальный размер блока, который зависит от их геометрических особенностей. Так, при наличии резких перепадов яркости, размеры которых сравнимы с размером изображения, необходимо выбирать больший размер блока для поиска подобия. При наличии сложной структуры и большего количества границ и перепадов яркости размер блока следует брать меньше. Значение ЯМБЕ в среднем изменяется на 50-150 % при увеличении размера блока от 3 до 21 пикселей. Исследование показало необходимость введения адаптации к размеру и форме блока для поиска подобия с целью уменьшения погрешности восстановления изображений.
Упрощенная математическая модель исходного черно-белого изображения представляет собой восьмибитную двумерную дискретную последовательность У,., г = 1, N, . = 1,М (рис. 1)
Кл- ={}
|л,-А- *{}
где Б.. - доступные пиксели неискаженного изображения; пу - область изображения с отсутствующими пикселями (дефекты изображений); 5Б - граница области Б; N - количество строк; М - количество столбцов двумерного массива изображения.
Предполагается, что априорная информация о геометрических особенностях изображений отсутствует, считаются известными координаты области п., при этом ее принадлежность к классу искажений неизвестна.
Обозначим множество пикселей, принадлежащих границе области восстановления, как 5Б.,
Ги='
#
11
Рис. 1. Модель изображения
где г = 1,N,.= 1,М .
На первом шаге для каждого пикселя границы 5Б.. с помощью метода LPA-ICI адаптивно определяется форма области для поиска подобия, которая формируется путем объединения двух смежных однородных подобластей в направлении максимума градиента [11].
На втором шаге вычисляется значение приоритета Р(5Б) для каждого значения пикселя границы, который состоит из двух множителей (рис. 2) [8]:
Р(55) = С(55)-Д(85), (1)
С( 85) =
С{1)
ГР*.
,В{ЪБ) =
№
85
(2)
, '851 а
где 5Б.. - текущий пиксель на границе доступных пикселей; С(5Б) - коэффициент доверия; О(ЗБ) -коэффициент градиента; ¥5Б - адаптивный блок пикселей с центром в пикселе 5Б ; - количество пикселей адаптивного блока; - вектор, ортогональный градиенту в точке ; и5Б - вектор, ортогональный границе 5Б в точке 5Б ; а -нормированный множитель, который для восьмибитных изображений равен 255.
Вначале предполагается, что значение коэффициента доверия С для пикселей из области Б равно единице, а для области п равно нулю [8].
Рис. 2. Построение ортогональных векторов
Вычисление приоритета с помощью выражения (1) позволяет придавать больший вес пикселям, находящимся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия C(5S) позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от до -ступных пикселей из области S.
Определяется пиксель p е (i, J) с максимальным значением приоритета max P(5S.J на границе 5S и выбирается адаптивная область Op, принадлежащая данному пикселю (рис. 3), использование которой позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.
S ж
11
55
л
Рис. 3. Адаптивный выбор формы области для поиска подобия
Далее предлагается увеличивать количество блоков, полученных из исходного изображения с доступными пикселями, путем их поворота на 90, 180, 270°(рис. 4). Данный подход позволяет уменьшить погрешность восстановления изображения за счет увеличения количества блоков и увеличения вероятности нахождения более похожего блока по евклидовой метрике. _
На третьем шаге находятся блоки у h = 1, R
я
в области доступных пикселей S с учетом повернутых на 90, 180, 270°, для которых евклидова метрика минимальна (рис. 5):
J! (РР сР, )2
->min.
(3)
р
Количество блоков подобия Я определяется с помощью доверительного интервала:
дЕ (рр -О )2 т д (°Р )2
-Oq(h))2
(4)
где к = 1, Я ; а - уровень значимости.
Значения пикселей в области п смежные к пикселю с максимальным приоритетом р восстанавливаются путем усреднения соответствующих
пикселей из найденных областей у (к) в области
я /
„ _ £ /
доступных пикселей 5 5 = /г> [12].
/ К
Коэффициент доверия С для восстановленных пикселей присваивается равным текущему значению С (р) [8]. После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
Исследование эффективности проводится на тестовых изображениях с отсутствующими пикселями, которые находятся на границах с резкими перепадами яркости. Оценка эффективности качества обработки изображений проводится на основе субъективного кри-
Рис. 4. Поворот блока пикселей на изображении
Рис. 5. Поиск похожих блоков
а) б) в) г)
Рис. 6. Восстановление изображения с геометрическими фигурами
терия сравнения и статистических критериев, в качестве которых используются: значение среднеквадратического отклонения разности между оценкой полезного двумерного сигнала
| N м
и его модели
^ '-=1 м
оценка отношения
RMSE=jY.Il{s,,J-s,J Jn-M,
сигнал/шум
SNR = 10 lg
ibu2/tl&j-sJ
вое отношение сигнал/шум PSNR = 20-lg(max(S)/ /RMSE), оценка средней абсолютной ошибки
N M _ I
MAE = ^ ^ |S; j - Si j N ■ M, оценка максиму-
ма абсолютной разницы MAX = max S - S , где i = 1, N, j = 1,M .
На рис. 6 представлен пример восстановления изображения с геометрическими фигурами, на
< N М
пико-
рис. 7 - пример восстановления фрагмента изображения Cameramen, на рис. 8 - пример восстановления фрагмента изображения Lena, на рис. 9 -пример восстановления изображения Barbara с боком потерянных пикселей на текстуре (а - исходное изображение; б - изображение с отсутствующим блоком пикселей; в - изображение, восстановленное методом EBM; г - изображение, восстановленное предложенным методом).
Особенностью данного тестового изображения является то, что область с отсутствующими пикселями находится на пересечении четырех границ, которые необходимо экстраполировать, соединив соответственные противоположные границы. Предложенный метод реконструкции значений пикселей позволяет «правильно» восстановить границы изображения, а на изображении, восстановленном методом EBM, наблюда-
Рис. 7. Восстановление фрагмента изображения Cameramen
б) в) г)
Рис. 8. Восстановление фрагмента изображения Lena
Рис. 9. Восстановление фрагмента изображения Barbara
ются ошибки из-за того, что происходит замена всех пикселей из найденных похожих блоков.
Анализ результатов обработки показывает, что предложенный метод позволяет корректно восстановить границы изображения.
Из анализа результатов обработки следует, что при использовании предложенного метода реконструкции значений пикселей структура изображения, представленная границей шляпы на фрагменте изображения Lena, восстанавливается «правильно». Также следует отметить, что предложенный метод не приводит к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями. При обработке методом EBM остаются заметными незначительные искажения на фоне «бортов» шляпы.
При обработке методом EBM наблюдается зависимость эффективности восстановления от размера блока при поиске подобия, который выбирается на основе априорной информации о геометрических особенностях изображения. Предложенный метод имеет преимущество при реконструкции как текстурных участков, так и мелких деталей изображения. Особенно это преимущество проявляется для структуры, характеризующейся
перепадами яркости, границами и контурами.
В табл. 2 представлены значения погрешностей обработки для предложенного метода и метода ЕВМ при наилучших значениях параметров обработки для рассмотренных тестовых изображений. Стоит отметить, что количественные значения погрешностей подтверждают визуальный анализ. При использовании разработанного метода реконструкции изображений значения погрешностей в среднем на 30-40 % меньше, чем при обработке методом ЕВМ.
В статье предложен метод восстановления значений двумерных сигналов на основе синтеза текстуры и структуры изображений, на основе модификации метода ЕВМ. Модификация позволяет выбрать субоптимальную адаптивную форму и размер блока, для которого находятся похожие блоки. Предлагаемый метод позволяет синтезировать текстуру с одновременным восстановлением структуры изображения и получить меньшую ошибку восстановления, чем традиционный метод в среднем на 30-40 %.
Работа выполнена в рамках ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг.
Таблица 2
Зависимость погрешности обработки для различных изображений
RMSE SNR PSNR МАЕ МАХ
Метод EBM Предложенный метод Метод EBM Предложенный метод Метод EBM Предложенный метод Метод ЕВМ Предложенный метод Метод ЕВМ Предложенный метод
Geometric shapes 6,156 1,897 29,333 39,701 32,201 42,568 0,229 0,051 200 200
Fragment of Cameramen 9,913 6,179 22,553 26,616 28,185 32,311 1,763 0,836 129 107
Fragment of Barbara 8,751 7,477 23,306 24,627 29,289 30,655 1,898 1,399 115 97
Fragment of Lena 9,061 5,956 24,130 27,734 28,987 32,630 1,245 0,651 191 174
СПИСОК ЛИТЕРАТУРЫ
1. Bertalmio, M. Navier-Stokes, fluid dynamics, and image and video inpainting [TeKCT]/M. Bertalmio, A. Bertozzi, G. Sapiro//Hawaii: Proc. IEEE Computer Vision and Pattern Recognition(CVPR), 2001. -C. 213-226.
2. Perona, P. Scale-space and edge detection using anisotropic diffusion [TeKCT]/P. Perona, J. Malik// IEEE Transactions on Pattern Analysis and Machine Intelligence.-1990.-№ 12(7).-P. 629-639.
3. Ballester, C. Filling-in by joint interpolation of vector fields and gray levers [TeKCT]/C. Ballester, M. Bertalmio, V. Caselles [et al.]//IEEE Trans. On Image Proc.-2001.-№ 10(8).-P. 1200-1211.
4. Alkachouh, Z. Fast DCT-based spatial domain interpolation of blocks in images [TeKCT]/Z. Alkachouh, M.G. Bellanger//IEEE Trans. Image Proc.-2000. -Vol. 9.-№ 4.-P. 729-732.
5. Park, J.W. DCT coefficients recovery-based error concealment technique and its application to the MPEG-2 bit stream error [TeKCT]/J.W. Park, J.W. Kim, S.U. Lee// IEEE Trans. Circuits Syst. Video Technol.-1997.-Vol. 7.-№ 6.-P. 845-854.
6. Guleryuz, O.G. Nonlinear approximation based image recovery using adaptive sparse reconstructions and iterated denoising [TeKCT]/O.G. Guleryuz //Part I: theory IEEE transactions on image proc.-2006.-Vol. 15.-№ 3.
7. Elad, M. Simultaneous cartoon and texture image inpainting using morphological component analysis (MCA) [Текст]/М. Elad, J. Starck, P. Querre, [et al.]//Applied and Computational Harmonic Analysis.-2005.-Vol. 19. -№ 3.-P. 340-358.
8. Criminisi, A. Region filling and object removal by exemplar-based image inpainting [Текст]/А. Criminisi, P. Perez, K. Toyama//IEEE Trans. Image Proc.-2004.-№° 13(9).-P. 28-34.
9. Bertalmio, M. Simultaneous texture and structure image inpainting [Текст]/М. Bertalmio, L. Vese, G. Sapiro [et al.]//Proc. of the International Conf. on Computer Vision and Pattern Recognition.-2003.-P. 707-712.
10. Gabriel, P. PeyreTexture synthesys with grouplets [Текст]/?. Gabriel//IEEE transactions on pattern analysis and machine intelligence.-2010.-Vol. 32.-№ 4.
11. Katkovnik, V. Local Approximation techniques in signal and image processing/V. Katkovnik, K. Egiazarian, J. Astola.-Bellingham, Washington, 2006.-P. 553.
12. Марчук, В.И. Метод восстановления значений двумерных сигналов на основе синтеза текстуры и структуры изображений [Текст]/В.И. Марчук, В.В. Воронин, А.И. Шерстобитов//Электротехни-ческие и информационные комплексы и системы: научно-технический и теоретический журнал.-М.: РГУТиС.-2010.-№ 2.-Т. 6.-C. 25-33.
