CC BY
132
УДК 517.958:57
М.И. Савельев
ЭФФЕКТИВНЫЙ АЛГОРИТМ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЯ СО СВЕРХВЫСОКИМ РАЗРЕШЕНИЕМ
Восстановление со сверхвысоким разрешением производит одно изображение с высоким разрешением из некоторого количества изображений с низким разрешением. Известные итеративные методы получения сверхразрешения [1-4] надлежащим образом не решали вычислительные проблемы, возникающие при решении данной плохо обусловленной задачи неопределенного большого масштаба. В работе предлагаютcя эффективные блочно-циркулянтные матрицы с улучшенной обусловленностью для решения задачи сверхразрешения в регуляризации Тихонова с помощью метода сопряженных градиентов.
Также приведен вывод обобщенного метода перекрестной проверки для автоматического вычисления параметров регуляризации на случай произвольных систем.
M.I. Saveliev AN EFFICIENT SUPERRESOLUTION IMAGE RECONSTRUCTION ALGORITHM
Super resolution reconstruction produces a high-resolution image from a set of low-resolution images. Previous iterative methods for super resolution [1-4] had not adequately addressed the computational and numerical issues for this ill-conditioned and typically underdetermined large scale problem.
Efficient block circulant preconditioners for solving the Tikhonov-regularized superresolution problem by the conjugate gradient method are proposed in the article. The derivation of the generalized cross-validation method for automatic calculation of regularization parameters is given here.
Физические параметры системы ограничивают допустимое графическое разрешение во многих приложениях, связанных с получением изображений. Эти графические системы получают искаженные или неполные изображения, если их чувствительные матрицы имеют недостаточную плотность. В ранних статьях уже были развиты прямые и итеративные методы получения сверхразрешения: восстановление неискаженного изображения с высоким разрешением (ВР) из нескольких искаженных изображений низкого разрешения (НР). Предложенные непосредственные методы включают метод областей Фурье [1, 2], когда высокочастотная информация извлекается из низкочастотных данных, содержащихся на НР-изображениях. Несколько методов [3] использовали метод комбинированного интерполяционного восстановления в области изображения. Хотя обычно эти методы устойчивы к шумам и допускают некоторый произвол в параметрах моделирования, алгоритмы на основе проектирования также известны низкой скоростью сходимости. Позднее был предложен метод сопряженных градиентов (СГ) для решения задачи сверхразрешения в регуляризации Тихонова [4]. Однако в значительной степени вычислительные и цифровые осложнения
сверхразрешения не получили должного внимания. Поэтому получение изображения со сверхразрешением - это вычислительно сложная задача, которая обычно включает десятки тысяч неизвестных. Более того, получающаяся матричная система уравнений обычна, недоопределена и плохо обусловлена, что может усилить влияние шума и эффектов размытия.
В данной работе предлагаются эффективные блочно-циркулянтные матрицы улучшенной обусловленности, которые позволяют воспользоваться специфической структурой матрицы системы сверхразрешения и существенно ускорить метод СГ. Кроме того, описан обобщенный метод перекрестной проверки (ОМ1111), который часто применяется для оценки неизвестных параметров в регуляризированных по Тихонову переопределенных задачах метода наименьших квадратов, когда дисперсия шума известна неточно.
Цель исследования состоит в сопоставлении информации по одной и той же картинке от различных источников. При решении задачи сверхразрешения, в действительности, НР-кадры обычно представляют различные «виды» на одну и ту же картинку под слабо различающимися углами. Каждый кадр вносит новую информацию, которая используется для интерполяции субпиксельных значений. Чтобы получить различные виды на одну и ту же картинку, требуется от кадра к кадру записывать некоторые относительные смещения. Эти движения картинки могут быть вызваны контролируемым движением или неконтролируемыми перемещениями внутри самого изображения (например, движение в пределах области видимости камеры слежения). Сверхразрешение может быть достигнуто, если закон движения изображения известен, либо может быть оценен с точностью выше 1 пикселя.
Считаем, что каждый НР-кадр представляет собой зашумленную и обычно недоопределенную версию ВР-картинки, которая была сдвинута и смазана [1]. Более строго,
К = DkCkFkx+пк> 1 ^ k ^ p, (1)
где р - число доступных кадров; Ьк - вектор размерности Ых1, представляющий к-й тхп НР-кадр N = тп) в лексикографическом порядке. Если / - коэффициент улучшения разрешения по каждому направлению, х - /2#х 1-мерный вектор, отображающий ВР-кадр размером /тх/п в лексикографической последовательности; Fk - матрица сдвига размера /2Кх/2Ы, которая отображает относительные движения между каждым кадром и опорным кадром; Ск - матрица размытия размером /2#х/2#; Dk - единичная матрица операции дискретизации с прореживанием размера #х/2#; пк - вектор случайного аддитивного шума, то, переписывая уравнения (1) в матричном виде, имеем
д с F
Ь = H • х + п, где H =
' DpCpFp
В данной статье учитываются только интегральные сдвиги целой группы ВР-пикселей. Неинтегральные сдвиги заменяются ближайшими интегральными сдвигами. В этом случае, для получения сверхразрешения допустимо использование максимум г2 неизбыточных НР-кадров, где г - коэффициент улучшения разрешения по каждому измерению. Если нам доступны все возможные горизонтальные и вертикальные сдвиги, то матрица системы (2) будет квадратная, и задача в основном сводится к устранению размытия изображения. В действительности, такой случай представляет редким, то есть система (2) является недоопределенной. Для каждого кадра с помощью одного вектора смещения аппроксимируются относительные смещения между ним и опорным кадром. В случае, когда перемещения картинки контролируемы, векторы смещений - известные величины. В противном случае их можно оценить с помощью какого-либо алгоритма обработки последовательности изображений. Кроме того, предполагается, что функция
(2)
рассеяния точки (ФРТ), которая генерирует оператор размытия, известна и не меняется от точки к точке.
ФРТ получается при дискретизации компактного оператора, так как этот оператор H - плохо обусловлен [2]. Чтобы получить разумную оценку х, переформулируем задачу в виде регуляризованной задачи минимизации
шт а|К - Их||2 + xгQx, (3)
где Q - некоторая симметричная, положительно определенная матрица, а а - множитель Лагранжа. В данной формулировке Q выступает в роли стабилизационной матрицы, и новая система становится лучше обусловленной. Q также может содержать некоторые первичные данные о самой задаче. Поскольку Q - симметричная положительно определенная матрица, то для нее имеет место разложение Холецкого Q = ЬгЬ, где Ь -верхняя треугольная матрица. Полагая у = Ьх, А = ИЬ-, можно придать (3) стандартный вид
шт а||ь - А • у||2 +||у||2. (4)
у
Решение приведенной выше недоопределенной задачи (4) по методу наименьших квадратов имеет вид [2]
х = Q^(^^ +Х1)“'К . (5)
В приведенной выше формулировке X - параметр регуляризации. Чем больше X, тем лучше обусловлена система, но вновь полученную систему все равно еще решать сложно. Для расчета параметра регуляризации мы применим ОМПП, широко используемый при решении переопределенных систем по методу наименьших квадратов.
Идея перекрестной проверки достаточно проста: все множество данных делится на две части: одна из этих частей используется для построения приближенного решения, а вторая служит для проверки полученной аппроксимации. ОМПП - это просто перекрестная проверка, примененная для исходной системы, над которой было совершено унитарное преобразование. Также известно, что ОМПП менее чувствителен к большим ошибкам отдельных уравнений, нежели обычная перекрестная проверка [4]. Для переопределенных систем было показано, что асимптотически оптимальный регуляризационный параметр, согласно ОМПП, задается ([5]) выражением
(AAг +А! )-1Ь
хосу = агё'™ I, АТ лт,-! . (6)
х ^ fiAAг +А!) }
Для недоопределенных систем несложно с помощью ОМПП вывести замкнутую форму параметра регуляризации в матричной форме
аг§ш1и С}- (X) = аг§тт X2 D-1 (AAг + XI)1 Ь . (7)
X ]■=' X 2
Обобщенный метод перекрестной проверки - это просто инвариантная к повороту форма перекрестной проверки. Поэтому можно получить следующее соотношение, являющееся формулировкой принципа ОМПП
* (AAг +АI )-1Ь
= аг§ш1п £ с (х) = аг§ш1^ ^—Т---г----. (8)
X 1=1 ; X tг{(AAг +XI)'}
Легко видеть, что данная формулировка имеет такую же форму, как и в переопределенном случае.
Как было описано ранее, получение сверхразрешения является вычислительно ресурсоемкой задачей. Число неизвестных, то есть число пикселей в получаемом ВР-
изображении, обычно составляет десятки или сотни тысяч. Скорость сходимости метода
СГ [6] зависит от распределения собственных значений матрицы системы. Этот метод хорошо работает для тех матриц, которые хорошо обусловлены, либо для матриц с
незначительным количеством сильно различающихся собственных значений. Построение матриц улучшенной обусловленности (МУО) - это метод преобразования исходной системы в систему с таким же решением, которая может быть быстрее решена итерационными методами [6]. Для метода СГ мы будем искать такие МУО, чтобы полученная система имела все собственные значения в окрестности 1. В подобных случаях метод СГ сходится очень быстро. Переставим столбцы матрицы Н и элементы х, соответственно следующим образом: разобьем ВР-изображение на области размером /х/ каждая и пронумеруем пиксели в каждой из них в лексикографическом порядке от 1 до /2.
Желаемый порядок, таким образом, д1(1),...,чЫ\ч[2),...,Ч'Ы),-..,д1(/2),...,Ч((/2) где ^
пиксель г-й области. В силу сделанного предположения о инвариантности ФРТ, переставленная матрица Т имеет следующий вид
где ЧГ - 1-й
пространственной
" Т *11 Т 12 Т 1[
Т = Т *21 Т 22 Т 2[
Т _ р2 Т р2 •• Т
(9)
В данной матрице каждый блок Ту является верхнеполосовой теплицевой матрицей, то есть у Ту ненулевыми являются только элементы над диагональю. Сначала приблизим матрицу Т блочной матрицей Т = (т. ), блоки которой Т. являются
теплицевыми. Матрица Т. получается из Ту путем заполнения всех нулевых элементов у
ненулевых диагоналей.
Первая МУО, которая впервые была предложена в [6], строится из теплицевой матрицы Т при помощи копирования центральных диагоналей. Например, верхнеполосовая теплицева матрица Т и МУО С, полученная из нее, показаны ниже
"г0 ; " гь - " г0 гь
Т = го : " ч С = гь го г0 ; гь гь-1
_ г0 _ г ■" гь г0 _
Для блочной матрицы Т = (Т) с теплицевыми блоками Ту блочной версией МУО является С = (С), где каждый блок - циркулянтное приближение Странга [6] для Ту. Для систем, возникающих из регуляризованной задачи метода наименьших квадратов ТТГ + XI с блочной теплицевой матрицей Т, МУО будет ССГ + XI.
Второй вариант МУО, разработанный в [6], - это приближенно обратная МУО для верхнеполосовой теплицевой матрицы ТЫхЫ , с шириной полосы, меньшей либо равной Ь. Она строится следующим образом. Сначала помещается матрица Т в циркулянтную матрицу размером (Ы + Ь)х (Ы + Ь) так, чтобы
С =
^НЫ
г0 г1 гь-1 ' 0"
" Т Т _ х 21 1 22 12 Т1 Т2 , где Т22 = г0 ; гЬ-2 , Т21 = [ 0 0], Т12 = 0 ь
г0 _
ь
2
2
2
г
Ь
Далее, мы разделим СНЫ на следующие блоки
" M M12 -
M 21 M 22 J’
где M - это подматрица размера NxN, расположенная в левом верхнем углу. Матрица М как раз и является приближенной обратной МУО для Т.
Для регуляризованных недоопределенных матриц вида TTT + XI, Т встраивается в циркулянтную блочную матрицу С так, чтобы каждый блок Су был циркулянтным расширением для Tj, как описано выше. Для X > 0 CCT + XI - несингулярная. В этом
случае используется подматрица М с таким же множеством строк и столбцов в
(CCT +XI )-1 , как и у матрицы Т в С, в качестве приближенно обратной МУО для
TTt +XI.
В работе представлен эффективный и точный алгоритм для получения сверхразрешения и освещены два аспекта: точный метод восстановления
сверхразрешения, использующий регуляризацию Тихонова, и обобщенный критерий перекрестной проверки для недоопределенных систем, а также в целях ускорения сходимости метода СГ предложено использовать МУО циркулянтного типа, что ведет к значительному ускорению работы алгоритма в целом.
ЛИТЕРАТУРА
1. Bascle B. Motion Deblurring and Super-Resolution from an Image Sequence / B. Bascle, A. Blake, A. Zisserman // EECV. Apr. 1996. P. 573-581.
2. Brown L. A survey of image registration techniques / L. Brown // ACM Computers Survey. Dec. 1992. P. 325-376.
3. Chan R. Conjugate gradient methods for Toeplitz systems / R. Chan, M. Ng // SIAM Review. Sept. 1996. P. 427-482.
4. Elad M. Super-resolution reconstruction of continuous image sequence / M. Elad, A. Feuer // IEEE Trans. Pattern Analysis Machine Intelligence. Sept. 1999. Vol. 21. P. 817-834.
5. Golub G. Generalized cross-validation as a method for choosing a good ridge parameter/ G. Golub, M. Heath, G. Wahba // Technometrics. 1979. Vol. 21. P. 215-223.
6. Chan R. Toeplitz equations by conjugate gradient with circulant preconditioners / R. Chan, G. Strang // SIAM Journal of Scientifical Statistical Computing. Jan. 1989. Vol. 10. P. 104-119.
Савельев Максим Ильич -
аспирант кафедры «Техническая кибернетика и информатика»
Саратовского государственного технического университета
Статья поступила в редакцию 18.07.07, принята к опубликованию 05.09.07
C =
HN
