CC BY
103
К ВОПРОСУ О МЕТОДАХ ПОВЫШЕНИЯ КАЧЕСТВА ЦИФРОВЫХ
ИЗОБРАЖЕНИЙ
C.B. Блажевич, Е.С. Селютина
Белгородский государственный университет, ул. Студенческая, 14, 308007, г. Белгород, e-mail: [email protected]
Аннотация. Обсуждается еубпикеельная обработка цифровых изображений, направленная на улучшение качества изображения. Представлен модифицированный а;п'оритм синтеза изображения выеокохх) разрешения на основе группы изображений низкохх) разрешения с использованием принципа сверхразрешения.
Ключевые слова: цифровохх) изображения, изменение масштаба, сверхразрешение.
Введение. Цифровые изображения одно из наиболее информативных средств визуальной формы представления информации. Цифровая форма информации позволяет проводить разнообразные преобразования изображения, позволяющие улучшить мх) качество. Характеристики цифровохх) изображения можно в значительной степени варьировать в процессе компьютерной обработки. Можно отметить возможности компьютерной компенсации дефектов фокусировки изображения, устранение «шума» на изображении. Важной возможностью компьютерной обработки цифровых изображений является изменение размеров изображения путем изменения числа пикселей, которыми оно представляется. Изменять размер изображения можно на стадии мх) визуализации путем изменения размера пикселя, однако при этом начинает проявляться пиксельная структура изображения, ухудшающая мх) восприятие. Наиболее важной задачей повышения качества цифровохх) изображения является задача повышения мх) разрешения, которое определяет мх) информативность.
Изменение масштаба цифрового изображения. Когда говорят об увеличении (уменьшении) цифрового изображения, то подразумевают изменение мх) размера на экране или на друх'ом носителе с целью более удобнох'о наблюдения. Если при этом не изменять число пикселей, представляющих это изображение, то при мх) увеличении будет наблюдаться в виде хорошо заметных квадратиков пиксельная структура, которая ухудшает восприятие рисунка. Устранить этот эффект можно, если искусственно увеличить число пикселей, раздвинув имеющиеся пиксели (см. рис. 1.), и вставляя новые дополнительные пиксели, значения которых следует выбрать таким образом, чтобы минимизировать визуальный эффект пикселизации. Если нет дополнительной информации о деталях даннохх) изображения, то новые пиксели следует определить таким образом, чтобы максимально сгладить переходы между имеющимися пикселями. Простейшим способом такохх) определения является присвоение каждому новому пикселю, расположенному между двумя соседними известными пикселями, значения равно-IX) их среднеарифметическому. Пикселю, расположенному на пересечении новых столбцов с новыми строками в разреженной матрице, можно присвоить значение равное среднеарифметическому от значений четырех ближайших пикселей исходной матрицы.
Реализующая такую схему увеличения линейных размеров цифровохх) изображения (в два раза) прохрамма, созданная в среде математическохх) пакета МаШеас!, представлена на рис. 2.
Рис. 1. Схема формирования увеличенной матрицы цифрового изображения: раздвинутые пиксели исходной матрицы (изображены большими квадратами) окружены новыми пикселями, (обозначены, в зависимости от их положения относительно пикселей исходной матрицы, кружками и ромбиками).
ХХ2Нас I е 0.. го^'б(М) - 2 Гог к е 0..соЬ(М) -2 аг. •. ? <->.'. к
к +
аа2 1-1.2-к-0
»2 :10,2 к 1) <
¡»2Ш„:2к«1 ^
+ М; ь
М1Ц.1. к-1 + М;_1. к + М;. к-1 + М;. к
Рис. 2. Программа увеличения линейного размера цифрового изображения в два раза.
На рисунке рис. 3 демонстрируются исходное (д) и увеличенное цифровые изображения, полученные с использованием представленной программы ХХ2(с1).
Представленный алгоритм увеличения цифрового изображения отражает частный случай более общего интерполяционного метода. Действительно, если рассматривать строку матрицы цифрового изображения как функцию, заданную набором значений формирующих ее пикселей, то можно рассчитать значения дополнительных промежуточных пикселей, реализующих заданную степень увеличения размера матрицы цифрового изображения.
Если увеличение размера изображения используется для улучшения его зрительного восприятия, сглаживая пиксельную структуру изображения, то уменьшение размеров пикселя менее, чем в два раза не даст заметного эффекта. Однако, если необходимо изменить размеры изображения с целью оптимального размещения на странице документа, и для этого может потребоваться увеличение изображения в нецелое число раз, то алгоритм изменения масштаба будет иным. В этом случае может быть использован интерполяционный метод, но для построения изображения необходимо использовать значения только новых пикселей, рассчитанных на основе исходных и отличающиеся от них как по значению, так и по расположению на плоскости изображения.
Построив на основе матрицы цифровохх) изображения интерполяционную функцию в виде двумержнх) сплайна [1], осуществляется переход от диекретшнх) цифровохх) представления изображения возвратимся к непрерывному. Далее, можно снова перейти к дискретному уже с новыми параметрами дискретизации. На этом пути нет ограничения на значения коэффициента масштабирования изображения.
Л
ХХ2(д)
Рис. 3. Исходное цифровое изображение (д), увеличенное изображение ХХ2(с{). Детали изображения демонстрируют уменьшение эффекта пикеолидации при увеличении числа
пикселей.
На рис. 4 представлена прохрамма, реализующая в среде математическохх) пакета МаШСас! алх'оритм рееайзинга с использованием для интерполяции значений яркости непрерывшнх) изображения кубическохх) сплайна, поетроенших) на значениях матричных элементов, которые описывают исходное изображение. На рис.5 представлены картинки иеходжи'о и увели ченшнх) по этой программе в 1.2 раза по линейным размерам изображения.
Очевидно, что, используя рееайзинг, можно повысить разрешение цифровохх) изображения, однако ральших) увеличения мх) информативности при использовании подобных методов, применяемых к одному конкретному цифровому снимку, не происходит. С их помощью можно лишь изменить отдельные мх) характеристики, такие как насыщенность цветовой политры, контрастность, выделение светлых или темных деталей и другие, которые помохут человеку лучше воспринимать заложенную в этом конкретном изображении информацию. Существуют также методы преобразования изображения, направленно искажающие снимок с целью решить ту или иную задачу.
Повышение информативности изображения означает раскрытие дополнительной информацию об объекте, которая не проявлялась в исходном мх) изображении. Очевидно, что новая информация может возникнуть на изображении, если только она туда внесена. Например, если исходное изображение искажено, размыто или имеет другие дефекты, маскирующие реальные характеристики объектов на нем, то для восстановления потерянной информации нужно иметь информацию каким образом эти дефекты возникали и как их устранить. Тогда, исправляя изображение, утерянная информация устанавливается. Это относится к методам повышения
информативности снимка путем реконструкции одного исходного изображения, например, путем восстановления фокусировки на расфокусированном изображении.
al := READBMP ( "шопа_Ьшрп ) . , ,,,,,,,,
Ш1 := mm(rows (al) .cols (al))
а '.= submatrix (al , 0,nn — 1,0,un —1)
Fi<a,k) :=
n < rows (a) for i t: û: n • !
X. i— i i
Y. < i i
Mxv augment(sort(X),sortfY)) coef <- cspline(Mxy,î)
x
cpéf, Mxy, a,
fit(x,y) interp
xlow<-Mxy0j
xhish Mxv , „
-n-1,0
ylow <- MxVjj J
vhish <— Mxv , , - 6 n 1,1
xn < k-n
vn <— k-n
for i e 0..ХП - 1
xhigh - xlow xind. *— xlow+ i--t
xn - 1
for j e 0.. vn
vind. ^vlow + i " J
. yhisli - yiow
vn - 1
FIT. . fitixind..vind.) i,l 1 i'J l)
FIT
Рис. 4. Программа изменения размеров изображения с произвольным масштабом, составленная в среде математического пакета MathCad: а матрица исходного цифрового изображения, к - коэффициент увеличения (к>1) или уменьшения (к<1) изображения. Результатом программы является матрица требуемого размера FIT Fit (а,к).
В качестве дополнительной информация, позволяющей улучшить качество и информативность изображения, также может быть использована известные характеристики некоторых конкретных объектов, представленных на исходном изображении с искажениями, которая позволит исправить их, а заодно и искажения других объектов, о которых не имелось какой-либо априорной дополнительной информации. Известные объекты при этом будут использоваться как опорные в процедуре восстановления качества исходного изображения.
Каким образом увеличить разрешение и информативность цифрового изображения? Проще всего, если такая возможность имеется, переснять изображение с использованием аппаратуры, обеспечивающей более высокого разрешение. При этом, если детектирующая матрица не обеспечивает требуемого разрешения, можно использовать оптическое увеличение и снимать
изображение по фрагментам, объединяя их потом в одно цифровое изображение большого размера, обладающее таким образом и высоким разрешением. Повышение информативности изображения будет обеспечено использованием оптимальных условий регистрации для всех фрагментов: освещенность объектов, правильная их фокусировка в плоскости изображения, оптимальные характеристики детектирующей матрицы.
^-255 ———— -255
таХ а) таз<БГГ)
Рис. 5. Пример изменения масштаба цифрового изображения: а матрица исходного изображения, FIT матрица изображения увеличенного в к 1.2 раза.
Все перечисленные пути повышения качества изображения имеют одно общее свойство, они предполагают использование целопикеельных преобразований цифрового изображения. Однако существует группа методов обработки цифровых изображений, которые строятся на субпиксельном анализе. К таким методам, в частности, относится метод получения цифровых изображений высокого разрешения, называемый методом свехразрешения, который заключается в синтезе изображения высокого разрешения на основе группы цифровых изображений низкого разрешения того же объекта. С позиции получения сверхразрешения, к методам суб-пикеельной обработки изображений могут быть отнесены и методы рееайзинга, использующие искусственный переход к системе более мелких пикселей при преобразовании изображения. При этом также возникает задача определения значений новых пикселей на основе значений пикселей исходного изображения. Однако в этом случае эта задача решается из других соображений и с использованием значений пикселов только одного исходного изображения.
Синтез изображений высокого разрешения. Проблеме сверхразрешения цифровых изображений за последние годы посвящено большое число работ [2-5]. Отметим наиболее важные задачи, которые стоят на пути построения методов синтеза цифровых изображений высоко разрешения (более высокого, чем разрешение, которое обеспечивает его регистрации имеющимися матрицами детекторов).
Первая задача состоит в создании группы изображений низкого разрешения таких, чтобы в них содержалась вся необходимая для синтеза информация. Например, если два изображения отличаются друг от друга сдвигом на целое число пикселей, то они практически не несут новой информации, по сравнению друг с другом. Таким образом для синтеза необходимы цифровые изображения, имеющие относительный сдвиг на доли пикселя. В любом случае,
для получения эффективного результата в процессе синтеза одного изображения на основе группы изображений, необходимо достаточно точно знать значение еубпикеельного сдвига каждого изображения относительно одного, взятого в качестве начального. Если цифровые изображения получены в различных условиях съемки, то возникает также необходимость согласования таких свойств цифровых изображений, входящих в рассматриваемую группу, как сбалансированность по яркости и контрасту. Необходимо также устранить дефекты изображения, связанные с проявлением различных помех в канале регистрации. Созданная группа изображений должна быть полной для решения задачи синтеза изображения с требуемым разрешением.
Вторая задача создание такого алгоритма синтеза изображения со сверхразрешением, который бы правильно учитывал характеристики изображений низкого разрешения, входящих в группу. Задача сверхразрешения обычно оказывается недоопределенной обратной интегральной задачей [6], требующей дополнительных условий для евоего решения. Количество неизвестных значений пикселей новой синтезируемой матрицы оказывается больше, чем количество уравнений, связывающих их со значениями пикселей группы исходных матриц. В работе [7] с целью формирования полной системы уравнений был предложен способ регистрации изображения, при котором изображение ограничивалось специальным экраном равным по размеру регистрирующей матрицы (см. рис. 4). При регистрации первого цифрового изображения, матрица за экраном размещалась точно в апертуре экрана и все ее детекторы (пиксели) были полностью открыты для восприятия изображения. Последующие цифровые изображения регистрировались матрицей, сдвинутой относительно оптического изображения на заданную долю пиксела по вертикали и по горизонтали, располагая таким образом части пикселов вне границы оптического изображения, в тени экрана. Таким образом формировались граничные условия, позволяющие однозначно решать обратную задачу синтеза изображения высокого разрешения. Частным случаем такого граничного условия является нулевое: изображение, спроецированное на матрице детекторов не должно выходить за ее пределы для любого из положений матрицы, используемых при регистрации группы исходных цифровых изображений. Такое условие может быть создано при формировании изображения оптической системой съемочной камеры. В этом случае для реализации синтеза изображения по полной группе изображений с фиксированными субпиксельными смещениями, т.е. по группе, обеспечивающей получение требуемого сверхразрешения, могут использоваться алгоритмы, описанные в работе [7].
Литература
1. Василенко В.А. Сплайн-функции: теория, алгоритмы, программы / Новосибирск, 1983.
2. Sung Chcol Park, Super-resolution image reconstruction: a technical overview /7 Signal Processing Magazine, IEEE. - 2003. - 20,№3. - C.21 36.
3. Elad M., Feuer A. Super-resolution reconstruction of continuous image sequences /7 International Conference on Image Processing (ICIP 99). - 1999. - 3. - С.459 463.
4. Elad M., Feuer A. Super-resolution reconstruction of continuous image sequences: adaptive filtering approach /7 Image Processing, IEEE Transactions on. - 1999. - 8, №3. - C.387 395.
5. Блажевич С.В., Винтаев В.Н., Ушакова Н.Н. Синтез космического изображения с улучшенной разрешающей способностью на основе еубпикеельного сканирования /7 Современные проблемы дистанционного зондирования Земли из космоса. - 2010. - 7, №2. -С.9 13.
6. Васьков С.Т., Ефремов В.М., Резник А.Л. Быстрая цифровая реконструкция сигналов и изображений по критерию минимума энергии /7 Автометрия. - 2003. - 39, №4. - С.13-20.
7. Блажевич С.В., Селютина Е.С. Повышение разрешения цифровых изображений е использованием субпиксельнохх) сканирования /7 Научные ведомости БелГУ. Математика. Физикаю. - 2014. - 5(176), Вып. 34. - С.186-190.
ТО METHODS OF QUALITY INCREASE OF DIGITAL IMAGES
S.V. Blazhevich, E.S. Selyutina
Belgorod State University, Studericheskaja St., 14, Belgorod, 308007, Russia, e-mail: [email protected]
Abstract. Subpixel digital image processing is discussed. It is proposed the modified algorithm of superresolution image synthesis on the base of image group of small resolution with the use of the superresolution principle.
Key words: digital image, resizing, superresolution.
