CC BY
668
H94(16)2008
Д.В. Сидоров
К вопросу оценки качества множества восстановленных изображений
В статье рассмотрены основные методы и подходы к оценке качества восстановленных или обработанных изображений, показана проблема эффективной оценки большого количества изображений, полученных, например, в результате экспериментальной настройки алгоритма сжатия. Предложен и реализован достаточно эффективный метод оценки качества изображений, позволяющий получать результаты, близкие к экспертной оценке.
При разработке и тестировании алгоритмов и систем, использующих цифровое представление изображений, весьма актуальной является задача оценки качества принятых изображений. На сегодняшний день единого метода оценки качества обработанных и восстановленных изображений нет [1].
Существующие методы оценки можно разделить на два больших класса:
• субъективные оценки (экспертные);
• математические оценки (метрики).
Для метода субъективных оценок необходима группа(ы) экспертов, чтобы получить информацию о качестве обработанного или восстановленного изображения. Используются следующие методы субъективной оценки [1, 2]:
DSIS (Double Stimulus Impairment Scale). Метод описан в стандарте определения качества телевизионных передач ITU-T BT.500-11 [2]. Изображения показываются последовательно парами: сначала демонстрируется исходное или оригинальное (эксперты знают об этом), затем обработанное или восстановленное изображение. По окончании просмотра эксперты оценивают качество изображения по 5-балльной шкале:
5 — различия не воспринимаются;
4 — различия воспринимаются, но не
раздражают;
92
3 — различия немного раздражают;
2 — различия раздражают;
1 — различия очень раздражают.
DSCQS (Double Stimulus Continuous Quality Scale). Метод также описан в стандарте ITU-T BT.500-11. Изображения показываются парами, но только одно из них видно эксперту. Одно из изображений — исходное, но эксперт не знает об этом. После просмотра эксперт выставляет оценку по 5-балльной шкале.
SCACJ (Stimulus Comparison Adjectival Categorical Judgment). Метод описан в стандарте ITU-T BT.500-11. Изображения показываются парами одновременно, после просмотра эксперт должен оценить качество левого изображения относительно правого по следующей шкале:
-3 — намного хуже;
-2 — хуже;
-1 — немного хуже;
0 — не отличается;
1 — немного лучше;
2 — лучше;
3 — намного лучше.
SAMVIQ (Subjective Assessment Method for Video Quality Evaluation). Метод описан в относительно новом стандарте ITU-R WP6Q [2]. Во время тестирования эксперт может просматривать любое изображение из тестового набора, давая ему оцен-
ку, кроме того, он может просмотреть исходное изображение. Оценка производится по 100-балльной шкале.
Результаты субъективных методов позволяют получить достаточно качественную оценку. Однако их использование довольно затратно и длительно, особенно в случае экспериментальной настройки алгоритмов сжатия изображений.
Значительно упростить и ускорить процесс оценки, при этом снизив затраты, позволяет использование математических методов (метрик) оценки качества изображений. Но по сравнению с экспертной оценкой, математические методы дают менее адекватный для человеческого восприятия результат. Поэтому необходимо использовать тот математический метод, который дает наиболее адекватную, с точки зрения человека, оценку качества изображений.
Наиболее распространенными являются следующие математические метрики оценки качества изображений [1]:
MSE (Mean Squared Error). Определяет среднеквадратичное отклонение оригинального и оцениваемого изображений:
m, n
I (- Ум )2
MSE( x, y) = ^^-,
mn
где n, m — количество отсчетов сигнала; x — отсчеты оригинального, исходного сигнала;
y — отсчеты восстановленного, оцениваемого сигнала;
i, j — индекс пикселя в матрице изображения.
Метрика является самой распространенной, так как легко программно реализуется и быстро вычисляется, но зачастую очень плохо коррелирует с экспертной оценкой.
PSNR (Pick Signal-to-Noise Ratio). Эта метрика называется мерой отношения сигнала к шуму:
PSNR(x,y) = 10logh0 ^^-1)'mn [дБ],
I(Xi,j -Уи)2 i =1,;=1
N94(16)2008
где A — количество градаций яркости или § цвета пикселя;
остальные обозначения переменных ана- ¿1 логичны приведенным в предыдущей ^ формуле.
VQM (Video Quality Metric). Метрика основана на использовании специального дискретно-косинусного преобразования (ДКП) (коэффициенты ДКП отражают чувствительность человеческого глаза к разным частотным составляющим), которое выявляет в изображении визуальные артефакты блоками 8 х 8 пикселей. Результирующая оценка представлена средним значением, показывающим степень искажения по изображению по сравнению с оригиналом [3].
Метрика дает неплохие оценки и в целом коррелирует с экспертной оценкой, но из-за недостатков ДКП широкого распространения не получила.
Blocking measure. Метрика определяет пропорциональность визуальной степени «блочности» изображения в результате сильного ДКП-сжатия. Например, в контрастных областях кадра границы блоков почти незаметны, а в однородных та же граница будет хорошо видна. Эти особенности учитываются метрикой. В метрике также работают эвристические правила определения края объекта, попадающего на границу блока. Значение метрики при этом снижается, что позволяет более адекватно оценивать реальную визуальную «блочность» видео. Метрика применима только для оценки JPEG-подобных алгоритмов сжатия [1].
Blurring measure. Данная метрика позволяет сравнить степень размытия двух изображений относительно друг друга. Чем ближе ее значение к 0, тем больше в среднем размыто изображение. Метрика дает хорошие результаты, особенно при оценке алгоритмов на основе вейвлетов и фракталов, но не описана в литературе [1].
SSIM (Structural SIMilarity) — наиболее перспективная и хорошо описанная на сегодняшний день метрика оценки качества
[1, 4, 5, 6]. Существует много модификаций
^93
Ив4(16)2008
данного метода, наиболее перспективна CW-SSIМ, использующая одно из избыточных вейвлет-преобразований, но она плохо описана [5]. Поэтому рассмотрим наиболее распространенный и детально описанный классический вариант.
Суть метода сводится к определению степени сходства соответствующих участков (окон) сравниваемых изображений по трем составляющим [6]:
2цх |у + K .
яркость L(x, y) = -
Ц x
ц2
• контраст C (x, y) = 2о x О y2
структура S(x, y) = -
K + K
K
K
О x О y
K
n
I
о
I §
iS S3
о
CO
I
S
H
Л
о со
где х — матрица отсчетов оригинального изображения;
у — матрица отсчетов оцениваемого изображения; 1 "
Iх = —2_,Х1 — среднее значение для
участка! оригинального изображения (Му — для оцениваемого) размером М пикселей (окна);
1 M
а2 = 77^(х< -1х)2 — стандартное от-
М = 1
клонение участка оригинального изображения (ст2 — для оцениваемого) размером M;
1 M
стху (х< -I/ )(У/ -Iу) — корреля-
М = 1
ционный момент участков изображений; K = 0,01 — введенный автором выравнивающий коэффициент, предотвращающий деление на число, близкое к 0, при высоком качестве оцениваемого изображения.
Значение 88!М для данного окна согласно [6] определяется следующим образом:
88!М( х, у) = L( х, у )С (х, у) Э (х, у).
Метрика 88!М удовлетворяет следующим требованиям [1, 6]:
• симметричность 88!М(х, у) = 88!М(у, х);
• граничность88!М(х, у) <1;
• уникальность максимального значения, т.е. SSIM(x,y) = 1 тогда и только тогда, когда x = y.
Конечное значение метрики SSIM для изображений вычисляется как среднее значение показателей SSIM всех участков, полученных в результате пошагового движения окна вдоль изображений. Чем ближе значение метрики к 1, тем оцениваемое изображение ближе к оригиналу. Согласно [4, 5] рекомендуется использовать скользящее окно размером 11 х 11 пикселей, чтобы учитывать искажения, вызванные сильным JPEG-сжатием.
Считается, что метрика SSIM дает достаточно адекватную для человеческого восприятия оценку качества.
Следует отметить, что при использовании математических метрик возникают следующие проблемы:
• бесплатные функционально ограниченные программы, реализующие различные методы оценки (MSE, PSNR, VQM, SSIM и т. д.), работают только в интерактивном режиме и требуют постоянного взаимодействия с пользователем [1];
• существующие бесплатные реализации метрики написаны либо с использованием Matlab, либо с помощью набора кросс-платформенных библиотек OpenCV [8], что не всегда удобно при реализации сложных экспериментов на кластерных системах [9];
• несмотря на наличие большого количества бинарных библиотек методов для ОС семейства Windows® [4], их нельзя использовать для расчета на кластерных системах, обычно управляемых ОС семейства Unix®.
Целью авторов статьи является разработка кросс-платформенного программного кода на языке C метрики SSIM для последующего использования на кластерной системе СКК ТПУ «СКИФ-политех» при отборе оптимальных параметров алгоритма вейвлет-сжатия QWC [7].
94
Нв4(16)2008
Сравнение метрик MSE, PSNR, SSIM и DSIS
Таблица 1 g &
3
со
Метрика/Метод
Вид искажения MSE PSNR SSIM Экспертная оценка по методу DSIS
Сильное JPEG-сжатие 24,2 34,3 0,24 1
Сильное JPEG2000-сжатие 24,1 34,3 0,28 2
Сдвиг среднего 24,7 34,2 0,99 5
Расширение контраста 24,6 34,1 0,93 4
Сильное размытие 24,7 34,2 0,28 2
Гауссов шум 24,8 34,1 0,33 3
Шум Спекли 24,7 34,2 0,39 3
В табл. 1 приведены результаты тестирования программной реализации метрики SSIM на языке C на наборе тестовых изображений [10] с различными видами распространенных помех. В последнем столбце таблицы указаны результаты экспертной оценки качества изображения согласно 10-балльной шкале.
Как видим, метрика SSIM в отличие отне-изменных оценок качества метрик MSE и PSNR достаточно адекватно определяет качество изображений и хорошо согласуется с экспертной оценкой.
SSIM может быть с успехом применена:
• при отборе большого количества оцениваемых изображений;
• для определения степени зашумленности или искаженности принятого изображения;
• для сравнения качества изображений, восстановленных после сжатия разными алгоритмами;
• для эмпирического определения оптимальных параметров алгоритма сжатия [7].
Список литературы
1. Ватолин Д. Программный продукт оценки качества восстановленного изображения MSU Quality Measure [электронный ресурс]. Режим доступа: http://compression.ru/video/quality_measure/ index.html (28.03.2008).
2. International Telecommunication Union ITU-T BT.500-11, ITU-R WP6Q standards. — режим доступа: http://www.itu.int/net/home/index.aspx (2.04.08).
3. Feng X. DCT-based Video Quality Evaluation, research implementation for project EE392J (www. hpl.hp.com/personal/John_Apostolopoulos/Stanfor d_EE392J/project.ps), winter 2000.
4. Wang Z., Simoncelli E.P, Bovik A.C. Multi-scale structural similarity for image quality assessment. New York: 37th IEEE Asilomar Conference on Signals, 2003. P. 44-50.
5. Wang Z., Simoncelli E.P. Translation insensitive image similarity in complex wavelet domain. Philadelphia: IEEE Inter. Conf. Acoustic, Speech and Signal Processing. Vol. 2. 2005. P. 673-576.
6. WangZ. Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing. Vol. 3. 2004. P. 600-612.
7. Сидоров Д.В., Осокин А.Н. Простой алгоритм вейвлет-сжатия полутоновых и цветных изображений // Известия Томского политехнического университета, 2007. Т. 311. № 5. С. 86-91.
8. Intel Corp. Open Source Computer Vision Library. Режим доступа: http://www.intel.com/ technology/computing/opencv/ (10.04.08).
9. Rabah M. SSIM C++ implementation. Режим доступа: http://mehdi.rabah.free.fr/SSIM/index.htm (1.04.2008)
10. WangZ. «Lena» Image with Different Types of Distortions. Режим доступа: http://www.cns.nyu. edu/~zwang/files/research/quality_index/demo_len a.html (1.11.2007).
95
