CC BY
111
МЕТОДЫ КОРРЕКЦИИ ЦВЕТА И ЯРКОСТИ ПРИ СОЗДАНИИ ПАНОРАМНЫХ ИЗОБРАЖЕНИИ
И.А. Канаева1, Ю.А. Болотова1 1 Национальный исследовательский Томский политехнический университет, Томск, Россия
Аннотация
При создании бесшовных панорам из набора перекрывающихся изображений, полученных с различных камер, области перекрытия могут сильно различаться по освещённости и цветовым оттенкам на соседних изображениях. В данной работе рассматриваются различные подходы к смешению цветов при сшивке и алгоритмы предварительной цветокоррекции исходных изображений. Предложен способ параллельной оценки корректирующих коэффициентов по всем границам стыковки изображений. Получены сравнительные оценки цветового, структурного подобия внутри областей перекрытия, а также показана плавность перехода яркости в панораме.
Ключевые слова: обработка многокадровых изображений, сшивка панорамных изображений, смешение цветов, цветокоррекция.
Цитирование: Канаева, И.А. Методы коррекции цвета и яркости при создании панорамных изображений / И.А. Канаева, Ю.А. Болотова // Компьютерная оптика. - 2018. -Т. 42, № 5. - С. 885-897. - БО!: 10.18287/2412-6179-2018-42-5-885-897.
Введение
Разработка автоматических методов создания панорамных изображений и видеозаписей из последовательности перекрывающихся снимков сцены на сегодняшний момент является востребованной задачей в различных сферах деятельности. Зачастую из-за разного положения камеры изображения для сшивки в панораму могут сильно различаться по освещённости и цветовым оттенкам. Для лучшего восприятия конечного панорамного снимка и повышения последующей работы алгоритмов детектирования особых точек с целью увеличения корреляции между ними
нередко прибегают к предварительной коррекции цветовых характеристик исходных фрагментов. На рис. 1 представлены исходные изображения и результат их предварительной обработки после уменьшения дисторсии и проецирования на цилиндр.
В данной работе будут рассмотрены две задачи по уменьшению видимости границ стыковки изображений в панораме: задача смешивания цветов в областях перекрытия изображений и задача уменьшения различий цвета и яркости всех изображений панорамы, комбинация которых позволяет создавать бесшовные панорамные снимки высокого качества.
Рис. 1. Последовательность исходных (первая строка) и спроецированных изображений
В конце работы будет приведён разработанный общий алгоритм создания панорамного видео с описанием основных методов и подходов.
1. Методы смешения цветов
При создании панорамного изображения необходимо устранять видимые границы стыковки соседних изображений, которые появляются не только из-за цветовых и яркостных различий изображений, но и из-за параллакса при съёмке. На рис. 2а показана полученная из пяти исходных изображений панорама с явно видимыми границами стыковки, а на рис. 2б чёрным цветом внутри панорамы показаны области, в которых соседние изображения перекрываются.
Самым простым и распространённым вариантом смешения смежных изображений является линейное градиентное смешение от центра области перекрытия изображений [1]. Для этого от каждого перекрывающегося пикселя определяются расстояния й\ и й2 от его положения до границ области смешения 5 (рис. 3 а). На линии смешения значение цветового канала определяется как среднее между двумя соответствующими значениями двух пикселей перекрывающихся изображений, а при удалении от линии весовой коэффициент одного изображения линейно увеличивается до 1, а другой линейно уменьшается до 0 (рис. 3б).
Недостатком метода линейного градиентного смешения является видимый эффект размытия в пределах области смешения.
Модификацией данного метода является градиентное смешение п-й степени [2]:
С/(р) =
йщс (р)+й 2"С& (р) й? + йп
где С'1 (р) - новое значение цвета пикселя р в панорамном изображении I, С1 (р) - цвет пикселя р в исходном изображении I, С&(р) - цвет пикселя р в перекрывающем изображении & В зависимости от степени п формы переходов цветов отличаются. На рис. 4 представлен результат градиентного смешивания изображений п-й степени вдоль оптимального пути с шириной области смешения 5 = 50 пикселей.
Рис. 2. Панорама без смешения цветов и перекрывающиеся области в последовательности изображений
б) 0
¿1 <ь
\ / область
Л перекрытия
Рис. 3. Схематичное представление линейного градиентного смешения
Рис. 4. Градиентное смешение изображений п-й степени, где п = -1 (а), п = 0,5 (б), п = 1 (в), п = 2 (г), п = 3 (д)
Данный метод градиентного смешения прост и эффективен при больших перекрывающихся областях с одинаковой яркостью и оттенками, но при смешении вдоль линейной границы возможно проявление «призрачного эффекта» (рис. 5).
В работе [3] показано, что можно получить хорошие результаты с использованием координатного подхода. Он применяется при последовательном добавлении изображений в панораму и изменяет цвета всех пикселей добавляемого изображения относительно оптимальной границы сшивки (рис. 6).
На рис. 5 показано добавление изображения £ к панораме I. Для каждого пикселя р изображения & изменяется цвет пикселя на величину различия Б (р), которая определяется как сумма взвешенных различий вдоль границы смешения: к
Б( р) = Х®» (р) Б(Чг), 1=1
где д1,д2, .., д, .., дк - к точек на оптимальной границе, Б (д) - различия цвета между точкой на границе дг изображения I и соответствующим перекрывающим
пикселем изображения & Весами являются обратные координатные расстояния от пикселя р до граничных точек, нормированные от 0 до 1:
Рис. 5. Примеры неудачного смешения по линейной границе
граница смешения
I
Рис. 6. Координатный подход к смешению изображений Наиболее сложным и эффективным в плане наилучшего результата является пуассоновское смешивание [4] - интенсивный подход смешения изображений в области градиента. Для бесшовного смешения двух изображений необходимо, чтобы градиент опорного изображения в области перекрытия равнялся градиенту присоединяемого изображения. Таким образом, для получения результирующего изображения необходимо восстановить изображение по его градиенту, т.е. решить задачу Пуассона. Для этого создаётся векторное поле градиента (Ох, Оу) для присоединяемого изображения до границы сшивки. На практике в [5] используется приближение к решению уравнения Пуассона в дискретной форме с граничными условиями Неймана:
I (х +1, у) +1 (х -1, у) +
+1 (х, у +1) +1 (х, у -1) - 41 (х, у) =
= Ох (х, у) - Ох (х-1, у) + Оу (х, у) - Оу (х, у -1).
Данное приближение конечных разностей является линейным дифференциальным уравнением в частных производных и решается путем фиксации цветов на границе и определения новых цветов I (х, у) над градиентной плоскостью (Ох, Оу). Одно уравнение соответствует пикселю в конечном панорамном изо-
бражении. Система полученных уравнений для всего изображения решается с помощью итеративного метода сопряженных градиентов.
Многополосное смешивание [6] относится к высокоэффективным, но наиболее затратным методам устранения артефактов сшивки. Идея метода заключается в смешивании низких частот по большому пространственному диапазону, а высоких частот - по малому пространственному диапазону. Результатом многополосного смешивания является суммирование изображений по всем поддиапазонам [7].
Для создания горизонтального бесшовного панорамного видео лучше всего подходит метод градиентного линейного смешения n-й степени, благодаря его простоте и скорости работы, а также неплохим результатам для панорам из малых последовательностей изображений. Чтобы устранить эффект «призрака» при смешении по линейной границе, находят оптимальную границу сшивки двух перекрывающихся изображений, такую, для которой сумма квадратов ошибок яркостей вдоль границы будет минимальна.
Для этого в [8] с помощью динамического программирования находят путь минимальной стоимости (оптимальную границу смешения) на поверхности ошибок перекрытия e двух смежных изображений -сканируют построчно область перекрытия снизу вверх и вычисляют поверхность кумулятивных минимальных ошибок:
E (h, w) = e (h, w) +
+ min (E (h -1, w -1), E (h -1, w), E (h -1, w +1)),
h = 2..nr, w = 2..nw,
где nr и nw - индексы строк и столбцов поверхности ошибки e соответственно.
После оптимальный путь может быть получен путём прохождения сверху вниз по поверхности E и выбора минимального значения. На рис. 7 приведена панорама (исходные изображения на рис. 1), сшитая с оптимальными границами, которые показаны чёрным цветом.
Для наилучшего результата при смешении вдоль оптимальных границ в работе используется поиск адаптивной ширины смешения для каждой точки границы. Найденные зоны показаны чёрным на рис. 8а, а результат градиентного смешения 2-й степени в пределах данных зон показан на рис. 86.
По рис. 86 видно, что, несмотря на применение смешения цветов по оптимальным границам между изображениями, видны цветовые различия между частями панорамы. Для улучшения результатов бесшовной сшивки кадров в панораму прибегают к предварительной коррекции цветов и яркости исходных изображений.
Подводя итоги, можно сказать, что наиболее качественным алгоритмом создания бесшовного изображения является Пуассоновское смешение, однако оно же и является достаточно сложным и вычислительно затратным как по времени, так и по объёму памяти.
Рис. 7. Панорама с оптимальными границами сшивки
Рис. 8. Результат градиентного смешения 2-й степени
Представляет интерес алгоритм покоординатного смешения, т.к. он может быть эффективно распараллелен. Наиболее простым и часто применяемым является градиентное смешение изображений по каналам, которое при введении степенной зависимости приобретает различные формы.
Для более эффективного смешения цветов важным вопросом является определение оптимальной границы смешения двух изображений, которая определяет путь с минимальным цветовым различием в области перекрытия. В результате работы был реализован алгоритм градиентного смешения изображений по альфа-каналу второй степени вдоль оптимальной границы, которая вычисляется на основе яркостных различий с помощью динамического программирования.
2. Коррекция цвета и яркости
Существуют несколько алгоритмов цветокоррекции изображений. В [9] рассматривается метод, основанный на поиске функции отображения между цветовыми гистограммами перекрывающихся областей изображений, квантованных на 360 уровней цветовой модели HSV. Поскольку цветовая гистограмма показывает общее распределение цветов, экспериментально доказано, что она может корректировать цветовую разницу между двумя перекрывающимися изображениями, однако качество данного подхода невысоко [9].
В работе [1] представлен метод коррекции целевого изображения относительно опорного по парам их коррелированных точек интереса в перекрывающихся областях. Для каждой пары таких точек вычисляется разность значений пикселей в каждом канале цветового пространства:
Diffc = Ж XI, У1, c) - P2(X2, У2, c), c e{R, G, B}||{H, S ,V},
где Pi (xbyb c) - значение пикселя (xby{) опорного изображения в канале с цветовой модели RGB или HSV, а P2 (x2, y2, c) - значение пикселя (x2, y2) присоединяемого изображения в канале с. Затем по всем полученным разностям Diffc считается среднее по каждому каналу Diffc , после чего все пиксели стыкуемого изображения размера m*n корректируются на данную величину c учётом проверки принадлежности допустимому интервалу каналов:
Р2 (X, у, с) = Р2 (X, у, с) + Б1//с , х е [0,т -1],у е [0,п -1].
Данный подход обрабатывает изображения при последовательной сшивке панорамы, и результат его применения показан на рис. 9.
Несмотря на простоту и быстроту метода, его результаты зависят как от количества коррелированных пар точек, так и от начального опорного изображения. На рис. 10 сшивка начиналась со второго изображения, что в итоге привело к чрезмерному осветлению полученной панорамы и невозможности стыковки последнего изображения.
Исследовался подход цветокоррекции на основе коррелированных точек вдоль предварительно найденной по исходным изображениям оптимальной границы сшивки. В нём средняя разность оценивается как разница между соответствующими пикселями границы смешения по каждому каналу, а затем все пиксели присоединяемого изображения корректируются на эти величины. Если принять третье изображение за цен-
тральное и корректировать остальные относительно него, то можно параллельно оценить все корректирующие величины по всем границам, а затем также параллельно проводить цветокоррекцию. При этом 1-е
и 4-е изображения корректируются на величину своего коэффициента и коэффициента смежного изображения. Результат такого метода показан на рис. 11.
Рис. 9. Результат сшивки панорамы с цветокоррекцией по точкам интереса
Рис. 10. Результат неудачной цветокоррекции по точкам интереса
Рис. 11. Результат цветокоррекции
В предлагаемом алгоритме в работе [10] используется цветовое пространство LUV проф. Кекре для цветокоррекции изображений с разной яркостью, а при смешивании берётся простое среднее значение перекрывающихся пикселей по каналам LUV. Подход прост и линеен, последователен для серии изображений и нацелен только на компенсацию яркости.
Для трихроматических цветовых пространств цветокоррекция может быть математически представлена как линейная для двух перекрывающихся изображений S и I: S ■ M=I, где M - матрица трансформации. Предполагается, что чем больше параметров в линейных преобразованиях, тем точнее результат коррекции. В зависимости от типа матрицы трансформации в [11] для пространства RGB выделяют следующие модели цветокоррекции: 1. Диагональная модель
M =
а
Y
где коэффициенты а, р, у определяются как отношение средних арифметических перекрывающихся изображений по каждому каналу соответственно:
по средним ошибкам вдоль границ
а = ^ р = у = В^
^ О Bs Модель проста, но недостаточна точна.
2. Диагональная модель с аффинными преобразованиями
а а1
М = р в1 У У1.
коэффициенты которой находятся путем аппроксимации в области перекрытия; точнее диагональной.
Линейная модель ■ Ь ,
3.
M =
f
h
4.
при том М = ^^ 1 ST I, где S и I - матрицы изображений размером [п, 3], а п - количество пикселей в области перекрытия. Метод отличается хорошей точностью и вычислительной сложностью. Линейная модель с аффинными преобразованиями
M =
a b d e g h
c
f i
ai ei ii
в которой коэффициенты смещения получают следующим образом:
ai " RI a b c
ei = G - d e f G
_ ii _ bI g h i B
Фундаментальные разработки алгоритмов линейной и гамма-коррекции провели сотрудники исследовательского центра Nokia - Ю. Ксионг и К. Пулли. Первый метод [12] основан на диагональной модели матрицы трансформации и предназначен для вычисления отдельных корректирующих коэффициентов для каждого из каналов R, G и B и глобального поправочного коэффициента, который направлен на минимизацию кумулятивной ошибки по каналам.
На рис. 12 представлена последовательность изображений S1, S2, ..., Sn, где перекрывающиеся области соседних изображений, принадлежащие изображению Sj, обозначаются как S,;,4 для левых областей, и Si m - для правых.
s, S2 S3 Si S„
$1,2 $2,1 $2,3 $3,2 $¡,¡-1 Рис. 12. Перекрывающиеся области исходных изображений
Метод линейной коррекции цветов отдельно корректирует значения каналов всех пикселей изображения на некоторую величину согласно выражению:
Сс,г (р) = (Яс а с,1 )* Сс,, (р), (I = 1,2,..., п),
где Сс, (р) - значение пикселя р изображения SI в канале се(Я, в, В}, ас,, - локальный поправочный коэффициент изображения яс - глобальный коэффициент коррекции, п - количество изображений для сшивки, а у - гамма-коэффициент (равен 2,2).
Локальный коэффициент для изображения в канале с рассчитывается по линеаризованным (гамма-скорректированным) значениям пикселей как отношение между суммарными значениями пикселей перекрывающихся областей:
a c,i "
Z pCci-i( Р) ) Z pCc,i (Р))
,(i = 2,3,..,n).
В качестве эталонного изображения (для которого ас|- = 1) можно выбирать любое изображение, но эффективнее выбирать то, у которого наилучшее распределение яркости и цветового баланса.
Для того, чтобы избежать насыщения изображения, нужно минимизировать локальные коэффициенты с помощью введения глобального, что приводит к следующей функции:
дЕ
Е = minZ (gcac,i - i)2;д— = 0
(i = i, 2, ..., n).
Zac,¿ i=i n
Za2,i i=i
Данный алгоритм можно применять последовательно для ряда изображений: начинаем с первого и корректируем соседнее, затем следующее и т.д. Однако для оптимизации скорости вычислений для панорамы из 5 изображений можно выбрать в качестве «идеального» центральный кадр, и рассчитать коэффициенты параллельно. На рис. 13 представлен результат параллельной линейной цветокоррекции.
Как видно по рис. 13, наиболее выделяются краевые изображения, что и логично, ведь при независимом расчёте линейных коэффициентов мы не учитываем изменение соседних изображений относительно центрального. Данный недостаток можно снизить путём умножения пикселей крайних изображений не только на свой локальный коэффициент, но и на коэффициент соседа. Результат такого учёта изменения соседа приведён на рис. 14.
Однако недостаток выбора центрального изображения в качестве эталонного проявляется тогда, когда оно затемнено, например, как на рис. 15.
В качестве эксперимента линейную коррекцию можно проводить в различных цветовых пространствах и получать отличающиеся результаты. На рис. 16 представлена панорама после скорректированной параллельной линейной цветокоррекции в CIE L*a*b*.
С целью улучшения был испробован смешанный метод коррекции: параллельная линейная в CIE L*a*b* и последующее прибавление средней ошибки вдоль оптимальных границ, однако это не дало видимого результата.
c
Рис. 13. Результат сшивки панорамы с параллельной линейной цветокоррекцией
Рис. 14. Результат скорректированной параллельной линейной цветокоррекции
Рис. 15. Исходные изображения (первая строка) и результат сшивки панорамы
Рис. 16. Результат скорректированной параллельной линейной цветокоррекции в CIEL*a*b*
В [6] рассматривается подход поиска линейных поправочных коэффициентов путём минимизации глобального уравнения ошибки, которое одновременно учитывает все коэффициенты для n изображений в панораме:
min E =
=1 ¿ ¿Nr ((( - gjiß ) N +(i - g )2/' 2 i=1 j=1 V
CT g
где Nj - количество пикселей в области перекрытия между изображениями i и j, gi - коэффициент компенсации для изображения i, Iij - среднее значение интенсивности области перекрытия между i и j для изображения i, ctn = 10,0 и ag = 0,1 - стандартное отклонение от нормированной ошибки интенсивности и коэффициента компенсации (Ie[0...255]). Это квадратичное уравнение решают аналитически, приравнивая частные производные к 0.
Продолжением идеи данного метода является алгоритм [13], основанный на комбинированном подходе, включающем гамма-коррекцию для яркости Y и линейную коррекцию для цветоразностных компонент Cb, Cr. Сначала линеаризуют яркостную компоненту каждого пикселя всех n изображений панорамы:
Y (p) = Y (p)Y ,(i = 1,2,..., n), у = 2,2.
Затем определяют гамма-коэффициенты yi путём минимизации глобальной ошибки:
min E Y = — 1 2
-i,/- Y/B/,/-1 )2
i=2
¿ (1 —i )2/c
N
/=1
где
B, j = ln
1- ¿ Y, j (P)
N/j v P
- натуральный логарифм средней яркости области перекрытия изображений i и j для изображения i, aN = 2,0/255 и ag = 0,5/255 (Y, Cb, Cre[0...1]). Приравнивая частные производные к 0, получаем систему линейных уравнений, которая легко решается методом Z^-разложения. После яркость каждого пикселя изменяется в зависимости от гамма-коэффициента:
Y (p) = Y (p) ^(i = 1,2,..., n ).
Для цветоразностных компонент строят схожие уравнения ошибки, основанные на среднем по каждой области перекрытия, и получают альфа-коэффициенты:
min Ea =
( n _ _ 2 ^
-iSi-i,, - a,Si,i-i) n ' -2-+ £( - f/
i=2
N
i=1
где S,- j = Nj X C, j (P), C e (Cb,Cr) .
, p
С помощью полученных коэффициентов производят линейную коррекцию цветоразностных компонент:
Ci (p) = aCi (p), (i = 1,2,..., n) .
Результаты смешанной цветокоррекции в разных цветовых моделях и гамма-коррекция в RGB представлены на рис. 17.
Ю. Ксионг и К. Пулли в [13] применяют данный поход при создании 180° панорамы из 8 исходных снимков и полной 360° панорамы из 19 исходных изображений в цветовом пространстве YCbCr. Однако при уменьшении области перекрытия между изображениями метод смешанной цветокоррекции даёт схожие результаты в модели CIE L*a*b*, что проиллюстрировано на рис. 18в. Таким образом, экспериментально показано, что метод смешанной цветокоррекции интересен для исследования и применения в различных цветовых моделях в зависимости от исходных данных.
Новым подходом к цветокоррекции панорам является применение перцептивного переноса цвета одного изображения 8 на другое I [14]. Идея метода заключается в вычислении статистик двух исходных изображений, таких как среднее значение цс и стандартное отклонение стс в каждом канале с цветовой модели, а затем изменение значения каждого пикселя исходного изображения I по следующей формуле:
Ic (X, y) = —г (Ic (X, y) -|4 ) + |
(1)
В работе [15] проведено сравнение применения метода цветопереноса для восстановления темных изображений в различных цветовых пространствах. Лучшим признано цветовое пространство RLAB [16].
Для цветокоррекции панорам путём переноса цвета предлагается параллельно рассчитывать гистограммы всех областей перекрытия и 8||+1 (рис. 12), а затем по полученным гистограммам определять статистические параметры областей.
Рис. 17. Результат смешанной цветокоррекции в цветовой модели YCbCr (а), YUV (б), CIE L*a*b* (в)
и гамма-коррекции в RGB (г)
Если принять центральное изображение за идеальное, то изображение справа от центрального будет рассчитываться относительно статистик правой перекрывающейся области центрального кадра, а изображение слева от него - относительно статистик левой перекрывающейся области. Формула (1) является аффинным преобразованием:
= а • + Ь, а = а, +1 / а,, Ь = +1 -Ц, •ст/+1/ а,, где - значение цвета пикселя ,-го изображения.
Тогда статистические характеристики изображения после цветопереноса могут быть оценены следующим образом:
Ц/ = X (а+1 '+ Ь/ +1) • И(2/) = = X (а • 2г • И(2/) + Ь/+1 • И(2/)) =
= а/+1 X 2/ • И(2/) + Ь/+1XИ(2/) = а/+1 •Ц/ + Ь/ +1,
ст/ ^Х (а/+1' 21 + Ь/+1 - а/ +1 • Ц/ - Ь/+1)2 • И(2/) = = ^¡ХЖ^^-ЦУ2^!'') = а/ +1 •ст/,
где И (2)- нормализованная гистограмма области перекрытия /-го изображения.
Таким образом, после параллельного вычисления статистик всех изображений производится последо-
вательная корректировка статистик кадров, удалённых от центрального. Результат цветопереноса с учётом изменения соседа в КЬЛБ приведён на рис. 18.
Другим вариантом реализации является выбор области с наиболее однородной гистограммой и изменение остальных изображений относительно её.
В работе [17] предложен двухкомпонентный метод оценки качества цветовой коррекции: оценка цветового подобия как пикового отношения сигнал/шум Р8МЯ и структурного подобия как среднего значения по всем индексам сходства 88!М(х, у) изображения. В табл. 1 и 2 представлены сравнительные оценки Р8№Я и 88!М внутри областей перекрытия для рассмотренных методов цветокоррекции.
Рис. 18. Результат переноса цвета от центрального кадра в ЯЬЛБ Таблица 1. Оценка PSNR по областям перекрытия
Метод/область 1 - 2 2 - 3 3 - 4 4 - 5
Исходные 11,5283 19,7291 13,0317 10,9493
Цветоперенос RLAB 15,5994 21,9711 13,9762 16,4134
Линейная скоррект. RGB 16,0162 22,4759 13,8687 16,0769
Гамма-коррекция 13,7689 20,2976 12,9166 13,1686
Смешанная CIE L*a*b* 13,6863 19,6442 13,1204 14,3160
Смешанная YCbCr 13,7377 20,2021 12,9298 13,2069
Таблица 2. Оценка SSIM по областям перекрытия
Метод/область 1 - 2 2 - 3 3 - 4 4 - 5
Исходные 0,4721 0,6245 0,3476 0,4056
Цветоперенос RLAB 0,5511 0,6536 0,3515 0,4827
Линейная скоррект. RGB 0,5614 0,6542 0,3423 0,4694
Гамма-коррекция 0,5030 0,6172 0,3070 0,4095
Смешанная CIE L*a*b* 0,5019 0,6157 0,3142 0,4280
Смешанная YCbCr 0,5043 0,6131 0,3075 0,4100
В результате подсчёта оценок для семи различных панорам и усреднения их по каждой области перекрытия наиболее высокие показатели цветового и структурного подобия достигает предложенный метод скорректированной параллельной линейной цветокоррекции в RGB.
Критерием качества панорамы может также служить плавность перехода цветов внутри областей перекрытия. Для сравнения результатов по данному параметру в [18] используется построение графика яркости вдоль горизонтальной линии изображения. На
рис. 20 приведены графики изменения яркости вдоль нижней границы панорамы при применении различных методов цветокоррекции.
По рис. 19 можно судить, что все рассмотренные методы цветокоррекции спрямляют яркость исходной панорамы, однако лучше всего с этим справляются методы переноса цвета в RLAB и скорректированной параллельной линейной цветокоррекции в RGB.
Резюмируя, отметим, что способ расчёта среднего отличия исходного изображения от соседнего и изменения всех пикселей на величину отличия зависит от количества коррелированных точек и от выбора целевого изображения. Однако метод хорошо подходит для коррекции близких по яркости изображений. В основном используются алгоритмы линейной и гамма-коррекции, которые могут основываться на работе в различных цветовых пространствах.
Экспериментально получено, что разработанный метод скорректированной параллельной линейной цветокоррекции в цветовой модели RGB достигает лучших результатов по качеству панорамы и имеет приемлемую сложность. Применение разработанного метода переноса цветовых статистик для улучшения создания бесшовной панорамы является новым подходом и также достойно внимания для коррекции сильно затемнённых областей.
3. Алгоритм создания панорамного видео
При создании панорамного видео с нескольких видеокамер предполагается, что их положение фиксировано относительно друг друга и не меняется в процессе съёмки. Алгоритм сшивки исходных кадров с нескольких видеокамер включает в себя три стадии: регистрация изображений, инициализация параметров и создание панорамы (рис. 20).
Яркость 240
область перекрытия без цветокоррекции RGB перенос цвета RLAB линейная RGB гамма RGB
комбинированная YCbCr комбинированная CIE L'a'b*
Инициализация
Расчёт параметров коррекции искажений
Т.
Определение точек интереса
Е
Вычисление матриц гомографии
= =
Е
Определение границ обрезки панорамы
X
Задание цветовой модели и метода
цветокоррекции
Создание панорамы
6000 Х-координата
Рис. 19. Графики изменения яркости вдоль строки панорамы (сглаженные медианным фильтром с шагом 30)
полученной панорамы находится максимально вписываемый прямоугольник, по которому будет производиться обрезка панорамы. Затем выбирается цветовое пространство и задаётся метод цветокоррекции.
После нахождения всех необходимых параметров в блоке создания исходные кадры вначале проецируются, затем внутри областей перекрытия соседних изображений вычисляются коэффициенты цветокоррекции. По скорректированным по цвету областям перекрытия с помощью динамического программирования определяется оптимальный путь сшивки и адаптивно выбирается ширина смешения. Работа по созданию панорамного кадра завершается проходом внутри границ обрезанного панорамного изображения и установки пикселей с учётом цветокоррекции и градиентного смешения.
Затем полученный панорамный кадр записывается в выходную видеопоследовательность, загружаются новые входные изображения и запускается блок создания с определёнными на первом кадре параметрами.
Благодаря оптимизации обработки изображений и параллельному исполнению основных алгоритмов среднее время создания одного панорамного кадра из пяти входных кадров размером 2048x1536 на двухъя-дерном процессоре Intel Core i5 с частотой ядер 3,2 ГГц составляет 3,4 с. Ведётся работа по распараллеливанию задач обработки изображений на графическом процессоре для повышения быстродействия обработки.
Проецирование изображений
1 1
Е
Вычисление
коэффициента
коррекции
в областях перекрытия
Si
S2
S3
Si
S„
T
Определение оптимального пути
лиц
Сшивка панорамы с коррекцией цвета и градиентным смешением
Рис. 20. Алгоритм создания панорамного видео В блоке инициализации по начальным кадрам видеопоследовательностей последовательно определяются коэффициенты исправления дисторсии, параметры проецирования изображения на цилиндр или сферу. Затем на всех спроецированных изображениях отмечаются точки интереса. Между соседними изображениями вычисляются наборы коррелированных точек интереса, по которым с помощью метода RANSAC определяются матрицы томографии изображений. При этом положение центрального изображения фиксируется, соседние левое и правое изображения преобразуются относительного центрального, а затем крайние левое и правое изображения преобразуются относительно полученного. Внутри
Заключение
В рамках задачи бесшовного создания панорамных изображений были рассмотрены два взаимосвязанных этапа: смешение изображений внутри области перекрытия и коррекция изображений для уменьшения их цветового различия.
В результате работы был реализован алгоритм градиентного смешения изображений по альфа-каналу второй степени вдоль оптимальной границы, которая вычисляется на основе яркостных различий с помощью динамического программирования.
Зачастую алгоритмов смешения недостаточно для решения поставленной задачи, т.к. последовательность исходных изображений для создания панорамы может сильно отличаться по яркости, тону и экспозиции, а также иметь такие искажающие эффекты, как виньети-
рование. Для уменьшения яркостных и цветовых отличий между смежными кадрами панорамы решено было применить методы предварительной цветокоррекции исходных изображений. Экспериментально получено, что применение подхода переноса цвета от одного изображения последовательности на другие достигает наилучших результатов по качеству панорамы и имеет приемлемую сложность.
В конце анализа существующих и предложенных методов приведён разработанный общий алгоритм создания панорамного видео с пяти перекрывающихся видеокамер, включающий в себя три логически отделённых части: регистрация входных изображений, инициализация параметров и создание панорамы. В части инициализации определяются коэффициенты коррекции искажений и проецирования изображений, а также матрицы томографии изображений. Создание панорамных выходных кадров производится в заданной цветовой модели с выбранным методом смешения и цветокоррекции.
Таким образом, в работе были предложены методы градиентного смешения изображений по альфа-каналу второй степени вдоль оптимальной границы, скорректированной параллельной линейной цветокоррекции в RGB и перенос цвета в RLAB, а также представлен алгоритм создания бесшовного панорамного видео. Полученные сравнительные оценки цветового, структурного подобия внутри областей перекрытия, а также показанная плавность перехода яркости в панораме подтверждают лучшее качество панорамы при применении метода скорректированной параллельной линейной цветокоррекции в RGB.
Благодарности Работа выполнена в рамках Программы повышения конкурентоспособности ТПУ и при финансовой поддержке РФФИ в рамках научного проекта № 1808-00977 А.
Литература
1. Mohammed, A.B.E.A. Color balance for panoramic images / A.B.E.A. Mohammed, F. Ming, F. Zhengwei // Modern Applied Science. - 2015. - Vol. 9, Issue 13. - P. 140-147. -DOI: 10.5539/mas.v9n13p140.
2. Xiong, Y. Fast panorama stitching for high-quality panoramic images on mobile phones / Y. Xiong, K. Pulli // IEEE Transactions on Consumer Electronics. - 2010. - Vol. 56, Issue 2. - P. 298-306. - DOI: 10.1109/TCE.2010.5505931.
3. Farbman, Z. Coordinates for instant image cloning / Z. Farbman, G. Hoffer, Y. Lipman, D. Cohen-Or, D. Lis-chinski // ACM Transactions on Graphics. - 2009. - Vol. 28, Issue 3. - 67. - DOI: 10.1145/1576246.1531373.
4. Szeliski, R. Computer vision: Algorithms and applications / R. Szeliski. - London, Dordrecht, Heidelberg, New York: Springer, 2011. - 812 p. - ISBN: 978-1-84882-934-3.
5. Xiong, Y. Gradient domain image blending and implementation on mobile devices / Y. Xiong, K. Pulli. - In: Mobile Computing, Applications, and Services (MobiCase'09) / ed. by
T. Phan, R. Montanaii, P. Zerfos. - Berlin, Heidelberg: Springer, 2010. - P. 293-306. - DOI: 10.1007/978-3-642-12607-9_19.
6. Brown, M. Automatic panoramic image stitching using invariant features / M. Brown, D.G. Lowe // International Journal of Computer Vision. - 2007. - Vol. 74, Issue 1. -P. 59-73. - DOI: 10.1007/s11263-006-0002-3.
7. Фаворская, М.Н. Метод создания панорамных аэрофотоснимков на основе многополосного смешивания / М.Н. Фаворская, А.И. Пахирка, А.Г. Зотин, В.В. Буря-ченко. - В кн.: Обработка пространственных данных в задачах мониторинга природных и антропогенных процессов. Сборник трудов всероссийской конференции. -Новосибирск: ИВТ СО РАН. - 2017. - ISBN: 978-5905569-08-1. - С. 161-165.
8. Xiong, Y. Fast and high-quality image blending on mobile phones / Y. Xiong, K. Pulli // 2010 7th IEEE Consumer Communications and Networking Conference. - 2010. -5 p. - DOI: 10.1109/CCNC.2010.5421736.
9. Zhang, M. Color histogram correction for panoramic images / M. Zhang, J. Xie, Y. Li, D. Wu // Proceedings Seventh International Conference on Virtual Systems and Multimedia. - 2001.
- P. 328-331. - DOI: 10.1109/VSMM.2001.969687.
10. Kekre, H.B. Image blending in vista creation using Kekre's LUV color space / H.B. Kekre, D.T. Sudeep // Proceedings of SPIT-IEEE Colloquium and International Conference. -2008. - Vol. 1. - P. 31-35.
11. Tian, G.Y. Colour correction for panoramic imaging / G.Y. Tian, D. Gledhill, D. Taylor, D. Clarke // Proceedings Sixth International Conference on Information Visualisation.
- 2002. - P. 483-488. - DOI: 10.1109/IV.2002.1028817.
12. Xiong, Y. Color correction for mobile panorama imaging / Y. Xiong, K. Pulli // Proceedings of the First International Conference on Internet Multimedia Computing and Service (ICIMCS '09). - 2009. - P. 219-226. - DOI: 10.1145/1734605.1734657.
13. Xiong, Y. Color matching of image sequences with combined gamma and linear corrections / Y. Xiong, K. Pulli // Proceedings of the 18th ACM International Conference on Multimedia (MM '10). - 2010. - P. 261-270. - DOI: 10.1145/1873951.1873989.
14. Reinhard, E. Color transfer between images / E. Reinhard, M. Adhikhmin, B. Gooch, P. Shirley / IEEE Computer Graphics and Applications. - 2001. - Vol. 21, Issue 5. -P. 34-41. - DOI: 10.1109/38.946629.
15. Cepeda-Negrete, J. Dark image enhancement using perceptual color transfer / J. Cepeda-Negrete, R. Sanchez-Yanez, F. Correa-Tome, R. Lizarraga-Morales / IEEE Access. - 2018. - Vol. 6. - P. 14935-14945. - DOI: 10.1109/ACCESS.2017.2763898.
16. Fairchild, M.D. Color appearance models / M.D. Fairchild.
- In: Color appearance models / ed. by M.D. Fairchild. -Chap. 10. - Chichester: John Wiley & Sons, 2005. - 408 p.
- DOI: 10.1002/9781118653128.ch10.
17. Сильвестрова, О.В. Оценка эффективности способов цветовой коррекции для панорамных изображений с малоразмерными объектами / Цифровая обработка сигналов. - 2015. - № 3. - С. 25-28.
18. Xu, W. Panoramic video stitching / W. Xu. - PhD thesis. -University of Colorado at Boulder Boulder, 2012. - 137 p. -ISBN: 978-1-267-85617-3.
Сведения об авторах
Канаева Ирина Александровна, 1994 года рождения, в 2016 окончила бакалавриат Томского политехнического университета по направлению «Информатика и вычислительная техника», обучается в магистратуре Томского политехнического университета, специализация «Компьютерный анализ и интерпретация данных». Область научных интересов: обработка и анализ изображений и видео, рекуррентные нейронные сети. E-mail: [email protected] .
Болотова Юлия Александровна, 1986 года рождения, в 2009 году окончила Томский политехнический университет по специальности «Программное обеспечение вычислительной техники и автоматизированных систем», к.т.н., доцент отделения информационных технологий. Область научных интересов: обработка изображений, распознавание образов, биологически-подобные алгоритмы. E-mail: [email protected] .
ГРНТИ: 28.23.15
Поступила в редакцию 19 апреля 2018 г. Окончательный вариант - 9 июля 2018 г.
COLOR AND LUMINANCE CORRECTIONS FOR PANORAMIC IMAGE STITCHING
I.A. Kanaeva1, Yu.A. Bolotova1
1 Tomsk Polytechnic University, Tomsk, Russia
Abstract
The article gives a detailed analysis of seamless image stitching methods into a panorama from an overlapping image set. Source images usually have varying colors and luminance due to cameras' position changing. Various approaches of blending and color correction algorithms for source images are presented. This paper illustrates the optimal technic for parallel evaluation of color correction coefficients in all overlapping areas. High quality of our blending method is confirmed by color and structure similarities based on PSNR and SSIM indexes accordingly.
Keywords: multiframe image processing, color blending, image analysis, panoramic image stitching.
Citation: Kanaeva IA, Bolotova YuA. Color and luminance corrections for panoramic image stitching. Computer Optics 2018; 42(5): 885-897. DOI: 10.18287/2412-6179-2018-42-5-885-897.
Acknowledgments: The research was carried out within the TPU Competitiveness Enhancement Program. The reported study was funded by the Russian Foundation for Basic Research under RFBR project No. 18-08-00977 A.
References
[1] Mohammed ABEA, Ming F, Zhengwei F. Color balance for panoramic images. Modern Applied Science 2015; 9(13): 140-147. DOI: 10.5539/mas.v9n13p140.
[2] Xiong Y, Pulli K. Fast panorama stitching for high-quality panoramic images on mobile phones. IEEE Transactions on Consumer Electronics 2010; 56(2): 298-306. DOI: 10.1109/TCE.2010.5505931.
[3] Farbman Z, Hoffer G, Lipman Y, Cohen-Or D, Lischinski D. Coordinates for instant image cloning. ACM Trans Graph 2009; 28(3): 67. DOI: 10.1145/1576246.1531373.
[4] Szeliski R. Computer vision: Algorithms and applications. London, Dordrecht, Heidelberg, New York: Springer; 2011. - ISBN: 978-1-84882-934-3.
[5] Xiong Y, Pulli K. Gradient domain image blending and implementation on mobile devices. In Book: Phan T, Mon-tanari R, Zerfos P, eds. Mobile Computing, Applications, and Services (MobiCase'09) 2010: 293-306. DOI: 10.1007/978-3-642-12607-9_19.
[6] Brown M, Lowe DG. Automatic panoramic image stitching using invariant. Int J Comput Vision 2007; 74(1): 5973. DOI: 10.1007/s11263-006-0002-3.
[7] Favorskaya MN, Pakhirka AI, Zotin AG, Buryachenko VV. Method of creating panoramic aerial images based on multi-band blending [In Russian]. In Book: Proceedings of the All-Russian Conference "Spatial Data Processing for Monitoring of Natural and Anthropogenic Processes". Novosibirsk: "IVT CO RAN" Publisher; 2017: 161-165.
[8] Xiong Y, Pulli K. Fast and high-quality image blending on mobile phones. 2010 7th IEEE Consumer Communications and Networking Conference 2010: 1-5. DOI: 10.1109/CCNC.2010.5421736.
[9] Zhang M, Xie J, Li Y, Wu D. Color histogram correction for panoramic images. Proc 7th International Conference on Virtual Systems and Multimedia 2001: 328-331. DOI: 10.1109/VSMM.2001.969687.
[10] Kekre HB, Sudeep DT. Image blending in vista creation using Kekre's LUV color space. Proc SPIT-IEEE Colloquium and International Conference 2008; 1: 31-35.
[11] Tian GY, Gledhill D, Taylor D, Clarke D. Colour correction for panoramic imaging. Proc 6th International Conference on Information Visualisation 2002: 483-488. DOI: 10.1109/IV.2002.1028817.
[12] Xiong Y, Pulli K. Color correction for mobile panorama imaging. Proc First International Conference on Internet Multimedia Computing and Service (ICIMCS '09) 2009: 219-226. DOI: 10.1145/1734605.1734657.
[13] Xiong Y, Pulli K. Color matching of image sequences with combined gamma and linear corrections. Proceedings of the 18th ACM International Conference on Multimedia (MM '10) 2010: 261-270. DOI: 10.1145/1873951.1873989.
[14] Reinhard E, Adhikhmin M, Gooch B, Shirley P. Color transfer between images. IEEE Comput Graph Appl 2001; 21(5): 34-41. DOI: 10.1109/38.946629.
[15] Cepeda-Negrete J, Sanchez-Yanez R, Correa-Tome F, Lizarraga-Morales R. Dark image enhancement using per-
ceptual color transfer. IEEE Access 2018; 6: 14935-14945. DOI: 10.1109/ACCESS.2017.2763898.
[16] Fairchild MD. Color Appearance Models. In Book: Fair-child MD, ed. Color Appearance Models. Chap 10. Chichester: John Wiley & Sons; 2005. DOI: 10.1002/9781118653128.ch10.
[17] Silvestrova OV. Color correction methods efficiency evaluation for panoramic images with small-size objects [In Russian]. Digital signal processing 2015; 3: 25-28.
[18] Xu W. Panoramic video stitching. PhD thesis. University of Colorado at Boulder Boulder; 2012.
Author's information
Irina Alexandrovna Kanaeva (b. 1994) graduated from Tomsk Polytechnic University with the Bachelor of Science degree with the major in Computer Science and Engineering in 2016. She is enrolled in the master's program of Tomsk Polytechnic University with the major in Computer Analysis and Data Interpretation. Research interests include image and video processing and analyzing, recurrent neural network. Email: [email protected] .
Yulia Alexandrovna Bolotova (b. 1986) graduated from Tomsk Polytechnic University in 2009, PhD associated professor at Information Technology, Tomsk Polytechnic University. Her research interests are image processing, object recognition, biologically-inspired models. E-mail: [email protected] .
Received April 19, 2018. The final version - July 9, 2018.
