CC BY
35
УДК 629.391
В.В. БАРАННИК, Н.А. ХАРЧЕНКО, С.Ю. СТАСЕВ
СТРАТЕГИЯ УПРАВЛЕНИЯ БИТОВОЙ СКОРОСТЬЮ ПРИ ОБРАБОТКЕ ПРЕДСКАЗЫВАЕМЫХ КАДРОВ ДЛЯ ПОВЫШЕНИЯ ДОСТУПНОСТИ И ЦЕЛОСТНОСТИ ИНФОРМАЦИОННЫХ РЕСУРСОВ
Разрабатывается стратегия управления битовой скоростью при обработке Р-кадра видеопоследовательности. В рамках предложенной стратегии управления в процессе работы алгоритма компрессии могут быть выбраны варианты обработки блоков Р-кадра для каждой составляющей цветовой модели YQ-Cb. При реализации алгоритма компрессии предлагается изменять следующие параметры: формат цветовой субдискретизации, пороговое значение для выбора типа обработки блока данных, фактор качества. Ввиду того, что яркостная составляющая несет полезную нагрузку, в кадре предлагается также применять разные значения для порогов и факторов качества при их применении к составляющим YCrCb. Комбинация выбранных параметров позволяет гибко адаптироваться к требуемой пропускной способности канала связи и выбирать необходимое качество передаваемого изображения в реальном масштабе времени.
1. Введение
Системы передачи видеоинформации по проводным и беспроводным каналам связи широко применяются во многих сферах жизнедеятельности. При этом подобные системы требуют высоких затрат как памяти, так и вычислительных ресурсов. Также при обработке видеопотока количество кодовых бит для каждого кадра на выходе кодера будет меняться в зависимости от его содержания, что приводит к варьированию битовой скорости выходного потока. Такие скачки битовой скорости могут породить большие проблемы для многих протоколов транспортировки и хранения данных. Так, сети на основе коммутации пакетов могут поддерживать переменную скорость передачи, но средняя пропускная способность в любой момент времени ограничена определенными факторами, зависящими от скорости передачи и перегруженности канала [1].
Поэтому совершенствование технологий и методов обработки видеоданных в целях снижения битовой скорости кодера для ее соответствия скоростям транспортировки в сети передачи данных является актуальной научно-прикладной задачей.
Для организации своевременной доставки потока видеоданных широко применяются методы компрессии, базирующиеся на дискретно-косинусных преобразованиях (JPEG, MPEG2 и H.264), а также алгоритмы, базирующиеся на дискретном вейвлетом преобразовании (JPEG2000). Рекомендация MPEG не специфицирует и не предлагает алгоритма контроля скорости, поэтому решение этого вопроса зависит от самих разработчиков. Стандарт JPEG2000 является более адаптированным решением для задачи компрессии видеопотока, так как обеспечивает управление битовой скоростью с достаточно высокой степенью точности (в отличие от алгоритмов, основанных на дискретном косинусном преобразовании). Кроме того, при реализации JPEG2000 возникают следующие сложности. Стандарт JPEG2000 обеспечивает примерно одинаковые битовые затраты на каждый сегмент. Но, так как статистические свойства сегментов могут существенно отличаться, возможен вариант, когда некоторые сегменты сжимаются с высоким визуальным качеством, а некоторые сжимаются с плохим качеством, что в итоге приведет в снижению общего визуального качества видеоизображения.
Отсюда цель исследований заключается в разработке такой стратегии управления параметрами компрессии видеопотока, которая будет обеспечивать максимально возможное качество изображения для заданной пропускной способности канала.
2. Синтез общей стратегии управления битовой скоростью при обработке Р-
кадров
Разрабатываемая стратегия управления битовой скоростью в MPEG-потоке при обработке блоков текущего Р-кадра будет формироваться на основе предложенного метода компрессии Р-кадров в работах [2,4].
На первом этапе управления производится выбор формата цветовой субдискретизации блоков яркостной и цветоразностных составляющих Р-кадра. Эта технология представляет собой кодирование изображений со снижением цветового разрешения, при которой частота выборки цветоразностных сигналов может быть меньше частоты выборки ярко-стного сигнала. Она основана на особенности человеческого зрения, выраженной большей чувствительностью к перепадам яркости, чем цвета.
Применяют три основных формата цветовой субдискретизации видеокадра в зависимости от его назначения: 4:4:4, 4:2:2 и 4:1:1 (обозначают также как 4:2:0).
Таким образом, объем цифрового описания d(t)CiTрy) для структурной единицы )
кадра зависит от объемов входящих в нее макроблоков и соответственно объемов цифрового описания входящих в структурную единицу блоков (рис. 1). Здесь у) - координаты макроблока в кадре.
Для формата представления цветовой субдискретизации 4:4:4 количество элементов яркостной и цветоразностных составляющих кадра видеопотока сохранены в полном составе (рис. 1,а), поэтому при тс = 2, пс = 2 объем цифрового описания будет определяться выражением:
d(t)(|/) = I I (((у) + d(t,Cr)kдУ) + d(t,Cb)kдУ)), (1)
к=11=1^ '
где d(t,Y)k£,¡y), d(t,Cr)k^1У) и d(t,Cb)k^1У) - соответственно объемы в битах для блоков ), В(^Сг)к{у) и В(^Сь)к\,у) для у)-х макроблоков яркостной и цветоразност-
ных составляющих Р-кадра; у) - координаты макроблока в кадре, ^ = 1,ттс ; у = 1,пшс , здесь ттс и птс - количество макроблоков в кадре по горизонтали и вертикали; t - номер текущего обрабатываемого кадра; (к,1) - координаты блока в макроблоке; тс- количество блоков в макроблоке по горизонтали; пс - количество блоков в макроблоке по вертикали.
Общий объем D(t) потока видеоданных в расчете на один кадр соответствует выражению:
D(t) = I I
|=1 у=1
( 22 Г ,„О^ -----(¡=,у) ^
III d(t,Y)kl + d(t,Cr)k;;Y) + d(t,Cb)k,1
к=и=11 k,1 k,1
(2)
Для формата представления цветовой субдискретизации 4:2:2 (рис. 1,б), горизонтальная выборка цветоразностных составляющих изображения уменьшится в два раза по сравнению с яркостной составляющей. В этом случае объем цифрового описания структурной единицы определяется как:
d(t)(^рy) = d(t,Y)kдУ) + 2 (d(t,Cr)k:í7) + d(t,Cb)gy)). (3)
С учетом особенностей формата представления цветового пространства 4:2:2, когда из макроблоков обеих цветовых составляющих исключается вторая строка, т.е. тс = 1, пс = 2, выражение для объема D(t) потока в расчете на кадр примет вид:
D(t) = !с ПЕ ГI1 (d(t, ) + d(t, Сг )^у) + d(t, СЬ )((^,у))! . (4)
|=1 7=1 V k=11=1^ , , '/
) -я структурная единица кадра видеопотока для формата 4:4:4
| ) Пс " 2
I
| тс = 2^
I
В(1,У)1141, В(1,У)(1 ?}
в(:,У)242у }
(у )
В^СД^у) ЩСг)^ }
в(1,Сг)241у} В(1,Сг)^ }
(у)
В(1,СЬ)14,У) В(1,СЬ)(1|у}
в(:,Сь)241у} В(1,СЬ)242У}
8(1)С£=.ру )-я структурная единица кадра видеопотока для формата 4:2:2
§(1,у)(4,У) Пс - 2
| тс-2^
В(1,У)14, В«^у}
в(:^)241у: В(^)242}
8(1,Сг)'
(4, у)
8(1,СЬ)'
(4, у)
Пс - 2
тс - 1
б
8(1)С£=.рТ )-я структурная едини ца кадра в идео пото ка для формата 4:2:0
4у) Пс - 2
тс - 2 л
В(1,У)(14, В«^ *)
В(1^)242у}
8(1,СГ)(4,у}
(4, у)
тс -1
пс - 1
Рис. 1. Формирование структурной единицы кадра видеопотока с учетом форматов субдискретизации: а - представление структурной единицы в формате 4:4:4; б - представление структурной единицы в формате 4:2:2; в - представление структурной единицы в формате 4:1:1
При использовании формата цветовой субдискретизации 4:2:0 цветоразностные составляющие Сг и Сь представлены одним блоком первой четверти, в макроблоке отбрасывается вторая строка и второй столбец, т.е. тс - пс -1 (рис. 1,в). Для данного формата объем цифрового описания структурной единицы определится следующей формулой:
¿(:)(4ру) - у)+) + ¿аоД4^. (5)
Выражение D(t) для формата представления цветового пространства 4:2:0 примет вид D(t) - "е !с ГI I ¿(^¡^) + ¿(1, Сг) + ¿(1, Сь )(4;^) 1 (6)
4-1 у-1 ^ к-11-1 ' 1,1 V
а
Таким образом, выбор формата цветовой субдискретизации видеоданных позволяет сократить не только общий объем передаваемых данных на одни кадр, но и влияние в процентном соотношении цветоразностных составляющих относительно яркостной (таблица).
В случае с Р-кадрами было принято решение использовать цветовую субдискретизацию формата 4:2:2. Далее необходимо выбрать исходные параметры кодирования для алгоритма компресии.
Влияние в процентном соотношении составляющих YCгCb по заполнению макроблоками
Формат цветовой Y составляющая, % Сг составляющая, % Сь составляющая, %
субдиск етизации
4:4:4 100% 100% 100%
4:2:2 100% 50% 50%
4:1:1 100% 25% 25%
Вторым этапом управления является выбор порогового значения до для блоков текущего кадра.
Для MPEG-технологии кадры видеопоследовательности делятся на несколько типов. Наиболее существенный вклад в суммарную интенсивность видеопотока оказывают Р-кадры, которые формируются путем адаптивного кодирования с предсказанием (ДИКМ). Общая схема ДИКМ показана на рис. 2, где и Ь(1 -1^) - значения пикселей блока
текущего 1 и предыдущего 1-1 кадров; е(1^) - кодированное значение пикселя блока текущего 1 кадра; е'(;^) - принятое кодированное значение пикселя блока текущего 1 кадра; Ь'О^) и Ь'(1 -1^) - принятые декодированные значения пикселей текущего и предыдущего кадров; w - компонент, представляющий одну из плоскостей цветовой модели изображения YCгCЬ.
После процедуры адаптивного кодирования с предсказанием, показанной на рис. 2 [3],
формируются двумерные массивы Е(1Д)ЙУ), Е(1,Сг)^у), Е(1,СЬ)^У). Элементами
данных массивов являются , е(1,Сг)^ , е(1,Сь)^, которые определяются по фор-
мулам:
е(1,= Ь(1Д)10 - Ь(1 - ; е(1, Сг= Ь(1, Сг )у - Ь(1 -1, Сг ; (7) e(t,Cь)i,j = ь(1,сь)У - Ь(1 -1, Cь)l,j, где , Ь(1,Сг)у , Ь(1,Сь)^ - (1, j) -е компоненты блоков яркостной и цветоразност-
ных составляющих изображения текущего 1-го Р-кадра; Ь(1 - , Ь(1 -1, Сг, Ь(1 -1, сь - (1, j) -е компоненты блоков яркостной и цветоразностных составляющих изображения предыдущего (1 -1) -го кадра.
Кодер
Входная последовательность
Ь(^)
+
Ь(1 -1^)
Сумм. 1
е(1,
Канал
связи >■------
+ УС. Сумм. 2
+ Ж
Декодер +
Выходная после дов ате ль ность
Ь'(1 - 1,w)
Рис. 2. Структурно-функциональная схема адаптивного кодирования с предсказанием
Возможны варианты, когда между кадрами будет резкий динамический переход. В этом случае эффективность обработки Р-кадра будет снижаться. Для выхода из этой ситуации предлагается такие блоки обрабатывать как 1-кадры. Поэтому для выбора варианта дальнейшей обработки предлагается механизм адаптации [5]. Ключевой составляющей данного механизма является классификация блока Р-кадра на тип дальнейшей его
обработки. Для выбора типа предлагается оценивать информативность ^Е^^) )) каждого блока по соответствующему порогу ДD(w) . Информативность блоков Е^^)^), Еа,Сг)^у), Е^С,)^1) будем определять с помощью функционалов )),
f (Е(^ Сг) )), f (E(t, Сь) )), значения которых сравнивают с соответствующими значениями порогов ДD(Y), ДО(Сг)=ДО(Сь)=ДО(Са), где Са - представляет компоненты одной
из цветоразностных плоскостей: Са = Сг или Са = Сь . Так как яркостная составляющая при восстановлении изображения несет большую информационную нагрузку, чем цветораз-ностные составляющие Сг, Сь, то значение порога при обработке блоков яркостной составляющей будем выбирать меньшим, чем при обработке цветоразностных составляющих.
Значение порогов ДD(Y) и ДО(Са) предлагается определять как
п т п т
Е l0g2 Е l0g2 П ^0-, Са);
ДD(Y) = ^-—--100% < 30% ; ДD(Ca) = ^-—--100% < 50%, (8)
Птах Птах
где А£,Са), - основания i-й строки блоков В(^)£у), В(^Сг)к:1У), В(^СЬ)§у)
текущего Р-кадра; т - количество строк в блоке (т = 8); п - количество столбцов в блоке (п = 8); птах - максимальная длина машинного слова (максимальное число разрядов, которое отводится для хранения одномерного блочного кода для одной строки из 8-ми элементов).
3. Разработка механизма адаптации параметров компрессии предсказываемых кадров к характеристикам телекоммуникационной среды передачи
Рассмотрим детально работу предложенного механизма адаптации (рис. 3).
Если условие выполняется и значения функционалов ^Е(^)^у)), ВД^С^у)),
f (Е(1, Сь) к^1У)) не превышают заданный порог:
ВД^)^) <ДО(У); ^Еа,Сг)ЁУ)) <ДО(Са); f(E(t,Cb )к^1У)) <ДО(Са), (9) то далее блокам присваивается тип дальнейшей обработки Р.
В этом случае разностные массивы Е^^)^1), Е(1, Сг) к£,'1У), Е(1, Сь) кЕ,17) поступают на кодер, где для блоков Р-типа проводится формирование одномерных блочных кодов
ЖР^у), ^Р,^у), ^Р,^у) для >го столбца блоков В(^)§7), В^С^Г),
В(1,Сь)к^1У) соответственно. Если условие не выполняется, что значит в блоке появился динамический объект и
значение функционалов ВД^)^), ОД^СГ)[.:17)), ВД^С,)^) превышает порог:
ВД^)^) > ДО^); f(E(t,Cr)k:l7)) >ДD(Ca); ВД^С, )£1У)) >ДD(Ca), (10) то такому блоку присваивается тип обработки I и он будет обрабатываться по алгоритмам, используемым для кодирования 1-кадров.
4--
Прогнозирование текущей битовой скорости
Управлениевыбраковк <А «некомфортный» пакетов
Оц номерн ый бло чн ый код для блока яркостной составляощей 1-тнп
5
а..(Г" с»
Одномерный блочн ый код для блок а яркостной
составляющей Р-тип
4
С.«**
Одномерный блочный код для блока хро мзтич еской красно* составляющей 1-ти п
О
Одномерный блочный код для блока хро штим еской к расноЁ составляющей Р-тип
4 — —
„О
гг."
«----
Одномерный блочный код для блока хро ютич еской синей составляющей 1-ти п
Сн
о
>< с «*
4------
Одномерный блочный код для блока хро штич еской сии ей составляющей Р-тип
%
ч
о
■о
о.. э
<4----
В этом случае разностные массивы E(t,Y)k^y), E(t,Cr)kV), E(t, Cb) k^^l7) проходят
этап трансформирования, с помощью дискретного косинусного преобразования (ДКП). Проводится процедура квантования, после чего полученная матрица преобразуется зигзаг-сканированием и также кодируется одномерным блочным кодом.
Третьим этапом стратегии управления является определение значения фактора качества, который используется при формировании матрицы квантования.
Расчет матрицы квантования состоит в следующем: задается одно значение фактора качества (Quality Factor - QF) обычно в диапазоне от 1 до 25 и производится расчет значений матрицы по формуле:
q(t,Y)i,j = 1 + (1 + i + j)• QF(Y); q(t,Cr)i,j = 1 + (1 + i + j)• QF(Ca); (11)
q(t,Cb)i,j = 1 + (1 + i + j) • QF(Ca).
При этом, так же как и в случае со значениями порогов, факторы качества для яркостной и цветоразностных составляющих будут выбираться с разными величинами.
На следующем этапе стратегии управления проводится оценка итоговой битовой скорости D(t) и среднеквадратической ошибки c(t) видеопотока обрабатываемого кадра при исходных параметрах обработки блоков: порогов AD(Y)in, AD(Ca)in и факторов качества QF(Y)in , QF(Ca)in.
Исходные параметры выбираются из соображений достижения наилучшего качества изображения, однако они задаются в пределах:
ADmin < AD(Y)in, AD(Ca)in < ADmaX ; QFmin < QF(Y)in,QF(Ca)in < QFmaX .
Проверка видеоданных на качество изображения проводится путем определения сред-неквадратической ошибки выражением:
. ( mc nc ^
a(t) = Z Z H^Y)^) +a(t,Cr)k^1y) +a(t,Cb)k^iy)
у=1 Vk=1l=1
) — среднеквадратическаст ошибка блока R(t wi\ • ^
(12)
где ) - среднеквадратическая ошибка блока Ь' ' - восстанов-
ленный элемент блока изображения; ь(^) - исходный элемент блока изображения; т -
количество элементов в блоке по горизонтали; п - количество элементов в блоке по вертикали.
В случае, если среднеквадратическая ошибка с( t) будет превышать требуемое значение t) > creq , т.е. качество восстановленного изображения меньше заданного или итоговая битовая скорость D(t) превышает требуемую: D(t) > dreq, в соответствии со стратегией управления проводится изменение параметров значений факторов качества и порога ДD для всех составляющих цветовой модели [6]. В случае, если перебор возможных вариантов параметров сжатия не позволил достичь требуемых параметров скорости и качества, принимается решение об изменении формата цифровой субдискретизации.
Оценка итоговой битовой скорости D(t) и среднеквадратической ошибки с( t) проводится после изменения каждого параметра. Если после всех изменений не удалось достичь заданной скорости в течение времени обработки, которое было отведено на сжатие одного кадра, может быть принято решение о пропуске текущего Р-кадра.
4.Выводы
Разработана стратегия управления итоговой битовой скоростью видеопотока при обработке Р-кадров, позволяющая реализовать возможность контроля среднеквадратической ошибки при интенсивности видеопотока, не превышающей требуемой пропускной способности канала связи. Разработанная стратегия включает в себя следующие этапы:
1. Выбор формата цветовой субдискретизации к предсказываемому кадру. Это позволит сократить не только общий объем передаваемых данных на одни кадр, но и влияние в процентном соотношении цветоразностных составляющих относительно яркостной.
2. Применение дифференциальной обработки блока в зависимости от порога, в соответствии с которым определяется уровень информативности каждого блока. Это позволит в Р-блоках с незначительными изменениями производить меньшее количество математических операций, что значительно снизит время их обработки. В то же время, при обработке I-блока с большими дифференцированными значениями, соответствующими динамическому изменению объекта в обрабатываемой области, будут выбраны такие параметры компрессии, которые обеспечат наилучшее качество. Таколй метод обработки позволяет без изменения качества изображения уменьшать количество вычислительных операций и соответственно уменьшать время обработки, что особенно актуально для мультимедийного трафика реального масштаба времени.
3. Использование адаптивного механизма изменения следующих параметров компрессии блока: цветовой субдискретизации, порогового значения, а также фактора качества. Их комбинирование позволяет быстро адаптироваться к пропускной способности канала связи и выбирать необходимое качество передаваемого изображения.
Параметры компрессии для разных цветовых составляющих кадра будут выбираться отдельно для каждой составляющей. Значения порога и фактора качества выбираются таким образом, чтобы яркостная составляющая, несущая наибольшую информативность, обрабатывалась с лучшим качеством, чем цветоразностные составляющие. Список литературы: 1. Ричардсон Ян. Видеокодирование. Н.264 и MPEG-4 - стандарты нового поколения / Ян Ричардсон. М.: Техносфера, 2005. 368 с. 2. Баранник В.В. Метод компрессии видеопотока на основе полиадического кодирования предсказываемых кадров / В.В. Баранник, Н.А. Харченко, В.Н. Кривонос // АСУ и приборы автоматики. 2013. Вып. 163. С. 47 - 52. 3. Ватолин Д. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео / Д. Ватолин, А. Ратушняк, М.Смирнов, В. Юкин М.: Диалог-Мифи, 2003. 381с. 4. Баранник В.В. Методологическая база управления битовой скоростью при формировании предсказанных кадров / В.В. Баранник, Н.А. Харченко, А.Э. Бекиров // Радиоэлектроника и информатика. 2013. №1.С. 25-30. 5. Баранник В.В. Метод оценки битовой скорости в процессе кодирования макроблока для видеоинформационного потока в телекоммуникационной сети / В.В. Баранник, Н.А. Харченко, К.Н. Юрченко, В.В. Твердохлеб // Информационно-управляющие системы на железнодорожном транспорте. 2014. №4. С.52-59. 6. Баранник В.В. Метод контроля битовой скорости при компрессии предсказанных кадров в видеопоследовательности / В.В. Баранник, Д.Э. Двухглавов, Н.А. Харченко // СОИ. 2014. №5.С. 40-45.
Поступила в редколегию 18.12.2014 Баранник Владимир Викторович, д-р техн. наук, начальник кафедры боевого применения и эксплуатации АСУ Харьковского университета Воздушных Сил. Научные интересы: обработка и передача информации. Адрес: Украина, 61023, Харьков, ул. Сумская, 77/79, [email protected].
Харченко Наталия Андреевна, ст. преподаватель ХНУРЭ. Научные интересы: обработка и сжатие видеоданных. Адрес: Украина, Харьков, ул. Слинько, 20а, кв. 60, тел. 066-135-03-68.
Стасев Сергей Юрьевич, аспирант ХНУРЭ. Научные интересы: технологии кодирования и обеспечения информационной безопасности государства. Адрес: Украина, 61023, Харьков, ул. Сумская, 77/79.
