Методологическая база управления битовой скоростью при формировании предсказанных кадров Текст научной статьи по специальности «Компьютерные и информационные науки»

ТЕЛЕКОММУНИКАЦИИ

УДК 621.39

МЕТОДОЛОГИЧЕСКАЯ БАЗА УПРАВЛЕНИЯ БИТОВОЙ СКОРОСТЬЮ ПРИ ФОРМИРОВАНИИ ПРЕДСКАЗАННЫХ КАДРОВ

БАРАННИК В.В., ХАРЧЕНКО Н.А.,

БЕКИРОВ А.Э.___________________________

Строится методологическая база для управления битовой скоростью сжатой видеоинформации, что необходимо для ее адаптации относительно пропускной способностью канала в телекоммуникационной сети. Разрабатываются выражения, позволяющие оценить объем передаваемых данных сжатого видеопотока для предсказанных кадров при различных вариантах выбора типа формируемых блоков. Учитываются следующие параметры: особенность цветовой модели, формат представления цветового пространства, тип кодирования видеоданных, размер блока и макроблока в кадре.

Введение

Передача цифрового видео от источника (видеокамера или записанный видеоролик) к получателю (видеодисплей) вовлекает в работу целую цепь различных компонентов и процессов. Ключевыми звеньями этой цепи являются процессы компрессии (кодиров ания) и декомпрессии (декодирования). Здесь изначальный частотоемкий цифровой видеосигнал сокращается до размеров, подходящих для его дальнейшей передачи или хранения. Новые улучшенные разработки процессов компрессии и декомпрессии могут дать существенное коммерческое и техническое преимущество продукта. При этом обеспечивается лучшее качество видеоизображения, большая надежность и/или гибкая приспособляемость по сравнению с уже существующими решениями. Однако наряду с параметрами сжатия необходимо также вводить контроль битовой скорости видеопотока, который поступает в канал связи. Это обусловлено тем, что при обработке разных типов кадров формируется неравномерное количество бит на кадр. Это приводит к возникновению пульсации трафика, что негативно влияет на функционирование сети передачи данных. Поэтому есть необходимость в разработке алгоритма управления битовой скорости видеопотока и его согласования с характеристиками ТКС. В работах [3,4] создан алгоритм обработки Р-кадров, который основан на использовании двух типов сегментов, выбираемых по заданному пределу с учетом функционала, оценивающего информативность полиадического кодиров ания на заключительном этапе сжатия видеоданных. По сравнению со стандарт-РИ, 2013, № 3

ными методами кодирования он является предпочтительным. Однако для него отсутствует методологическая база оценки битовой скорости видеопотока в расчете на один кадр, разработка которой и является

целью данной работы.

Основная часть

В [4] приведен алгоритм обработки блоков яркостной и цветоразностных составляющих представления предсказанного кадра. Определены длины кодовой последовательности передаваемых данных после сжатия для одного блока. Для яркостной составляющей

блока B(t,Y)kV) она определяется выражением:

d(P,Y)gjT) = d(P, Y^jn) +

+d(P, Y)(J,y), ^ f(E(t,Y)kJl,Y)) < AD;

d(I,Y)gY) = d(I,Y)tJnf + (1)

+d(I, Y)g'Y), ^ f(E(t,Y){J]T) )>AD,

где d(P,Y)kjT) - длина кодовой последовательности сжатых данных для Р-блока; d(I,Y)kjT) - длина кодовой последовательности сжатых данных для I-блока; d(I,Y)tJ,Y) и d(P,Y)tJ,Y) - служебные части для блоков типа I и Р; d(I,Y)(Jnf и d(P,Y)(J?n^) - длины кодового представления всех столбцов блоков типа I и Р; (j, у) - координаты макроблока в кадре, j = 1, mmc ; Y = 1, nmc, здесь mmc и nmc - количество макроблоков в кадре по горизонтали и вертикали; (k, l) -координаты блока в макроблоке, k = 1,2; l = 1,2; t -номер текущего обрабатываемого кадра.

Процесс формирования кодовой последовательности для блока B(t,Y)kJjY) показан на рис. 1.

Соответственно количество разрядов для блоков

B(t,Cr)kJjY) и B(t,Cb)kV) после полиадического кодирования определяется следующими выражениями:

d(P,Cr)kJlY) = d(P,Cr)g,Y) + d(P,Cr)gn) , d(P,Cb )kJiY) = d(P,Cb )£Y) + d(P,Cb )gn) , (2)

где d(P,Cr )(jnf, d(P,Cb )(jnf - длины информационной части соответственно для хроматической красной и хроматической синей составляющей; d(P,Cr)tJ;Y), d(P,Cb )tJs;Y) - длина служебной части соответственно для хроматической красной и хроматической синей составляющей.

Процесс формирования кодовой последовательности для блоков B(t, Cr )kJjY) и B(t, Cb )kJjY) показан на рис. 2.

d(t,Y)kjiY)=-

23

Рис. 1. Преобразование блока яркостной составляющей в кодовую последовательность

d(P,Cr)<|-T), бит d(P,Cb)kj1'), бит

I I I I I I

Кодовые последовательности цветоразностных составляющих

Рис. 2. Преобразование блоков цветоразностных составляющих в кодовую последовательность

С учетом меньшей чувствительности зрительной системы человека к цветоразностным компонентам без видимой потери качества число цветовых отсчетов в каждой строке можно уменьшить вдвое.

Именно такое представление, обозначаемое как 4:2:2, было принято в вещательном телевидении. При этом для передачи полного значения телевизионного сигнала в каждом отсчете кадра достаточно 2 байт (чередуя через отсчет независимые значения Cr и Cb).

Более того, для целей потребительского видео признано допустимым уменьшение вдвое и вертикального цветового разрешения, т.е. переход к представлению 4:2:0. Это уменьшает приведенное число байт на отсчет до 1,5. Именно такое представление было заложено в DV-формат цифровых камер, а также формат DVD-видео.

Для учета дифференцированного влияния цифрового формата на объем битового описания кадра введем понятие структурной единицы кадра.

Определение. Структурной единицей кадра будем называть такую структуру, которая формируется на основе макроблоков по одному от каждой составляющей цветовой модели. Структурная единица SO^I^ задается следующей формулой:

S(t)fllaY) = S(t,Y)(^,Y) U S(t,Cr)(i^ U S(t,Cb)(^,Y), (3)

где S(t,Y)(^,Y) - макроблок яркостной составляющей

для текущего Р-кадра; S(t,Cr)(^’Y) и S(t,Cb)(^’Y) -цветоразностные составляющие, представленные соответственно хроматической красной и хроматической синей; (£, у) - координаты макроблока в кадре,

£ = 1,mmc ; у= 1,nmc, здесь mmc и nmc- количество

макроблоков в кадре по горизонтали и вертикали; t -номер текущего обрабатываемого кадра.

Определим количество бит, затраченное на представление одного макроблока, которое равно суммарному количеству бит на представление входящих в него блоков:

При определении общего объема передаваемых данных нужно также учитывать цифровой формат макроблока видеоданных. Применяют три основных формата видео в зависимости от его назначения: 4:4:4, 4:2:2 и 4:2:0.

Как было описано ранее, макроблок после преобразования цветового пространства представляет собой совокупность сигнала яркости Y и двух цветоразностных сигналов Cr и Q,. Вариации их значений допускают 256 градаций (от 0 до 255 для Y и от -128 до 127 для Cr/Cb), что в двоичном исчислении соответствует 8 битам или 1 байту. Теоретически каждый элемент кадра имеет собственные значения Y CrCb, т.е. требует 3 байта. Такое представление, когда как яркость, так и сигналы цветности имеют равное число независимых значений, обычно обозначают как 4:4:4 (рис. 3).

d(t,Y)(i^) = 5 Zd^Y)^; k=11=1

d(t,Cr)feY) = 5 5d(P,Cr)kV°;

k=11=1 ’ (4)

mc nc

d(t,Cb)feY) = 5 Zd^Cb)^,

k=11=1

где d(t,Y)k’jy), d(P,Cr)kjY) и d(P,Cb)k,jY) - соответственно объемы в битах для блоков B(t, Y)k^jY),

B(t, Cr )kjY) и B(t, Cb )k^jY) для (£, у) -х макроблоков яркостной и цветоразностных составляющих Р-кад-ра; mc - количество сегментов в макросегменте по горизонтали; nc - количество сегментов в макросегменте по вертикали.

24

РИ, 2013, № 3

Т огда общие объемы составляющих цветовой модели для одного кадра представляют собой суммарные объемы цифрового описания макроблоков d(t,Y)(5,Y), d(t, Cr )(5,Y), d(t, Cb )(5,Y). В соответствии с этим битовый объем составляющих цветовой модели будет определяться следующими выражениями:

D(t,Y) = mmc = Z nmc Z d(t,Y)(5,Y) ;

5=1 Y=1

D(t,Cr) = mmc = Z nmc Z d(t,Cr)(5,Y)

5=1 Y=1

D(t,Cb) = mmc Z nmc Z d(t,Cb)(5,Y)

5=1 Y=1

(5)

где mmc и nmc - количество макроблоков в кадре по горизонтали и вертикали.

Суммарная длина D(t) кодовой последовательности цифрового описания составляющих цветовой модели на один Р-кадр определяется выражением:

D(t) = D(t,Y) + D(t,Cr) + D(t,Cb), (6)

здесь D(t,Y) - количество бит на представление яркостных составляющих цветовой модели; D(t, Cr), D(t, Cb) - количество бит на представление хроматических составляющих кадра.

С учетом соотношений (5) выражение (6) для величины D(t) примет вид

D(t)

mmc nmc

Z I

d(t,Y)(i^)

5=1 y=1

mmc nmc

+ Z Z d(t,Cr)

(5,Y)

5=1 y=i

+

mmc nmc

+ Z Z d(t,Cb)

(5,Y)

5=1 Y=1

(7)

Из рис. 3 видно, что объемы составляющих кадра определяются форматом представления цветового пространства. Значит, объем цифрового описания

d(t)<l?> для структурной единицы SO© 1 зависит от

объемов входящих в нее макроблоков и соответственно объемов цифрового описания входящих в структурную единицу блоков:

11^

d(t)cibY) = Z Z

k=11=1

d(t,Y)gY) + d(P,Cr)k:iY )-

+d(P,Cb)k^iY)

(8)

Тогда объем передаваемых видеоданных в расчете на один кадр D(t) определяется затратами количества бит на представление всех структурных единиц d(t)daY) кадра с учетом форматов представления цветового пространства.

S(t)«irpY) -я структурная единица кадра видеопотока для формата 4:4:4

S(t,Y)(5y> "с А 2

S(t,Cr)'

(5y)

S(t,Cb)

,(5.i)

d(t, y^i^) / d(t, Y)^^

^(t, y)(25;y d(t,Y)252Y

d(P,Cr)1(5,Y) d(P,Cr )152y )

d(PCr)f;Y) d(P,Cr)<^2Y)

Y) d^A),1" Y)

d(P ,Cb)2^ Y) d(P,Cb)252Y)

______________________________________________✓

S(t)^r^Y) -я структурная единица кадра видеопотока для формата 4:2:2

S(t,Cr)№-Y)

S(t,Cb)(^Y)

d(t, y^t ) d(t, y)152y )

d(t, Y)25;y) d(t,Y)(2;2Y)

d(p,Cr)1(;;-Y)

d(P,Cr)«'Y)

d(P,Cb);S1'Y)

d(P'Cb)«='Y)

smIY) -я структурная единица кадра видеопотока для формата 4:2:0

S(t.Y)«'Y) nс = 2

S(t'Cr)1

(5 ,Y)

S(t.Cb)(

,( 5,y )

d(t, y^i^ ) d(t, Y)<52,y )

d(t,Y)2®iY) d(t,Y)(2^2Y)

d(P'Cr)<;;'Y)

d(P.Cb);5'Y)

Рис. 3. Формирование структурной единицы кадра видеопотока с учетом цифровых форматов видео

РИ, 2013, № 3 25

nc = 2

mc = 1

n с = 2

mc =1

Пс = 1

Выражения (1), (2) для определения объема видеопотока в расчете на один кадр, с учетом выражений (7), (8), принимает вид:

Шшс nmc

D(t) = £ £

£=1 7=1

Шр Ир

£ £d(t,Y)(kf + k=1l=1 kd

mc Пс

+ £ 2Cd(P,er)(^.Y) +

k=1l=1

mc Пс

+ £ £ d(P,cb)

V k=11=1

k,1

&Y) k,1

(9)

Т ак как при выборе формата представления цветовой модели яркостная составляющая включает все блоки, а изменяются только цветовые составляющие, соотношение (9) будет иметь следующий вид:

D(t)

mmc nmc

£ £

d(t,Y)^Y)

+

£=1 7=1

mmc nmc + £ £ £=1 7=1

£ £ d(P,Cr)

k=1l=1 mc n,

&Y) k,l

+£ £;d(P,Cb)(^,Y)

V k=1l=1

k,l

(10)

Для формата представления цветового пространства 4:4:4, количество элементов яркостной и хроматических составляющих кадра видеопотока сохранены в полном составе (см. рис. 3), поэтому при mc = 2, nc = 2 , объем цифрового описания будет определяться выражением:

d(t)iY)

2 2 fd(t,Y)gY) + d(P,Cr)kJ;Y) + 7 k=11=1[+d(P,Cb)k:;Y) ,

Объем D(t) потока видеоданных в расчете на один кадр соответствует выражению (10). Количество строк и столбцов в макроблоке остается неизменным, т. е. mc = 2, nc = 2 для хроматических составляющих Cr и Cb .Тогда выражение (10) примет вид:

D(t)

mmc nmc £ £ £=1 7=1

f

2 2

£ £

k=11=1

V

d(t.Y)kj71 + dCP.Cr)^71

v+d(P'Cb>o >

7

+

7

7

Для формата представления цветового пространства 4:2:2, горизонтальная выборка хроматических состав -ляющих изображения уменьшится в два раза по сравнению с яркостной составляющей. В этом случае объем цифрового описания структурной единицы определяется как:

d(4|bY) = d(t,Y)gY) + £

d(P,Cr)'

(tY)

k,1 '

+d(P,Cb)k^1Y)

С учетом особенностей формата представления цветового пространства 4:2:2, когда из макроблоков обеих цветовых составляющих исключается вторая строка,

26

т.е. mc = 1, nc = 2 , выражение (10) для объема D(t) потока в расчете на кадр примет вид

D(t)

mmc nmc

£ £

£=1 y=1

(

2 2

£ £

k=11=1

V

' d(t,Y)gY) + d(P, Cr)((^’Y)

+d(P,Cb)1^,Y)

V 1,1

77

+

77

При использовании формата цветового пространства 4:2:0 хроматические составляющие Cr и Cb цветовой модели представлены одним блоком первой четверти, в макроблоке отбрасывается вторая строка и второй столбец, т.е. mc = nc = 1 (см. рис. 3). Для данного формата объем цифрового описания структурной единицы определится следующей формулой:

d(t)ibY) = d(t,Y)gY) + d(P,Cr)(i1,Y) +

+d(P, Cb )(д Y) .

Выражение D(t) для формата представления цветового пространства 4:2:0 примет вид

D(t)

mmc nmc

£ £

^=1 y=1

£ £d(t,Y)kV)

k=11=1

+d(P, Cb )gY)

V M

+ d(P,Cr)g,Y)

7

+

7

Таким образом, получены выражения для оценки объема передаваемого видеопотока в расчете на один кадр Р-типа с учетом различных цифровых форматов представления цветового пространства и выбора типа обработки блоков.

Выводы

Разработана методологическая база для управления битовой скоростью сжатого видеопотока. При этом:

- разработана схема обработки блоков яркостной составляющей с помощью двух способов: ДКП как І-тип или ДИКМ как Р-тип. Цветоразностные составляющие будут обрабатываться только с помощью ДИКМ;

- определено количество бит, затраченное на представление одного блока и макроблока для всех составляющих цветовой модели при полиадическом кодировании для блоков Р- и I-типа;

- введено понятие структурной единицы кадра, которая формируется на основе макроблоков по одному от каждой составляющей цветовой модели, и определен ее объем для трех вариантов реализации цифрового формата видео;

- определен общий объем D(t) потока данных в расчете на один кадр в зависимости от выбора цифрового формата макроблоков цветовой модели;

Данные выражения позволяют провести оценку битовой скорости видеопотока для одного кадра с учетом изменения таких параметров как цифровой

РИ, 2013, № 3

формат цветового пространства, размер и тип блоков в кадре, итоговое кодирование данных.

Полученные выражения были сформированы для предсказанных Р-кадров, так как большая часть видеоданных кодируется именно в этом формате, что позволяет устранять временную избыточность и значительно уменьшать количество передаваемой информации.

Таким образом, созданная методологическая база позволяет построить систему управления битовой скоростью видеопотока, что особенно актуально в сетях передачи данных с низкой пропускной способностью канала при малом времени обработки видеоизображений или ограниченных вычислительных возможностях устройств обработки, например реализация служб IP-TV или on-line конференций, передача данных по беспроводным Wi-Fi сетям и т.д.

Литература: 1. Ричардсон Ян. Видеокодирование. Н.264 и MPEG-4 - стандарты нового поколения. М.: Техносфера, 2005. 368 с. 2.Харченко Н.А. Метод компрессии видеопотока на основе полиадического кодирования предсказываемых кадров / Н.А. Харченко, В.Н. Кривонос // Радио-

электроника и информатика. 2013. №1. С. 21- 28. 3. Харченко Н.А. Метод реконструкции предсказываемых кадров в телекоммуникационных технологиях кодирования видеотрафика / Н.А. Харченко // Сучасна спеціальна техніка. К.: МВС ДНДІ, науково-практичний журнал. 2012. Вип. 4. С. 17 - 25.

Поступила в редколлегию 12.08.2013

Рецензент: д-р техн. наук, проф. Сидорович О.Е.

Баранник Владимир Викторович, д-р техн. наук, профессор, начальник кафедры Харьковского университета Воздушных Сил. Научные интересы: обработка информации в инфокоммуникационных системах. Адрес: Украина, 61166, Харьков, ул. Сумская, 77/79, тел. (057) 704-9653. E-mail: [email protected].

Харченко Наталия Андреевна, инженер 2 категории ХНУРЭ. Научные интересы: обработка и сжатие видеоданных. Адрес: Украина, Харьков, пр. Ленина 14, тел. (057) 702-14-29.

Бекиров Али Энверович, соискатель Харьковского университета Воздушных Сил. Научные интересы: обработка информации в инфокоммуникационных системах. Адрес: Украина, 61166, Харьков, ул. Сумская, 77/79, тел. (057) 704-96-53.

РИ, 2013, № 3

27