CC BY
20
УДК 621.397.13.037.372
ОЦЕНКА КАЧЕСТВА ТЕЛЕВИЗИОННЫХ МАТЕРИАЛОВ В СИСТЕМАХ ВЕЩАНИЯ НА МОБИЛЬНЫЕ ТЕРМИНАЛЫ А.Ф. Перегудов, К.Ф. Гласман, А.В. Белозерцев, Е.Н. Гриненко
Представлены результаты экспериментальных исследований по мультимодальной оценке качества телевизионных материалов, предназначенных для мобильных и портативных устройств. Для обеспечения достаточного интегрального качества в условиях ограниченной полосы пропускания каналов связи требуется решение оптимизационной задачи и выработка специальных рекомендаций. Дальнейшее повышение качества мультимедийных приложений в системах телевизионного вещания на мобильные терминалы возможно при использовании динамического мультиплексирования и адаптивного (зависящего от содержания передаваемых материалов) распределения скоростей видео- и аудиопотоков в пределах постоянной полосы пропускания канала.
Ключевые слова: мобильное телевидение, оценка качества, мультимодальная оценка, компрессия.
Введение
К производству и доставке телевизионных материалов и другой мультимедийной продукции на портативные и мобильные терминалы предъявляются особые требования, что обусловлено ограниченной полосой пропускания каналов передачи данных. Для достижения высокой степени компрессии данных при минимальном ухудшении качества должна быть решена соответствующая задача оптимизации. Такая оптимизация традиционно проводилась раздельно для каждого из компонентов (изображения и звука) с использованием известных методов оценки их качества [1-3], но без учета восприятия качества аудиовизуального произведения в целом (мультимодального качества). Можно предположить, что учет особенностей мультимодального восприятия позволит решить задачу оптимизации более эффективно [4-6].
Первой задачей настоящей работы является изучение влияния частных параметров видео- и аудиоряда, т.е. скоростей видео- и аудиопотоков, четкости (пространственного разрешения изображения), геометрических размеров и контраста изображения, наличия цветовой компоненты (цветное или черно-белое изображение), громкости звукового сопровождения, на субъективное восприятие мультимодального качества. Вторая задача - исследование влияния содержания аудиовизуального произведения на восприятие мультимодального качества.
Результаты исследования могут быть использованы при анализе характеристик мультимодального качества и поиске путей повышения качества новых мультимедийных приложений, предназначенных для портативных и мобильных устройств.
На кафедре видеотехники Санкт-Петербургского государственного университета кино и телевидения была проведена серия экспериментов по субъективной экспертной оценке мультимодального (интегрального) качества аудиовизуальной продукции различного содержания. В качестве экспертов-наблюдателей в эксперименте участвовало около 60 студентов СПбГУКиТ.
Эксперимент по мультимодальной оценке качества аудиовизуальных материалов
Тестовые материалы и условия проведения эксперимента
В качестве тестовых материалов выбраны три разноплановых сюжета: программа новостей, музыкальный видеоклип и спортивный репортаж. Сюжеты существенно отличаются детальностью и динамикой изображения и характеристиками звукового сопровождения. Так, фрагмент программы новостей представляет собой изображение диктора («говорящая голова») с небольшим количеством мелких деталей и низкой ин-
тенсивностью движения в кадре; звуковое сопровождение - голос диктора. Спортивный сюжет (соревнования по лыжероллингу) характеризуется высокой детальностью и динамикой изображения, сопровождаемого речью комментатора на фоне шума спортивных соревнований. Музыкальный клип представляет собой видеоряд со средней детальностью и интенсивностью движения в кадре в сопровождении сюжетно связанного музыкального аудиоряда.
Из исходных материалов формировались аудиовизуальные последовательности длительностью 10-15 с. При формировании тестовых клипов производилась компрессия изображения по стандарту H.264 (Main Profile, Level 5.1) и компрессия звука в соответствии с форматом MP3 с помощью свободно распространяемого программного кодека MediaCoder v.0.6.1 [7]. Были сформированы тестовые последовательности с различными степенями компрессии и соответственно различными скоростями видео- и аудиопотоков. Остальные параметры тестовых последовательностей (разрешение, размеры и контраст изображения и др.) имели те же значения, что и в эталонных (неком-прессированных) последовательностях. Порядок предъявления последовательностей, временные интервалы и другие условия проведения эксперимента соответствовали Рекомендации ITU-R BT.500-11 [1].
Методика эксперимента и шкала оценок
В эксперименте использовался усовершенствованный метод оценки качества с двойным стимулом и фиксацией результатов на шкале ухудшений (методика DSIS [1]). Группе наблюдателей последовательно предъявлялись пары аудиовизуальных последовательностей; каждая пара включает эталонную некомпрессированную последовательность и тестовую последовательность с тем же содержанием, но искаженную артефактами видео- и аудиокомпрессии. Предлагалось сравнить мультимодальное (интегральное) качество тестовой последовательности с качеством эталонной и выставить оценку по пятибалльной шкале ухудшений. Всего в случайном порядке предъявлялось 25 пар последовательностей с различными значениями скоростей потоков видео- и аудиоданных, соответствующими широкому диапазону изменения мультимодального качества (от эталонного уровня, соответствующего наивысшей оценке, до уровня минимальных оценок). После окончания эксперимента для каждого сочетания параметров вычислялась усредненная по всем экспертам оценка.
Оценка восприятия мультимодального качества должна основываться на общем, интегральном впечатлении от просмотра аудиовизуальной последовательности. Для построения шкалы субъективных оценок и объяснения экспертам, с каких позиций следует подходить к оценке мультимодального качества, предлагается использовать новый, информационный подход. Телевизионные и мультимедийные программы содержат некоторый объем информации. Например, программа новостей содержит преимущественно семантическую информацию, позволяющую зрителям приобрести некоторый объем новых знаний. Получение этой информации обеспечивает формирование у зрителей определенного понимания и устранение неопределенности в отношении каких-либо событий. Напротив, музыкальные сюжеты несут, в основном, информацию, доставляющую зрителю удовольствие - эстетическое наслаждение.
Артефакты компрессии и ухудшение качества изображения и звука могут привести к затруднению восприятия семантической информации и снижению степени эстетического удовлетворения. Для оценки мультимодального качества предлагается использовать пятибалльную шкалу ухудшений со следующей интерпретацией значений оценок: «5» - ухудшение незаметно; «4» - ухудшение заметно, но не затрудняет восприятия информации и (или) получения эстетического удовлетворения; «3» - ухудшение заметно и несколько препятствует восприятию информации; «2» - ухудшение весьма
заметно и препятствует восприятию информации; «1» - ухудшение весьма заметно и существенно препятствует восприятию информации.
Результаты экспериментальных исследований
В результате обработки данных эксперимента получены зависимости усредненных по группе наблюдателей оценок Qм мультимодального качества по шкале ухудшений от скоростей видео- и аудиопотоков, в которых другие характеристики аудиовизуальных последовательностей (в том числе тип контента) являются параметрами. Далее в виде графиков представлены некоторые из полученных зависимостей. Экспериментальные значения аппроксимированы логарифмическими кривыми.
На рис. 1 и 2 представлены зависимости мультимодального качества от скоростей аудио- и видеопотоков для новостного и спортивного сюжетов, наиболее существенно различающихся детальностью и динамикой видеоряда. Пространственное разрешение (четкость) изображения - 720x576 элементов, контраст (Lmax/Lmin ~ 80) и громкость звукового сопровождения - номинальные. На рис. 2, б, показаны доверительные интервалы, соответствующие доверительной вероятности 0,95.
На рис. 3-5 приведены результаты оценки качества всех трех сюжетов при разрешении 220x176, наиболее близком к разрешению экранов современных мобильных терминалов.
Анализ экспериментальных результатов
Анализ результатов экспериментальных исследований (рис. 1-5) позволяет определить характеристики мультимодального качества и найти пути повышения качества мобильных мультимедийных приложений.
Во-первых, следует отметить, что мультимодальное качество зависит от содержания аудиовизуального произведения. На решение экспертов при выставлении оценок влияют искажения обеих компонент (изображения и звука), но в сюжетах различного содержания доминирующее значение имеют разные компоненты. Решающий вклад в формирование субъективного восприятия мультимодального качества вносит информационно более значимая компонента. Так, в насыщенных и высокодинамичных спортивных сюжетах качество изображения имеет относительно больший вес по сравнению со звуковым сопровождением. Напротив, в музыкальных сюжетах более значимо качество звука. Высокий уровень искажений важнейшего компонента ограничивает общее мультимодальное качество. Если скорость видеопотока спортивной тестовой последовательности с разрешением 720x576 равна 256 кбит/с, то ее мультимодальное качество практически не зависит от скорости аудио (см. рис. 2, б). Если скорости аудиопотоков новостного сюжета и музыкального клипа составляют 32 кбит/с, то мультимодальное качество данных сюжетов слабо зависит от скорости потока видео (см. рис. 1, а).
Содержание аудио- и видеокомпонент взаимосвязано при формировании ощущения мультимодального качества. Например, качеству спортивного сюжета на уровне оценки «3» удовлетворяют сочетание скоростей видеоданных 512 кбит/с и аудиоданных 64 кбит/с, а также сочетание 128 кбит/с и 176 кбит/с (рис. 5). Высокий уровень качества звука может частично компенсировать низкое качество изображения.
При формировании у зрителя субъективного ощущения качества большое значение имеет тип контента (содержание аудиовизуального произведения). Уровень качества, соответствующий оценке «3» музыкального клипа с разрешением 220x176, может быть обеспечен при скорости видеоданных в диапазоне 32-128 кбит/с и скорости аудиоданных в диапазоне от 182 кбит/с до 64 кбит/с (рис. 4). Такому же качеству «3» но-
востного сюжета соответствуют значения скоростей видеопотока 8-128 кбит/с при скоростях аудиопотока, находящихся в диапазоне 128-72 кбит/с (рис. 3).
Ои
Qli
ч
Скорость X аудио потока — 12S ЕС т/с
&+ кв: И'С L
— Т
j KD] п/с А-
f----i — Т Г
i
Страсть ЕидемютоЕп,- ! д 12 вбит/с KJ xsiir/c^.
9t EÖim'C 5
Í
Ü Í50 ÍOO 75 Ü UJOO 125Ü 0 50 100 150 200 2*0 300
Chü pocn енд? опотока. h5 иг/с С во ро стъ аулиотгока. кСитн'с
а б
Рис. 1. Зависимости качества новостного сюжета типа «говорящая голова» (разрешение 720x576): а - от скорости видеопотока; б - от скорости аудиопотока
5 I
Скорость аудивпотока - 64 коет/с
Qu
5
А Ск í OJJQCTbBE □;ош roEii— 2 04 & кбЬго'с L0J4 —^
А У SI 2 KfjHi/r g
---г— .i i . ¿íh Kíim'i:
-i—- r
300
0 1000 2000 3000 400и о SO 100 ISO 200 25 0
(.Юросгъ ЕндгошзтоЕа, ивисс Скорость танпггагока. кбнь'с
а б
Рис. 2. Зависимости мультимодального качества спортивного репортажа (разрешение 720x576): а - от скорости видеопотока; б - от скорости аудиопотока
Одинаковому уровню мультимодального качества различных сюжетов соответствуют не только различные значения общих (суммарных) скоростей потоков данных, но и разные соотношения скоростей видео- и аудиопотоков. Так, для новостного сюжета с разрешением 220x176 и качеством, соответствующим оценке «4», оптимальные значения скоростей видео- и аудиопотоков составляют 44 кбит/с и 128 кбит/с соответственно и находятся в отношении 30:70. Для спортивного сюжета скорости видео- и аудиопотоков должны быть равны 512 кбит/с и 128 кбит/с (соотношение 80:20). Для музыкального клипа оптимальное значение скорости передачи как видео, так и звука равно 128 кбит/с (50:50). Критерием оптимальности в данном случае является минимум суммарной скорости потока аудиовидеоданных.
Соотношения скоростей, приведенные выше, показывают, что в системах мобильного ТВ вещания целесообразно использовать адаптивное распределение фиксированной полосы пропускания каналов передачи данных, зависящее от текущего содержания передаваемого контента. Передача видео- и аудиоданных с постоянным, не
адаптируемым к содержанию аудиовизуальном программы, соотношением скоростей приводит к снижению интегрального качества.
5 I I
у^О. б'1 кСшх"
о гоп да ж тоо 1 гол
Сзюрогть. ЕВЛММЕШжа, Еёсх-'е
Рис. 3. Результаты оценки мультимодального качества новостного сюжета типа «говорящая голова» (разрешение 220*176) у, ч..
г
С КО росл, ШЩЦЯШи I\JLiH- I лйлт'о
у* П ГГЦ ЯУД» У оттотгжп — гдкЯнгн'с
1 , ЕйЕЪ' С
Г О _ — 13 2 кпиггс
и гои
+ии &ии ¿0(1 КМО
Пго[нк- 111 кн^рчшшгмсл. сГ>м пЧ:
и
54 15 и 204 25 V ЗС10
Сщтсхи яутнопппжп, кАнтУс;
Рис. 4. Результаты оценки мультимодального качества музыкального видеоклипа
(разрешение 220*176)
I
Сшро"и, иьдаиш то- 512 ишпч1
с ЬП(]111'.П и к 'ДНОМ4Т11) кц = 12 Я кг! и'п'г —"X
/ УТпИТ'Г - ---
я. —ъ-
0 200 400 600 500 1000 1200 С вор осп, шщюпокжа, нбш'с
о ?и 1(ш 150
ГтрогГЬЯу.ПППППТПЕЯ. кПнт.'г
Рис. 5. Результаты оценки мультимодального качества спортивного репортажа
(разрешение 220*176)
Заключение
1. Предложен новый подход к оценке субъективного восприятия мультимодального качества, учитывающий восприятие зрителем информации, содержащейся в аудиовизуальном произведении. В соответствии с данным подходом модифицирована методика оценки качества с двумя стимулами (DSIS) и предложен новый вариант шкалы ухудшений.
2. Оценка мультимодального качества зависит от содержания аудиовизуального произведения. Оба компонента (изображение и звук) влияют на восприятие качества, но один из этих компонентов может иметь преобладающее значение.
3. Дальнейшее повышение качества портативных и мобильных мультимедийных приложений может быть обеспечено использованием динамического, адаптивного к содержанию передаваемого контента распределения скоростей видео- и аудиопотока в пределах постоянной полосы пропускания канала связи.
Основные результаты работы были представлены в виде доклада на конференции, состоявшейся в рамках Международного съезда вещателей IBC2008 (International Broadcasting Convention, 11-15 сентября 2008 г., Амстердам, Нидерланды) [8].
Литература
1. Recommendation ITU-R BT.500-11. Methodology for the subjective assessment of the quality of television pictures.
2. EBU Technical Recommendation R90-2000. The subjective evaluation of the quality of sound programme material.
3. EBU document Tech. 3286 (1997). Assessment methods for the subjective evaluation of the quality of sound programme material - Music.
4. Recommendation ITU-T P.911. Subjective audiovisual quality assessment methods for multimedia applications.
5. Thakur A., Gao C., Larsson A., Parnes P. The Effects of Frame-rate and Image Quality on Perceived Video Quality in Videoconferencing // Luleä Tekniska Universitet. Technical Report. - 2001. - № 7.
6. Tampere University of Technology [Электронный ресурс]. - Jumisko-Pyykko, S., Hak-kinen, J., Nyman, G. Experienced Quality Factors - Qualitative Evaluation Approach to Audiovisual Quality. - Tampere: University of Technology, 2007. - Режим доступа: http://www.students.tut.fi/~jumisko/publications/, свободный.
7. MediaCoder - a free universal media transcoder [Электронный ресурс]. - 2008. - Режим доступа: http://www.mediacoder.net, свободный.
8. Peregudov А., Glasman K., Belozertsev A., Grinenko E. Multimodal Quality Assessments of Compressed Television Materials for Portable and Mobile Devices // IBC2008 Conference Publication. 11-15 September 2008, Amsterdam, the Netherlands. - P. 396-404.
Перегудов Александр Феликсович
Гласман Константин Францевич
Белозерцев Александр Витальевич
Гриненко Евгения Николаедвна
Санкт-Петербургский государственный университет кино и телевидения, кандидат технических наук, проректор, [email protected]
Санкт-Петербургский государственный университет кино и телевидения, кандидат технических наук, зав. кафедрой, к. [email protected]
Санкт-Петербургский государственный университет кино и телевидения, кандидат технических наук, доцент, [email protected]
Санкт-Петербургский государственный университет кино и телевидения, студентка, evgenia. [email protected]
