CC BY
67
GMLePublish: web-система оценки алгоритмов тональной компрессии HDR-изображений
М.А. Матросов, A.B. Игнатенко Лаборатория Компьютерной Графики и Мультимедиа, Факультет Вычислительной Математики и Кибернетики, Московский Государственный Университет им. М.В. Ломоносова {matrosov, ignatenko} @graphics. cs. msu. ru
Аннотация. Многие современные методы обработки изображений не имеют объективной метрики для оценки их качества. К таким методам относится тональная компрессия изображений с широким динамическим диапазоном яркости (HDR-изображений). Такие изображения хранят в себе карту яркости сцены и не могут быть напрямую визуализированы на современных устройствах вывода. Методы тональной компрессии производят интеллектуальное сжатие динамического диапазона HDR-изображений и позволяют получать обычные изображения с низким динамическим диапазоном яркости (LDR-изображения).
При анализе качества работы методов тональной компрессии существенную роль играют субъективные оценки. Более того, для анализа промышленных изображений особенно важны оценки от экспертов в данной области. B связи с этим существует потребность в автоматизированной системе сбора и агрегации таких оценок. Эта система должна быть доступна для пользователей в любом месте и в любое время, т.к. эксперты могут иметь жёсткий график работы.
B данной работе предлагается подобная система в виде web-приложения на базе технологии Microsoft ASP.NET. Система предоставляет администраторам возможность загружать HDR-изображения и интегрировать реализации различных методов тональной компрессии. Она предоставляет функционал для удобного сбора пользовательских оценок. Оценки сохраняются в базе данных на Microsoft SQL Server и ассоциируются с конкретным пользователем. Собранные оценки впоследствии анализируются администраторами системы.
Ключевые слова: система оценки, система публикации, web, тональная компрессия, HDR-изображения.
Введение
Современные устройства ввода (такие как цифровые камеры) могут записать лишь небольшой динамический диапазон яркости (dynamic range of luminance). Для потребительских цифровых камер он составляет порядка 2000:1. B то же время, динамический диапазон воспринимаемой человеческим глазом яркости составляет порядка 109:1. Если не принимать во внимание возможность аккомодации глаза, то динамический диапазон воспринимаемой в рамках одной сцены яркости составляет порядка 10000:1 (данные взяты из [1, стр. 191]). Таким образом, невозможно в рамках одной фотографии запечатлеть весь динамический диапазон, доступный человеческому глазу.
Для преодоления этой проблемы используется технология изображений с широким динамическим диапазоном яркости (HDR-изображения). Они позволяют сохранять полную карту яркости сцены. Существует несколько способов их получения (см. [1, гл. 4]). Однако динамический диапазон современных дисплеев составляет порядка 1000:1, и они не могут напрямую отобразить HDR-изображения. Поэтому для визуализации HDR-изображения необходимо выполнить интеллектуальное сжатие его динамического диапазона с сохранением деталей и содержания. Этот процесс называется тональной компрессией (tone mapping, см. [2],
[3]). Далее по тексту мы будем сокращать термин «метод тональной компрессии» до ТМО (tone mapping operator).
На данный момент существует очень мало объективных метрик для оценки качества ТМО. Например, в [4] вычисляются карты пикселей, в которых произошли определённые изменения контраста в результате тональной компрессии. Однако итоговая оценка приемлемости полученного LDR-изображения сильно зависит от содержания исходной сцены, и надёжно её может дать только человек. В связи с этим существует потребность в субъективных метриках. Несколько подходов для субъективного тестирования предложены в [5], [6] и [7].
В данной работе мы описываем систему GMLePublish, которая используется в Лаборатории Компьютерной Графики и Мультимедиа для сбора субъективных оценок качества работы алгоритмов тональной компрессии.
Терминология
• Система - web-приложение GMLePublish
• Пример - HDR-изображение сцены или набор обычных LDR-фотографий сцены с разными экспозициями (LDR-bracket)
• ТМО - метод тональной компрессии (tone mapping operator)
Общее описание
Система реализована в виде web-пpилoжeния и доступна в сети Интернет. Система предоставляет пользователям следующий функционал:
• Просмотреть список доступных примеров
• Вывести таблицу обработки различных примеров различными ТМО
• Пройти опрос с попарным сравнением по методу [6]
• Пройти опрос с одиночными оценками по методу [7]
Элементы управления для описанных действий приведены на рисунках ниже. Выбор сцен и просмотр таблицы:
Опросы с одиночной и попарной оценками:
Администраторы имеют доступ к следующим настройкам системы:
• Добавить/удалить примеры
• Добавить/удалить реализации ТМО
• Выбрать множество примеров и ТМО для создания опросов
• Посмотреть оценки пользователей
Технические характеристики системы
Система разработана на платформе Microsoft ASP.NET с использованием IDE Microsoft Visual Studio 2012. База данных для хранения оценок и настроек системы находится под управлением Microsoft SQL Server 2012. Веб-сервер работает под управлением Microsoft IIS 7.5. Серверная логика реализована на языке C# под Microsoft .NET 4.5. Клиентская логика написана на JavaScript с использованием библиотеки jQuery.
Запуск реализации ТМО происходит автоматически в момент генерации таблицы с результатами. Ключи для запуска и путь к соответствующему исполнимому файлу хранятся в базе данных. Полученные результаты сохраняются на диск, и в базе данных делается пометка о том, что результат применения данного ТМО к данному примеру уже получен. При повторном обращении к результату он не вычисляется заново.
Организация базы данных
База данных системы используется для хранения примеров, ссылок на реализации ТМО, оценок экспертов и т.п. Каждой таблице в базе данных ставится в соответствие класс в серверном коде на языке C# с помощью технологии Entity Framework. Связь между классами приведена на рисунке ниже.
Sample. Пример или объект, описывает некоторый конкретный материальный объект, например конкретный образец породы, определённое ювелирное изделие и т.п.
Scene. Сцена, совокупность объекта и условий съёмки. Включает настройки камеры и освещения. Каждый объект может быть снят в нескольких сценах. Data. Данное, совокупность файлов, соответствующих определённой сцене. Каждой сцене может соответствовать множество данных. К ним относятся как исходные данные - набор фотографий с разными экспозициями, так и синтезированные данные - HDR-изображение, полученное из набора фотографий, изображения, полученные в результате применения различных ТМО.
DataType. Тип данного, задаёт формат файлов, содержащихся в определённом данном:
о ldr_bracket - набор фотографий с разными экспозициями о hdr_image - полученное по набору HDR-изображение о ldr_image - изображение, результат применения ТМО к HDR-изображению
Method. Метод или алгоритм, описывает определённый алгоритм со ссылкой на автора. Принимает на вход данное одного типа и генерирует данное другого типа. Например, методы ТМО будут принимать на вход данные типа hdr_image и генерировать данные типа ldr_image, а алгоритмы синтеза HDR-изображений будут принимать данные типа ldr_bracket и генерировать данные типа hdr_image.
Impl. Реализация, ссылка на исполнимый файл, в котором реализован данный метод, а также информация о разработчике.
Preset. Настройка или сценарий, задаёт параметры для метода, указывает аргументы командной строки для исполнимого файла.
• Result. Результат, связывает данное со сценарием. Хранит информацию о том, что конкретное данное на самом деле является результатом применения определённого метода к определённому данному.
• Survey. Опрос, задаёт совокупность данныгх и методов, которые может оценить пользователь.
• SurveyMethod. Тип опроса, задаёт конкретную методологию сбора оценок со ссылкой на автора.
о survey_rating - опрос по методу [7] о survey_preference - опрос по методу [6]
• SurveyToPreset. Задаёт набор сценариев, используемых для опроса.
• SurveyToScene. Задаёт набор сцен, используемых для опроса.
• ScoreRating. Рейтинговая оценка, хранит рейтинг (целое число), который присвоил определённый пользователь определённому данному в рамках определённого опроса.
• ScorePreference. Сравнительная оценка, хранит предпочтение определенного пользователя из двух определённых данных в рамках определённого опроса.
Приведённая структура классов позволяет создавать достаточно гибкую систему, в которую при необходимости можно добавлять не только новые примеры и методы тональной компрессии, но и новые виды опросов или типов данных. В определённый момент у авторов работы возникла необходимость добавить в систему методы класса Exposure Fusion, такие как [8] и [9]. Их отличительная особенность в том, что они получают итоговое изображения непосредственно из набора исходных изображений, без синтеза HDR-изображения. Благодаря возможности указывать методам типы входных и выходных данных, эта задача решилась просто созданием дополнительных методов с входными данными типа ldr_bracket и выходными данными типа ldr_image. Отделение сцены от данного позволило унифицировать доступ к классическим ТМО и к методам класса Exposure Fusion.
Заключение
В данной работе мы описали систему GMLePublish, которая позволяет пользователям предоставлять оценки качества работы методов тональной компрессии. За счёт того, что система реализована в виде web-приложения, пользователю требуется минимальное количество времени и усилий для предоставления оценок. Это позволяет исследователям быстро собирать обширные данные, необходимые для развития алгоритмов тональной компрессии.
Описанная система была успешно использована в Лаборатории Компьютерной Графики и Мультимедиа для сбора субъективных оценок алгоритмов тональной компрессии для образцов ювелирной промышленности [10]. В процессе использования она показала высокую надёжность и удобство в использовании, а также простоту доступа к результатам тестирования для их дальнейшего анализа.
Список литературы
[1] Erik Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec, High Dynamic Range Imaging: Acquisition, Display and Image-Based Lighting, Morgan Kaufmann Publishers, Dec. 2005.
[2] E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, "Photographic tone reproduction for digital images," ACM Transactions on Graphics (TOG), vol. 21, no. 3, pp. 267-276, 2002.
[3] M. Ashikhmin, "A tone mapping algorithm for high contrast images," in Proceedings of the 13th Eurographics workshop on Rendering. Eurographics Association, 2002, pp. 145-156.
[4] T.O. Aydin, R. Mantiuk, K. Myszkowski, and H.P. Seidel, "Dynamic range independent image quality assessment," in ACM Transactions on Graphics (TOG). ACM, 2008, vol. 27, p. 69.
[5] M. Cadik, M. Wimmer, L. Neumann, and A. Artusi, "Evaluation of hdr tone mapping methods using essential perceptual attributes," Computers & Graphics, vol. 32, no. 3, pp. 330-349, 2008.
[6] P. Ledda, A. Chalmers, T. Troscianko, and H. Seetzen, "Evaluation of tone mapping operators using a high dynamic range display," ACM Transactions on Graphics (TOG), vol. 24, no. 3, pp. 640-648, 2005.
[7] M. Kuhna, M. Nuutinen, and P. Oittinen, "Method for evaluating tone mapping operators for natural high dynamic range images," in IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics, 2011, pp. 787600-787600.
[8] T. Mertens, J. Kautz, and F. Van Reeth, "Exposure fusion: A simple and practical alternative to high dynamic range photography," in Computer Graphics Forum. Wiley Online Library, 2009, vol. 28, pp. 161-171.
[9] R. Shen, I. Cheng, J. Shi, and A. Basu, "Generalized random walks for fusion of multi-exposure images," Image Processing, IEEE Transactions on, vol. 20, no. 12, pp. 36343646, 2011.
[10] M.A. Матросов, А.В. Игнатенко, «Субъективная оценка алгоритмов тональной компрессии HDR-изображений для образцов ювелирной промышленности с помощью системы GMLePublish», Сборник трудов научно-практического семинара «Новые информационные технологии в автоматизированных системах-16». М.: ИПМ, 2013 г. сс. 43-50
