CC BY
53
Раздел II. Алгоритмическое и программное обеспечение
УДК 004.93
Е.А. Башков, О.Л. Вовк, Н.С. Костюкова
КОНТЕКСТНЫЙ ПОИСК ИЗОБРАЖЕНИЙ В БАЗАХ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ АППАРАТА МУЛЬТИМНОЖЕСТВ
В работе рассматриваются вопросы уменьшения избыточности результатов поиска изображений по визуальному содержимому путем применения аппарата мультимножеств.
Поиск изображений по визуальному содержимому; избыточность результатов; .
E.A. Bashkov, O.L. Vovk, N.S. Kostyukova CONTENT-BASED IMAGE RETRIEVAL IN DATABASES WITH MULTISETS
This article is devoted to the problem of results surplus decreasing for image retrieval by visual content by multisets application.
Image retrieval by visual content; results; multiset.
Введение. В современной жизни сфера ис пользования электронных коллекций изображений постоянно расширяется. Наиболее часто базы данных изображений встречаются в медицине, криминалистике, дизайне, удаленном наблюдении [1]. Такие архивы визуальной информации включают тысячи изображений, и возникает проблема организации эффективного поиска в таких коллекциях.
Наиболее простой и распространенный способ поиска изображений в базах данных - поиск по текстовым описателям, ассоциированным с изображениями [2]. Поскольку не любое изображение можно однозначно описать с помощью текстовых ассоциаций (к примеру, изображения абстракций), данная технология применима только для поиска среди изображений ограниченных классов. Менее ограниченными являются методы контекстного поиска, основанные на автоматическом анализе цветовых характеристик пикселов изображений. Среди них можно выделить методы, которые базируются на анализе всего изображения целиком [3] (методы цветовых и текстурных гистограмм, методы поиска по цветовой планировке) и методы, в основе которых сравнение визуальных примитивов отдельных групп пикселов (регионов, областей, кластеров) [3]. Однако корректное удовлетворение запросов поиска изображений неограниченных классов возможно только при использовании методов анализа примитивов кластеров изображений. Это обусловлено недостатками , -
бражений и повороту объектов внутри изображений, зависимость результатов от вариаций параметров освещенности изображений, невозможность выделения характеристик формы объектов изображений без выделения самих объектов.
,
, .
Однако эффективность данных методов напрямую связана с качеством выделения
.
метод k-средних [4]. Авторами предлагается, как более эффективный, иерархиче-
ский агломеративный метод кластеризации изображений, основанный на битовой маске взаимосвязей и рангов [5]. Сравнительный анализ этих методов показывает, что последний из приведенных методов без потери в качестве имеет преимущества при оценке временных затрат [5].
Целью данной работы является описание разработанного авторами подхода к построению системы контекстного поиска изображений, основанного на учете влияния разнородных характеристик изображений с помощью аппарата муль-.
Анализ существующих технологий построения систем контекстного поиска изображений. Запросы пользователей к коллекциям изображений традиционно классифицируют по трем уровням абстракции [3]: примитивный уровень (поиск по визуальным примитивам: цвету, форме, текстуре - найти изображения, подобные заданному), логический уровень (идентификация представленных объектов - найти изображения Эйфелевой башни), абстрактный уровень фчёт значимости изобра-- , ).
Большинство методов поиска изображений в электронных коллекциях осуществляют удовлетворение запросов примитивного уровня абстракции.
Методы, в основе которых лежит распознавание образов изображений, позволяют проводить контекстный поиск изображений и на логическом уровне абст-, .
Общая схема содержательного поиска изображений в электронных коллекциях приведена в [6,7]. Как правило, система поиска включает блок кластеризации ( , ), -
влечения характеристик изображения, вычисления степени подобия изображений, блоки сортировки и визуализации результатов.
Постановка задачи. В данной работе предлагается модифицировать этап , -
ния пользователю в качестве результатов. Часть схемы контекстного поиска изо, -
, .
Исходными данными для предлагаемого метода отбора изображений-результатов является отсортированный по убыванию близости к изображению образцу набор изображений базы данных, которые заданы характеристиками (цветовыми, формы, местоположения, текстуры и т.д.). В данной работе релевантными изображениями-результатами поиска считаются изображения тематической группы, к которой принадлежит изображение-образец.
Пусть множество 1={11,12,^1„} - отсортированный по убыванию близости к изображению-образцу набор изображений, множество Я={Я1,Я2,Ят} - набор релевантных изображений для определенного запроса (Я е I), Q - изображение-запрос поиска. Для рассматриваемого механизма поиска 90 % элементов множества Я будут находиться среди первых 20 % элементов множества I [9].
Цель предлагаемого подхода - уменьшить избыточность результатов поиска,
,
изображения путем применения аппарата мультимножеств. Исходными данными предлагаемого метода является часть базы данных изображений. Пусть количество входных изображений равно к. С помощью аппарата мультимножеств отфильтровываются нерелевантные изображения, в результате чего получается уменьшенный по размеру набор, количество изображений в котором р (р < к).
Основные определения теории мультимножеств. Подробное описание математического аппарата мультимножеств дано в [10,11]. Рассмотрим основные понятия и определения.
В различных предметных областях рассматриваются совокупности А={Аь...Ак} объектов, которые описываются т дискретными признаками имеющими конечное число д^ , ^=1,...,^, s=1,...,m количественных (числовых) или качественных (номинальных, либо порядковых) значений. Каждый объект А, 1 = 1,...,к из совокупности можно представить как точку д{ в т-мерном векторном пространстве Q=QlXQ2x...xQm, являющемся прямым произведением шкал значений признаков Qs, и поставить объекту Ai в соответствие
т-мерный вектор Ai =(д^ ,д^ ,...,Ят ).
Мультимножеством А, порожденным обычным множеством и={х1,х2,...}, все элементы которого различны, называется совокупность групп элементов вида
А={кА(хУх\хе.и, кА(х)е2+}. Здесь кА:и^2+={0,1,2,...} называется функцией числа
,
х^. и в мультимножество А, что обозначено символом •.
Если кА(х)=ХА(х), где ХА(*)=1 ПРИ хеА и Ха(*)=0 при х&А, то мультимножество А становится обычным множеством.
Действительная неотрицательная функция т(А), определенная на алгебре Ь (1) и удовлетворяющая условию коаддитивности: т(А)+т(Б)=т(А+Б), называется мерой мультимножества. Мера мультимножества т(А) обладает следующим свойствами: т(0)=О; монотонность т(А)<т(Б)^АсБ; непрерывность т(А)=т(А); симметричность т(А)+т()=т(1); эластичность т(к^А)=кт(А). Меру мультимножества можно определить различными способами, например, как линейную комбинацию функций кратности: т(А)=^]^}кА(х}), wJ>0. Заметим, что мощность мультимножества А1 также будет мерой мультимножества.
Метрические пространства мультимножеств (А введены в [3], где определены следующие виды расстояний между мультимножествами:
ё1(А,Б) = т(ААБ); ¿2(А,Б) = т(ААБ)/т(1); ёз(А,Б) = т(ААБ)/т(А и Б).
Функции ё2(А,Б) и ё3(А,Б) удовлетворяют условию нормировки 0<ё(А,Б)<1. По определению принимается а?3(0,0)=0. Основное расстояние ^(А,Б) является метрикой типа Хемминга, традиционно используемым во многих приложениях. Полностью усредненное расстояние ^(А,Б) характеризует различие между двумя
А Б , ,
исходном пространстве. Локально усредненное расстояние ^(А,Б) задает различие, отнесенное к максимально возможной «общей части» только этих двух мультимножеств в исходном пространстве.
Устранение избыточности результатов поиска с помощью аппарата мультимножеств. Пусть изображение I ■ (=1,п) из набора изображений I задается набором характеристик д^ , дJ2,..., дjm }, где п - количество изображений,
т - количество характеристик, по которым производится идентификация объектов-изображений при построении системы контекстного поиска.
При построении запроса к базе данных пользователь задает изображение-шаблон поиска X и количество изображений - результатов к, предъявляемых пользователю системы контекстного поиска изображений после обработки запроса.
Для заданного пользователем изображения вычисляется набор характеристик
Qx={ дх1,дх2,...,дхт } и происходит сортировка изображений базы данных I по
убыванию близости к изображению образцу X. Первые к изображений полученного набора и есть результаты.
С помощью аппарата мультимножеств предлагается отфильтровать нерелевантные к изображению запроса X результаты поиска. Учет разнородных характеристик изображений приведен в табл. 1.
Кроме количественных или качественных оценок множества Q, в табл. 1 приведены два параметра Га и га, которые показывают, является ли изображение
11 (1=\,к ) релевантным (га) или нерелевантным (гь) для изображения запроса X.
- количество признаков, согласно которым изображение 11 можно считать релевантным для изображения поиска X;
гы - количество признаков, согласно которым изображение 11 можно считать нерелевантным для изображения поиска X.
Так как общее число характеристик т, то га + Гь = т .
1
Учет разнородных характеристик изображений
41 42 4т Га Гь
Изображение_1 ?11 412 41т Га1 ГЬ1
Изображение_2 421 4 22 42т Га2 ГЬ2
Изображение_к 4к1 4к 2 4кт Г ' ат ГЬт
Задачу определения того, является ли изображение 11 (1=1,к ) релевантным
для изображения поиска X в соответствии с характеристикой дь (5= 1,т), предлагается решать в соответствии со следующим правилом.
= еслг/^ - д^/ < еря [0, иначе.
т
Га1 = X я=1
Параметр еря подбирается экспериментально в зависимости от особенностей
,
.
Результат разделения изображений на релевантные Ха и нерелевантные Хь для изображения запроса представлены в табл. 2. Принято, что изображение 11 от носится к классу Ха, если га(1г) > гь(Ц) , иначе изображение относится к классу Хь, для 1 е [ 1,к].
2
Классы релевантных и нерелевантных изображений
41 42 4т Га Гь
Ха ва2 п иат ГаХа ГьХа
Хь вЫ вь2 Пьт ГаХь Гьхь
В табл. 2 элементы вычисляются по следующим формулам:
k
eas = Xfe- при ra(Il) > rb(Ii) ;
l=1
k
вЫ = Xqis' ПРИ ra(Il) < rb(Il) ;
k
raXa = Xral- при ra(Il) > rb(Il) ; rbXa = Xrbl' ПРИ ra(Il) > rb(Il) ;
l=1 k
l=1 k
raXb = Xral- ПРИ ra(Il) < rb(Il) ; rbXb = Xrbl- при ra(Il) < rb(Il) .
l=1
l=1
Как основной критерий качества контекстного поиска используется оценка характеристики точности, рассмотренная в [9]. В качестве результатов поиска рассматривались 10 наиболее близких к шаблону поиска изображений. Для оценки
, ,
заданы следующие числовые значения параметров: eps=0,1, k=20. Эксперименты проводились с использованием системы контекстного поиска кластеризованных изображений, описанной в [9], со следующими параметрами: характеристики формы учитывать как второстепенные, характеристики местоположения учитывать, характеристики текстуры не учитывать. В качестве коллекции изображений для тестирования выбрана база изображений группы исследователей Ванга [8]. Результаты экспериментов по оценке точности контекстного поиска показывают, что применение модификации механизма поиска с помощью аппарата мультимножеств дает выигрыш при оценке характеристики точности в среднем на 3,24 %.
Выводы. Поиск изображений по визуальному содержимому (контекстный поиск изображений) - актуальная задача, которую решают исследователи в области криминалистики, медицинской диагностики, удаленного наблюдения и т.д. Для каждой из сфер применения технологии контекстного поиска изображений существуют специфические требования к результатам поиска. В данной работе рассматривается система поиска по визуальному подобию среди изображений неог-.
В работе предлагается повышать точность контекстного поиска изображений с помощью применения аппарата мультимножеств, позволяющего учитывать как количественные, так и качественные характеристики изображений. Для минимизации временных затрат аппарат мультимножеств применяется не для всех изо, , -
ватель задал в качестве количества результатов.
Проведенные эксперименты показали, что введенная модификация позволяет повысить точность контекстного поиска изображений в анализируемой базе данных в среднем на 3,24 %.
В дальнейшем с использованием аппарата мультимножеств планируется построение общего правила отбора релевантных и нерелевантных изображений для .
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Eakins J.P., Graham M.E. A report to the JISC Technology Applications Programme. - NewCastle: Institute for Image Data Research, 1999. - 54 p.
2. Байгарова H.C., Бухштаб Ю.А., Евтеева HM. Современная технология содержательного поиска в электронных коллекциях изображений [Электрон. ресурс]. - Институт при-
.
Тематический выпуск
кладной математики им. М.В. Келдыша РАН, 2000. - Режим доступа: http://www.artinfo.ru/eva/EVA2000M/eva-papers/200008/Baigarova-R.htm.
3. Smeulders A., Worring M., Santini S., Gupta A., Jain R. Content-Based Image Retrieval at the End of the Early Years // IEEE Transactions on Pattern Analysis and Machine Intelligence.
- 2000. - Vol. 22, № 12. - P. 1349-1380.
4. Kanungo T., Mount D., Netanyahu N., Piatko C., Silverman R., Wu A. An Efficient k-Means Clustering Algorithm: Analysis and Implementation // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. - Vol. 24, №7. - P. 881-892.
5. Башков E.A., Вовк О.Л. Математическая модель статистического иерархического агло-
//
нащонального техшчного ушверситету: "1иформатика, юбернетика i обчислювальна технша" (IK0T-2007) - Донецьк: ДонНТУ. - 2007. - випуск 8 (120).
6. Wang J.Z., Li J. Wiederhold G. SIMPLIcity: Semantics-Sensitive Integrated Matching for Picture Libraries // IEEE Transactions on Pattern Analysis and Machine Intelligence.
- 2001. - Vol. 23, № 9. - P. 947-963.
7. . ., . . -2d - // . - 2006.
- 6. - . 84-89
8. [Electronic resource]. - Mode of access: http://wang.ist.psu.edu/~jwang/test1 .tar.
9. . . -// I - "
комп'ютерна графша". - ДНТУ, Донецьк. - 2005. - С. 55-58.
10. . . -ками // Новости искусственного интеллекта. - 2003. - № 4. - 17 с.
11. . . . - .: , 2003. - 248 с.
Башков Евгений Александрович
Государственное высшее учебное заведение «Донецкий национальный технический университет».
E-mail: [email protected].
83001, . , . , 58, .
Тел.: +380623053567.
Костюкова Наталья Стефановна
E-mail: [email protected]. Тел.: +380623010729.
Вовк Ольга Леонидовна
E-mail: [email protected]. Тел.: +380623010729.
Bashkov Evgeny Alexandrovich
High state educational establishment "Donetsk national technical university". E-mail: [email protected]. 58, Artyom street, Donetsk, 83001, Ukraine. Phone: +380623053567.
Kostyukova Natalya Stefanovna
E-mail: [email protected]. Phoner: +380623010729.
Vovk Olga Leonidovna
E-mail: [email protected]. Phone: +380623010729.
