Компьютерная модель статистического распознавания изображений Текст научной статьи по специальности «Математика»

УДК 621. 391: 519. 2

КОМПЬЮТЕРНАЯ МОДЕЛЬ СТАТИСТИЧЕСКОГО РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ

Рассмотрена компьютерная модель статистического распознавания изображений. Введена мера сходства изображений и вычислены ее значения для пар изображений. Показан метод избавления от сингулярности ковариационных матриц. Приводится алгоритм распознающего устройства. В статистическом эксперименте на компьютере получены оценки вероятностей ошибок первого и второго рода. Проведены исследования поведения этих оценок при различных объемах контрольных и обучающих выборок, размерности пространства признаков и меры сходства распознаваемых изображений.

Ключевые слова: распознавание изображений, мера сходства, пространство признаков, контрольные и обучающие выборки, модель, программа, оценка вероятностей ошибок.

. Значительная часть прикладных задач обработки информации и анализа данных связана с

изображениями. Это очень важно для приложений распознавания образов и искусственного интеллекта. Этот процесс отражает как появление новых технических средств получения информации, обеспечивающих представление зарегистрированных и накопленных данных в виде изображений, так и рост известности и популярности собственно распознавания образов в качестве мощной и практичной методологии математической обработки и анализа информации. Задача распознавания изображений заключается в получении формального описания предъявленного изображения и в отнесении его к одному из известных классов.

Целью данной работы является построение компьютерной модели статистического распознавания попарно предъявляемых изображений. Исследование поведения вероятностей ошибок распознавания первого и второго рода при изменении объемов контрольных и обучающих выборок, размерности пространства признаков, а также выявление зависимостей этих ошибок от меры сходства распознаваемых изображений.

Постановка задачи такова: имеются изображения объектов, составляющие множество А, и ряд изображений объектов, относящихся к множеству В. Объекты множества В имеют определенное количество признаков, идентичных признакам объектов множества А. Изображения объектов множества А назовем главными целями, а множества В — дополнительными целями. При распознавании предъявляются один объект из множества А — главная цель, и один объект из множества В.

Для распознавания предъявляются изображения кораблей, представленные на рис.1, один из которых является главной целью, а две — дополнительными целями.

а) Главная цель б) Дополнительная цель 1

в) Дополнительная цель 2

Рис. 1. Изображения для распознавания

При моделировании на компьютере производилось поочередное сравнение главной цели с одной из дополнительных целей (двух альтернативное распознавание). Были использованы две дополнительные цели, которые отличались между собой тем, что имели разную меру сходства с

Н.М. НОВИКОВА С.А. НОАМАН

государственный университет

e-ma.il:

[email protected]

главной целью. Под мерой сходства следует понимать количество идентичных признаков и степень совпадения схожих признаков. Формализуем понятие меры сходства.

Представим предъявляемые изображения векторами в п-мерном пространстве. Тогда о мере сходства двух объектов можно судить по значению функции Ь [5], заданной в пространстве изображений и имеющей следующие свойства.

1. Мера сходства должна быть положительной величиной, т.е.

т , Б, ) > о .

2. Должна обладать свойством симметрии

од , б, ) = щ, , б ) .

3. Мера сходства изображения с самим собой должна быть максимальной

¿(5,., Б,) = тах ¿(5, Б,) .

В метрическом пространстве подобной мерой может быть любая невозрастающая функция расстояния. В качестве меры сходства, удовлетворяющей этим свойствам, выбрана величина, обратная Евклидову расстоянию между парой п- мерных векторов Хк и X,

/

¿( , X ) =

Л

-1

Е (X, - X, ) 2

]=1

У

Мера сходства между главной целью и дополнительной целью 1 составляет Ь = 0,0409, а с дополнительной целью 2 — Ь2 = 0,0478.

Математическая модель распознавания изображений может быть построена на основе статистической теории распознавания образов. Для этого решение задачи распознавания условно можно разбить на четыре этапа. На первом этапе задача распознавания образов связана с выдел е-нием характерных признаков из полученных исходных данных и снижением размерности векторов образов. Эту задачу определяют как формирование признакового пространства. Второй этап связан с представлением исходных данных, полученных как результаты измерений для подлежащего распознаванию объекта, составляющих обучающую {Х;- }т, — {. , ..., Хт, } выборку.

Обучение имеет своей конечной целью формирование эталонных описаний классов, форма которых определяется способом их использования в решающих правилах. Третий этап состоит в отыскании оптимальных решающих процедур, необходимых при идентификации и классификации. На четвертом этапе производится оценка достоверности распознавания, основанная на вычислениях вероятностей ошибок 1-го и 2-го рода. Рассмотрим более подробно каждый из перечисленных этапов.

Образы предъявляются для распознавания в виде некоторой совокупности наблюдений, записываемой в виде матрицы X . Каждый

_^ у _

столбец . I — (Хц , —2г ' ...' Хрг) ' г = 1' П матрицы X представляет собой р-мерный вектор наблюдаемых значений признаков X1, X2, ..., X являющихся безразмерными переменными (Х^. , , ..., Хрг ) этого пространства. Совокупность признаков должна в наибольшей

степени отражать те свойства образов, которые важны для распознавания. От размерности признакового пространства зависит вычислительная сложность процедур распознавания и достоверность полученных результатов. Процедуры выбора признаков и формирования признакового пространства в сильной степени зависят от конкретной задачи. В данной работе для снижения размерности исходного признакового пространства используется преобразование Грамма-Шмидта над векторами измерений [2]. Выбор данного преобразования обусловлен простотой его реализации на компьютере.

Обучение. Источником информации о распознаваемых образах является совокупность результатов независимых наблюдений (выборочных значений), составляющих обучающие

{—г }т, — {. ,. .., Хт, } и контрольную {—г }п — {. , ..., Хп } выборки. В условиях рассматриваемой задачи выборки представляют собой р-мерные случайные величины. Одним из этапов обучения является проверка на нормальность закона распределения признаков. Применение кри-2

терия Ю (Крамера - Мизеса - Смирнова) к многомерному закону распределения признаков пока-

п

зывает, что закон является нормальным при уровне значимости X = 0,05. Использование этого критерия обусловлено тем, что он является более общим критерием и охватывает большинство других критериев, таких как критерии Мизеса, Смирнова, Реньи и другие [1]. Поскольку имеем дело с нормальным многомерным распределением, то априорная неопределенность будет относиться лишь к параметрам этого распределения, так что целью обучения в этом случае становится п о-лучение оценок этих параметров. Следует отметить, что различают обучение с учителем, в резул ь-тате которого получают классифицированную обучающую выборку. Относительно элементов выборки известно, какому закону распределения они принадлежат. В результате обучения без учителя оценки формируются по неклассифицированным выборкам. Таким образом, при имеющемся нормальном многомерном распределении достаточно вычислить по классифицированным обучающим выборкам (Х;(кП ) £ оценку максимального правдоподобия вектора средних а ^ и ковариационных матриц М [3].

тк

^ тк

а*= —Г к )' тк

тк

= -гЧ £( х(* ) - ^ )(Xк п - ак )Т . (2)

тк - 1

В этих формулах введены следующие обозначения: к — номер класса к=1,2, тк - объемы обучающих классифицированных выборок, принадлежащих классам ^ и соответственно. Полученные оценки являются состоятельными и несмещенными. В [6] доказано, что выборочный вектор средних и выборочная ковариационная матрица нормального многомерного распределения независимы. Это значительно сокращает объем вычислений на компьютере.

Принятие решений. Выбор решающего правила, позволяющего относить контрольную выборку наблюдений к одному из взаимоисключающих классов, производится в соответствии с теорией статистических решений с учетом априорной информации и данных обучения. Согласно

этой теории все решающие правила для к > 2 классов основаны на сравнении отношений правдоподобия между собой или с определенным порогом С, значение которого определяется выбранным критерием качества [3]. В статистическом распознавании в решающем правиле используются

не сами плотности вероятностей Мп (X ,•••, Хп / ) , а их оценки мп (X ,•••, Хп / Ь п ) , получаемые

в процессе обучения:

I =Мп = М( Х1 '•••' Х- / Ьк ) > с (3)

М 1„ М(Х — Хп / )

Здесь — оценка отношения правдоподобия, С — порог. Рассматривается задача определения принадлежности выборки независимых многомерных нормально распределенных наблюдений к

одному из двух классов ^ и с разными векторами средних а , а2 и ковариационными матрицами мх и Мп . Решающее правило таково: выборка (х^^, Хп) относится к р-мерному нормальному закону с параметрами (а2 , мМ2 ) (классу ), если выполняется неравенство

1 п Л Л Л

е- = - Хкх- а1)Т м-1 (х- а ) - (х- ап)Т у

2 1=1

/V /V п Л Л

УМ - (Х. - а 2)] + - 1п^ Мх / м2) > 1п С (4)

и к р-мерному нормальному закону с параметрами ( а ,Мх) (классу ^ ), если выполняется неравенство, противоположное (4). В выражении (4) (л^ и М ^ — оценки максимального правдоподобия параметров нормального распределения, полученные по формулам (1) и (2) на этапе обучения,£п — оценка логарифма отношения правдоподобия, 1п С— порог.

Поскольку при т + т2 — 2 < р матрица м является вырожденной (сингулярной) и обратная матрица М не существует, на объемы обучающих выборок наложено ограничение [3]

т1 + т2 — 2 > р , (5)

где т, т2 - объемы обучающих выборок, принадлежащих классам 5 и 52 соответственно, р — размерность признакового пространства. В случае распознавания изображений условие (5) не выполнимо из-за большой размерности выборки наблюдений. Это приводит к тому, что м становится вырожденной, а задача распознавания некорректно поставленной. Чтобы обойти эту трудность предлагается следующий способ. В том случае, когда матрица М оказывается вырожденной, расчет обратной матрицы М _1, используемой в классифицирующих процедурах, может быть произведен по методу Гревилля нахождения обобщенной обратной матрицы Я+ по отношению к вырожденной матрице Я размера тхп и ранга г.

Пусть В - матрица размера тхг, столбцы которой являются линейно независимыми столбцами матрицы Я. Тогда матрицу Я можно представить следующим образом [2]:

Я — ВС

тхп тхг тхп '

Так как ВТВ — невырожденная матрица размера гхг, то матрицу С можно вычислить с помощью соотношения

С — (Вт В)-1 Вт Я (6)

Из выражения (6) видно, что матрица С имеет ранг г, поэтому матрица СТС будет невырожденной матрицей размера гхг и псевдообратная матрица Я+ определяется выражением [2]:

Я+ — Ст (ССт )—1 (Вт В)Вт .

Таким образом, матрицу м можно сделать невырожденной и использовать ее в выражении (4) вместо М -1.

Оценивание достоверности распознавания. Достоверность распознавания можно оценить, определив вероятности ошибок. Вероятности ошибок первого рода И (вероятность того

что выборка X принадлежит классу но ошибочно отнесена к классу Б2) и второго рода 3 0 (вероятность того, что выборка X принадлежит классу $ 2, но ошибочно отнесена к классу $ 1) при

распознавании нормальных многомерных совокупностей с разными векторами средних и ковариационными матрицами выражаются формулами [4]

И — 1 — р.(1) £ ) ; Р о = 1 — ^ ) ,

Е п Е п

где Р (0 (^ ) — функция распределения логарифма отношения правдоподобия. Вероятности ошибок И0 и Р 0 в аналитическом виде не выражаются. Достоверность распознавания при использовании решающего правила (4) достаточно просто оценивается только в асимптотическом случае т,, т° —> ^ , когда вероятности ошибок распознавания И и Р сходятся к ошибкам И о, Р 0-Найти распределение статистики (4), необходимое для вычисления вероятностей ошибок распознавания И и Р , в конечной аналитической или квадратурной форме в настоящее время не

представляется возможным [3]. Поэтому для получения оценок И и Р при произвольных, в том числе и малых, значениях объемов обучающих выборок был использован статистический эксп е-римент по методу Монте-Карло. Эксперимент заключается в следующей итерационной процедуре

[3]. Задаются параметры двух р-мерных нормальных распределений — векторы средних а , а и ковариационные матрицы

М, м 2 , а также объемы выборок п, ш1, УП2 и параметры статистической модели т,и, (0, 8 . ( -тая итерация процедуры состоит в следующих шагах.

1. Осуществляем генерацию Ы2 — т^ случайных векторов, принадлежащих р-мерному нормальному распределению с параметрами (а2 , м2 ) , т.е. x , Е nр (а, м2) , у — 1, ы2 и ана-

логично n — Шхт случайных векторов X , Е N , (а,, М1) , £ — 1, N . Образуем Т пар обучающих выборок. Каждая пара включает в себя одну выборку объема т1 из класса & и одну выборку объема т2 из класса 52 •

2. Для каждой из полученных пар обучающих выборок:

- вычисляем оценки о, $2 , М1, М 2 по формулам (1) и (2);

- образуем и пар контрольных выборок, генерируя по N — пи векторов каждого из классов Б и Б . Каждая пара состоит из одной выборки объема п из класса Б и одной выборки объема п из класса Б ;

- вычисляем по (4) для каждой из и полученных пар контрольных выборок оценки логарифма отношения правдоподобия Е ^ для выборки из 5 и Е 0^ ) для выборки из 52 , 9 — 1, т ,

и — 1, и . Суммируем число А ошибок распознавания, выразившихся в нарушении неравенства Е01 < 1п С и число В ошибок распознавания, выразившихся в нарушении неравенства Е0(2) > 1п С . Тогда А9 — А / и — частота неправильного отнесения выборки из класса 5 клас-

ци

су 52 , а в 9 — в / и— частота неправильного отнесения выборки из класса 52 к классу 5 .

3. Усредняя полученные частоты А 9 и В9 по всему множеству учебных выборок, получаем итоговые для ( -й итерации оценки ошибок распознавания 1-го и 2-го рода:

1 т 1

и (() — 1 е а9, р ((() — 1 е в о ,

т 9—1 т 9—1

по формулам

—-1 И (() + ((—1)И(—1 ], Р( —-1 [Р (() + (( — 1)Р(—1

Q Г 'VQ i)ttе-, Р ^ Q Q LP 1 Q 1 РQ-1 J

(7)

вычисляем итерированные оценки tt g и f g вероятностей ошибок tt и Р . Итерационный процесс завершается при одновременном выполнении условий

| ttQ- ttQ-, |< е, | Pq- f4Q-11< е , Q > q0, где е — точность вычислений оценок ошибок распознавания, q — минимальное количество итераций.

Моделирование на компьютере. Изображения, предъявляемые для распознавания, получены сканированием и в памяти компьютера хранятся в виде файлов формата BMP. В таких файлах используется битовый (растровый) метод кодировки изображений. Статистическая модель распознающего устройства реализована на компьютере посредством 2-х программ. Целью программы 1 является построение модели изображений, называемой признаковым пространством. Программа 1 формирует матрицы изображений, считывая их из соответствующих текстовых файлов, получаются матрицы размера 26Х26. Затем к каждой из этих матриц, столбцы которых являются признаками изображения, применяется процедура G_Sh, реализующая преобразование Грамма-Шмидта. В результате работы этой процедуры матрицы оказываются преобразованными и имеют размерность 24х24. Столбцы матриц являются преобразованными векторами признаков, но содержат такую же полезную информацию, которую несли в себе первоначальные признаки [4]. Целью программы 2 является моделирование автоматического распознающего устройства, основанного на использовании решающего правила (4). Основными входными данными программы 2 служат файлы, содержащие матрицы признаков главной цели и дополнительной, а также пара-

метры n, m, p, определяющие объемы выборок и размерность векторов признаков. Работа программы 2 начинается с запроса значений параметра р — размера фрагмента матрицы признаков,

который будет вырезаться из матрицы каждого изображения и параметров j и £ — так называемых координат верхнего левого угла этого фрагмента матрицы. Эти фрагменты из матриц, представляющих изображения, "вырезает" процедура get — matr. Это позволяет проверять достоверность распознавания и частости появления ошибок при предъявлении различных выборок признаков. Оценки вероятностей ошибок вычислялись по формулам (7). Эксперименты проводились при следующих параметрах модели: число пар обучающих выборок Т = 5-10; число пар контрольных выборок U = 10-20; минимальное количество итераций Q0 = 15-20, и точность вычислений е = 10-з оценок была достигнута за 20 шагов. Процедура распознавания Rasp начинается с вычисления оценок выборочных средних и ковариационных матриц обучающих выборок. После этого вычисляется значение статистики (4). По результатам сравнения значений этой статистики с порогом (в нашем случае с нулем: C = 1, ln C = 0 — использован критерий максимального правдоподобия) принимается решение об отнесении контрольной выборки признаков к определенному классу. Для построения решающего правила (4) требуются матрицы, обратные к ковариационным. Процедуры построения обратной или псевдообратной матрицы являются громоздкими, поэтому был использован модуль процедур линейной алгебры, которые являются вспомогательными при моделировании двух альтернативного распознавания.

Результатом работы программы являются вычисленные значения оценок вероятностей ошибок первого и второго рода. Эти оценки вероятностей были получены при различных объемах контрольных и обучающих выборок. Была исследована зависимость оценок вероятностей ошибок от размерности вектора признаков (d=3, 4,...,8 ) при фиксированном объеме контрольной выборки (n=20) и при различных объемах обучающих выборок. При малых размерностях вектора признаков (d=3;4) оценки вероятностей ошибок велики, при больших размерностях (d=8) уменьшаются значительно. В таблице представлены результаты компьютерного моделирования для средней размерности вектора признаков (d=5).

Таблица

Результаты компьютерного моделирования

Мера сходства L=0,0409. Размер вектора признаков d=5

Объем контрольной выборки n 10 20 30 40 50

Вероятность ошибки 1-го рода ОС m =20 0,075 0,040 0,030 0,028 0,016

m =30 0,036 0,012 0,005 0,002 0,00

m =40 0,022 0,007 0,001 0,001 0,00

Вероятность ошибки 2-го рода (3 m =20 0,147 0,120 0,11 0,098 0,067

m =30 0,090 0,050 0,033 0,022 0,020

m =40 0,060 0,020 0,019 0,017 0,010

Мера сходства L=0,0478. Размер вектора признаков d=5

Объем контрольной выборки n 10 20 30 40 50

Вероятность ошибки 1-го рода ОС m =20 0,350 0,340 0,310 0,302 0,300

m =30 0,300 0,250 0,220 0,022 0,200

m =40 0,250 0,155 0,152 0,150 0,148

Вероятность ошибки 2-го рода (3 m =20 0,140 0,090 0,080 0,070 0,070

m =30 0,100 0,050 0,030 0,020 0,010

m =40 0,080 0,040 0,020 0,010 0,010

Из анализа результатов, представленных в таблице, следует, что вероятности ошибок 1-го рода при малой мере сходства не велики. Это можно объяснить тем, что большее количество признаков используется для распознавания. При большой величине меры сходства вероятности ошибок 1-го рода возрастают на порядок, так как мало признаков отличия и труднее распознавание. Вероятности ошибок 2-го рода сравнимы по величине для различных мер сходства.

Полученные результаты могут быть использованы при построении автоматизированных систем распознавания изображений.

Список литературы

1. Кобзарь А.И. Прикладная математическая статистика / А.И.Кобзарь — М.: ФИЗМАТЛИТ, 2006. - 816 с.

2. Стренг Г. Линейная алгебра и ее применения: пер. с англ / Г. Стренг — М.: Мир, 1980. -454 с.

3. Фомин А.Я. Статистическая теория распознавания образов / А. Я.Фомин, Г.Р. Тарловский — М.: Радио и связь, 1986. —264 с.

4. Фукунага К. Введение в статистическую теорию распознавания образов: пер. с англ. / К. Фукунага

М.: Наука, 1979. —367 с.

5. Хайкин С. Нейронные сети: полный курс: пер. с англ. / С. Хайкин — М.: Вильямс, 2006. — 1104 с.

6. Яне Б.Цифровая обработка изображений: пер. с англ. / Б. Яне— М.: Техносфера, 2007. — 584 с.

COMPUTER MODEL OF STATISTICAL RECOGNATION OF IMAGES

N. M. NOVIKOVA S. .A. NOAMAN

Voronezh State University e-mail: [email protected]

The computer model of the statistical recognition of images has been considered. The measure of likeness images has been introduced. The values measure of likeness has been calculated for images pair. Method of delivering from singular of covariance matrixes has been shown. Modeling algorithm of the pattern recognition system has been adduced. Estimates of errors probabil- ities of pattern recognition were received in simulation computer experiments by different volumes of the training and control samples.. The investigation of behavior of these estimations has been realized by different volumes of the training and control samples, of the dimension space indication and measure of likeness images.

Keywords: recognition of images, measure of likeness, space indication, the training and control samples, model, program, estimates of errors probabilities.