Построение процедур преобразования данных в схеме последовательного оценивания моделей искажений по малым фрагментам изображений Текст научной статьи по специальности «Математика»

ПОСТРОЕНИЕ ПРОЦЕДУР ПРЕОБРАЗОВАНИЯ ДАННЫХ В СХЕМЕ ПОСЛЕДОВАТЕЛЬНОГО ОЦЕНИВАНИЯ МОДЕЛЕЙ ИСКАЖЕНИЙ ПО МАЛЫМ ФРАГМЕНТАМ ИЗОБРАЖЕНИЙ

В.А. Фурсов, А. В. Устинов Институт систем обработки изображений РАН

Введение

Для решения задач оценивания (идентификации) характеристик во много их отношениях удобными являются линейные модели с постоянными (по пространственным координатам) параметрами. Если искажения нелинейны и (или) пространственно - зависимы, применяют кусочно-постоянную аппроксимацию множеством инвариантных к сдвигу линейных моделей на малых фрагментах изображений.

Простейшей линейной моделью с постоянными параметрами является фильтр с конечной импульсной характеристикой (КИХ - фильтр). Связь отсчетов входного (неискаженного) - х(пъп2) и выходного (искаженного) - у(щ, п2) изображений для этой модели описывается соотношением [1]

У ( ^ пг) = 2 к1' к2)х

Мг} , (1)

X (п1 - к1' п2 - к2) + п1' П2 ) где к(к1, к2), х(п1 - к1, п2 - к2) - значения импульсной характеристики и входных отсчетов в точках опорной области Б, а 1(п1, п2) - дискретная последовательность, включающая погрешности измерений и ошибки аппроксимации.

Из N отсчетов у(п1, п2), принадлежащих выбранному на выходном изображении фрагменту, составим - Nx1 - вектор у. Пусть соответствующая каждой компоненте вектора у опорная область на входном изображении содержит М отсчетов. Составленные из этих отсчетов N векторов размерности Мх1 обозначим хь i=1,N' а соответствующий им Мх1 -вектор параметров импульсной характеристики - И. Тогда можно записать матричное соотношение

у = ХИ + | (2)

где ^М- матрица X = [х1, х2,..., хN ]Т, а вектор | составлен из фигурирующих в (1) ошибок

#(п1' п2).

Известна [2] оценка по методу наименьших €

квадратов (МНК-оценка) И вектора параметров И модели (2):

И = [ХТ X ]-1 ХТ у . (3)

Применение указанной оценки в данном случае связано с принципиальными трудностями. Если размеры выбранного фрагмента невелики, свой-

ство устойчивости статистических характеристик ошибок, на соответствующей ему малой выборке, не проявляется в полной мере. Поэтому даже если на изображении в целом ошибки аппроксимируются гауссовой плотностью, МНК-оценки на малом фрагменте не могут считаться вполне обоснованными.

Для преодоления указанных трудностей часто идут по пути построения робастных, например, оптимальных оценок для "наихудшего" в заданном классе распределения ошибок. Если априорная информация бедная, класс распределений, по-видимому, должен задаваться достаточно широким, что неизбежно приведет к неполному использованию информации, содержащейся в конкретном наборе данных.

На наш взгляд более плодотворным является адаптивный подход, заключающийся в уточнении модели ошибок по мере появления дополнительной информации, содержащейся в невязках. Настоящая работа посвящена исследованию круга вопросов, связанного с построением такой схемы обработки информации.

1. Схема последовательного МНК-оценивания

Процедура оценивания строится в виде попеременно реализуемых этапов вычисления МНК-оценок (3) и преобразования исходных данных. В принципе, для улучшения качества оценок можно применять по крайней мере два типа преобразования: взвешивание данных

XX = ОХ, у = Оу , (4)

0 = ^ ( ^2 , gN )

и непосредственная корректировка вектора у. В настоящей работе исследуется лишь преобразование

типа взвешивания. Матрица О=в (|) этого преобразования после каждого этапа МНК-оценивания строится по вектору невязок:

1 = у - ХИ. (5)

Для получения начальной оценки при отсутствии априорной информации она задается единичной.

По схеме последовательного МНК- оценивания можно вычислять оценки максимального правдоподобия [3] И и :

Q (((И), 5 ) = пин 2 ^ (((И), ^),

' i=1

если функция потерь

¥ (#(11), 5 ) = - 1П р (#(11), 5 ) (7)

и соответствующие ей весовые коэффициенты

g (4, =(( (((h), 5 )г')

удовлетворяют условиям: Ff ((h), 5 )) > 0,

lim g (4, 5) = 0, limg (4, 5) < го .

(8)

(9)

Необходимые условия минимума в задаче (6) выписываются в виде (М+1) уравнений:

Xg2 (( (h),5))

Xg2 (((), 5))

= 0

X F^ ((), 5)

= 0.

(10)

(11)

Нетрудно заметить, что попеременное решение уравнений (10) и (11) по существу и является схемой последовательных МНК-оценок.

Приведенные выше соотношения показывают возможность однозначного построения весовой матрицы преобразования О, если задана априорная гипотеза в виде плотности распределения. В связи с этим возникает следующий вопрос: возможна ли оценка параметрического семейства распределений ошибок, по полученному на промежуточном этапе вектору невязок (5).

Ответ на поставленный вопрос дает качественная теория идентификации [4]. Можно показать, что

T4 = T«^

(12)

где Т0 - матрица размерности Мх(К-М), составленная из собственных векторов, соответствующих нулевым собственным значениям матрицы XМ-1ХМ-1, т.е. проекции вектора ошибок # и вектора невязок # на выбранный базис нуль-пространства матрицы X совпадают. В частности, если вектор ошибок принадлежит нуль-пространству, он совпадает с вектором невязок. Ясно, что в некоторой окрестности существует множество (не нулевой меры) векторов ошибок, достаточно близких к соответствующим векторам невязок. Признаком принадлежности вектора ошибок к этому множеству может служить сравнительно большое значение нормы вектора невязок. Если это так, то остается решить вопрос с выбором множества параметрических семейств распределений и меры различения гипотез.

2. Анализ распределений ошибок

В таблице 1 приведены некоторые из известных симметричных относительно центра #0 параметрических семейств распределений, удовлетворяющих условиям (9). Для упрощения специально отобраны плотности, зависящие лишь от одного (при #0 =0) параметра масштаба -5. Во втором столбце приведены выражения для плотностей распределений, в третьем - соответствующие этим плотностям функции потерь (7), а в четвертом - выражения для квадратов весовых коэффициентов (8). Распределения 4 и 5 получаются одно из другого заменой 5 на 25. Поэтому при проведении экспериментов далее используется только семейство 4.

В качестве меры для различения гипотез о принадлежности эмпирической функции распределения ¥эмп (#) к одному из указанных однопарамет-рических семейств ¥(5,#) примем среднеквадра-

тичный критерий вида:

Jш (5) = Ш[ (5П) - p, ]2 * (4,+1 -4,)

>2

(13)

Здесь # - отсчеты вариационного ряда, построенного из компонент вектора ошибок #, п е [[ ;#г+1 ], рг,г = 1, N - отсчеты эмпирической функции распределения.

Выбор критерия (13) оправдывается тем, что "весовые" множители #г+2 -#г по смыслу близки к п

множителям — при вычислении статистики

Рг

X2 (если N - число разрядов, а п - объем выборки). В

данном случае ввиду малого числа наблюдений, ис-

2

пользование свойств х -распределения, конечно, необоснованно. Более того, теряет смысл и разбиение выборки на разряды, поэтому далее мы полагаем N=n. Однако указанная аналогия может быть полезна при необходимости верификации результатов для больших N.

Для проверки эффективности критерия (13) проводился эксперимент, заключавшийся в генерации малых выборок с заданными в таблице 1 законами распределения и последующей их аппроксимацией набором тех же параметрических семейств функций. При построения выборки в качестве случайного значения # принимался квантиль, соот-

„ г - 0.5 . —

ветствующий вероятности pi =—N— г = 1, N .

При этом способе построения выборки длина отрезка интегрирования [а;Ь] растёт с ростом N как

-V 1п N при распределении 1, ~lnN при распределении 2,4 и ~N при распределении 3. Поэтому оценка сверху погрешности традиционных квадратурных формул может не выполняться. Тем не менее отно-

шение (Ь-а)/Ы для распределений 1,2 и 4 стремится к нулю, поэтому выражение под корнем в правой части (13) является интегральной суммой для интеграла.

3(5) = {[(5,Т) - ^(Т)]2Д,.

-ад

При этом вместо кажущегося естественным выбора п по формуле центральных прямоугольников: п = (Т +т+1)/2, величины п е [ +1] опре-

делялись равными квантилям соответствующих вероятностей:

1

и = N ■' = ^ - 1

Это позволяет исключить методическую ошибку аппроксимации, в частности, обеспечивает равенство нулю критерия (13) в случае, когда генерируемое и аппроксимирующее семейства совпадают.

Таблица 1.

Плотность распределения Функция потерь Весовые коэффициенты

1 1 Л I ( О = е 2 -2 •V 2П ) + (-—2/2s2) 1 7

2 1 Т I(Ш) = — (1 + Ы)е 5 4 • • 1n4s + — /s - ln (l + — /s) / ( € 1 1/ 5 5 + Т /V )

3 • 1 I (Т) = -* т-я П 5 + Ш2 ln (s2 + —2)+ ln (V s ) 2 5 +Т2

4 I (5) = '(0 2 ln Sech (—/s) + ln 2s -€- (И (\/51 5Т ^ )

5 1 е 5 I (Т) =1 * е 5 ( _Т12 1 + е 5 V ) ^ + 2ln fl + expf-—11 + s l l s JJ + ln s € € 25 2^

Аппроксимация построенных для каждого набора данных эмпирических функций распределения осуществлялась по принципу "каждая" "каждой". Для оценки параметра масштаба 5 методом дихотомии решалось уравнение Ш л ($•)/ё5 = 0. Результаты

исследования для N=25 приведены в таблице 2. Целые числа 1-4 в обозначениях строк и столбцов соответствуют номерам исходных распределений в таблице 1. При дальнейшем увеличении N они практически не изменяются.

Таблица 2.

Вид 1 2 3 4

распределения s Jd (s) s Jd (s) s Jd (s) s Jd (s)

1 (8=1.000) 1,000 0,00011 0,554 0,02213 0,543 0,07834 1,185 0,01328

2 (8=0.546) 1,071 0,03682 0,546 0,00020 0,510 0,06869 1,172 0,00982

3 (8=0.480) 1,665 0,21448 0,578 0,14051 0,480 0,00005 1,215 0,14803

4 (8=1.176) 1,043 0,02247 0,548 0,00967 0,521 0,07447 1,176 0,00005

Результаты моделирования подтверждают предположение о возможности непосредственного использования критерия (13) для оценки априорных

гипотез при небольших N (¿25), хотя х2 - распределение при этом, возможно, не существует.

Значение критерия при аппроксимации множества компонент вектора ошибок "своим" параметрическим семейством действительно минималь-

но и отличается от нуля, по-видимому, лишь из-за погрешностей округления.

Значения • и 3д (•) для распределения 4 оказываются близкими к аналогичным величинам для распределения 2. Поэтому далее мы будем рассматривать лишь хорошо различимые классы 1, 2 и 3. Кроме прочего, этот выбор связан также с простотой вычисления соответствующих этим классам весовых коэффициентов.

3. Оценка распределения ошибок по распределению невязок

Из опирающихся на соотношение (12) интуитивных соображений качественного характера ясно, что близость ошибок и невязок будет иметь место для векторов ошибок, у которых норма вектора невязок (сопряженность с нуль-пространством) в среднем выше. Эти соображения подтверждаются экспериментом, который проводился по следующей схеме.

Осуществлялась идентификация коэффициентов импульсной характеристики искажающего фильтра по входному (неискаженному) и выходному (искажённому и зашумлённому с заданным распределением шума) изображениям, показанным на рисунке 1. Размеры опорной области (соответствующие характеристике размазывающего фильтра) задавались 5x5, а размеры фрагментов, на которые разбивалось изображение, - 25x25 соответственно. Опорные области на фрагменте размещались "без перекрытия", поэтому размерности векторов ошибок и невязок были 25x1. Реализации шума указанной длины для каждого заданного параметрического семейства распределений генерировались как описано выше.

После оценки на каждом фрагменте импульсной характеристики вычислялись невязки (5). Далее для каждой реализации вектора невязок строилась эмпирическая функция распределения, которая затем аппроксимировалась каждым из указанных выше трех (1, 2 и 3) параметрических семейств распределений и подсчитывалось значение критерия (13). Всего на изображении имелось 100 фрагментов, среди которых 80 информативных [5]. При моделировании векторов ошибок искусственно вводилась рандомизация, а результаты усреднялись по

Таблица 3.

100 экспериментам. В таблице 3 приведены данные о среднем количестве случаев Кср , в которых каждое распределение оказывалось наилучшей, в смысле минимума критерия (13), аппроксимацией.

Рис. 1. Тестовые изображения: ■ входное (неискажённое), б - выходное (искажённое и зашумленное).

Распределение Априорная Количество решений К ср Средняя норма вектора

шумов гипотеза по изображению невязок

1 43,4 4,439

1 2 34,7 4,405

3 1,9 3,578

1 22,6 4,614

2 2 53,1 4,753

3 4,3 4,555

1 0,3 2,236

3 2 20,9 9,843

3 58,8 10,747

Приведенные данные хорошо согласуются с соображениями качественного характера, основанными на соотношении (12).

4. Пример построения процедуры обработки

С использованием полученных результатов построена процедура оценивания с преобразовани-

ем типа взвешивания, в которой после каждого этапа МНК - оценивания по вычисляемому для вектора невязок (5) критерию (13) принимается решение об использовании одного из типов преобразований (2 или 3). Эксперимент проводился на тех же тестовых изображениях (рис. 1), так что параметры модели искажений были известны и результаты оценивания можно было сравнить с их истинными значениями.

В таблице 4 приведены полученные в эксперименте (усредненные по всем информативным фрагментам на изображении) относительные погрешности оценивания (в процентах) при различных типах распределений ошибок в исходных данных и различных значениях параметра масштаба 5.

Указанный в таблице выбор значений параметра 8 связан с тем, что при аппроксимации функции распределения (см. таблицу 2) оптимальное значение 5 для распределений 2 и 3 примерно вдвое меньше, чем для распределения 1. При аппроксимации по методу моментов для распределения 2 значение 8 будет точно в два раза меньше.

Заключение

Проведенные исследования показывают принципиальную возможность существенного повышения точности оценивания по малому числу наблюдений с использованием стратегии последовательного МНК-оценивания. В данном случае для анализа вектора невязок и принятия решения о типе преобразования взвешивания использовался критерий по смыслу максимально близкий к известным в теоретической статистике. При построении простых в вычислительном отношении практических процедур оценивания, возможно, более предпочтительным окажется применение критериев, основанных на непосредственном вычислении моментных и других

Для каждого распределения приведена относительная погрешность е1 МНК- оценок и относительная погрешность е3 оценок на 3 шаге процедуры последовательного МНК- оценивания с промежуточными преобразованиями данных типа взвешивания.

характеристик эмпирического распределения

вектора невязок.

Литература

1. Даджион, Мерсеро. Цифровая обработка многомерных сигналов 1984, 488 с.

2. Демиденко Е.З. Линейная и нелинейная регрессии. 1983. М., "Финансы и статистика".

3. В.А. Фурсов. Идентификация линейной модели по малой выборке с совместной оценкой параметров и класса функций потерь. - Труды VI совещания по непараметрическим и робастным методам статистики в кибернетике. Томск, 1987, ч. II, с. 425-433.

4. Шамриков Б. М. Сравнительный анализ точности параметрическй идентификации динамических объектов в разомкнутых и замкнутых автоматических системах. // Известия АН СССР. Техническая кибернетика. - 1986 г., №3, с.143-150.

5. Фурсов В.А. Идентификация оптических искажающих систем с отбором информативных фрагментов изображений. Компьютерная оптика. Вып. 14-15, 1995, с. 78-79.

Таблица 4.

Исходное распределение 1

5 0.01 0.1 0.2 0.3 0.4 0,5 0,6 0,7 0,8 0,9 1,0

е1 0,,2766 2,272 5,,073 7,749 9,589 10,37 16,07 16,01 23,22 25,28 24,47

е3 0,2768 2,274 5,062 7,782 9,589 10,42 16,04 16,09 23,21 25,47 24,66

Исходное распределение 2

5 0,01 0,05 0,1 0,15 0,2 0,25 0,3 0,35 0,4 0,45 0,5

е1 0,4251 2,601 5,005 7,806 9,888 12,71 15,53 15,17 21,82 22,20 26,31

е3 0,4271 2,621 5,012 7,836 9,888 12,80 15,54 15,44 21,78 22,51 26,41

Исходное распределение 3

5 0,01 0,05 0,1 0,15 0,2 0,25 0,3 0,35 0,4 0,45 0,5

е1 1,140 6,492 12,69 20,76 29,92 28,24 39,45 42,33 56,62 56,08 68,47

е3 0,773 4,551 9,15 14,72 23,60 20,83 26,59 22,28 35,81 37,55 41,95