УДК 629.7
МЕТОДЫ ОБРАБОТКИ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА ВЫХОДНЫХ ИЗОБРАЖЕНИЙ
© 2010 А.В. Ращупкин
ФГУП «ГНПРКЦ "ЦСКБ-Прогресс", Самара
Рассмотрена технология обработки изображений с использованием методов сверхразрешения для повышения разрешающей способности данных дистанционного зондирования. Приводятся результаты сравнительного анализа эффективности рассмотренных методов сверхразрешения. Результаты моделирования подтверждают практическую применимость методов сверхразрешения для улучшения качества данных дистанционного зондирования.
Дистанционное зондирование, методы сверхразрешения, пространственное разрешение, имитационное моделирование
Введение
Одним из важнейших показателей космических средств дистанционного зондирования Земли (ДЗЗ) является качество получаемой видеоинформации. Под качеством понимается способность съёмочной аппаратуры отображать в создаваемых ею изображениях
информацию о геометрических и фотометрических характеристиках объектов земной поверхности с требуемой степенью достоверности. Основным показателем качества изображения является
пространственное разрешение,
характеризующее уровень детальности изображения. Маркетинговая стратегия большинства зарубежных программ по созданию коммерческих систем ДЗЗ основывается на продвижении в область получения панхроматического
изображения с пространственным разрешением на уровне 0,5 - 1 м.
Существующая конкуренция на мировом рынке и борьба за потенциальных потребителей данных ДЗЗ обуславливают актуальность поиска научно-технических решений для улучшения этого показателя.
Традиционные подходы к решению этой задачи базируются на модернизации или разработке новых ключевых элементов сквозного информационного тракта космических средств дистанционного зондирования, включающих в себя [1]:
- внедрение новых перспективных приёмников изображения;
- -использование оптической
системы с большой апертурой;
- повышение качества оптической системы за счёт применения новых оптических схем или снижения ошибок волнового фронта на главном зеркале при освоении новых технологий его изготовления.
Наиболее очевидным решением этой задачи является увеличение
пространственного разрешения за счёт уменьшения размера фоточувствительного элемента приемника. Однако уменьшение размера пикселя приводит к уменьшению уровня освещённости на пикселе, и как следствие, к падению отношения сигнал/шум, что ухудшает качество выходного изображения. Увеличение зарядовой ёмкости приёмника изображения является актуальной проблемой
современной технологии.
Улучшение пространственного
разрешения за счёт увеличения апертуры или повышения качества оптической системы зачастую ограничено
технологическими возможностями и требует существенных финансовых затрат. Так, например, увеличение апертуры оптики приведёт к увеличению массы, габаритов и стоимости системы в целом.
Таким образом, реализация
перечисленных подходов, с одной стороны, связана с существенными финансовыми затратами, а с другой стороны, зачастую ограничена сугубо технологическими возможностями современной технической базы производства. Наметившаяся в последние годы тенденция на «миниатюризацию» космических средств наблюдения для минимизации финансовых
затрат за счёт группового или попутного запуска обуславливает необходимость поиска наиболее оптимальных с точки зрения критерия "эффективность -стоимость" путей решения задачи
повышения качества выходной
видеоинформации.
Одним из перспективных подходов для решения этой задачи является разработка принципов схемотехники и методов съёмки, ориентированных на дальнейшее применение современных
технологий обработки информации, в
частности методов сверхразрешения.
За последнее десятилетие
разработаны и нашли широкое применение в различных областях (медицинская
диагностика, астрономия, криминалистика и т.д.) следующие методы
сверхразрешения: MAP (Maximum a-
posteriori), POCS (Projection Onto Convex Sets), IBP (Iterative backprojection), гибридные методы и т.д. [2]. Однако до сих пор не проведена классификация методов сверхразрешения по уровню достигаемого качества изображения. В статье
представлены результаты исследования эффективности трёх методов
сверхразрешения для варианта построения оптико-электронного тракта КА ДЗЗ с гибридной матрицей ФПЗС.
1. Технология сверхразрешения
В процессе формирования цифрового изображения имеется естественная потеря пространственной разрешающей
способности, вызванная частотношумовыми искажениями, вносимыми звеньями сквозного информационного тракта (атмосферой, оптической системой, приёмником изображения, смазом, АЦП, кодером сжатия).
Цель традиционных методов восстановления изображений заключается в реконструкции искажённого изображения, сохраняя при этом его размеры. Методы сверхразрешения преследуют несколько иную цель - восстановление изображения с высоким разрешением путём увеличения частоты дискретизации по набору искажённых изображений с низким разрешением.
Наличие множества изображений одной и той же сцены является основной
предпосылкой для увеличения
пространственного разрешения. Очевидно, если изображения являются дубликатами друг друга, то в этом случае никакой дополнительной информации на
изображениях не имеется и никакая новая информация не может быть получена. Необходимым условием для применения технологии сверхразрешения является доступность набора изображений, зарегистрированных относительно друг друга с некоторым субпиксельным сдвигом.
Применительно к оптико-
электронным средствам ДЗЗ множество изображений одной и той же сцены могут быть получены одним из следующих способов:
- использование орбитальной группировки для съёмки исследуемого участка местности;
- использование последовательной съёмки объекта одним спутником за время пролёта района наблюдения;
- использование нескольких оптикоэлектронных преобразователей,
расположенных в фокальной плоскости;
- использование гибридных матриц
ФПЗС для синтеза апертуры (для этого варианта аппаратуры информационные поля на одном кристалле технологически выполняются таким образом, чтобы центры одноимённых фоточувствительных
элементов соседних информационных
полей были сдвинуты относительно друг
друга на некоторое субпиксельное расстояние).
Необходимо отметить, что применение первых двух способов
получения набора изображений не всегда возможно в силу наличия облачности, изменения фоно-целевой обстановки и требований по периодичности. Кроме того, геометрическое и яркостное согласование изображений, полученных различными
системами или в разное время,
существенно осложняет процесс обработки видеоинформации и вносит
дополнительную погрешность.
Для дальнейшего использования в данной статье введем следующие
обозначения:
- SR (super-resolution) изображение -изображение с высоким разрешением;
- ЬЯ (1о,^ге8о1и1;юп) изображение -изображение с низким разрешением.
Сформулируем модель наблюдения, которая связывает исходное БЯ изображение с наблюдаемыми ЬЯ
изображениями.
Рассмотрим исходное БЯ
изображение размера (Ь1 •Ы1) х (£2-#2), записанное в векторной системе
обозначений как х=[х1, х2,...хм]Т, где
Ы=(Ь1 •N1) х (ЬхЫг), х - идеальное неискажённое изображение. Параметры Ь1 и Ь2 представляют собой коэффициенты дискретизации изображения в модели наблюдения для горизонтальных и вертикальных направлений соответственно. Таким образом, каждое наблюдаемое ЬЯ изображение имеет размер N1 х Ы2. Обозначим к-ое ЬЯ изображение в
векторной системе обозначений как ук=[Ук,ь Ук,2, ... Ук,м]Т для к=1,2, ...,К и M=Nl х N2. Учитывая искажения при регистрации ЬЯ изображения, модель наблюдения может быть представлена следующим образом у = ВИк¥кх + Жк,
(1)
где ^к - матрица геометрической деформации размером (Ь1N •ЬхЫг) х (ЬУ N ¿2-N2);
Нк - суммарная матрица искажений размером (Ь1N -Ь2• N2) х (Ь1•Ы1 • Ь2• N2);
Б - матрица дискретизации размером (N1^2) х (ЬуЫуЬа N2);
Жк - суммарный шум тракта.
Используемая в модели наблюдения матрица деформации ^к характеризует геометрические преобразования (сдвиг, вращение и т.п.), которые происходят в процессе получения к-го изображения. Так как эта информация, как правило, неизвестна, для восстановления
сверхразрешения должна быть произведена оценка движения сцены для каждого кадра относительно некоторой базовой системы координат, например, координатной сетки первого наблюдаемого ЬЯ кадра.
Математически задачу
восстановления сверхразрешения можно сформулировать следующим образом: найти такую оценку изображения с высоким разрешением х, чтобы полученные из него на выходе системы изображения с низким
разрешением ук были максимально близки
к зарегистрированной последовательности изображений ук.
Современные технологии для достижения сверхразрешения включают в себя три этапа выполнения: регистрация, интерполяция и восстановление. Регистрация изображения подразумевает оценку параметров движения сцены от кадра к кадру. Процесс оценки параметров межкадрового движения заключается в определении параметров геометрического преобразования между наблюдаемыми изображениями с низким разрешением и некоторой базовой системой координат. Очевидно, что точная оценка параметров межкадрового движения является важным фактором для успешного восстановления сверхразрешения, поэтому методы регистрации должны обеспечивать субпиксельную точность. На этапе интерполяции производится объединение множества ЬЯ изображений с последующей интерполяцией на координатную сетку БЯ изображения. И, наконец, применяются традиционные методы восстановления
изображений для устранения частотных и шумовых искажений.
Методы сверхразрешения, как
правило, отличаются друг от друга различными подходами в реализации вышеперечисленных этапов
восстановления сверхразрешения.
Обобщённая технологическая схема обработки изображений для достижения сверхразрешения представлена на рис. 1. Имеется последовательность изображений одной и той же сцены с низким разрешением. Сначала производится
оценка параметров межкадрового движения сцены. С помощью полученных оценок неоднородно распределённые пиксели размещаются на координатной сетке изображения с высоким разрешением. Затем одним из методов интерполяции вычисляются равномерно распределённые пиксели изображения с высоким разрешением. Параллельно по
наблюдаемым изображениям производится оценка частотно-шумовых искажений. После этого решается традиционная задача восстановления изображения. Для этих
целей может быть использован любой метод деконволюции.
Рис. 1. Обобщённая технологическая схема обработки изображений в задаче получения сверхразрешения
2. Методы сверхразрешения
Для исследования эффективности рассмотрим следующие методы
сверхразрешения:
- итерационный метод IBP;
- итерационный метод Элада;
- метод восстановления с использованием сплайновой интерполяции.
Г лавным достоинством
итерационного метода IBP (Iterative
BackProjection), разработанного
израильскими специалистами M. Irani и S. Peleg [3], является его интуитивная простота.
Имеется последовательность K
изображений с низким разрешением У1, y2, ;-,-yK формата N1xN2. Необходимо построить изображение х формата (L1 •N1) х (L2N2), которое минимизировало функцию ошибки Е(х):
K 2
Е(х)=XI\P'(x)-у-II, (2)
¿=1
где ||*|| является любой нормой;
Р(х) является проекцией изображения х на координатную сетку изображения У-.
Построение изображения с высоким разрешением основывается на
итерационном подходе. Начиная с начального приближения изображения с высокой разрешающей способностью х(0', моделируется процесс формирования изображения для получения набора изображений с низким разрешением {у }. Разность {ук - ук(0)} используется для уточнения начального приближения, и итерационный процесс продолжается до минимизации функции ошибки. Очевидно, что если на у итерации х(у является "правильным" решением, то имитируемые изображения {Ук^} должны быть идентичны изображениям {ук}.
Метод 1ВР математически
описывается следующей итерационной схемой
1 К
х - > = х>">+-%¥;'(((у1 - у;')) Т з)* И), (3)
К к=1
где х(п и х(п+1) - БЯ изображения на п и п+1 итерациях;
К - количество ЬЯ изображений;
ук - исходное к-ое ЬЯ изображение;
ук(п) - к-ое ЬЯ изображение, полученное на
п-ой итерации из БЯ изображения х(п;
¥к - оператор геометрического
преобразования (например, аффинного), связывающего изображения х и ук;
И - ядро функции рассеивания точки;
Тз - оператор увеличения размеров изображения.
Элад и др. [4] предложили
следующую схему восстановления сверхразрешения.
Мерой близости между имитируемыми {ук }к=1К и оригинальными {ук }к=1К
изображениями может служить
среднеквадратичная ошибка. В этом случае поиск оценки х сводится к минимизации среднеквадратичной ошибки:
х = [Ук -БкНкРкх]Тжк1[ук -
к =1
-БкНкркх]} - (4) где БкНкРкх - имитируемое ЬЯ изображение ук.
Для уменьшения влияния шума на оценку изображения с высоким разрешением каждое уравнение взвешено инверсией матрицы Ж.
Решая задачу минимизации среднеквадратичной ошибки, получаем выражение для оценки изображения х :
К[Б>кНкРк]Тж- [Ук -АНДх; = 0 ^
к=1
Ех = Р,
где Е ,
к=1
(5)
р = £ р?ні&№-' Ук.
к=1
Для реализации решения этой системы линейных уравнений использовался
итерационный подход. Для ускорения
сходимости применялся метод градиентного спуска. В этом случае итерационная схема алгоритма имеет следующий вид
х;+1 = х} + т [Р -Ех}], (6)
где
- вектор инициализации
(начальное приближение) может быть любым. Этот алгоритм гарантируют сходимость к уникальному решению при условии, что т > 0 достаточно мало.
В качестве альтернативы
итерационным методам сверхразрешения для интерполяции пикселей изображений с низким разрешением на регулярную сетку изображения с высоким разрешением рассматривалась интерполяция с использованием кубического сплайна.
В этом случае для интерполяции значения яркости использовалась окрестность пикселя (/,/) размером 4 х 4:
р О'', Л = К К р (/+т у+п) х
т=-1п=-1
х Е(т - ёх)Я(ёу - п), (7)
где весовая функция Е(х) определяется следующим образом
Е(х) = ![Р(х + 2)3 - 4Р(х +1)3 + 6Р(х)3 -6
- 4Р( х -1)3]; (8)
Г х х > 0,
Р( х) Ч
|0 х £ 0.
3. Результаты моделирования методов сверхразрешения
Отработка методов сверхразрешения и оценка их эффективности проводилась путём имитационного моделирования звеньев сквозного информационного тракта с использованием различных методов цифровой обработки информации с последующей визуальной и
количественной оценкой качества выходных изображений.
В качестве тестовых изображений использовались:
- три натурных изображения;
- синтезированные изображения набора групп слабоконтрастных (К=0,2, ртш=0,07) трёхшпальных мир различной ориентации.
Для моделирования рассматривался один из вариантов построения оптикоэлектронного тракта КА ДЗЗ с приёмником изображения на базе гибридной матрицы ФПЗС, обеспечивающей синхронное получение трёх изображений, сдвинутых относительно друг друга по диагонали на 1/3 размера фоточувствительного элемента.
На рис. 2 - 4 представлены результаты моделирования методов сверхразрешения, визуальный анализ которых подтверждает значительное улучшение разрешающей способности выходных изображений. На восстановленных изображениях объекты обрели чёткие контура, на изображениях проявились мелкие детали, появилась возможность прочитать присутствующий в изображениях текст.
0
Метод Элада Сплайновая интерполяция
Рис. 2. Результаты применения методов сверхразрешения (Тест 1)
Рис. 3. Результаты применения методов сверхразрешения (Тест 2)
Одно из трёх изображений Метод ІВР
с низким разрешением
Метод Элада Сплайновая интерполяция
Рис. 4. Результаты применения методов сверхразрешения (Тест 3)
Для сравнения эффективности рассмотренных методов использовались три критерия качества, характеризующие степень близости исходного обработанного изображений.
1. Среднеквадратичный критерий
N М
и
Є,
1
СКО
■Ц(С - х“ )2.
N МЦ 1=1
2. Критерий среднего абсолютного
отклонения
е
1
N • М
N М
вых вх
і ,1 Х,1
|.
ср.абс.откл
...... і=1 1=1
3. Критерий максимальной ошибки
е тах = тах
вых вх
Хі,1 Х',1
Также для численной оценки качества изображений использовались разностный и спектральный критерии, предложенные Злобиным В.К. и
Еремеевым В.В. [5].
Разностный критерий основан на том, что при повышении разрешающей способности изображения возрастает амплитуда перепадов яркости между соседними элементами:
М-1 N
М N-1
УУ(/ - / )2 УУгг - { )2
^ тп ^ т+\,п/ ^ тп ^т,п+\/
Я =
т=1 п=1
2MN - М - N
- +
т=1 п=1
2MN - М - N
Спектральный критерий
определяется как
1 М N .-----------------
^ = Мт 1 ї(і + 1^Яе 2 (іу 1+/т 2 (іу 1 ’
где Яе(і, 1) и Іт(і, 1) —действительная и мнимая части элемента спектра Фурье с координатами (і, 1).
Этот критерий основан на том, что с ростом разрешающей способности изображения возрастает амплитуда высокочастотных составляющих спектра Фурье. Согласно данному определению,
чем больше энергия и пространственные частоты элементов спектра Фурье, тем больший вклад они вносят в
формирование показателя 5.
В табл. 1 и 2 представлены
результаты оценки эффективности методов сверхразрешения с
использованием перечисленных выше критериев. Показатели качества для
каждого тестового изображения
нормировались к минимальному значению. Жирным шрифтом в таблицах выделены методы, показавшие
наилучшие результаты для каждого критерия. Анализ таблиц не даёт
однозначного ответа о преимуществе того или иного метода сверхразрешения. Так
по критериям £ско, £ср.абс.откл , £тах
наилучший результат показал метод 1ВР, а наихудший - метод Элада. В то же время по разностному и спектральному критерию метод Элада показал наилучший результат, а наихудший -
метод сплайновой интерполяции.
Для оптико-электронных систем наблюдения разрешающая способность выходных изображений оценивается по ширине шпалы трёхшпальной миры произвольной ориентации. Для получения количественных показателей
эффективности методов сверхразрешения
был проведён статистический
эксперимент по визуальному
дешифрированию трёхшпальных мир. В качестве тест-объекта использовались
наборы, состоящие из 4-х групп
трёхшпальных мир различной
ориентации, отличающихся друг от друга направлением шпал на 45°. Каждая группа представляла собой 3 шпалы заданного контраста с соотношением сторон 1:5. Расстояние между шпалами равно ширине шпалы. Наборы мир отличались друг от друга шириной шпалы и располагались в порядке их убывания.
Мира является разрешаемой, если все её шпалы визуально воспринимаются раздельно и могут быть сосчитаны. В эксперименте мерой качества
принималось дешифрирование группы мир с наименьшей шириной шпалы, содержащей разрешаемые миры всех направлений, при этом все предыдущие группы мир с большей шириной шпал должны быть разрешаемыми.
Результаты эксперимента и рассчитанные выигрыши от применения методов сверхразрешения приведены в табл. 3. Метод 1ВР показал наилучший результат.
Таблица 1. Нормированные показатели качества с использованием е СКО, е срабсоткл етах критериев
Тест- е СКО е °ср.абс.откл е тах
изображ Мето Метод Сплайн Мето Метод Сплайн Мето Метод Сплайн
ение д ІВР Элада интерп. д івр Элада интерп. д івр Элада интерп.
Тест 1 1,00 10,92 3,94 1,00 3,07 1,83 1,00 2,04 1,45
Тест 2 1,00 29,08 9,76 1,00 6,12 3,47 1,00 1,55 1,28
Тест 3 1,00 32,97 9,92 1,00 5,67 3,04 1,00 2,10 1,33
Таблица 2. Нормированные показатели качества с использованием разностного и спектрального критериев ____________________________________________________
Тест- изображение Я Б
Мето д ІВР Мето д Элада Сплайн интерп. Мето д ІВР Мето д Элада Сплайн интерп.
Тест 1 3,25 5,83 1,00 1,68 2,03 1,00
Тест 2 2,74 3,02 1,00 1,57 1,73 1,00
Тест 3 2,62 3,57 1,00 1,45 1,69 1,00
Таблица 3. Результаты статистического эксперимента
Метод Разрешающая способность, л/мм Выигрыш,%
без обработки с обработкой
Метод IBP ~В1,0 29,6
Метод Элада 62,5 ~В0,0 28,0
Метод сплайновой интерполяции ~78,0 24,8
Заключение
Одним из перспективных подходов к решению задачи повышения качества видеоданных ДЗЗ в части минимизации финансовых затрат и в условиях ограниченной возможности модернизации отдельных звеньев сквозного тракта является применение гибридных матриц ФПЗС и методов сверхразрешения. Имитационное моделирование сквозного информационного тракта и проведённый статистический эксперимент позволяют сделать вывод, что для рассмотренного варианта построения съёмочной аппаратуры применение технологии
сверхразрешения обеспечивает выигрыш в разрешающей способности для слабоконтрастных объектов до 30%, что является практически значимым
результатом. Применение методов сверхразрешения открывает возможность увеличения разрешения выходных изображений выше уровня,
обеспечиваемого размером приёмника оптико-электронной системы наблюдения.
Проведённый сравнительный анализ эффективности рассмотренных методов сверхразрешения с использованием традиционных критериев качества не даёт однозначного ответа о преимуществе того или иного метода. В научно-технических публикациях, посвящённых
рассматриваемой проблеме, отсутствуют сведения о достигаемом уровне качества изображений, обработанных методами сверхразрешения. Объективная оценка эффективности методов сверхразрешения может быть получена путём имитационного моделирования и проведения статистического эксперимента для определения разрешающей способности по наборам трёхшпальных мир различной пространственной частоты.
Другим важнейшим показателем космических средств ДЗЗ является полоса захвата. Большинство современных космических систем высокодетального наблюдения обеспечивают полосу захвата на уровне 12-16 км. Для улучшения этого показателя необходимо либо поднимать космические аппараты на более высокие орбиты, либо использовать
широкозахватную оптику с меньшим фокусным расстоянием, что приведёт к потере пространственного разрешения. В этом случае использование
широкозахватной оптики, применение гибридных матриц ФПЗС и методов сверхразрешения позволят обеспечить достигнутый уровень разрешения при большей полосе захвата.
Библиографический список
1. Ращупкин, А.В. Технологии
обработки видеоинформации,
обеспечивающие качество
аэрокосмических изображений // Полет, 2008. № 11. С. 42 - 48.
2. Park, S. C. Super-resolution image reconstruction: A technical overview / S. C. Park, M. K. Park, M. G. Kang // IEEE Signal Processing Magazine. - 2003. - Vol. 20. - № 3. - Р. 21-36.
3. Irani, M. Improving resolution by image registration / M. Irani, S. Peleg // CVGIP: Graphical Models and Image Proc. -1991. - Vol. 53. - P. 231-239.
4. Elad, M. A fast super-resolution reconstruction algorithm for pure translational motion and common spaceinvariant blur / M. Elad, Y. Hel-Or // IEEE Trans. Image Processing. - 2001. - Vol. 10.
- № 8. - P. 1187-1193.
5. Злобин В.К., Еремеев В.В.
Обработка аэрокосмических
изображений. М., Физматлит, 2006.
References
1. Raschupkin, А^. Application of modern technologies of the videoinformation processing for increase of the aerospace images quality // Полет, 2008. №
11. С. 42 - 48.
2. Park, S. C. Super-resolution image reconstruction: A technical overview / S. C. Park, M. K. Park, M. G. Kang // IEEE Signal Processing Magazine. - 2003. - Vol. 20. - № 3. - Р. 21-36.
3. Irani, M. Improving resolution by image registration / M. Irani, S. Peleg //
METHODS OF REMOTE SENSING DATA PROCESSING FOR THE IMPROVEMENT OF OUTPUT IMAGES QUALITY
© 2010 А^. Raschupkin State Research and Production Space Centre "TsSKB-Progress", Samara
The image processing technology with use of super-resolution methods for increase of remote sensing data resolution is considered. The efficiency comparative analysis results of the considered super-resolution methods are resulted. Simulated results confirm practical applicability of the super-resolution methods for remote sensing data quality improvement.
Remote sensing, super-resolution, spatial resolution, simulation modeling
Информация об авторе
Ращупкин Анатолий Владимирович. Начальник сектора ГНПРКЦ "ЦСКБ-Прогресс", аспирант кафедры Радиотехнических устройств Самарского государственного технического университета, e-mail: [email protected]. Область научных интересов: имитационное моделирование и методы обработки цифровых изображений.
Raschupkin Anatoliy Vladimirovich. A chief of the sector at space-rocket center "TsSKB-Progress", the postgraduate student of chair Radio-engineering devices at Samara State Technical University, e-mail: [email protected]. Area of scientific interests: simulation modeling and methods of digital image processing.
CVGIP: Graphical Models and Image Proc. -1991 - Vol. 53. - P. 231-239.
4. Elad, M. A fast super-resolution reconstruction algorithm for pure translational motion and common spaceinvariant blur / M. Elad, Y. Hel-Or // IEEE Trans. Image Processing. - 2001. - Vol. 10.
- № 8. - P. 1187-1193.
5. Zlobin V.K., Eremeyev V.V. Processing of the airspace images. M., Fizmatlit, 2006.