CC BY
57
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
Метод оптимального линейного сверхразрешающего восстановления изображений
А.И. Максимов1, В.В. Сергеев 12 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34;
2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151
Аннотация
В статье предлагается метод сверхразрешения (измельчения сетки пикселов) цифровых изображений, основанный на применении линейной фильтрации к дискретному сигналу, дополненному нулями между отсчетами (пикселами). Для синтеза восстанавливающей системы вводится в рассмотрение непрерывно-дискретная модель наблюдения, характерная для реальных систем формирования изображений, в соответствии с которой изначально непрерывный сигнал сначала претерпевает линейные (динамические) искажения, а затем подвергается дискретизации и воздействию аддитивного шума. Для такой модели наблюдения строится процедура оптимального по критерию среднеквадратиче-ского отклонения процедура восстановления. Использование непрерывно-дискретной модели позволяет более адекватно описать искажения изображений, а также оценить остаточную погрешность такого восстановления, что полезно для решения ряда других задач (например, комплексирования изображений). В теоретической части статьи приводится общая схема линейного сверхразрешения сигнала, выводятся выражения для импульсной и частотной характеристики оптимальной восстанавливающей системы, а также для ошибки такого восстановления. Для краткости изложения материала всё описание ведется для одномерного сигнала, но полученные результаты предполагают естественное обобщение на случай двумерных изображений. Расчетный параграф статьи посвящен анализу ошибки сверхразрешающего восстановления в зависимости от параметров модели наблюдения. Продемонстрировано существенное превосходство предлагаемого метода по точности в сравнении с линейной интерполяцией, обычно применяемой при измельчении сетки пикселов изображения.
Ключевые слова: цифровые изображения, сверхразрешение, непрерывно-дискретная модель наблюдения, линейная система, оптимальное восстановление, импульсная характеристика, частотная характеристика, ошибка оптимального восстановления.
Цитирование: Максимов, А.И. Метод оптимального линейного сверхразрешающего восстановления изображений / А.И. Максимов, В.В. Сергеев // Компьютерная оптика. - 2021. -Т. 45, № 5. - С. 692-701. - DOI: I0.18287/2412-6179-C0-909.
Citation: Maksimov AI, Sergeyev VV. A method for optimal linear super-resolution image restoration. Computer Optics 2021; 45(5): 692-701. DOI: 10.18287/2412-6179-C0-909.
Введение
Во многих областях исследований часто возникает потребность в изображениях высокого разрешения для решения прикладных задач. В случаях, когда устройства формирования изображений не способны обеспечить требуемое разрешение (например, ввиду аппаратных ограничений), для повышения качества изображений могут быть применены методы сверхразрешения, то есть получения изображения высокого пространственного разрешения из данных низкого разрешения. Методы сверхразрешения успешно применяются в таких областях, как медицина [1, 2], астрономия и микроскопия [3], обработка данных дистанционного зондирования Земли [4], компьютерное зрение [5], криминалистика [6] и т.д.
Широко известны подходы к сверхразрешению по серии изображений, основанные на использовании методов интерполяции по неравномерной сетке [7], вейвлет-преобразования [8], проекций на выпуклые множества [9], адаптивной фильтрации [10], Байесовского оценивания [11], а также ставший «классическим» метод на основе использовании преобразования Фурье [12].
Существует большой класс решений, основанных на машинном обучении и нейронных сетях. Стоит отметить многообразие архитектур, при помощи которых решается задача сверхразрешения. Существуют решения, основанные на остаточных [13 - 15] и рекурсивных сетях [16 - 18], сетях с множественными путями обучения [19 - 21], моделях с обучением без
учителя [22, 23] (в том числе с применением генеративно-состязательных сетей [24, 25]). Отметим, что перечисленные методы, основанные на машинном обучении, направлены на повышение детальности единственного изображения (Single Image SuperResolution, SISR) без использования серии кадров. Они решают задачу не восстановления информации изображения (то есть приближения к некоему оригиналу), а задачу повышения его визуального качества.
Машинное обучение используется и для решения задачи повышения разрешения по серии кадров. Здесь можно выделить как работы с применением SISR-методов к каждому кадру серии независимо с последующим геометрическим согласованием и ком-плексированием [26], так и с использованием серии геометрически согласованных кадров в качестве входных данных для нейросети [27].
Методы сверхразрешения активно развиваются и сегодня - совершенствуются известные алгоритмы и создаются новые. К примеру, в последние годы были созданы алгоритмы сверхразрешения для ультразвуковых снимков [28], изображений пленоптических камер [29, 30], систем многокамерной съемки [31], данных дистанционного зондирования Земли [32, 33]. Рассматриваются различные условия получения исходных изображений, к примеру, в работе [34] исследуется модель наблюдения изображений низкого разрешения с аппликативными помехами.
Несмотря на разнообразие методов повышения пространственного разрешения, потенциал применения «классического» подхода, основанного на оптимальном линейном восстановлении цифровых сигналов и изображений для задач сверхразрешения, представляется далеко не исчерпанным. Такой подход способен продемонстрировать хорошие результаты, однако его раскрытие в рамках рассматриваемой проблемы требует перехода от дискретной модели наблюдения сигналов к непрерывно-дискретной модели наблюдения, которая более полно описывает искажения изображений, так как учитывает искажения изображения в непрерывной области. В статье представлены методики расчета и практической реализации цифровых восстанавливающих фильтров, обеспечивающих не только оптимальное (с минимизацией ошибки) восстановление, но и эффект сверхразрешения (на практике - измельчения шага дискретизации) цифровых изображений, который достигается за счет использования указанной модели наблюдения. Также, как будет показано в работе, появляется возможность оценить остаточную погрешность в каждой точке восстановленного сигнала. Это может понадобиться для решения других задач, например, задачи ком-плексирования изображений с разной сеткой пикселов (как, например, показано в работе [35]).
Оговорка: для краткости изложения далее будем рассматривать одномерные сигналы, обобщение излагаемых результатов на случай многомерных изоб-
ражений является тривиальным и просто приводит к более громоздким выражениям.
1. Общая схема линейного сверхразрешения сигнала
Пусть имеется сигнал х(г) - случайный процесс, являющийся функцией времени (или единственного другого непрерывного аргумента), - ^ < г < В процессе регистрации этот сигнал искажается в соответствии с некоторой моделью наблюдения (см. ниже) и дискретизируется так, что мы имеем доступ только к его равноотстоящим искаженным отсчетам (для изображений - пикселям) -уд (п), п е Z, - ^ < п <
Требуется как можно более точно восстановить непрерывный сигнал, т.е. получить его оценку х(в)(г) по наблюдаемым дискретным отсчетам.
В силу разного характера аргументов трудно синтезировать эффективную вычислительную процедуру восстановления, прямо преобразующую дискретный сигнал в непрерывный (за исключением тривиальных случаев интерполяции). Вместо нее мы предлагаем рассматривать набор дискретных линейных инвариантных к сдвигу систем (ЛИС-систем), каждая их которых формирует отсчеты оценок исходного сигнала со своим сдвигом непрерывного аргумента.
Выразим непрерывные координаты сигнала через дискретные:
г = пт + Д, (1)
где Т - шаг дискретизации непрерывного сигнала, Д -параметр сдвига, 0 < Д < Т. Для фиксированного значения Д восстановление отсчетов сигнала при помощи ЛИС-системы описывается дискретной сверткой [36]:
хДв> (п) = х((пТ + Д) = £ Яд (к)Уд (п - к), (2)
к=-ж
где хДв'(п) - последовательность, соответствующая восстановленным дискретным значениям непрерывного сигнала х(в) (пТ+Д), сдвинутым на Д относительно положения отсчетов уд (п) наблюдаемого искаженного сигнала; яд (к) - импульсная характеристика (ИХ) восстанавливающей ЛИС-системы.
Очевидно, что, варьируя параметр Д, мы сможем получать оценки исходного сигнала Хе) (г) при любом значении непрерывного аргумента, то есть решить поставленную задачу сверхразрешающего восстановления.
Учтем далее, что при компьютерной обработке сигналов сверхразрешение означает переход от последовательности отсчетов не к непрерывному представлению сигнала, а к «квазинепрерывному», т.е. дискретному, но с меньшим шагом дискретизации. Если мы производим «измельчение» сетки отсчетов в Ь раз, то нам достаточно рассматривать конечный (и, как следствие, несложно реализуемый) набор из Ь восстанавливающих ЛИС-систем при
Д = (Т/Ь)1, 0 < I < Ь -1. (3)
Более того, покажем, что на практике можно обойтись единственной восстанавливающей ЛИС-системой, но примененной к последовательностям, соответствующим измельченному шагу дискретизации. Заполним нулями промежутки между отсчетами последовательностей, участвующих в формуле (2), и введем новую их индексацию:
хв (п) =
_(.)(п) _ | Хг(п / Ь), п _ Ьп,
0, п Ф Ьп;
- (г\ \-а (к / Ь), к _ Ьк, (к) _ \ _
[0, к Ф Ьк;
_ \Уд (п / Ь), п _ Ьп, У д(п) _ <! п ф Ь [0, п Ф Ьп;
п _ Ьп +1, 0 < I < Ь -1.
(4)
(5)
(6) (7)
Легко заметить, что формула свертки (2) остается в силе и для последовательностей (4) - (6) с новыми индексами, соответствующими измельченному в Ь раз шагу дискретизации непрерывного сигнала:
х(/'(п) _ X -А (к )Уд (п - к).
(8)
Чтобы решить поставленную задачу, т.е. получить полный квазинепрерывный восстановленный сигнал, нужно просуммировать все Ь последовательностей (8) при разных Д, вычисляемых по (3), с учетом их сдвига, который в новой индексации становится целочисленным (равным I):
где
х(в)(п) _ XхАв)(п -1) _ _ XX-А (к -1)У д(п - к) _
_ X -е (к)У д(п - к),
к _-<»
-е (к) _ X -а (к -1 )-
(9)
(10)
ИХ восстанавливающей дискретной ЛИС-системы, действующей на наблюдаемую последовательность отсчетов искаженного сигнала, дополненную нулями по формуле (6).
2. Непрерывно-дискретная линейная модель наблюдения сигнала
Для дальнейшего анализа нам понадобится конкретизировать математическую модель наблюдения преобразуемого сигнала.
Пусть в процессе регистрации сигнал претерпевает динамические искажения (для изображений - расфокусировку, усреднение по апертуре видеодатчика и
т.п. [36]), которые могут быть описаны в виде его непрерывной свертки:
у(/) _ | И(х)х(Г - x)dх,
(11)
где И (х) - ИХ искажающей непрерывной ЛИС-системы. Далее искаженный непрерывный сигнал дискретизируется с шагом Т и к его отсчетам добавляется случайный шум V (п):
Уд (п) _ У(Г)|(_пТ + v(n).
(12)
Источники шума могут быть весьма разнообразны: это и случайные флуктуации тока в электронных усилительных цепях, и погрешности квантования отсчетов при их преобразовании в цифровую форму, и многие другие [36]. В большинстве практически интересных случаев совокупность этих искажающих факторов адекватно описывается моделью стационарного дискретного «белого шума», не коррелированного с сигналом, т.е. V (п) является последовательностью одинаково распределенных независимых случайных величин с нулевым средним и конечной дисперсией Б^,. Именно такую модель шума будем использовать ниже.
Объединяя выражения (11) и (12), запишем введенную таким образом непрерывно-дискретную модель наблюдения сигнала [37]:
Уд (п) _ | И(х)х(пТ -х)dх + v(n).
(13)
3. Оптимальное восстановление дискретных значений непрерывного сигнала
Далее конкретизируем и математическую модель преобразуемого сигнала. Пусть х (0 представляет собой вещественный стационарный случайный процесс с нулевым средним и известной автоковариационной функцией (АКФ) [36]
Вх (9) _ М {х(/) х(/ + 9)},
(14)
здесь и ниже М{...} - оператор математического ожидания, 9 - параметр сдвига АКФ. Для введенной выше модели наблюдения и в естественном предположении, что искажающая ЛИС-система является устойчивой, стационарными случайными процессами будут являться и искаженный непрерывный сигнал У (/), и последовательность Уд (п). Ошибка восстановления
е(Г) _ х(в)(/) - х(0
(15)
также оказывается случайной. В качестве показателя точности восстановления примем ее дисперсию, вообще говоря, зависящую от аргумента:
Д(Г) _М{[х(в)(/)-х(()]2}.
(16)
к
1_0
Нетрудно показать, что для процедуры восстановления, заданной сверткой (2), и сигналов, описываемых моделями стационарных случайных процессов, эта зависимость будет иметь периодический характер, поэтому ее достаточно рассматривать на одном периоде дискретизации непрерывного сигнала.
Параметры оптимальной восстанавливающей ЛИС-системы при конкретном сдвиге Д определяются из условия минимизации дисперсии ошибки (16) с учетом (1) и (2):
Д (Д) = М {[ хД" (п) - х(пТ + Д)]2} = М {[ хДв) (пТ + Д) - х(пТ + Д) ]21 =
£ ёд (к)Уд (п - к) - х(пТ + Д)
(17)
= М
^ Ш1П.
Выражение (17) задает положительно определенную квадратичную форму относительно отсчетов ИХ восстанавливающей ЛИС-системы, условием ее минимизации является равенство нулю всех частных производных:
ЭДе(Д) Эё (Ш)
= 0, Ут.
(18)
Из (17) и (18), выполнив несложные преобразования, получаем бесконечную систему уравнений типа Винера-Хопфа [36]:
£ ёД (к)Б(у"') (т - к) = Вхн (-е-Д)|0 тТ, Ут, (19)
где
ВУд)(р) = М {Уд (п)Уд (п + р)} -
(20)
АКФ дискретного искаженного сигнала, т.е. последовательности отсчетов (12), тоже являющаяся последовательностью - функцией целочисленного аргумента р;
вхнче) = м {х(г) у (г+е)} -
(21)
взаимная ковариационная функция (ВКФ) исходного непрерывного сигнала х (г) и искаженного (но еще не дискретизированного) сигнала У (г), определяемого формулой (11), зависящая от непрерывного аргумента 9.
4. Оптимальное восстановление дискретных значений непрерывного сигнала - анализ в спектральной области
Для дальнейших преобразований перейдем в спектральную область представления сигналов и их характеристик [36]. Так, спектр (преобразование Фурье) непрерывной функции х(г) задается парой соотношений:
х (О) = | х(г) е-^йг, х(г) = 2- | X(О)е'ОгйО.
(22)
Если эту функцию продискретизировать:
хд (п) = х(г)|г=пТ , (23)
то преобразование Фурье полученной последовательности будет определяться соотношениями
Xд (еОТ )= £ хд (п)е-
хд (п) = Т | Xд (е'ОТ) е'ОТпйО .
п=-<» -
Т
(24)
2-
Причем
Хд (е'ОТ) = Т£ X [О + Тк |.
(25)
(Соотношения, аналогичные (22) - (25), справедливы и для других рассматриваемых непрерывных функций и последовательностей).
Возвращаясь к выводу выражения для оптимального восстанавливающей ЛИС-системы, заметим, что формула (19) задает свертку двух последовательностей, которая в спектральной области трансформируется в произведение. Учитывая известные свойства преобразования Фурье [36], из нее получаем:
Од
)Ф
(д)
=Т £ Ф У (-О-Т
О+Т к Д
(26)
где Од (е'ОТ) - частотная характеристика (ЧХ) восстанавливающей ЛИС-системы, связанная с ИХ ёД(к) преобразованием Фурье вида (24); ф Уд) (е'ОТ) - энергетический спектр (ЭС) дискретного искаженного сигнала, связанный с АКФ (20) преобразованием Фурье того же вида; Ф (О) - взаимный энергетический спектр (ВЭС) исходного и искаженного (до дискретизации) сигналов, связанный с ВКФ (21) преобразованием Фурье вида (22).
Из (26) следует выражение для ЧХ восстанавливающей ЛИС-системы:
Од (е'ОТ ) = ■
х£ ФН| -О-Тк |ехр('(О + Тк)Д).
(27)
Т
Для непрерывно-дискретной линейной модели наблюдения (13) формула (27) конкретизируется и выражается исключительно через параметры этой
Т
к
к
модели и характеристики входного сигнала. Действительно, спектральным образом свертки (11) является произведение:
Y (Q) = H (Q) X (Q),
(28)
где H(Q) - ЧХ искажающей непрерывной ЛИС-системы. Далее в соответствии с (25) и описанием преобразований случайных стационарных процессов ЛИС-системами [36],
Ф^^т )=T £
1 k=-x
H| Q+ —k T
хФx ( Q+ T k j + Dv, Ф^) = H ф)Ф, (Q),
(29)
(30)
где Фх (О) - ЭС исходного непрерывного сигнала, связанный с АКФ (14) преобразованием Фурье вида (22). Подставив (29) и (30) в (27), получаем окончательно:
G.(eiQT )
X H (-Q-T k )Ф ( Q+T
/ Q+i^k |д
(31)
£
k
H| Q + T k
Фх| Q + T k | + TDv
5. Ошибка оптимального восстановления
Можно показать, что при отсчетах ИХ восстанавливающей ЛИС-системы, удовлетворяющих уравнениям (19), достигаемый минимум дисперсии ошибки восстановления (17) определяется формулой:
De ( д) = Dx - £ gд (m) BXH (-9 - Д) I e=
(32)
где Ох = Вх (0) - дисперсия исходного сигнала. Несложно вывести и «спектральный» аналог формулы (22). Для этого сначала строится выражение для ЭС последовательности отсчетов дискретизированной ошибки (15):
Ф(д) (е'ОТ)_ Ф хд) (е'ОТ )-
-°а (е'°Т ) kX Ф(Н (О + Тк)ехр(-/' (О + Тк) А),
(33)
где Ф(д) (е'ОТ)- ЭС указанной последовательности; Фхд) (е'ОТ)- ЭС последовательности отсчетов дискре-тизированного исходного сигнала (24). Затем сама дисперсия ошибки восстановления вычисляется путем интегрирования ее ЭС при конкретном А:
De (Д) = Т J Ф^1 ( QT )dQ.
(я/т )
(34)
-( я/T )
Если в (33) подставить (27), то выражение для ЭС ошибки оптимального восстановления приобретет форму, более удобную для дальнейшего анализа:
ФЕд)(е^т ) = ф^^1 ) -
£ Q + T k I exp(-i(Q + T k )Д)
(35)
T 2Ф(д> (eiQT )
Для непрерывно-дискретной линейной модели наблюдения (13)
Ф(д) (eiQT ) = T £ Фх ( Q + T k
T k=-*> ( T
(36)
а также справедливы соотношения (29) и (30), поэтому формула (35) выразится через параметры модели и характеристики входного сигнала:
Ф(д)(е'ОТ) _Т[ X Фх (О+Тк)-
£h[ Q + —kjФх[Q+—k)exp(-i(Q+Tk)Д)
2А
£
H| Q+—k
T
Фх| Q +—k | + TDv T
(37)
Заметим, что формула (34) дает значение дисперсии ошибки восстановления для каждого значения аргумента восстанавливаемого непрерывного сигнала. Несложно подсчитать и ее среднее значение, взятое по интервалу дискретизации:
1 т
DE= m { (Д)}=-J de (ду д 1
(38)
как это обычно и делается при оценке качества методов восстановления (или интерполяции) сигналов. Однако, на наш взгляд, знание ошибки в каждой точке является более продуктивным в ряде прикладных задач, например, позволяет оптимизировать процедуры комплексирования сигналов, получаемых из разных источников. Решение задачи оптимального ком-плексирования сигналов (и изображений) выходит за рамки настоящей статьи, данная задача рассмотрена нами в работе [35].
6. Оптимальное восстановление полного непрерывного сигнала
Приведем полученные результаты к виду, удобному для решения задачи сверхразрешающего восстановления сигнала. В соответствии с подходом, изложенным в п.1, чтобы решить эту задачу, т.е. получить полный непрерывный (точнее, квазинепрерывный) восстановленный сигнал (9), нужно перейти к измельченному в Ь раз шагу дискретизации сигнала, дополнив наблюдаемый сигнал нулями по формуле
k
m
(6) и пропустив его через ЛИС-систему с ИХ, заданной выражением (10). Определим ЧХ этой ЛИС-системы. Сначала найдем ЧХ каждого из слагаемых в сумме (10), применив к (5) преобразование Фурье общего вида (24):
где
G,(eiQT ) = £ ^(ke
k=-«>
= G&[e'( QL) kT ) = Ga(e1Q T = T /L -
(39)
(40)
измельченный шаг дискретизации ИХ восстанавливающей ЛИС-системы, определяющий ширину основного интервала (периода) спектральной функции (39):
tcl KL -— <Q< = или--<Q<-
T
T
T
T
(41)
И затем перенесем выражение (10) в спектральную область с учетом (3), (31), (39), (40) и свойств Фурье-преобразования:
GT(eiQ^ =
= £ Gt,
„iQT\ „-iQTl _
1H (-Q-t k ) ф- ( - T ki£ ;=o
,2я 1—kl , L
(42)
£
H\ n + —k
T
Фх\ Q + —k I + TDV T
Учитывая, что
i2ïk/ iL, k = Ls, £ e L = \ l=0 |0, k Ф Ls,
(43)
где s - новый целочисленный индекс суммирования, из (42) получаем:
L •£ H\ -Q-f s)Фх [Q + f s
(44)
£
H \ Q + g k
Фх\ Q + g k I + TLDv
Через обратное преобразование Фурье с учетом (40) и (41) из (44) можно найти и ИХ оптимальной восстанавливающей ЛИС-системы (10):
*)=T
( Я/T )
i G
,iQT \ „iQTk
d Q.
(45)
-( я/т )
7. Исследование предлагаемого метода
Для выяснения эффективности предлагаемого метода были проведены численные расчёты по выведенным соотношениям. В расчетах принималось, что
исходный сигнал представляет собой стационарный случайный процесс с нулевым средним и экспоненциальной АКФ:
Bx (9) = Dxe"
(46)
где Дх - дисперсия сигнала, а - параметр его АКФ (а > 0), который выбирался так, чтобы обеспечить заданное значение коэффициента корреляции сигнала на шаге его первичной дискретизации:
р = e~
(47)
Применение преобразования Фурье (22) к (46) с учетом (47) дает выражение для ЭС этого сигнала:
Фx (Q) =
2aDx -2(ln р / T ) Dx
a2 + Q2
(ln р / T ) +Q2
(48)
В качестве импульсной характеристики линейной системы, искажающей непрерывный сигнал, использовалась гауссоида, которой часто моделируются искажения, вносимые оптическими устройствами формирования изображений:
h (т) =
1
V2rëd
exp(-(x2 / 2d)),
(49)
где й - параметр, характеризующий ширину ИХ (если (49) интерпретировать как плотность распределения некоей случайной величины, то это ее дисперсия). Частотная характеристика такой системы:
H (Q) = <
(50)
Считалось, что сверхразрешающее восстановление осуществляется с измельчением шага дискретизации сигнала в Ь раз. В численных расчетах принималось:
L = 10, р = 0,9, 0 < d < T2, 0 < Dv < Dx.
(51)
Эффективность предлагаемого метода сравнивалась с линейным интерполяционным восстановлением. ИХ такой восстанавливающей ЛИС-системы выглядит следующим образом:
gi (k ) =
1 -
k < T
(52)
0, k > T
На рис. 1 представлены примеры импульсных характеристик восстанавливающих ЛИС-систем. Для оптимального восстановления ИХ рассчитывались по формулам (44) и (45) при различных параметрах динамических искажений и аддитивного шума.
Далее проанализируем изменение ошибки сверхразрешающего восстановления на интервале первичной дискретизации сигнала. Для оптимальной восстанавливающей ЛИС-системы дисперсия ошибки рассчитывается по формулам (34) и (37).
l=0
k
k
Определим необходимую для сравнительного анализа дисперсию ошибки линейной интерполяции. На интервале 0 < А < T линейно интерполированный сигнал является взвешенной суммой двух отсчетов непрерывного искаженного сигнала, заданных формулой (12):
X«) (А) = - А) Л (0) + А Л (1). (53)
Подставив (53) в (16) с учетом замены в последней t = А, для принятой в параграфе 2 модели наблюдения после ряда преобразований получим:
D¡х) (А) = DX +
А( А
1 - 2—I 1--
TI T
Dv +
А ( А
1 - 2—1 1--
т I т
I | й(х)й(0)Вх (т-0)dxd0-
+2[ 1 —АIА | | й(т)й(0)Вх(T + т-0)dтd0-2(1 -А) | й(х)Вх(x + А)dx-2А | й(т)Вх(T-x-А)dx.
(54)
т
Рис. 1. Импульсные характеристики оптимальной и интерполяционной восстанавливающих систем при d = 0 (а), d = 0,1Т2 (б), d = 0,2Т2 (в). Пунктиром показана ИХ линейной интерполяции
0,20
0,15
0,10
0,05
\ Ч. /
1 1 \=0,2 \=0,2 ох ох
ч, ....... 1^=0,1ПХ.....
у \=0,1 Ох
Пу=0
к
0,20
0,15
0,10
0,05
пЕ(к)
1 н и 0Х ох у*
\
.........................
\=0,1 0Х
1\=0
к
а) 0 0,2 0,4 0,6 0,8 1,0 б) 0 0,2 0,4 0,6 0,8 1,0 в) 0 0,2 0,4 0,6 0,8 1,0
Рис. 2. Изменение дисперсии ошибки восстановления на интервале первичной дискретизации при d = 0 (а), d = 0,1Т2 (б), d = 0,2Т2 (в). Пунктиром показана дисперсия ошибки линейной интерполяции
Некоторые результаты расчетов по формулам (34), (37) и (54) представлены на рис. 2. Как видно из приведенных зависимостей, дисперсия ошибки существенно меняется на рассматриваемом интервале, особенно при слабом шуме наблюдения.
Помимо ошибки на интервале, была исследована средняя ошибка восстановления. Полученные зависимости представлены на рис. 3 и 4.
Как видно из представленных зависимостей, предлагаемый метод сверхразрешающего восстановления сигнала обеспечивает существенно более высо-
кую точность восстановления по сравнению с интерполяционным методом.
Заключение
В данной статье предложен новый метод сверхразрешения (измельчения сетки пикселов) цифровых изображений. Процедура обработки состоит, во-первых, из расширения (дополнения нулями) сетки дискретных значений сигнала, во-вторых, в применении к расширенному сигналу оптимальной линейной фильтрации. Новизна метода заключается:
- во введении в рассмотрение непрерывно -дискретной модели наблюдения, описывающей линейные (динамические) искажения изображения в непрерывной области, его дискретизацию и воздействие аддитивного шума;
- в построении для указанной модели наблюдения линейной системы с постоянными параметрами (ЛИС-системы), минимизирующей среднеквадратичную ошибку восстановления непрерывного изображения; получении выражений для импульсной и частотной характеристик оптимальной восстанавливающей ЛИС-системы, а также ошибки восстановления при каждом значении аргумента восстановленного сигнала;
- в количественной оценке точности оптимального сверхразрешающего восстановления при различных параметрах модели наблюдения, демонстрации его существенного преимущества по сравнению с линейной интерполяцией, обычно применяемой при измельчении сетки пикселов изображения.
De/Dx ............ ................. ................ DV=0,2DX
DV=0,2DX
DV=0,1DX Dv=0
D/T2
О 0,2 0,4 0,6 0,8 1,0
Рис. 3. Зависимости средней дисперсии ошибки восстановления от уровня шума наблюдения. Пунктир - то же при линейной интерполяции
восстановления от уровня динамических искажений. Пунктир - то же при линейной интерполяции
Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-3190113 в частях «Введение», «Общая схема линейного сверхразрешения сигнала», «Непрерывно-дискретная линейная модель наблюдения сигнала», «Оптимальное восстановление дискретных значений непрерывного сигнала», «Оптимальное восстановление дискретных значений непрерывного сигнала - анализ в спектральной области», «Ошибка оптимального восстановления», «Оптимальное восстановление полного непрерывного сигнала», проекта № 19-07-00474 в части «Исследование предлагаемого метода».
Литература
1. Isaac, J.S. Super resolution techniques for medical image processing / J.S. Isaac, R. Kulkarni // 2015 International Conference on Technologies for Sustainable Development (ICTSD). - 2015. - 7095900. - DOI: 10.1109/ICTSD.2015.7095900.
2. Sano, Y. Super-resolution method and its application to medical image processing / Y. Sano, T. Mori, T. Goto, S. Hirano, K. Funahashi // 2017 IEEE 6th Global Conference on Consumer Electronics (GCCE). - 2017. - P. 1-2. -DOI: 10.1109/GCCE.2017.8229301.
3. Chaînais, P. Quantitative control of the error bounds of a fast super-resolution technique for microscopy and astronomy / P. Chainais, P. Pfennig, A. Leray // 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - 2014. - P. 2853-2857. - DOI: 10.1109/ICASSP.2014.6854121.
4. Shen, H. Super-resolution reconstruction algorithm to MODIS remote sensing images / H. Shen, M.K. Ng, P. Li, L. Zhang // Computer Journal. - 2009. - Vol. 52, Issue 1. -P. 90-100. - DOI: 10.1093/comjnl/bxm028.
5. Shi, F. Fast super-resolution reconstruction for video-based pattern recognition / F. Shi, J. Yuan, X. Zhu // 2008 Fourth International Conference on Natural Computation. - 2008. -Vol. 4. - P. 135-139. - DOI: 10.1109/ICNC.2008.553.
6. Zamani, N.A. Multiple-frames super-resolution for closed circuit television forensics / N.A. Zamani, M.Z.A. Darus, S.N.H. Abdullah, M.J. Nordin // 2011 International Conference on Pattern Analysis and Intelligence Robotics. - 2011. - Vol. 1. - P. 36-40. - DOI: 10.1109/ICPAIR.2011.5976908.
7. Kim, S.P. Reconstruction of 2-D bandlimited discrete signals from nonuniform samples / S.P. Kim, N.K. Bose // IEE Proceedings F (Radar and Signal Processing). - 1990. -Vol. 137, Issue 3. - P. 197-204. - DOI: 10.1049/ip-f-2.1990.0030.
8. Bose, N.K. Super-resolution with second generation wavelets / N.K. Bose, S. Lertrattanapanich, M.B. Chappali // Signal Processing: Image Communication. - 2004. -Vol. 19. - P. 387-391. - DOI: 10.1016/j.image.2004.02.001.
9. Stark, H. High resolution image recovery from image-plane arrays, using convex projections / H. Stark, P. Oskoui // Journal of the Optical Society of America A. - 1989. -Vol. 6. - P. 1715-1726. - DOI: 10.1364/JOSAA.6.001715.
10. Elad, M. Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images / M. Elad, A. Feuer // IEEE Transactions on Image Processing. - 1997. - Vol. 6, Issue 12. - P. 1646-1658. -DOI: 10.1109/83.650118.
11. Segall, C.A. Bayesian high-resolution reconstruction of low-resolution compressed video / C.A. Segall, R. Molina,
A.K. Katsaggelos, J. Mateos // Proceedings 2001 International Conference on Image Processing. - 2001. - Vol. 2. -P. 25-28. - DOI: 10.1109/ICIP.2001.958415.
12. Tsai, R.Y. Multiple frame image restoration and registration / R.Y. Tsai, T.S. Huang. - In: Advances in computer vision and image processing. - Greenwich, CT: JAI Press Inc., 1984. - P. 317-339.
13. Bevilacqua, M. Low-complexity single-image superresolution based on non-negative neighbor embedding / M. Bevilacqua, A. Roumy, C. Guillemot, M.L. Alberi-Morel // Proceedings British Machine Vision Conference. -2012. - 135 (10 p.). - DOI: 10.5244/C.26.135.
14. Timofte, R. A+: Adjusted anchored neighborhood regression for fast super-resolution / R. Timofte, V. De Smet, L. Van Gool. - In: Computer vision - ACCV 2014 / ed. by D. Cremers, I. Reid, H. Saito, M.-H. Yang. - New York: Springer, 2015. - P. 111-126. - DOI: 10.1007/978-3-319-16817-3_8.
15. Timofte, R. Anchored neighborhood regression for fast example-based super-resolution / R. Timofte, V. De Smet, L. Van Gool // 2013 IEEE International Conference on Computer Vision. - 2013. - P. 1920-1927. - DOI: 10.1109/ICCV.2013.241.
16. Kim, J. Deeply-recursive convolutional network for image super-resolution / J. Kim, J.K. Lee, K.M. Lee // 2016 IEEE Conference on Computer Vision and Pattern Recognition. -
2016. - P. 1637-1645.
17. Dong, C. Learning a deep convolutional network for image super-resolution,/ C. Dong, C.C. Loy, K. He, X. Tang. - In: Computer Vision - ECCV 2014 ed. by D. Fleet, T. Pajdla,
B. Schiele, T. Tuytelaars. - Cham: Springer, 2014. - P. 184199. - DOI: 10.1007/978-3-319-10593-2_13.
18. Tai, Y. Image super-resolution via deep recursive residual network / Y. Tai, J. Yang, X. Liu // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). -
2017. - P. 3147-3155. - DOI: 10.1109/CVPR.2017.298.
19. Han, W. Image super-resolution via dual-state recurrent networks / W. Han, S. Chang, D. Liu, M. Yu, M. Witbrock, T.S. Huang // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2018. - P. 1654-1663. -DOI: 10.1109/CVPR.2018.00178.
20. Wan, J. Progressive residual networks for image superresolution / J. Wan, H. Yin, A.-X. Chong, Z.-H. Liu // Applied Intelligence. - 2020. - Vol. 50. - P. 1620-1632. -DOI: 10.1007/s10489-019-01548-8.
21. Ren, H. Image super resolution based on fusing multiple convolution neural networks / H. Ren, M. El-Khamy, J. Lee // 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). - 2017. - P. 10501057. - DOI: 10.1109/CVPRW.2017.142.
22. Ulyanov, D. Deep image prior / D. Ulyanov, A. Vedaldi, V. Lempitsky // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2018. - P. 9446-9454. -DOI: 10.1109/CVPR.2018.00984.
23. Bulat, A. To learn image super-resolution, use a GAN to learn how to do image degradation first / A. Bulat, J. Yang, G. Tzimiropoulos. - In: Computer Vision - ECCV 2018 / ed. by V. Ferrari, M. Hebert, C. Sminchisescu, Y. Weiss. -Cham: Springer, 2018. - P. 187-202. - DOI: 10.1007/978-3-030-01231-1_12.
24. Kim, J. Deep learning of human visual sensitivity in image quality assessment framework / J. Kim, S. Lee // 2017 IEEE Confer-
ence on Computer Vision and Pattern Recognition (CVPR). -2017. - P. 1969-1977. - DOI: 10.1109/CVPR.2017.213.
25. Huang, H Wavelet-SRNet: A wavelet-based CNN for multi-scale face super resolution / H. Huang, R. He, Z. Sun, T. Tan // 2017 IEEE International Conference on Computer Vision (ICCV). - 2017. - P. 1698-1706. - DOI: 10.1109/ICCV.2017.187.
26. Kawulok, M. Deep learning for multiple-image superresolution / M. Kawulok, P. Beneck, K. Hrynczenko, D. Kostrzewa, J. Nalepa // IEEE Geoscience and Remote Sensing Letters. - 2019. - Vol. 17, Issue 6. - P. 1062-1066. - DOI: 10.1109/LGRS.2019.2940483.
27. Greaves, A. Multi-frame video super-resolution using convolutional neural networks [Electronical Resource] / A. Greaves, H. Winter. - URL: http://cs231n.stanford.edu/reports/2016/pdfs/212Report.pdf, (request date 2020-07-11).
28. Morin, R. Motion estimation-based image enhancement in ultrasound imaging / R. Morin, A. Basarab, S. Bidon, D. Kouame // Ultrasonics. - 2015. - Vol. 60. - P. 19-26. -DOI: 10.1016/j.ultras.2015.02.003.
29. Rossi, M. Graph-based light field super-resolution / M. Rossi, P. Frossard // 2017 IEEE 19th International Workshop on Multimedia Signal Processing (MMSP). - 2017. -P. 1-6. - DOI: 10.1109/MMSP.2017.8122224.
30. Zhou, S. Multiframe super resolution reconstruction method based on light field angular images / S. Zhou, Y. Yuan, L. Su, X. Ding, J. Wang // Optics Communications. - 2017. -Vol. 404. - P. 189-195. - DOI: 10.1016/j.optcom.2017.03.019.
31. Quevedo, E. Approach to super-resolution through the concept of multicamera imaging / E. Quevedo, G. Marrero, F. Tobajas. - In: Recent advances in image and video coding / ed. by S. Radhakrishnan. - Chap. 5. - InTech Open, 2016. - P. 101-123. - DOI: 10.5772/65442.
32. Белов, А.М. Спектральное и пространственное сверхразрешение при комплексировании данных ДЗЗ различных источников / А.М. Белов, А.Ю. Денисова // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 855-863. -DOI: 10.18287/2412-6179-2018-42-5-855-863.
33. Иванков, А.Ю. Алгоритм построения сверхразрешения изображений в условиях ложных наблюдений / А.Ю. Иванков, А.А. Сирота // Вестник Воронежского Государственного университета. Серия: Системный анализ и информационные технологии. - 2014. - № 3. - C. 91-99.
34. Ращупкин, А.В. Методы обработки данных дистанционного зондирования для повышения качества выходных изображений / А.В. Ращупкин // Вестник Самарского университета. Аэрокосмическая техника, технологии и машиностроение. - 2010. - Т. 2, № 22. - С. 124-134.
35. Maksimov, A. Optimal fusing of video sequence images /
A. Maksimov, V. Sergeyev // 2020 International Conference on Information Technology and Nanotechnology (ITNT). -2020. - P. 1-4. - DOI: 10.1109/ITNT49337.2020.9253202.
36. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю. Ильясова,
B.В. Мясников, С.Б. Попов, В.В. Сергеев, В.А. Сойфер,
A.Г. Храмов, А.В. Чернов, В.М. Чернов, М.А. Чичева,
B.А. Фурсов, под ред. В.А. Сойфера. - М.: Физматлит, 2003. - 784 с. - ISBN: 5-9221-0270-2.
37. Sergeyev, V.V. Comparison of optimum reconstruction filters for discrete and continuous-discrete linear observation models / V.V. Sergeyev, A.I. Maksimov // Journal of Physics: Conference Series. - 2018. - Vol. 1096. - 012031. -DOI: 10.1088/1742-6596/1096/1/012031.
Сведения об авторах
Максимов Алексей Игоревич, 1994 года рождения, в 2017 году окончил Самарский национальный исследовательский университет по специальности «Информационная безопасность автоматизированных систем». В настоящее время обучается в аспирантуре Самарского национального исследовательского университета. Область научных интересов: обработка многомерных сигналов, распознавание образов, защита информации и геоинформационные системы. E-mail: [email protected] .
Сергеев Владислав Викторович, 1951 года рождения. В 1974 году окончил Куйбышевский авиационный институт (ныне Самарский национальный исследовательский университет имени академика С. П. Королёва). В 1978 г. защитил кандидатскую, а в 1993 году - докторскую диссертацию. В настоящее время является директором института информатики, математики и электроники, заведующим кафедрой геоинформатики и информационной безопасности Самарского университета, по совместительству - заведующим лабораторией математических методов обработки изображений в Институте систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Область научных интересов: цифровая обработка сигналов, анализ изображений, распознавание образов, геоинформатика. E-mail: [email protected] .
ГРНТИ: 28.23.15
Поступила в редакцию 30 сентября 2020 г. Окончательный вариант - 06 июля 2021 г.
A method for optimal linear super-resolution image restoration
A.I. Maksimov1, V.V. Sergeyev1,2 1 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34;
2IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, 443001, Samara, Russia, Molodogvardeyskaya 151
Abstract
In this paper, we propose a super-resolution (pixel grid refinement) method for digital images. It is based on the linear filtering of a zero-padded discrete signal. We introduce a continuous-discrete observation model to create a reconstruction system. The proposed observation model is typical of real-world imaging systems - an initially continuous signal first undergoes linear (dynamic) distortions and then is subjected to sampling and the effect of additive noise. The proposed method is optimal in the sense of mean square recovery error minimization. In the theoretical part of the article, a general scheme of the linear super-resolution of the signal is presented and expressions for the impulse and frequency responses of the optimal reconstruction system are derived. An expression for the error of such restoration is also derived. For the sake of brevity, the entire description is presented for one-dimensional signals, but the obtained results can easily be generalized for the case of two-dimensional images. The experimental section of the paper is devoted to the analysis of the superresolution reconstruction error depending on the parameters of the observation model. The significant superiority of the proposed method in terms of the reconstruction error is demonstrated in comparison with linear interpolation, which is usually used to refine the grid of image pixels.
Keywords: digital images, super-resolution, continuous-discrete observation model, linear system, optimal recovery, impulse response, frequency response, optimal reconstruction error.
Citation: Maksimov AI, Sergeyev VV. A method for optimal linear super-resolution image restoration. Computer Optics 2021; 45(5): 692-701. DOI: I0.18287/2412-6179-C0-909.
Acknowledgements: The work was partly funded by the Russian Foundation for Basic Research under project No 19-31-90113 ("Introduction", "General method of signal linear super-resolution", "Continuous-discrete observation model", "Optimal restoration of discrete values of a continuous signal", "Optimal restoration of discrete values of a continuous signal - frequency domain analysis", "Error of the optimal restoration" and "Optimal restoration of a whole continuous signal") and research project No 19-07-00474 ("Experimental research of the proposed method").
References
[1] Isaac JS, Kulkarni R. Super resolution techniques for medical image processing. International Conference on Technologies for Sustainable Development (ICTSD) 2015: 7095900. DOI: 10.1109/ICTSD.2015.7095900.
[2] Sano Y, Mori T, Goto T, Hirano S, Funahashi K. Superresolution method and its application to medical image processing. 2017 IEEE 6th Global Conference on Consumer Electronics (GCCE) 2017: 1-2. DOI: 10.1109/GCCE.2017.8229301.
[3] Chainais P, Pfennig P, Leray A.Quantitative control of the error bounds of a fast super-resolution technique for microscopy and astronomy. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2014: 2853-2857. DOI: 10.1109/ICASSP.2014.6854121.
[4] Shen H, Ng MK, Li P, Zhang L. Super-resolution reconstruction algorithm to MODIS remote sensing images. Comput J 2009; 52(1): 90-100. DOI: 10.1093/comjnl/bxm028.
[5] Shi F. Yuan J, Zhu X. Fast super-resolution reconstruction for video-based pattern recognition. Fourth International Conference on Natural Computation 2008; 4: 135-139. DOI: 10.1109/ICNC.2008.553.
[6] Zamani NA, Darus MZA, Abdullah SNH, Nordin MJ. Multiple-frames super-resolution for closed circuit television forensics. International Conference on Pattern Analysis and Intelligent Robotics 2011; 1: 36-40. DOI: 10.1109/ICPAIR.2011.5976908.
[7] Kim SP, Bose NK. Reconstruction of 2-D bandlimited discrete signals from nonuniform samples. IEE Proc F Radar Signal Process 1990; 137(3): 197-204. DOI: 10.1049/ip-f-2.1990.0030.
[8] Bose NK, Lertrattanapanich S, Chappali MB. Superresolution with second generation wavelets. Signal Process Image Commun 2004; 19: 387-391. DOI: 10.1016/j.image.2004.02.001.
[9] Stark H, Oskoui P. High resolution image recovery from image-plane arrays, using convex projections. J Opt Soc Am A 1989; 6: 1715-1726. DOI: 10.1364/JOSAA.6.001715.
[10] Elad M, Feuer A. Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images. IEEE Trans Image Process 1997; 6(12): 1646-1658. DOI: 10.1109/83.650118.
[11] Segall CA, Molina R, Katsaggelos AK, Mateos J. Bayesian high-resolution reconstruction of low-resolution compressed video. Proc IEEE Int Conf on Image Processing 2001; 2: 25-28. DOI: 10.1109/ICIP.2001.958415.
[12] Tsai RY, Huang TS Multiple frame image restoration and registration. In Book: Advances in computer vision and image processing. Greenwich, CT: JAI Press Inc; 1984: 317-339.
[13] Bevilacqua M, Roumy A, Guillemot C, Alberi-Morel ML. Low-complexity single-image super-resolution based on non-negative neighbor embedding. Proceedings British Machine Vision Conference 2012: 135. DOI: 10.5244/C.26.135.
[14] Timofte R, De Smet V, Van Gool L. A+: Adjusted anchored neighborhood regression for fast super-resolution. In Book: Cremers D, Reid I, Saito H, Yang M-H, eds. Computer vision - ACCV 2014. New York: Springer; 2015: 111-126. DOI: 10.1007/978-3-319-16817-3_8.
[15] Timofte R, De Smet V, Van Gool L. Anchored neighborhood regression for fast example-based super-resolution. IEEE Int Conf on Computer Vision 2013: 1920-1927. DOI: 10.1109/ICCV.2013.241.
[16] Kim J, Lee JK, Lee KM. Deeply-recursive convolutional network for image super-resolution. IEEE Conf on Computer Vision and Pattern Recognition 2016: 1637-1645.
[17] Dong C, Loy CC, He K, Tang X. Learning a deep convolutional network for image super-resolution. In Book: Fleet D, Pajdla T, Schiele B, Tuytelaars T, eds. Computer Vision - ECCV 2014. Cham: Springer, 2014: 184-199. DOI: 10.1007/978-3-319-10593-2_13.
[18] Tai Y, Yang J, Liu X. Image super-resolution via deep recursive residual network. IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2017: 3147-3155. DOI: 10.1109/CVPR.2017.298.
[19] Han W, Chang S, Liu D, Yu M, Witbrock M, Huang TS. Image super-resolution via dual-state recurrent networks. IEEE/CVF Conf on Computer Vision and Pattern Recognition 2018: 1654-1663. DOI: 10.1109/CVPR.2018.00178.
[20] Wan J, Yin H, Chong AX, Liu ZH. Progressive residual networks for image super-resolution. Appl Intell 2020; 50: 1620-1632. DOI: 10.1007/s10489-019-01548-8.
[21] Ren H, El-Khamy M, Lee J. Image super resolution based on fusing multiple convolution neural networks. IEEE Conf on Computer Vision and Pattern Recognition Workshops (CVPRW) 2017: 1050-1057. DOI: 10.1109/CVPRW.2017.142.
[22] Ulyanov D, Vedaldi A, Lempitsky V. Deep image prior. IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2018: 9446-9454. DOI: 10.1109/CVPR.2018.00984.
[23] Bulat A, Yang J, Tzimiropoulos G. To learn image superresolution, use a gan to learn how to do image degradation first. In Book: Ferrari V, Hebert M, Sminchisescu C, Weiss Y, eds. Computer Vision - ECCV 2018. Cham: Springer; 2018: 187-202. DOI: 10.1007/978-3-030-01231-1_12.
[24] Kim J, Lee S. Deep learning of human visual sensitivity in image quality assessment framework. IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2017: 19691977. DOI: 10.1109/CVPR.2017.213.
[25] Huang H, He R, Sun Z, Tan T. Wavelet-SRNet: A wavelet-based CNN for multi-scale face super resolution. IEEE
Int Conf on Computer Vision (ICCV) 2017: 1698-1706. DOI: 10.1109/ICCV.2017.187.
[26] Kawulok M, Beneck P, Hrynczenko K, Kostrzewa D, J.Nalepa Deep Learning for Multiple-Image SuperResolution. IEEE Geosci Remote Sens Lett 2019; 17(6): 1062-1066. DOI: 10.1109/LGRS.2019.2940483.
[27] Greaves A, Winter H. Multi-frame video super-resolution using convolutional neural networks. Source: (http://cs231n.stanford.edu/reports/2016/pdfs/212Report.pdf).
[28] Morin R, Basarab A, Bidon S, Kouamé D. Motion estimation-based image enhancement in ultrasound imaging. Ultrasonics 2015; 60: 19-26. DOI: 10.1016/j.ultras.2015.02.003.
[29] Rossi M, Frossard P. Graph-based light field superresolution. IEEE 19th Int Workshop on Multimedia Signal Processing (MMSP) 2017: 1-6. DOI: 10.1109/MMSP.2017.8122224.
[30] Zhou S, Yuan Y, Su L, Ding X, Wang J. Multiframe super resolution reconstruction method based on light field angular images. Opt Commun 2017; 404: 189-195. DOI: 10.1016/j.optcom.2017.03.019.
[31] Quevedo E, Marrero G, Tobajas F. Approach to superresolution through the concept of multicamera imaging. In Book: Radhakrishnan S, ed. Recent advances in image and video coding. Ch 5. InTech Open; 2016: 101-123. DOI: 10.5772/65442.
[32] Belov AM, Denisova AY. Spectral and spatial superresolution method for Earth remote sensing image fusion. Computer Optics 2018; 42(5): 855-863. DOI: 10.18287/2412-6179-2018-42-5-855-863.
[33] Ivankov AJ, Sirota AA. Algorithm to construct the superresolution images in false observations [In Russian]. Proceedings of Voronezh State University. Series: Systems Analysis and Information Technologies 2014; 3: 91-99.
[34] Raschupkin AV. Methods of remote sensing data processing for the improvement of output images quality [In Russian]. Vestnik of Samara University. Aerospace and Mechanical Engineering 2010; 2(22): 124-134.
[35] Maksimov A, Sergeyev V. Optimal fusing of video sequence images. 2020 International Conference on Information Technology and Nanotechnology (ITNT) 2020: 14. DOI: 10.1109/ITNT49337.2020.9253202.
[36] Soifer VA, ed. Methods of computer image processing [In Russian]. Moscow: "Fizmatlit" Publisher; 2003. ISBN: 59221-0270-2.
[37] Sergeyev VV, Maksimov AI. Comparison of optimum reconstruction filters for discrete and continuous-discrete linear observation models. J Phys Conf Ser 2018; 1096: 012031. DOI:10.1088/1742-6596/1096/1/012031.
Authors' information
Aleksey Igorevich Maksimov (b. 1994) graduated from Samara National Research University in 2017, majoring in Information Security of Automated Systems. Currently, he is studying as a doctoral student at Samara National Research University. His research interests are currently focused on multidimensional signal processing, pattern recognition, information security and GIS. E-mail: [email protected] .
Vladislav Victorovich Sergeyev (b. 1951) graduated from Samara National Research University (Samara University) in 1974. In 1978 he received the Candidates of Technical Sciences degree and in 1993 - the Doctor of Technical Sciences degree. Currently he works as the director of Institute of IT, Mathematics and Electronics and the head of GIS and Information Security sub-department at Samara University, also holding a part-time position as the head of a laboratory at the Image Processing Systems Institute of RAS - Branch of the FSRC "Crystallography and Photonics" RAS. Research interests are digital signals and image processing, GIS and pattern recognition. E-mail: [email protected] .
Received September 30, 2020. The final version - July 6, 2021.
