Научная статья на тему 'Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям'

Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
445
103
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
цифровая обработка изображений / реконструкция 3D-сцен по разноракурсным изображениям / сопоставление изображений / аффинное преобразование / CUDA- технология / digital image processing / 3D-scene reconstruction / image matching / affine transform / CUDA

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Котов Антон Петрович, Фурсов Владимир Алексеевич, Гошин Егор Вячеславович

Разработан быстродействующий алгоритм построения карты диспарантности по разноракурсным изображениям. Предложено ввести этап начального совмещения изображений, а также процедуры учёта эпиполярных ограничений и формирования пирамиды изображений с различным разрешением. Технология реализована в CUDA-среде. Приводятся результаты экспериментальных исследований, иллюстрирующие высокое быстродействие при сохранении высокого качества восстановления 3D-сцен.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

TECHNOLOGY FOR FAST 3D-SCENE RECONSTRUCTION FROM STEREO IMAGES

We propose a fast algorithm for disparity maps construction from stereo images. The reliability and efficiency of image matching in subsequent steps is achieved by using epipolar constraints and an image pyramid. The developed method was implemented on a parallel computing platform CUDA. The results of experimental studies show high performance of the proposed approach, while maintaining the high-quality reconstruction of 3D-scenes.

Текст научной работы на тему «Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям»

Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям

Котов А.П., Фурсов В. А., Гошин Е.В.

ТЕХНОЛОГИЯ ОПЕРАТИВНОЙ РЕКОНСТРУКЦИИ ТРЁХМЕРНЫХ СЦЕН ПО РАЗНОРАКУРСНЫМ ИЗОБРАЖЕНИЯМ

А.П. Котов 1,2, В.А. Фурсов 1,2

Е.В. Гошин ’

1 Институт систем обработки изображений РАН, Самара, Россия,

2 Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет) (СГАУ), Самара, Россия

Аннотация

Разработан быстродействующий алгоритм построения карты диспарантности по разноракурсным изображениям. Предложено ввести этап начального совмещения изображений, а также процедуры учёта эпиполярных ограничений и формирования пирамиды изображений с различным разрешением. Технология реализована в CUDA-среде. Приводятся результаты экспериментальных исследований, иллюстрирующие высокое быстродействие при сохранении высокого качества восстановления SD-сцен.

Ключевые слова: цифровая обработка изображений, реконструкция SD-сцен по разноракурсным изображениям, сопоставление изображений, аффинное преобразование, CUDA-технология.

Цитирование: Котов, А.П. Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям / А.П. Котов, В.А. Фурсов, Е.В. Гошин// Компьютерная оптика. - 2015. - Т. 39, № 4. - С. 600-605. - DOI: 10.18287/0134-2452-2015-39-4-600-605.

Введение

Задача реконструкции трёхмерных моделей сцен по разноракурсным изображениям является крайне востребованной в различных приложениях [1, 2]. При этом часто ставится задача восстановления 3D-сцен в реальном времени. Такие требования часто возникают при обработке данных ДЗЗ, например, с целью мониторинга чрезвычайных ситуаций, построения цифровых моделей местности (ЦММ) для анализа фоноцелевой обстановки и др. При этом к программным комплексам, решающим эти задачи, часто предъявляется также требование низкой стоимости и компактности исполнения. Поэтому актуальной является задача построения экономичных по требуемым вычислительным ресурсам технологий оперативной реконструкции 3D-сцен по разноракурсным изображениям.

Центральной проблемой в технологиях восстановления трёхмерных сцен по разноракурсным изображениям является нахождение соответствующих точек на разных видах. При решении этой задачи на изображениях с большими относительными сдвигами область поиска соответствующих фрагментов должна быть значительно увеличена. Это приводит как к повышению вычислительной сложности и увеличению времени поиска, так и к снижению надёжности определения соответствующих точек. В какой-то степени область поиска можно сузить, если сопоставление изображений осуществлять по ректифицированным изображениям [3]. Недостатком такого подхода является внесение дополнительных искажений при интерполяции отсчётов изображения в ходе ректификации.

В работе [4] рассматривалась технология, не требующая предварительной ректификации изображений. В рамках этого подхода соответствующие точки ищутся на соответствующих эпиполярных линях, для определения которых используется фундаментальная матрица. Если параметры камер (внутренние и внешние) известны, фундаментальная матрица может быть

вычислена с использованием этих параметров. В ситуации, когда параметры камер не известны, фундаментальная матрица может быть оценена по небольшому числу (не менее семи) соответствующих точек на изображениях двух видов. В работе [5] рассматривалась реализующая этот подход информационная технология реконструкции ЦММ по стереоизображениям. Эта технология позволяет существенно сократить объём вычислений, однако не снимает всех проблем. Область поиска вдоль эпиполярных линий всё равно остаётся значительной при больших начальных относительных сдвигах и в особенности при различиях масштабов сопоставляемых разноракурсных изображений.

Цель настоящей работы - повышение качества восстановления трёхмерных сцен за счёт введения в технологию, рассмотренную в [5], дополнительного этапа начального совмещения разноракурсных изображений, а также существенное повышение быстродействия алгоритмов за счёт распараллеливания и реализации в CUDA среде на гибридных вычислительных устройствах, включающих графические процессоры. Приводятся результаты экспериментальных исследований, иллюстрирующие как повышение качества, так и значительное сокращение времени реализации сквозной технологии реконструкции 3D-сцен.

Описание основных этапов технологии

Общая схема основных этапов предлагаемой технологии реконструкции 3D-сцены по разноракурсным изображениям приведена на рис. 1. Эта технология отличается от технологии, рассматривавшейся в работе [5], наличием дополнительного этапа начального совмещения разноракурсных изображений. Необходимо подчеркнуть, что, строго говоря, разноракурсные изображения, тем более отличающиеся масштабом, совместить точно невозможно, поскольку локальные сдвиги соответствующих точек, которые на сцене не принадлежат одной плоскости, зависят от

600

Компьютерная оптика, 2015, том 39, №4

Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям

Котов А.П., Фурсов В.А., Гошин Е.В.

ракурса съемки. Поэтому на данном этапе речь идёт о совмещении некоторых средних «сечений» сцены.

1. Предварительное совмещение, масштаб и сдвиг

X

X

2. Предварительный поиск сдвигов для нахождения фундаментальной матрицы

3. Идентификация фундаментальной матрицы

4. Нахождение иготовых относительных сдвигов

5. Формирование карты диспарантности

Рис 1. Схема этапов технологии

Этап предварительного совмещения предлагается осуществлять с помощью аффинного преобразования с тремя степенями свободы. В данном случае это преобразование учитывает сдвиг и изменение масштаба и задаёт соотношения между точками некоторого сечения сцены, зарегистрированной соответственно на первом - (x, у) и втором - (x’, у ’) изображениях:

m 0 d1 0 m d2

где коэффициент m определяет масштаб, а d1 и d2 задают сдвиг.

Для нахождения параметров аффинного преобразования m, d1 и d2 в данном случае решается переопределённая система уравнений. В качестве известных исходных данных используются координаты соответствующих точек (x, у) и (x’, у ’), которые предварительно находятся, например, методом SIFT [6] или SURF [7], которые признаны в настоящее время наиболее эффективными. Для того, чтобы аффинному преобразованию подвергалось наиболее характерное сечение сцены, для его определения желательно использовать, по возможности, большое число соответствующих точек. В этом случае для решения переопределённой системы уравнений целесообразно воспользоваться алгоритмом RANSAC. Известно, что этот алгоритм является устойчивым к грубым ошибкам типа сбоев и обеспечивает высокое качество определения модели при большом числе наблюдений.

В ситуации, когда число соответствующих точек невелико (при малом числе информативных фрагментов на изображениях), более высокое качество определения параметров аффинного преобразования даёт метод согласованной идентификации. Исследованию этого факта в задачах определения параметров по малому числу наблюдений посвящены работы [8], [9].

Введение дополнительного этапа начального приближённого совмещения разноракурсных изображений обеспечивает существенное повышение надёжности и быстродействия последующих этапов, рассматривавшихся в работе [5]. В частности, это позволяет сущест-

(1)

x

венно повысить быстродействие этапа сопоставления с использованием так называемой пирамиды изображений. Этот этап, по существу, также решает проблему устранения больших относительных сдвигов. Однако если сдвиги и разница масштабов велики, реализация алгоритма пирамиды изображений имеет либо высокую вычислительную сложность, либо низкую надёжность вследствие большой высоты пирамиды.

Алгоритм пирамиды изображений применительно к двум разноракурсным изображениям, подвергшимся совмещению с помощью аффинного преобразования, строится в виде иерархической схемы вычислений. Пирамида изображений формируется в виде набора изображений, получаемых уменьшением разрешения в два раза по обеим координатам. Таким образом, на N-м уровне пирамиды формируется изображение, разрешение которого в 2 раз меньше исходного разрешения. Число уровней пирамиды устанавливается пользователем в виде параметра. На первом шаге данного этапа обрабатывается изображение с наименьшим разрешением. При этом начальный сдвиг принимается равным нулю. При поиске соответствий на следующем шаге используется информация о сдвиге, найденном на предшествующем шаге, т.е. на каждом следующем шаге значения координат удваиваются.

Найденные описанным выше способом соответствующие точки используются для определения фундаментальной матрицы. Также как и при определении параметров афинного преобразования, на этапе начального совмещения разноракурсных изображений для определения параметров фундаментальной матрицы при большом числе найденных соответствующих точек используется алгоритм RANSAC, а при малом числе точек - метод согласованной идентификации.

На следующем этапе осуществляется детальный поиск соответствующих точек для построения карты диспарантности. Основная проблема сопоставления изображений на данном этапе состоит в том, что на изображениях видов могут быть значительные малоинформативные области (фона). При этом известные эффективные алгоритмы определения соответствующих точек, например, детектор Харриса [10] с дальнейшим сравнением с использованием признаков SIFT [6] или SURF [7], а также алгоритм SimpleFlow [11] оказываются неработоспособными. В данном случае используется метод, предложенный в работе [5]. Метод основан на использовании расстояния до эпиполярной линии в качестве штрафного коэффициента в минимизируемой функции. Привёдем краткое описание этого метода.

Обозначим координаты точек на первом изображении (u, v), а координаты соответствующих им точек на втором - (u+Du, v+Dv), где Du, Dv - относительные сдвиги координат u, v соответственно. Пусть I(u, v) и I’(u+Du, v+Dv) - функции распределения яркости отсчётов на этих изображениях.

Задача состоит в поиске для каждой точки (u, v) на первом изображении соответствующей точки (u+Du,

Компьютерная оптика, 2015, том 39, №4

601

Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям

Котов А.П., Фурсов В. А., Гошин Е.В.

v+Av) на втором изображении посредством минимизации критерия сходства:

E (u0, v0, Au, Av) =

= £ a(u,v)||I(u,v)-1'(u + Au,v + Av)|| ’ (2)

(u, v )eD (u0,v0)

где D(u0, v0) - заданная область вокруг точки (u0, v0), а a(u0, v0) - весовая функция, задаваемая в указанной области в виде произведения трёх коэффициентов:

где

a (u, v ) = wc ■ wd ■ wf ,

wd = exp{-|(^v0)-(u,v)||2} , (3)

wd = exp {-||I («<» v0)-T( u, v) f}, (4)

I au' + bv + c I wd = exp i г-.—- \. 1 Va + b 1 (5)

Коэффициент Wf по существу задаёт функцию «штрафа» при удалении точки (u v ’) от эпиполярной линии au' + bv + c, определяемой по координатам точки (u0, v0) с использованием фундаментальной матрицы F [12,13]:

a = u0 F11 + u0 F12 + F13 , b = u0 F21 + u0 F22 + F23 ’

C = u0F31 + u0 F32 + F33 •

На заключительном этапе с использованием полученных значений относительных сдвигов соответствующих точек на разноракурсных изображениях формируется карта диспарантности.

Наиболее ресурсоёмкими в описанной технологии являются этапы сопоставления фрагментов изображений с целью определения соответствующих точек на втором и четвёртом этапах технологии (рис. 1). Вместе с тем реализация именно этих этапов хорошо декомпозируется по данным. В частности, нахождение относительных сдвигов для каждой точки (x, у) можно выполнять независимо на отдельных процессорах. Для этого на каждом процессоре должна решаться задача минимизации критерия сходства (2). Реализация алгоритма на четвёртом этапе отличается лишь тем, что при вычислении на каждой нити критерия сходства E(u, v) добавляется также вычисление функции штрафа. Алгоритмы на обоих этапах успешно распараллеливаются. При этом количество нитей равно произведению числа пикселей изображения и числа всех возможных сдвигов (u, v) в области поиска D2.

Результаты экспериментов

При проведении экспериментов использовались стереоизображения из набора изображений «Tsukuba», которые часто используются в качестве тестовых в задаче сопоставления изображений. Этот выбор был продиктован тем, что указанная база изображений содержит также эталонные карты диспарантности, по которым возможно сопоставление результатов. Исходные изображения представлены на рис. 2.

С помощью предлагаемой технологии для указанных изображений была сформирована карта диспарантности (рис. 3 а). На рис. 36 для сравнения приведена эталонная карта диспарантности, рассчитанная по тем же изображениям с использованием априорной информации о параметрах камер и хранящаяся в наборе изображений «Tsukuba».

Рис. 2. Исходные изображения

Рис. 3. Вычисленная (а) и эталонная (б) карты диспарантности

Для проверки технологии в случае, когда разноракурсные изображения зарегистрированы на большом расстоянии между камерами, была проведена следующая предварительная процедура. Исходные разноракурсные изображения из базы данных «Tsukuba» (рис. 2) были смещены в противоположные стороны. Таким способом были смоделированы изображения (рис. 4) с большим относительным пиксельным сдвигом. Фактический параллакс при этом не изменился, однако применяемое моделирование больших сдвигов адекватно воспроизводит эффекты, возникающие при большом расстоянии между камерами.

Рис. 4. Смещённые изображения

При реализации алгоритма сопоставления точек на смещённых изображениях (рис. 4) получена карта диспарантности, которая демонстрирует большие ошибки сопоставления изображений (рис. 5а). Применение предварительного этапа совмещения к тем же смещённым изображениям позволило значительно сократить определение ложных относительных сдвигов (рис. 5 б). Нетрудно заметить, что визуально карта диспарантности, показанная на рис. 5 б) имеет большее сходство с эталонной (рис. 3б).

Для сравнительной оценки эффективности полученных карт диспарантности был предложен критерий качества K, который вычислялся по формуле:

1 m ~1 n-1

к(I„ I2)=—£ £ | щ j) -12 (i, j)|,

mn i=0 j=0

602

Компьютерная оптика, 2015, том 39, №4

Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям

Котов А.П., Фурсов В. А., Гошин Е.В.

где I1 - функции распределения яркости полученной карты диспарантности, а I2 - эталонной.

Рис. 5. Результат обработки «смещённых» изображений: а) без предварительного совмещения, б) с предварительным совмещением

Значение критерия качества для исходных изображений (рис. 3а) составило K = 7,36, а для смещённых (рис. 5б) K = 11,9. Очевидно, что без этапа предварительного совмещения карта диспарантности (рис. 5а) получается менее точной.

В табл. 1 приведены результаты сравнительных исследований времени реализации технологии на CPU и GPU при различном числе уровней пирамиды, задаваемых на первом этапе устранения больших относительных сдвигов (данные получены при реализации с использованием Geforce GTX 780 и Intel Core i7-4770K).

Табл. 1. Время реализаций в миллисекундах

Уровень пирамиды 1 2 3 4 5 6

Разрешение изображения 20x15 40x30 80x60 160x120 320x240 640x480

Размер в пикселях 300 1200 4800 19200 76800 307200

Время выполнения на CPU (мс) 9,4 42,8 185,3 753,1 2994,5 12081,9

Время выполнения на GPU (мс) 1,1 2,1 6,5 24,6 93,7 363,4

Ускорение 8,5 20,3 28,5 30,6 32 33,2

На рис. 6 приведены графики зависимости времени реализации технологии на CPU и GPU от размера обрабатываемого изображения.

Рис. 6. Зависимость времени реализации на CPU и GPU от размеров изображения

Ниже приводятся также примеры, реализации разработанной технологии построения ЦММ, по данным ДЗЗ. В частности, использованы исходные тестовые изображения из того же набора, что и в работе [5]. В отличие от работы [5] использовались снимки той же местности под другим ракурсом с дополнительно введенным значительным смещени-

ем (рис. 7). Эти различия можно заметить по отбрасываемой тени от зданий.

Рис. 7. Смещённые снимки

На рис. 8 приведена карта диспарантности, полученная на смещённых разноракурсных изображениях при реализации технологии без этапа предварительного совмещения.

Рис. 8. Результат обработки «смещённых» снимков без предварительного совмещения

На рис. 9 приведена карта диспарантности, полученная с использованием предварительного этапа совмещения разноракурсных изображений. Приведённые изображения являются реальными аэрокосмическими снимками, на которых нельзя дать точные количественные оценки. Тем не менее, визуально заметно, что карта диспарантности, приведенная на рис. 9, в отличие от рис. 8 правдоподобна. Это подтвер-

Компьютерная оптика, 2015, том 39, №4

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

603

Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям

Котов А.П., Фурсов В. А., Гошин Е.В.

ждает, что предварительное совмещение разноракурсных изображений позволяет значительно уменьшить среднюю величину сдвига и, как следствие, сократить число ложных соответствий.

Рис. 9. Результат обработки «смещённых» снимков с предварительным совмещением

При сравнении этих изображений с приведёнными в работе [5] нетрудно заметить, что предложенная модификация технологии не снижает качество восстановления карты диспарантности, при этом позволяя обрабатывать снимки, полученные с больших ракурсов и с дополнительным смещением.

Заключение

Показано, что предложенная информационная технология сопоставления стереоизображений, основанная на использовании предварительного совмещения разноракурсных изображений и учёте эпиполярных ограничений обеспечивает достаточно высокое качество формирования трёхмерной модели сцены и цифровой модели местности. Сравнительные исследования времени построения карт диспарантности и восстановления 3Б-сцен на CPU и на графических процессорах показывают увеличение быстродействия технологии в целом в 15 раз. Применение быстродействующего параллельного алгоритма в CUDA-среде вселяет надежду на возможность оперативной реализации технологии в реальном времени.

Благодарности

Работа выполнена при поддержке Российского научного фонда (РНФ), грант № 14-31-00014.

Литература

1. Резник, А.Л. Эффективные по быстродействию методы цифровой обработки динамических последовательностей изображений / А.Л. Резник, В.М. Ефимов, А.В. Торгов // Вестник Новосибирского государственного университета. Серия: Физика. - 2008. - Т. 3, № 3. - С. 95-103.

2. Baillard, C. 3-D reconstruction of urban scenes from aerial stereo imagery: a focusing strategy / C. Baillard, H. Maitre // Computer Vision and Image Understanding. - 1999. -Vol. 76, Issue 3. - P. 244-258.

3. Hartley, R.I. Theory and Practice of Projective Rectification / R.I. Hartley // International Journal of Computer Vision. - 1999. - Vol. 35. - P. 115-127.

4. Фурсов, В.А. Реконструкция 3D-сцен на пучках эпиполярных плоскостей стереоизображений / В.А. Фурсов, Е.В. Гошин, С.А. Бибиков // Мехатроника, автоматизация, управление. - 2013. - Т. 9, № 150. - С. 19-24.

5. Фурсов, В.А. Информационная технология реконструкции цифровой модели местности по стереоизображениям / В.А. Фурсов, Е.В. Гошин // Компьютерная оптика. - 2014. - Т. 38, № 2 - С. 335-342.

6. Lowe D.G. Object recognition from local scale-invariant features/ D.G. Lowe //Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on. -Ieee, 1999. - Vol. 2. - P. 1150-1157.

7. Bay, H. Speeded-up robust features (SURF) / H. Bay, A. Ess, T. Tuytelaars, L. Van Gool //Computer Vision and Image Understanding. - 2008. - Vol. 110, Issue 3. - P. 346-359.

8. Фурсов, В.А. Метод согласованной идентификации в задаче определения соответственных точек на изображениях / В.А. Фурсов, Е.В. Гошин // Компьютерная оптика. -2012. - Т. 36, № 1 - С. 131-135. - ISSN 0134-2452.

9. Фурсов, В.А. Решение задачи автокалибровки камеры с использованием метода согласованной идентификации /

B. А. Фурсов, Е. В. Гошин // Компьютерная оптика. -2012. - Т. 36, № 4. - С. 605-610.

10. Harris, C. A combined corner and edge detector /

C. Harris, M. Stephens // Alvey Vision Conference. - 1988. - Vol. 15. - P. 50.

11. Tao, M. SimpleFlow: A Non-iterative, Sublinear Optical Flow Algorithm / M. Tao, J. Bai, P. Kohli, S. Paris // Computer Graphics Forum. - 2012. - Vol. 31, Issue 2. - P. 345-353.

12. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс. - М.: Издательский дом «Вильямс», 2004. - 928 с.

13. Грузман, И. С. Цифровая обработка изображений в информационных системах: учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых [и др.]. - Новосибирск: Изд-во НГТУ, 2002. - 352 c.

References

[1] Reznik AL, Efimov VM, Torgov AV. Effective methods on speed of digital processing dynamic sequences of images [In Russian]. Vestnik Novosibirskogo Gosudarstvennogo Universiteta 2008; 3(3): 95-103.

[2] Baillard C, Maitre H. 3-D reconstruction of urban scenes from aerial stereo imagery: a focusing strategy. Computer Vision and Image Understanding 1999;76(3): 244-58.

[3] Hartley RI. Theory and Practice of Projective Rectification. International Journal of Computer Vision 1999; 35: 115-27.

[4] Fursov VA, Goshin YeV, Bibikov SA. 3D-scene stereo reconstruction on sheaves of epipolar planes [In Russian]. Mechatronics Automation Control 2013; 9(150): 19-24.

[5] Fursov VA, Goshin YeV. Information technology for digital terrain model reconstruction from stereo images [In Russian]. Computer Optics 2014; 38(2): 335-42. - ISSN 0134-2452.

[6] Lowe DG. Object recognition from local scale-invariant features. Computer Vision, 1999. The proceedings of the seventh IEEE international conference on 1999; 2: 1150-7.

[7] Bay H, Ess A, Tuytelaars T, Van Gool L. Speeded-up robust features (SURF). Computer Vision and Image Understanding 2008: 110(3): 346-59.

[8] Fursov VA, Goshin YeV. Conformed identification in corresponding points detection problem. Computer Optics 2012; 36(1): 131-5.

[9] Fursov VA, Goshin YeV. Solving a camera autocalibration problem with a conformed identification method. Computer Optics 2014; 36(4): 605-10. - ISSN 0134-2452.

[10] Harris C, Stephens M. A combined corner and edge detector. Alvey Vision Conference 1988; 15: 50.

[11] Tao M, Bai J, Kohli P, Paris S. SimpleFlow: A Noniterative, Sublinear Optical Flow Algorithm. Computer Graphics Forum 2012; 31(2): 345-53.

604

Компьютерная оптика, 2015, том 39, №4

Технология оперативной реконструкции трёхмерных сцен по разноракурсным изображениям

Котов А.П., Фурсов В.А., Гошин Е.В.

[12] Forsyth D, Ponce J. Computer Vision: A Modern Approach [In Russian]. - Moscow: “Williams” Publisher; 2004. 928 p.

[13] Gruzman IS et al. Digital image processing in information systems [In Russian]. Novosibirsk: “NGTU” Publisher; 2002. 352 p.

TECHNOLOGY FOR FAST 3D-SCENE RECONSTRUCTION FROM STEREO IMAGES

A.P. Kotov1,2, V.A. Fursov1,2, Ye.V. Goshin1'2,

1 Image Processing Systems Institute, Russian Academy of Sciences,

2 Samara State Aerospace University Abstract

We propose a fast algorithm for disparity maps construction from stereo images. The reliability and efficiency of image matching in subsequent steps is achieved by using epipolar constraints and an image pyramid. The developed method was implemented on a parallel computing platform CUDA. The results of experimental studies show high performance of the proposed approach, while maintaining the high-quality reconstruction of 3D-scenes.

Keywords: digital image processing, 3D-scene reconstruction, image matching, affine transform, CUDA.

Citation: Kotov AP, Fursov VA, Goshin YeV. Technology for fast 3d-scene reconstruction from stereo images. Computer Optics 2015; 39(4): 600-5. DOI: 10.18287/0134-2452-2015-39-4-600-605.

Acknowledgements: The work was partially funded by the Russian Science Foundation (grant #14-31-00014).

Сведения об авторах

Котов Антон Петрович, магистр прикладной математики и информатики, аспирант кафедры суперкомпьютеров и общей информатики Самарского государственного аэрокосмического университета. Область научных интересов: методы обработки и распознавания изображений, реконструкция SD-сцен, параллельные вычисления.

E-mail: [email protected].

Anton Petrovich Kotov, Master of Applied Mathematics and Computer Science. Currently studies at Samara State Aerospace University. Research interests are image processing, recognition algorithms, 3D-scene reconstruction, parallel computations.

Фурсов Владимир Алексеевич, д.т.н., профессор, заведующий кафедрой суперкомпьютеров и общей информатики в Самарском государственном аэрокосмическом университете. Область научных интересов: теория и методы оценивания по малому числу измерений, методы обработки и распознавания изображений, построение параллельных алгоритмов обработки и распознавания изображений, реализуемых с использованием многопроцессорных вычислительных систем.

E-mail: [email protected] .

Vladimir Alekseyevich Fursov is Doctor of Engineering Science, Professor, head of Supercomputers and General Informatics sub-department of Samara State Aerospace University, leading researcher. Research interests are development of the theory of estimation on small number of observations, development of methods of image processing and training to pattern recognition, development of high-performance parallel methods both algorithms of image processing and pattern recognition oriented on application of multiprocessor computing systems.

Гошин Егор Вячеславович, к.т.н., ассистент кафедры суперкомпьютеров и общей информатики Самарского государственного аэрокосмического университета. Область научных интересов: методы обработки и распознавания изображений, параллельные вычисления, стереозрение.

E-mail: goshine @yandex. ru .

Yegor Vyacheslavovich Goshin, Candidate of Engineering Sciences. Research interests are image processing, recognition algorithms, parallel computations and stereovision.

Поступила в редакцию 23 июля 2015 г. Окончательный вариант - 11 сентября 2015 г.

Компьютерная оптика, 2015, том 39, №4

605

i Надоели баннеры? Вы всегда можете отключить рекламу.