CC BY
26
УДК 612.8
Ьок10.1521 7/1ЗБП1 684-8853.2018.3.25
СТЕРЕОФОТОМЕТРИЧЕСКОЕ ТРЕХМЕРНОЕ СКАНИРОВАНИЕ С ИСПОЛЬЗОВАНИЕМ ИМПУЛЬСНОГО ОСВЕТИТЕЛЯ
В. А. Кузнецова, ассистент, [email protected]
М. Ю.Людаев6, инженер-программист, [email protected]
аСанкт-Петербургский государственный университет аэрокосмического приборостроения,
Б. Морская ул., 67, Санкт-Петербург, 190000, РФ
6Российский институт мощного радиостроения, 11-я линия В. О., 66, Санкт-Петербург, 199178, РФ
Постановка проблемы: метод трехмерного сканирования на основе модели отражения света поверхностью известен, но на данный момент технологий, осуществляющих по нему трехмерное сканирование, практически нет. Это обусловлено сложностью вычислений координат точек поверхности, так как в первую очередь вычисляется ориентация поверхности, неравномерное распределение погрешности которой усложняет процесс получения трехмерной модели. Помимо этого, существует ряд требований к условиям, в которых можно проводить сканирование объекта, значительно ограничивающих применение метода и увеличивающих цену сканирования. Цель: разработка опытного образца трехмерного сканера с использованием доступного фотооборудования; определение возможностей стереофотометрическо-го метода для случая, когда в качестве источника света применяется импульсный осветитель. Результаты: получена и опробована опытная установка, позволяющая осуществлять трехмерное сканирование фрагментов объекта стереофо-тометрическим методом; приведены настройки аппаратуры, условия проведения процесса сканирования и характеристики установки. Для опытной установки плотность точек по осям х, у равна 0,103 мм, размер области сканирования 0,7*0,7 м2; для тестовой фигуры определена погрешность, обусловленная шумом матрицы фотокамеры, наличием постороннего освещения и неравномерностью освещения импульсными осветителями и в среднем составляющая 0,062 мм; среднеквадратическое отклонение по всей поверхности составляет 0,0275 мм. Практическая значимость: полученные результаты демонстрируют ожидаемую высокую точность сканирования стереофотометрическим методом, при этом для реализации установки использовалось доступное студийное оборудование. Специальная обработка помещения также не проводилась, что делает стереофотометрический метод более доступным для использования.
Ключевые слова — трехмерное сканирование, стереофотометрия, обработка изображений, фотографирование.
Цитирование: Кузнецов В. А., Людаев М. Ю. Стереофотометрическое трехмерное сканирование с использованием импульсного осветителя // Информационно-управляющие системы. 2018. № 3. С. 25-33. doi:10.15217/issn1684-8853.2018.3.25 Citation: Kuznetcov V. A., Liudaev M.U. Photometric Stereo Scanner with Flash Light Lamp. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 3, pp. 25-33 (In Russian). doi:10.15217/issn1684-8853.2018.3.25
Введение
В работах [1-9] подробно описаны методы, являющиеся базовыми для получения трехмерных моделей поверхности по набору изображений этой поверхности при различном освещении.
В настоящей статье представлена конфигурация опытной установки, которая в сочетании с разработанными алгоритмами [10-12] позволяет осуществлять сканирование практически в любом помещении.
Достоинством предлагаемой конфигурации является широкая распространенность используемого оборудования, что обеспечивает низкую стоимость и доступность трехмерного сканирования. Для фотографирования объекта человеку, владеющему навыками студийной фотосъемки, не требуется дополнительная подготовка или обучение.
Основой для вычисления ориентации поверхности является закон диффузного отражения
ik = K(Ln), (1)
где ^ — яркость пикселя на изображении; K — коэффициент отражения; Ь — вектор освещения; п — вектор нормали к поверхности. Если вектор освещения известен, то остаются три неизвестных параметра: коэффициент отражения K и два значения градиента p и q, определяющих положение вектора нормали к поверхности. Следовательно, для того чтобы вычислить неизвестные величины, необходимо не меньше трех измерений яркости ^. Неизвестные параметры в этом случае будут решением системы трех уравнений (1).
Использование трех изображений сильно ограничивает возможности сканирования, так как реконструируется только часть объекта, освещенная тремя линейно независимыми источниками света. Получение дополнительных снимков при другом расположении освещения позволяет увеличить видимую, доступную для сканирования область объекта. Четыре снимка [4, 5] позволяют исключить из рассмотрения один снимок или же использовать наличие затенения в нем в качестве ограничения величины градиента, избегая ошибок вычисления.
Конфигурация опытной установки
Предлагаемая конфигурация освещения (рис. 1) состоит из двух пар смежных источников света Ь1, Ь^ и Ь2, Ь^ в основных плоскостях и одного дополнительного источника (направление света Ь0 от дополнительного источника совпадает с направлением оптической оси камеры). За ось 2 принимается направление наблюдения. Все источники света находятся под одним углом к оси 2 и в вычислениях принимаются за условно точечные в силу большого расстояния до объекта в сравнении с размером объекта и источника света.
При такой конфигурации объект в каждой точке освещен по крайней мере тремя источниками света. Наличие дополнительного источника света, особенно из-за отсутствия затенений на снимке 10, позволяет упростить и более точно осуществить сегментацию затенений на изображениях [5, 10, 13-15].
Конфигурация определяется углом Е, между направлением освещения и осью 2, а также расстоянием I от камеры до объекта.
Оптимальное значение угла Е, лежит в интервале [25°; 35°], что подтверждается результатами вычисления [16] градиента сферы и овала Кассини, полученными при компьютерном моделировании (табл. 1, ошибка представлена в ус-
ловной величине [рх], равной расстоянию между соседними пикселями). Рост ошибки для овала Кассини обусловлен ростом области пересечения затенений смежных снимков, что делает точное вычисление всего поля градиента невозможным, в то время как поле градиента сферы может быть вычислено полностью при любых значениях.
Из-за ограниченных размеров помещения не всегда могут быть выбраны оптимальные параметры, необходимые размеры помещения зависят от расстояния до объекта I и угла минимальная высота и ширина помещения равны 1,44Н^ т. е. при | = 30° выбор расстояния I более 4 м потребует помещение высотой более 3,2 м.
Объект необходимо расположить на значительном удалении от источников света и камеры. Это позволит считать лучи, исходящие от источника, параллельными и упростить вычисления. При сканировании объекта до 10 см в любом измерении на расстоянии 4 м от источника света максимальная ошибка при вычислении ориентации поверхности составит 0,05 %, на расстоянии 2 м — 0,09 %. При получении снимков фотокамерой происходит перспективная проекция объектов на плоскость изображения. Если же размеры объекта много меньше по сравнению с расстоянием от камеры до объекта, то в процессе вычисления вместо перспективного проецирования может быть принято ортографическое [6], что оз-
■ Рис. 1. Схема опытной установки и проецирования
■ Fig. 1. The pilot scanner and projection model
■ Таблица 1. Средняя абсолютная погрешность вычисления приращений для сферы и овала Кассини, полученная при компьютерном моделировании
■ Table 1. Average gradient absolute calculation error for sphere and surface based on the oval of Cassini, obtained during computer modeling
начает отсутствие на изображениях искажений формы, связанных с удалением от камеры; такая аппроксимация позволяет существенно упростить вычисления и калибровку аппаратуры.
Настройка аппаратуры
Принимая во внимание необходимость мощного источника света, а также короткого времени импульса вспышки, что уменьшает влияние движений объекта или камеры на качество снимков, источником освещения была выбрана генераторная установка Calumet Elite 2400 с четырьмя импульсными вспышками.
Необходимость малой продолжительности импульса вспышки вызвана наличием в матрицах цифровых фотоаппаратов так называемого тем-нового тока. Данный ток возникает по причинам теплового движения молекул в матрице и не зависит от падающего освещения. Величина сигнала, формируемого этим током, пропорциональна квадрату температуры матрицы и времени выдержки. Сигнал, наведенный темновым током, имеет шумоподобную структуру и существенно снижает точность измерений. Для уменьшения влияния темнового тока на результирующее изображение необходимо либо охлаждать матрицу (что производится в некоторых дорогих фотоаппаратах), либо уменьшать время экспонирования. При выдержке
порядка 1/200 с влияние теплового тока оказывается меньше структурного шума КМОП-матрицы, а значит, им можно пренебречь. Также необходимо учесть, что при выдержке 1/200 с часть этого времени затрачивается на движение ламелей, открывающих и закрывающих сенсор. В связи с этим время, которое сенсор остается полностью открытым, составляет не более 1/400 с. Соответственно, время импульса не должно превышать 1/400 с.
При вычислениях другие источники света не учитываются, т. е. в процессе сканирования не должно быть никаких посторонних источников света. Если используется импульсный осветитель с достаточно большим световым потоком, то специальная обработка помещения не требуется, получение снимков может производиться при тусклом постороннем освещении, паразитная засветка не окажет влияние на вычисления. Импульсный осветитель 1200 Дж с учетом потерь при создании точечного источника света 85 % испускает световой поток 270 000 лм за 1 мс, что обеспечит освещенность 1343 лк. Доля постороннего освещения в помещении с освещенностью 3 лк составляет 0,22 %, что позволяет пренебречь этим освещением при вычислениях. Для того чтобы избежать переотражений света, исходящего от осветителя (особенно от потолка при Ь2), необходимо уменьшить телесный угол, в котором распространяется световой поток, при этом освещенность объекта уменьшится незначительно. Для уменьшения угла могут быть использованы шторки или сотовая насадка. В целях уменьшения доли переотраженного света на объекте используется фотофон, внутренняя поверхность которого обработана черным бархатом.
Поскольку необходимости располагать источники света на одном расстоянии нет, а устройства фиксации и размеры помещения ограничивают возможности расположения ламп, была выбрана конфигурация освещения (табл. 2), позволяющая считать источники света равномощными при угле освещения £ = 20°; без использования допол-
■ Таблица 2. Настройка освещения
■ Table 2. Light sources configuration
Источник света Мощность заряда лампы, Дж Расстояние l, м
Li 1904 2,66
L1 1904 2,66
l2 1512 2,26
Li 1512 2,26
град Сфера, px Овал, px
5 3,51 3,81
10 1,82 2,02
15 1,65 1,71
20 1,35 1,45
25 1,11 1,21
30 1,0 1,12
35 0,85 0,93
40 0,80 0,80
45 0,74 1,01
50 0,67 1,72
55 0,66 3,5
60 0,64 6,67
нительного снимка. Так как была применена рассеивающая насадка, съемка производилась при высокой мощности заряда лампы.
Для получения снимков объекта использована камера Canon EOS 5D с выдержкой фотокамеры 1/200 с и диафрагмой 8.0.
При выборе выдержки желательно устанавливать минимально возможное значение, поскольку это минимизирует искажения темнового тока, но необходимо учитывать, что многие конструкции затвора позволяют получить малое время выдержки за счет частичного открытия затвора, что недопустимо для съемки с импульсными источниками света. Для камеры Canon EOS 5D время синхронизации (минимальная выдержка, при которой полностью открывается затвор) составляет 1/200 с. При выборе диафрагмы необходимо учитывать следующие факторы:
1. Глубину резкости — расстояние вдоль оптической оси объектива между двумя плоскостями в пространстве предметов, в пределах которого объекты отображаются в сопряженной фокальной плоскости субъективно резко. При проведении эксперимента необходимо, чтобы все пространственные точки области сканирования находились в зоне глубины резкости. Глубина резкости зависит от:
— фокусного расстояния объектива — по мере увеличения фокусного расстояния объектива глубина резкости увеличивается;
— используемой диафрагмы — по мере уменьшения размера отверстия диафрагмы глубина резкости увеличивается (меньшему размеру диафрагмы соответствует большее значение).
2. Аберрации объектива — современным объективам свойственен ряд специфических искажений, приводящих к снижению разрешающей способности объектива. Поскольку подобные искажения преобладают в периферической зоне линз, используемых в объективе, уменьшение диафрагмы приводит к снижению количества лучей, проходящих через периферическую зону линз и, соответственно, к увеличению разрешающей способности объектива.
3. Дифракционного предела оптики — даже в случае полной компенсации аберраций объектива при проецировании точки на матрицу видна не точка, а размытый кружок рассеяния с максимумом в центре и интерференционными кольцами, расположенными вокруг него. Согласно критерию Рэлея, два дифракционных круга рассеяния воспринимаются зрением как два в том случае, если между их максимумами расположен минимум с интенсивностью на 20 % меньше. В противном случае они воспринимаются глазом как один. Так как объектив и диафрагма имеют круглую форму, то точка приобретает вид нерезкого круга, который называется
Рис. 2. Диск Эйри Fig. 2. The Airy disk
диском Эйри (рис. 2). Чтобы две точки, проецируемые на матрицу, воспринимались как две, они должны удовлетворять критерию Рэлея. Размер диска Эйри для объектива с условием соблюдения критерия Рэлея можно вычислить по формуле
D=1,22XK
d'
(2)
где X — длина световой волны (для цифровой фотографии берется по зеленому цвету 500 нм); Kd — диафрагменное число.
Для различимости двух пикселей должно выполняться условие D < r, где r — расстояние между пикселями на матрице. Поскольку в камере Canon EOS 5D расстояние между пикселями составляет 8,2 мкм, диафрагменное число не должно превышать 13,4. Для повышения контрастности в высокочастотной области стоит ограничить число диафрагмы значением не более 10.
4. Уменьшение размера отверстия диафрагмы приводит к уменьшению светового потока, попадающего на матрицу. Компенсировать уменьшение светового потока можно либо за счет увеличения выдержки (что приведет к увеличению темнового тока), либо за счет увеличения мощности светового импульса, используемого для освещения объекта съемки.
Сканирование плоской поверхности и калибровка
Целями сканирования плоской поверхности являются: определение погрешности вычисления ориентации поверхности, определение характеристик сканера и коррекция значений яркости на исходных снимках.
Для калибровки и определения погрешности яркости на исходных снимках может быть использована любая однородная матовая плоская поверхность с неизменным значением яркостей для всех снимков:
il = i^ = i2 = i^ = LJ-Kcos^.
Следовательно, для калибровки необходимо получить набор снимков этой поверхности, удовлетворяющий двум условиям.
1. Объект на каждом снимке освещен равномерно, т. е. ik(x, y) = const. В противном случае источник света не удовлетворяет условиям сканирования или же необходимо увеличить расстояние от камеры до объекта l.
2. Каждая точка объекта имеет одну яркость на всех снимках i1 = i1 = i2 = i^. В противном случае, и если при этом условие 1 выполнено, необ-
Рис. 3. Снимок I1 объекта и серой карты Fig. 3. Image I1 of the object and gray card
ходимо отрегулировать мощность источников света и расстояние каждого источника света. Возможна корректировка яркости уже полученных снимков.
В большинстве случаев поверхность не освещена равномерно. В работе проведена корректировка значений яркости точек изображения в зависимости от их расположения относительно участка поверхности, освещенного равномерно.
Для коррекции значений яркости используется серая карта, расположенная слева от сканируемого объекта (рис. 3). Набор кадрированных участков серой карты на снимках представлен на рис. 4, а-г.
Если источники света были установлены не точно или размеры объекта больше области, которая может быть освещена равномерно, то необходимо проанализировать изменение яркости на плоской поверхности.
1. Разбить всю плоскость на четыре участка (см. рис. 4, а).
2. Для каждой части определить средние зна-
x ср-
Ai„ ср, если оба
y ср
чения градиента яркости АЬ значения меньше некоторого порогового значения, то коррекция значений яркости не производится.
3. Из каждой области провести линию у = ах + Ъ, где а = А1у ср / А1Х ср, само значение Ъ корректируется на шаге 4.
4. Определяется центр области максимальной освещенности. Предполагается, что центр области не может находиться слева от серой карты. Если точек пересечения несколько (рис. 5), то значения Ъ линий корректируются до минимального значения величины - ху )2 + - у^ )2, где
У £
Ь, ] — номера точек пересечения; хЬ наты точки пересечения.
коорди-
a)
б)
в)
Рис. 4. Участок серой карты на снимках I1 (а), Ii (б), I2 (в), Ii (г) Fig. 4. Gray card patch of images I1 (а), Ii (б), I2 (в), Ii (г)
Рис. 5. Определение центра светового пятна Fig. 5. Determination of the light spot center
■ Рис. 6. Реконструированная плоская поверхность: а — без коррекции значений яркости снимков I1; I{, I2, I1; б — после коррекции значений яркости снимков I1;
Ii I Ii
I1> I2' I2
■ Fig. 6. Result of the flat surface scanning: а — without brightness correction of images I1, Ii, I2, Ii; б — with brightness correction of images I1, I1, I2, I1
5. В зависимости от удаления й от центра области максимальной освещенности значение яркости умножается на коэффициент усиления яркости f, определяемый по снимку источника света или матовой плоской освещенной этим источником света поверхности. Предполагается, что коэффициент f не зависит от направления от центра.
Полученные результаты построения плоской поверхности представлены на рис. 6, а и б. Область искажения формы у левого края поверхности вызвана пылинкой на матрице фотоаппарата, что привело к повышению погрешности. Для интегрирования градиента используется локальный алгоритм интегрирования на основе криволинейного интеграла [7, 9, 17].
Среднее значение градиента поверхности, представленной на рис. 6, б, составило 0,006 мм для приращения р и 0,017 мм для приращения среднеквадратическое отклонение (СКО) значений приращений составило 0,0009 и 0,0013 мм соответственно.
Определение погрешности сканирования
Вычисление ориентации поверхности осуществляется для каждой видимой точки поверхности. Для интегрирования градиента используется локальный алгоритм интегрирования на основе криволинейного интеграла [8]. Пример области, занимаемой сканируемым объектом на исходных снимках, представлен на рис. 7, а-д.
Результат сканирования объекта, близкого к сферической форме (теннисный мячик), представлен на рис. 8. Сфера использовалась в качестве калибровочной поверхности [1], так как охватывает весь диапазон возможных значений приращений, а также часто выступает в качестве тестового или опорного объекта [4, 5].
Расстояние между пиксялами вычислено на основе ширины теннисного мяча 40 мм на изображении 388 рх и составляет 0,103 мм.
пп п п а
Рис. 7. Исходные снимки I1 (а), I{ (б), I2 (б), Ii (г) и видимая область (д) Fig. 7. Source images I1 (а), Ii (б), I2 (б), Ii (г) and visible area (д)
Рис. 8. Результат сканирования теннисного мячика Fig. 8. Result of the table tennis ball scanning
mp, px 0,04
0,005
0,2 0,4 0,6 0,8
1 P, px
■ Рис. 9. Абсолютная погрешность вычисления приращения поверхности теннисного мяча в зависимости от величины приращения
■ Fig. 9. Gradient absolute calculation error for tennis ball in dependence of gradient value
Для определения погрешности эксперимента было произведено 10 повторений сканирования теннисного мяча. Исходя из выводов, представленных в работах [8, 10], погрешность вычисления приращений зависит от величины приращений, что подтверждается результатами тестового сканирования (рис. 9).
Относительная и абсолютная погрешности вычисления градиента были вычислены для каждой точки поверхности на основе СКО и среднего значения при 10 итерациях и уровне доверия 95 %. Относительная погрешность вычисления градиента принимает значения от 4 % при малых р до 14 % на границе сканируемого объекта, среднее значение относительной погрешности 6,6 %. Полученная средняя абсолютная погрешность вычисления градиента составляет 0,02 рх (0,002 мм).
Абсолютная погрешность вычисления третьей координаты была вычислена для каждой точки поверхности на основе СКО и среднего значения при 10 итерациях и уровне доверия 95 %. Абсолютная погрешность вычисления третьей координаты принимает значения до 1,5 рх (0,154 мм). Полученная средняя абсолютная погрешность вычисления третьей координаты составляет 0,604 рх (0,062 мм), СКО по всей поверхности составляет 0,26 рх (0,028 мм).
Заключение
Характеристики трехмерного сканера, независимые от сканируемой поверхности и конфигурации устройства сканирования, определены в процессе компьютерного моделирования и анализа погрешностей.
Плотность точек по осям х, у определяется разрешением камеры и всегда равна 1 рх — условной величине, равной расстоянию между соседними пикселями.
Минимальное расстояние между точками по оси 2 равно 0. Максимальное расстояние между точками по оси 2 теоретически может достигать бесконечности. Так как слабоосвещенных областей на изображениях значительно меньше, в целом облако точек достаточно плотное.
Под временем сканирования подразумевается время получения изображений, все необходимые вычисления наличия объекта не требуют. Если рассматривать сканирование в автоматическом режиме с дополнением к представленной аппаратуре устройств управления, то обработка одного вида объекта может быть произведена за 0,1 с; с учетом перезарядки источников света 2,6 с и установленном количестве ракурсов 36 общее время составит 97,2 с. При ручном переключении источников света время обработки одного вида объекта составило 12 с.
Возможность получения цвета объекта без дополнительной обработки является одной из отличительных особенностей фотометрического метода сканирования. Для большинства существующих методов такой возможности нет.
Для опытной установки полученная средняя абсолютная погрешность вычисления третьей координаты составляет 0,062 мм, СКО по всей поверхности составляет 0,0275 мм.
Размеры предельной области сканирования опытной установки определены исходя из размеров светового пятна и составляют 0,7 м. Плотность точек по осям х, у равна 0,103 мм.
Работа выполнена при поддержке Фонда содействия развитию малых форм предприятий в научно-технической сфере.
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ
Литература
1. Woodham R. J. Gradient and Curvature from the Photometric-Stereo Method, Including Local Confidence Estimation // Journal of Optical Society of America. Nov. 1994. Vol. 11. N 11. P. 3050-3068. doi:10.1364/JOSAA.11.003050
2. Basri R., Jacobs D., Kemelmacher I. Photometric Stereo with General, Unknown Lighting // International Journal of Computer Vision. 2007. Vol. 72(3). P. 239-257.
3. Hertzmann A., Seitz S. M. Example-based Photometric Stereo: Shape Reconstruction with General Varying BDRFs // IEEE Transactions on Pattern Analysis and Machine Intelligence. Aug. 2005. Vol. 27. N 8. P. 1254-1264. doi:10.1109/TPAMI.2009.102
4. Solomon F., Ikeuchi K. Extracting the Shape and Roughness of Specular Lobe Objects using Four Light Photometric Stereo // IEEE Transactions on Pattern Analysis and Machine Intelligence. Apr. 1996. Vol. 18. N 4. P. 449-454.
5. Barsky S., Petrou M. The 4-source Photometric Stereo Technique for Three-Dimensional Surfaces in the Presence of Highlights and Shadows // IEEE Transactions on Pattern Analysis and Machine Intelligence. Oct. 2003. Vol. 25. N 10. P. 1239-1252. doi:10.1109/TPAMI.2003.1233898
6. Woodham R. J. Photometric Method for Determining Surface Orientation from Multiple Images // Optical Engineering. 1980. Vol. 19. N 1. P. 139-144.
7. Красильников Н. Н. Метод получения 3D-изоб-ражений, основанный на диффузном отражении света сканируемыми объектами // Информационно-управляющие системы. 2009. № 6. С. 7-11.
8. Красильников Н. Н., Красильникова О. И. Исследование погрешностей определения координаты глубины при 3D-сканировании методом, основанным на диффузном отражении света // Информационно-управляющие системы. 2012. № 3. С. 2-8.
9. Klette R., Schluns K. Height Data from Gradient Fields // Proc. Machine Vision Applications, Archi-
tectures, and Systems Integration V. SPIE 2908. Boston, Massachusetts, Nov. 18-19, 1996. P. 204-215.
10. Кузнецов В. А. Алгоритм сегментации исходных снимков для фотометрического метода трехмерного сканирования // Информационно-управляющие системы. 2015. № 3. С. 29-34. doi:10.15217/issn1684-8853.2015.3.29
11. Кузнецов В. А. Использование неравномерной шкалы квантования интенсивности света для вычисления градиента поверхности фотометрическим методом трехмерного сканирования // Известия высших учебных заведений. Приборостроение. 2015. № 10(58). С. 816-822. doi:10.17586/0021-3454-2015-58-10-816-822
12. Кузнецов В. А. Фотометрический метод вычисления ориентации поверхности с высокой точностью // Научная сессия ГУАП: сб. докл. Ч. 1. Технические науки. СПб.: ГУАП, 2015. С. 260-263.
13. Chandraker M., Agarwal S., Kriegman D. Shadow-cuts: Photometric Stereo with Shadows // Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. 2007. doi:10.1109/CVPR.2007.383288
14. Hernandez C., Vogiatzis G., Cipolla R. Overcominf Shadows in 3-Source Photometric Stereo // IEEE Transsctions on Pattern Analysis and Machine Intelligence. Feb. 2011. Vol. 33(2). P. 419-426.
15. Sunkavalli K., Zickler T., Pfister H. Visibility Subspaces: Uncalibrated Photometric Stereo with Shadows // Inc: ECCV 2. Vol. 6312. of Lecture Notes in Computer Science. 2010. P. 251-264.
16. Кузнецов В. А. Определение максимальной ошибки вычисления ориентации поверхности для метода трехмерного сканирования, основанного на модели отражения света поверхностью // Научная сессия ГУАП: сб. докл. Ч. 1. Технические науки. СПб.: ГУАП, 2014. C. 177-179.
17. Kuznetcov V. A. The Treatment of the Surface Gap for Photometric Stereo // Bulletin of the UNESCO Department "Distance Education in Engineering" of the SUAI: Collection of the Papers. 2016. Iss. 1. P. 50-52.
UDC 612.8
doi:10.15217/issn1684-8853.2018.3.25 Photometric Stereo Scanner with Flash Light Lamp
Kuznetcov V. A.a, Assistant Professor, [email protected] Liudaev M. U.b, Programmer Engineer, [email protected]
aSaint-Petersburg State University of Aerospace Instrumentation, 67, B. Morskaia St., 190000, Saint-Petersburg, Russian Federation
bRussian Institute for Power Radiobuilding, 11 Line V. O., 66, 199178, Saint-Petersburg, Russian Federation
Introduction: The photometric stereo technique is well known, but currently there are no good technologies which use it to perform 3D scanning. This is due to the complexity of calculating the coordinates of the surface points, as you calculate only the surface orientation whose uneven error distribution makes it difficult to obtain a 3D model. In addition, there are a number of demands about the conditions under which it is possible to scan an object. This considerably limits the application of photometric stereo and raises the price of the scanning. Purpose: Developing a pilot model of a 3D scanner using the available photo equipment, and determining
the possibilities of the photometric stereo technique for the case of using a flash light. Results: A pilot model of a scanner based on the photometric stereo method was obtained and tested. The paper discusses the characteristics of this model, configuration of the equipment and conditions of the scanning process. For the pilot model, the resolution along the x and y axes is 0.103 mm, the size of the scan area is 0.7x0.7 m2. The average coordinate calculation error caused by the camera matrix noise, ambient light effect and uneven illumination from the flash light lamps has been estimated for a test object and found equal to 0.062 mm. The standard deviation over the area is 0.0275 mm. Practical relevance: The obtained results demonstrate the expected high accuracy of the photometric stereo technique, with inexpensive equipment in use. The experiment was carried out without a special treatment of the room. These results make the photometric stereo technique more accessible for use.
Keywords — Photometric Stereo, 3D Scanner, Image Processing, Photography.
Citation: Kuznetcov V. A., Liudaev M. U. Photometric Stereo Scanner with Flash Light Lamp. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 3, pp. 25-33 (In Russian). doi:10.15217/issn1684-8853.2018.3.25
References
1. Woodham R. J. Gradient and Curvature from the Photometric-Stereo Method, Including Local Confidence Estimation. Journal of Optical Society of America, Nov. 1994, vol. 11, no. 11, pp. 3050-3068. doi:10.1364/J0SAA.11.003050
2. Basri R., Jacobs D., Kemelmacher I. Photometric Stereo with General, Unknown Lighting. International Journal of Computer Vision, 2007, vol. 72, no. 3, pp. 239-257.
3. Hertzmann A. and Seitz S. M. Example-based Photometric Stereo: Shape Reconstruction with General Varying BDRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, August 2005, vol. 27, no. 8, pp. 1254-1264. doi:10. 1109/TPAMI.2009.102
4. Solomon F. and Ikeuchi K. Extracting the Shape and Roughness of Specular Lobe 0bjects using four Light Photometric Stereo. IEEE Transactions on Pattern Analysis and Machine Intelligence, April 1996, vol. 18, no. 4, pp. 449-454.
5. Barsky S., Petrou M. The 4-source Photometric Stereo Technique for Three-dimensional Surfaces in the Presence of Highlights and Shadows. IEEE Transactions on Pattern Analysis and Machine Intelligence, October 2003, vol. 25, no. 10, pp. 1239-1252. doi:10.1109/TPAMI.2003.1233898
6. Woodham R. J. Photometric Method for Determining Surface Orientation from Multiple Images. Optical Engineering, 1980, vol. 19, no. 1, pp. 139-144.
7. Krasilnikov N. N. A Method of 3D Scanning based on Scanned Objects' Light Radiosity. Informatsionno-upravli-aiushchie sistemy [Information and Control Systems], 2009, no. 6, pp. 7-11 (In Russian).
8. Krasilnikov N. N., Krasilnikova O. I. The Investigation of Measurement Errors of Depth Coordinate during 3D Scanning by the Method based on Diffuse Reflection of Light. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2012, no. 3, pp. 2-8 (In Russian).
9. Klette R. and Schluns K. Height Data from Gradient Fields. Proc. Machine Vision Applications, Architectures, and Systems Integration V, SPIE 2908, Boston, Massachusetts, Nov. 18-19, 1996, pp. 204-215.
10. Kuznetcov V. A. Image Segmentation Technique for Photometric Stereo. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2015, no. 3, pp. 29-34 (In Russian). doi:10.15217/issn1684-8853.2015.3.29
11. Kuznetcov V. A. Non-uniform Quantization Scale for Surface Gradient Calculation with Photometry Method of Three-dimensional Scanning. Izvestiia vysshikh uchebnykh zavedenii. Priborostroenie [Journal of Instrument Engineering], 2015, vol. 58, no. 10, pp. 816-822 (In Russian). doi: 10.17586/0021-3454-2015-58-10-816-822
12. Kuznetcov V. A. The Photometric Stereo Technique with High Accuracy. Nauchnaia sessiia GUAP: sbornik dokladov. Ch. 1. Tekhnicheskie nauki [Collection of Presentations at the Scientific Session of the SUAI], Saint-Petersburg, SUAI, 2015, pp. 260-263 (In Russian).
13. Chandraker M., Agarwal S., Kriegman D. Shadowcuts: Photometric Stereo with Shadows. Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, 2007. doi:10.1109/ CVPR.2007.383288
14. Hernandez C., Vogiatzis G., Cipolla R. Overcominf Shadows in 3-Source Photometric Stereo. IEEE Transsctions on Pattern Analysis and Machine Intelligence, Feb. 2011, vol. 33(2), pp. 419-426.
15. Sunkavalli K., Zickler T., Pfister H. Visibility Subspaces: Uncalibrated Photometric Stereo with Shadows. Inc: ECCV 2, Lecture Notes in Computer Science, 2010, vol. 6312, pp. 251-264.
16. Kuznetcov V. A. Determination of the Maximum Surface Orientation Error for the Photometric Stereo Technique. Nauchnaia sessiia GUAP: sbornik dokladov. Ch. 1. Tekhnich-eskie nauki [Collection of Presentations at the Scientific Session of the SUAI], 2014, pp. 177-179 (In Russian).
17. Kuznetcov V. A. The Treatment of the Surface Gap for Photometric Stereo. Bulletin of the UNESCO Department "Distance Education in Engineering" of the SUIAI: Collection of the Papers, 2016, iss. 1, pp. 50-52.
