CC BY
7
Локализация точечных включений внутри прозрачных минералов по набору изображений с микроскопа
Виктор Гаганов, Владимир Вежневец Лаборатория Компьютерной Графики и Мультимедиа, каф. АСВК, ВМиК,
МГУ им М.В. Ломоносова [email protected], [email protected]
1. Введение
п о и
Задача трехмерной реконструкции включений, находящихся внутри прозрачных минералов, по набору изображений является актуальной задачей и находит применение, например, в алмазообрабатывающей промышленности. Среди всего разнообразия типов включений, встречающихся в природных минералах, стоит особо выделить точечные включения (то есть малоразмерные), поскольку включения подобного типа достаточно часто встречаются. Также для моделирования включений более сложной формы (например трещин) иногда бывает достаточно приблизить их набором точек, расположенных по поверхности включения. Именно поэтому важно иметь точный и надежный метод, позволяющий оценить положение точечного включения по одному или нескольким изображениям.
В данной работе предлагается новый метод оценки положения точечных включений внутри прозрачных минералов по набору фотографий, полученных с микроскопа, основанный на вероятностной модели ошибок в замерах положения включения. Помимо точечной оценки положения включения авторами также была построена доверительная оценка положения включения, которая позволяет судить о том, насколько точно по входным данным удалось локализовать включение. Качество работы метода подтверждается тестами на реальных и синтетических данных.
2. Постановка задачи
Система получения изображений прозрачного минерала и включений внутри него, состоит из компьютера, на котором установлено специальное программное обеспечение, и подключенного к нему микроскопа, в который вмонтирована цифровая камера, позволяющая передавать изображение с микроскопа на компьютер. Изучаемый минерал фиксируется перед объективом микроскопа на специальной подставке. Эта подставка устанавливается на систему подвижек, которая позволяет оператору перемешать и вращать минерал перед объективом микроскопа (см. Рис 1.). С помощью этой системы
Вращение
Рис 1. Схема микроскопа
оператор может получать изображения включений, расположенных внутри минерала, с разных ракурсов. Получаемые изображения зарегистрированы друг относительно друга в пространстве. Регистрация осуществляется за счет того, что к подставке, подключены специальные датчики, которые считывают информацию о действиях оператора. Трехмерная модель минерала также считается известной и зарегистрированной относительно каждого из изображений. Модель рассчитывается перед установкой минерала на микроскоп с помощью специального сканера по методу видимых оболочек [1].
В рамках такой системы задачу локализации точечного включения по набору изображений можно поставить следующим образом. Пусть у нас имеется набор фотографий точечного включения 1к, к = 1, N, сделанных с разных ракурсов, на
которых точечное включение находится в резкости. Для каждого изображения известно, каким образом была расположена камера относительно минерала во время съемки и также известны внутренние параметры микроскопа при съемке, такие как увеличение, фокусное расстояние Гк, глубина резкости внутри минерала Бк и т.д. В
данной работе в качестве модели для процесса получения изображения мы использовали ортографическую проекцию. Несмотря на то, что оптика реальных микроскопов устроена сложнее, ортографическая модель достаточно точно описывает проекцию на изображение той части сцены, которая находится в пределах глубины резкости. Помимо этого на каждом из изображений пользователь точкой отмечает положение включения ок =(хк, ук). Также считается известной трехмерная
полигональная модель минерала М и коэффициент преломления материала, из
которого состоит минерал. По перечисленным данным требуется оценить положение точечного включения и неопределенность построения. 3. Математическая модель замеров
Для начала покажем, как по каждому изображению 1к мы можем приблизительно вычислить положение точечного включения Хк = (хк, ук, 2к) в минерале. По положению точечного включения на изображении мы можем вычислить ук - луч обратной проекции точки ок в трехмерное пространство. Пусть данный луч пересекает поверхность модели в некоторой точке, преломляется в соответствии с законом Снелла [2], образуя луч укг/ = гв/ (ук), и идет дальше. Так как
на изображении точечное включение находится в резкости, откладывая от точки начала луча фокусное расстояние (с учетом того, что внутри минерала фокусное расстояние увеличивается из-за преломления), по пути следования луча, мы получаем точку Хк, которую можно считать замером положения точечного включения.
Очевидно, что замеры Хк для разных изображений одного включения не будут
совпадать из-за ошибок, которые содержаться во входных данных. Основными источниками ошибок являются:
•Ошибки в нормалях граней. В связи с тем, что модель минерала строится автоматическим методом, грани модели содержат в себе ошибки, которые искажают направление луча ук геГ = гв/(ук).
•Ошибки локализации по глубине. Включение, находящееся в резкости на изображении не обязательно находится на плоскости резкости. Оно может лежать где угодно в пределах глубины резкости, т.е. может отклоняться от плоскости резкости на расстояние Бк / 2.
•Ошибка указания включения. Пользователь может неточно задать положение включения на изображении. Для учета этих ошибок предлагается аддитивная вероятностная модель замеров на основе нормальных распределений. Обозначим реальное положение точечного
включения внутри минерала как Зададим вектора ,Ууге[ таким образом, чтобы тройка (укгв/, , Ууге[) образовывала ортонормированный базис в трехмерном пространстве. Также зададим пару векторов (Nx, N1) так, чтобы нормаль к грани,
через которую преломляется луч \к, и эти 2 вектора образовывали ортонормированный базис в трехмерном пространстве. Тогда для замера Хк можно записать:
Хк =М + £[
depth . img . ang
+ S k + S к
„ depth
v
k ,ref
4
к
depth ~img _ x
, bk Vk,ref bk
(1)
4x + vy 4У
bk "r Vk,ref bk
,ang _
dk • Kef • tan( fkx (nl, n)) + vlref • tan( Д (nl, Vl)))
k ,ref
Случайная величина г/^ моделирует ошибку локализации по глубине,
4
depth
N(0,(5^)2)- нормальная случайная величина c дисперсией равной (Эк/6)2,
где Бк - глубина резкости внутри минерала. Случайная величина е'ктя моделирует ошибку указания включения пользователем на изображении, ^~ N(0,^гкт)2)-
и V/ и 1 ■ и
нормальные случайные величины c равной дисперсией. Дисперсия этих случайных величин считается известной и выбирается в соответствии с допустимой ошибкой локализации включения на изображении пользователем (см. Рис. 2 а).
^ б) Рис 2. а) Ошибка локализации по глубине и ошибка указания на изображении б) Ошибка связанная с неточностью в нормали грани. Пунктирными линиями отмечены луч и грань модели, искаженные шумом
Случайная величина е™8 моделирует ошибку в Хк, которую вызывает ошибка в нормали грани. пХ,п1 ~ N(0,(^а"8)2) - нормальные случайные величины с равной дисперсией. Эти случайные величины соответствуют угловым ошибкам в нормали грани относительно осей N1 и ^, их дисперсия считается известной. Параметр
обозначает расстояние между гранью и / по лучу Ук^, а /кХ, // - функции
связывающие ошибку в нормали грани и угловую ошибку в направлении
x у
преломленного луча по осям vk,г^ , vk,г^ (см. Рис. 2 б). 4. Предлагаемый метод
Построим оценку параметра / на основе вероятностной модели (1). Заметим, что замеры Xk, в общем случае не являются независимыми между собой в статистическом смысле, т.к. замеры сделанные через одну грань имеют общие ошибки в нормали грани пХ ,пУ. Для того чтобы учесть эту зависимость оценку будем проводить в 2 прохода. Разобьем Xk на группы замеров Gi, сделанных через одну грань. Потом посчитаем оценку положения по каждой группе в отдельности, обозначим оценку по группе Х1, после чего усредним оценки Х1 и получим результирующую оценку параметра /л.
Для оценки /л по группе замеров Gi мы будем использовать метод взвешенных наименьших квадратов [3]. Если линеаризовать функции 1ап(/ДпХ,пУ)) - Ak-П + Bк пу, - ик П + Yk пу из (1), то оценку
методом взвешенных наименьших квадратов по группе замеров можно записать следующим образом:
Л*! ( сёеРЛ Л. СШ£ Л- саПё\
_ X Wk (£к +£к +£к )
лг кеО,
Х =л+ -V-(2)
I
4пё - Ъ • (У1е, ■ (Ак пх + Вк П)) + vlм ■ (ик пх + Yk пу)))
С учетом линеаризации и (1) мы получаем, что Х1 можно приблизительно считать трехмерной нормальной случайной величиной с центром в Матрицу ковариации для Х1 можно рассчитать по (1), (2) и определению матрицы ковариации. Обозначим матрицу ковариации Х1 как К1. В качестве весов в данной работе использовались
1
^ =
к (^и )2 + 2(Зр™ )2 + (с11к8ап* )2 • (А2 + В2 + и2 + У2)
' * к к к
Для финальной оценки положения включения по Xt, i = 1, l используется метод максимального правдоподобия [3]. Взяв -log от функции правдоподобия мы получаем, что
4 = arg min (£ (Xt - ¡)T K-(Xt - 4)) (3)
4 i=1
где 4 - финальная оценка положения точечного включения. Если выписать необходимое условие экстремума для функции (3), то получится система линейных уравнений A4 = b, решение которой является оценкой максимального правдоподобия параметра 4. Помножив систему уравнений на A-1 мы получаем ц = A~lb . Отсюда, с помощью стандартного закона распространения ошибки [4], мы можем посчитать матрицу ковариации оценки 4, обозначим ее K. По матрице ковариации K мы можем построить доверительную оценку для положения включения. Ею будет являться эллипсоид с центром к точке 4, оси которого соответствуют собственным векторам матрицы K. В качестве длин полуосей эллипсоида мы использовали 3Sl,3S2,3S3, где S32- собственные значения матрицы K. Такая доверительная
область соответствует доверительной вероятности « 0.99. 5. Тестирование
Предложенный алгоритм был протестирован на синтетических и реальных данных. На Рис. 3 представлены результаты сравнения описанного алгоритма (на графике обозначен Proposed) на синтетических данных с классическими методами -методом оценки по неравноточным наблюдениям [5] (на графике обозначен как Weighted) и методом усреднения без весов (на графике обозначен как Simple). Тестовые данные генерировались следующим образом. Произвольно генерировалось положение точечного включения, модель минерала и набор изображений, на которые проецировалось точечное включение. После этого в сгенерированные данные вносился шум - искажалась нормали граней модели и добавлялся шум к проекциям включения на изображения. Также шум вносился в фокусное расстояние каждого изображения, чтобы сымитировать ошибку локализации по глубине. Затем положение включение оценивалось различными методами и сравнивалось с реальным положением включения. На Рис. 3 представлен график усредненной ошибки определения положения включения различными методами для разных уровней шума
в нормали грани. Как можно заметить предложенный метод дает наилучший результат.
Norma! noise i
Рис 3. Сравнения методов. Оси Х на графике соответствует уровню шума в нормали. Оси Y на графике соответствует усредненная точность локализации
включения.
На Рис. 4 приведен один из результатов сравнения предложенного метода с методом оценки по неравноточным наблюдениям на реальных данных. Пользователем на паре изображений были выделены контура малоразмерного включения, после чего его положение было оценено с помощью обоих методов. Желтым цветом на рисунках изображена репроекция построенных включений на изображения. Форма модели включения определялась исходя из формы контуров включения на обоих изображениях. Из Рис. 4 видно что репроекция для предлагаемого метода лучше соответствует реальному положению контуров включения на изображении.
а) б) в) г)
Рис 4. На рисунках а) и б) изображена репроекция включения построенного методом оценки по неравноточным наблюдениям, а на рисунках в) и г) изображена репроекция включения построенного предложенным методом.
Список литературы
[1] A. Laurentini. "The Visual Hull Concept for Silhouette-Based Image Understanding". IEEE Transactions on Pattern Analysis and Machine Intelligence, 94(16), 1994.
[2] http://scienceworld.wolfram.com/physics/SnellsLaw.html
[3] С.А.Айвазян, И.С.Енюков, Л.Д.Мешалкин "Основы моделирования и первичная обработка данных", Финансы и статистика, 1983
[4] Kai Oliver Arras, "An Introduction To Error Propagation", Swiss Federal Institute of Technology Lausanne, Tech. Rep, 1998
[5] Б. Л. ван дер Варден, "Математическая статистика", Издательство иностранной литературы, Москва, 1960
