CC BY
7
УДК 621.385.833
ПОВЫШЕНИЕ ТОЧНОСТИ КООРДИНАТНОЙ ПРИВЯЗКИ ИЗОБРАЖЕНИЙ НАНООБЪЕКТОВ ДЕСКРИПТОРАМИ РАЗМЕРОВ И УГЛОВ ПОВОРОТА ОСОБЫХ ТОЧЕК
ГУЛЯЕВ П. В., ШЕЛКОВНИКОВ Ю. К., ТЮРИКОВ А. В., ЕГОРОВ С. Ф.
Удмуртский федеральный исследовательский центр Уральского отделения РАН, 426067, г. Ижевск, ул. Т. Барамзиной, 34
АННОТАЦИЯ. В статье рассмотрено применение детектора кривизны поверхности для координатной привязки перекрывающихся изображений. Описана обработка изображения детектором и выделение особых точек. Представлен алгоритм координатной привязки изображений, основанный на вычисление смещения и угла поворота пар особых точек равной длины. Показано, что определение схожести только на основе равенства длин пар может приводить к ошибкам координатной привязки. Описаны причины и способы обнаружения этих ошибок. Установлено, что при высокой плотности особых точек решающий вклад в ошибку вносят короткие пары с отличными от нуля углами поворота. Предложено увеличить информативность описания пар особых точек за счет показателей кривизны поверхности на их концах. Кроме того, предложено фильтровать пары с отличными от нуля углами поворота, если изображения получены после ортогонального смещения образца или поля зрения микроскопа. Представлены результаты работы алгоритма координатной привязки с увеличенной информативностью описания особых точек.
КЛЮЧЕВЫЕ СЛОВА: нанобъекты, перекрывающиеся изображения, координатная привязка, сканирующий зондовый микроскоп.
ВВЕДЕНИЕ
Сканирующая зондовая микроскопия (СЗМ) является одним из наиболее распространенных инструментов исследования наноразмерных объектов [1 - 2]. При этом наиболее существенным недостатком СЗМ является ограниченное поле зрения, которое обычно составляет единицы - десятки микрометров. При необходимости получения изображений, размер которых существенно превосходит поле зрения микроскопа, получают серию перекрывающихся кадров [1]. Траектория передвижения кадров может быть фиксированной (например, змейка) либо следящей. Для учета влияния ошибок позиционирования, дрейфов конструкции при смещении кадров необходимо формирование единой системы координат для всей серии изображений, которая может быть организована посредством координатной привязки изображений (вычисление смещения и угла поворота) друг к другу. Использование для этих целей методов обработки изображений вместо аппаратных датчиков позволит учесть температурные дрейфы, гистерезис пьезокерамики и другие параметры, неконтролируемые датчиками при смещении кадра микроскопа.
ПОСТАНОВКА ЗАДАЧИ
Для вычисления реального смещения двух перекрывающихся изображений в настоящей работе предлагается использовать метод статистической дифференциации изображений [1], относящийся к классу скоростных алгоритмов работающих без априорной информации о смещении [3]. В методе статистической дифференциации выделяются особые точки изображений, привязанные к характерным элементам СЗМ-изображения. Пары этих точек определяют взаимную ориентацию изображений. Пары в простейшем случае описываются с помощью дескриптора {(х1,_у1), (х2у2), /}, представляющего собой координаты концов (х1,у1), (х2у2) и длину / соединяющего точки отрезка. Для каждой пары точек, образующих отрезки равной длины, методами машинной графики определяются смещение и угол поворота. Полученные величины определяют координаты элемента гистограмм, который увеличивается на 1. Гистограмма смещения представляет собой двумерный массив,
размерность которого равна удвоенному размеру изображения в пикселях, а гистограмма поворота - одномерный массив, индексы которого соответствуют углам поворота от -90° до 90°. При большом количестве особых точек в гистограммах имеются отчетливо различимые максимумы, координаты которых определяют параметры ориентации изображений. Для выделения особых точек в методе статистической дифференциации использовался корреляционный анализ изображения с эталоном особой точки. Такой анализ показал хорошие результаты на отчетливых изображениях частиц. При множественном наложении контуров частиц или элементов рельефа друг на друга возникают существенные ошибки [4]. В этом случае для выделения особых точек целесообразно использовать детекторы кривизны поверхности [5], достоинствами которых является:
- определение кривизны поверхности;
- широкие возможности настроек чувствительности к элементам фона и рельефа;
- нечувствительность к изменениям функции яркости, вызванными помехами и естественным различием рельефа двух совмещаемых изображений.
Тем не менее, как показали исследования [4], при выделении особых точек с помощью детекторов из анализа необходимо исключать слишком длинные пары особых точек, заведомо не умещающихся в область перекрытия изображений, и пары, образованные элементами фонового рельефа. В настоящей работе предлагается увеличить информационную емкость дескриптора пары особых точек и использовать при ее описании показатель кривизны поверхности. Кроме того, если при получении перекрывающихся изображений применялось ортогональное смещение поля зрения, то в дескриптор может быть внесен угол поворота пары, что позволит дополнительно повысить достоверность координатной привязки.
АЛГОРИТМ КООРДИНАТНОЙ ПРИВЯЗКИ С ДЕСКРИПТОРОМ КРИВИЗНЫ
Схема вычисления кривизны поверхности с использованием сферического детектора представлена на рис. 1. Каждое из перекрывающихся изображений Z0 и Z/ обрабатывается детектором кривизны.
и
Рис. 1. Схема сферического детектора кривизны
Для этого вдоль поверхности 2(х, у) (рис. 1) перемещается центр сферы небольшого радиуса г (радиус детектора). Если обозначить объем части рельефа, заключенной внутри этой сферы через V и аппроксимировать этот объем другой сферой с радиусом Я, тогда кривизна поверхности может быть оценена следующим выражением:
Я-
3лг4
4^ - 2ж3)'
где значение V определяется по приближенной формуле вычисления интеграла:
V=ДОл» Е ЕI(х,у),
X, У^Р
где Р - проекция сферы детектора на плоскость ХУ. Для каждой точки из окрестности Р с координатами х,у \ находятся высота рельефа Z(xi,yi), верхняя и нижняя 2(1 координаты пересечения со сферой г. Для выпуклых поверхностей 2(1 < Z(x ¿у) < значение подынтегральной функции /(х ,у ¿) принимается равным Z(x ,у ¿) -
Блок-схема алгоритма координатной привязки с использованием предложенного дескриптора представлена на рис. 2.
Ш
27
у
Определение координат и размеров частиц детектором кривизны
зг
К,х,у0
Определение координат и размеров частиц детектором кривизны
%х,У
I
Определение межцентровых расстояний
т
£
Определение межцентровых расстояний
т
Р1
У
Процессор соответствия
Выделение максимума в
Выделение максимума в
Ф
Контроль w
Рис. 2. Блок-схема алгоритма координатной привязки изображений с использованием детектора частиц
После обработки детектором точки локальных экстремумов функции кривизны Я(х,у) формируют множества Р и Р пар, которые сортируются по длине и образуют два массива М и М дескрипторов. Индекс ячейки массива при этом соответствует показателю длины в дескрипторе пары особых точек. Процессор соответствия выделяет в массивах М и М схожие пары точек и для них вычисляет смещение и угол поворота, значения которых локализуют инкрементируемые ячейки гистограмм. После обработки всех пар осуществляется поиск ячеек максимумов гистограмм, координаты которых определяют результат координатной привязки.
РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ
Как показала практика, используемый метод статистической дифференциации крайне чувствителен к фоновым элементам изображения [4, 5], шумам, помехам.
Результаты работы алгоритма представлены на рис. 3. Вверху расположены анализируемые изображения, на которых крестиками отмечены особые точки. Внизу располагаются:
- двумерная гистограмма смещения (х:-256..25б, _у:-256..25б пикселей), в которой точками отмечены экстремумы гистограммы смещений, а крестиком - максимум, соответствующий искомому смещению;
- одномерная (от -90° до 90°) гистограмма угла поворота.
Рис. 3. Результаты координатной привязки перекрывающихся (нижней правой частью левого изображения и верхней левой частью правого изображения) изображений
Гистограмма смещения показала, что смещение по оси Х составило 20 пикселей, по оси У 1 пиксель, амплитуда основного пика гистограммы смещения составила 17 единиц. Из полученных результатов следует, что при невысокой степени перекрытия изображений множество элементов рельефа поверхности привело к ошибке определения смещения. Появление ошибки объясняется тем, что при высокой плотности особых точек существенный вклад в ошибочный результат вносят схожие короткие пары особых точек. Это происходит из-за недостаточности информации об особых точках, записанной в дескрипторе паре точек. Оценим результат координатной привязки изображений с использованием в дескрипторе радиуса кривизны поверхности в особых точках. В этом случае дескриптор пары будет выглядеть следующим образом {(х1,_у1),^1,(х2,>'2), Я1,Я2,1}. Процессор соответствия в таком случае кроме равенства длин пар на изображениях проверяет на истинность условие:
(|Я, -Яг + Я2 -Я}\ < 2г)апё(((|Ях -Яг| < г)апё(
Я - Я
< г))((
Я1 - Я
< г
)апё (|Я2 - Я < г))),
(1)
где Я1, Я2 - радиусы кривизны пары особых точек первого изображения; Яь Я]- - радиусы кривизны пары особых точек второго изображения; г - допуск. При формировании гистограммы смещения только с учетом пар, соответствующих условию (1), результат вычисления смещения (для изображений на рис. 3) составит по оси X 124 пикселя, по оси У 162 пикселя (рис. 4). Амплитуда максимума гистограммы при этом составила 15 единиц, а общее количество экстремумов ожидаемо снизилось.
Рис. 4. Гистограммы смещения и поворота с параметрами кривизны в дескрипторе
Идентичные результаты получаются, если из анализа исключить пары особых точек с отличным от нуля углом поворота (рис. 5), что продиктовано тем, что изображения получены после смещения по двум ортогональным направлениям. Дескриптор пары в этом случае имеет вид {(хьуДЯь^^Уф).
Рис. 5. Гистограммы смещения и поворота с параметром угла поворота в дескрипторе ЗАКЛЮЧЕНИЕ
Использование дополнительной информации в дескрипторе предопределило содержание операции контроля н алгоритма координатной привязки, которая может заключаться в сравнении результирующих смещения и угла поворота с нулевыми значениями.
Таким образом, повышение информативности дескрипторов пар особых точек (например, с помощью показателей кривизны поверхности или угла поворота) можно считать одним из основных инструментов обеспечения достоверности результатов координатной привязки перекрывающихся изображений методом статистической дифференциации.
СПИСОК ЛИТЕРАТУРЫ
1. Шелковников Ю. К., Гафаров М. Р., Гуляев П. В., Тюриков А. В., Кизнерцев С. Р. Построение изображений поверхности при многокадровом режиме сканирующего туннельного микроскопа // Химическая физика и мезоскопия. 2008. Т. 10, № 4. С. 514-520.
2. Гафаров М. Р., Шелковников Е. Ю., Гуляев П. В., Тюриков А. В., Кизнерцев С. Р. Контроль дисперсности наночастиц в СТМ-измерения выделением структурных элементов их изображений // Ползуновский вестник. 2011. № 3-1. С. 118-123.
3. Силантьев Р. В. Сшивка цифровых перекрывающихся изображений без использования навигационной информации в задачах мониторинга // Вестник инженерной школы Дальневосточного федерального университета. 2012. № 2(11). С. 89-93.
4. Гуляев П. В., Шелковников Е. Ю., Тюриков А. В., Кизнерцев С. Р. Координатная привязка СТМ-изображений наночастиц с фильтрацией особых точек // Химическая физика и мезоскопия. 2017. Т. 19, № 1. С. 140-146.
5. Гуляев П. В., Шелковников Ю. К., Тюриков А. В., Кизнерцев С. Р. Применение детекторов кривизны для координатной привязки перекрывающихся изображений в зондовой микроскопии // Ползуновский вестник. 2016. № 2. С. 122-125.
INCREASE A ACCURACY OF THE NANOOBJECTS IMAGES COORDINATE BINDING BY MEANS OF SIZE AND ROTATION ANGLE DESCRIPTORS OF SPECIAL POINTS
Gulyaev P. V., Shelkovnikov Yu. K., Tyurikov A. V., Egorov S. F.
Udmurt Federal Research Center, Ural Branch of the Russian Academy of Sciences, Izhevsk, Russia
SUMMARY. The usage of the surface curvature detector for a coordinate binding of the overlapped images is considered in the article. the mutual shift and turn of images are chosen as parameters of a coordinate binding. The coordinate binding is carried out by method of images statistical differentiation with use of special points similar couples. It is offered to use surface convex areas (areas with high curvature) as special points. Processing of the image by the surface curvature detector and allocation of images special points is described. In the article the spherical detector is used for this purpose. The sliding detector-sphere cuts out a certain volume of the surface relief. The curvature at a surface point was defined by the radius of the sphere approximating a cut-out relief. The algorithm of images coordinate binding based on calculation of shift and an angle of rotation of similar segment, formed by special points on overlapped images, is presented. It is shown that segment similarity definition based only lengths equality can lead to error of images coordinate binding. The reason and method of this error detection are described. It is established that with high density of special points the main contribution to the error is made by similar short segments with nonzero rotation angles. It is offered to increase informational content of the special points segments description by means of surface curvature indicator at the segments terminal points. Besides, it is offered to exclude from consideration segments with nonzero rotation angles, if images are received after the sample orthogonal shift of microscope. Results of image coordinate binding algorithm with the increased informational description of special points are presented. It is shown that additional parameters: special points sizes and rotation angles of points segments allow to eliminate the errors brought by short couples of special points. Additional parameters of a descriptor can be entered both separately, and together. At the same time the rotation angles parameter is applied, when sample is shifted by means of a orthogonally - located drive.
KEYWORDS: nanoobjects, overlapped images, coordinate binding, substrate, scanning probe microscope. REFERENCES
1. Shelkovnikov Yu. K., Gafarov M. R., Gulyaev P. V., Tyurikov A. V., Kiznertsev S. R. Postroenie izobrazheniy poverkhnosti pri mnogokadrovom rezhime skaniruyushchego tunnel'nogo mikroskopa [The surface images obtaining in the multiscan mode of the scanning tunnel microscope]. Khimicheskaya fizika i mezoskopiya [Chemical Physics and Mesoscopy], 2008, vol. 10, no. 4, pp. 514-520.
2. Gafarov M. R., Shelkovnikov E. Yu., Gulyaev P. V., Tyurikov A. V., Kiznertsev S. R. Kontrol' dispersnosti nanochastits v STM-izmereniya vydeleniem strukturnykh elementov ikh izobrazheniy [Nanoparticles dispersion control n STM-measurements by allocation of structural elements of their images]. Polzunovskiy vestnik [Polzunovsky vestnik], 2011, no. 3-1, pp. 118-123.
3. Silantiev R. V. Sshivka tsifrovykh perekryvayushchikhsya izobrazheniy bez ispol'zovaniya navigatsionnoy informatsii v zadachakh monitoringa [Digital overlapped digital images binding without navigation information for monitoring tasks]. Vestnik inzhenernoi shkoli Dalnevostochnogo federalnogo universiteta [FEFU: School of Engineering Bulletin], 2012, no. 2(11), pp. 89-93.
4. Gulyaev P. V., Shelkovnikov E. Yu., Tyurikov A. V., Kiznertcev S. R. Koordinatnaya privyazka STM-izobrazheniy nanocastits s fil'tratsiey osobykh tochek [The coordinate binding of nanoparticles STM-images with characteristic point filtration]. Khimicheskaya fizika i mezoskopiya [Chemical Physics and Mesoscopy], 2017, vol. 19, no. 1, pp. 140-146.
5. Gulyaev P. V., Shelkovnikov Yu. K., Tyurikov A. V., Kiznertcev S. R. Primenenie detektorov krivizny dlya koordinatnoy privyazki perekryvayushchikhsya izobrazheniy v zondovoy mikroskopii [Usage of surface curvature detectors for coordinate binding of overlapped images in the probe microscopy]. Polzunovskiy vestnik [Polzunovsky vestnik], 2016, no. 2. pp. 122-125.
Гуляев Павел Валентинович, кандидат технических наук, старший научный сотрудник, Институт механики УдмФИЦ УрО РАН, e-mail: lucac@e-izhevsk. ru
Шелковников Юрий Константинович, доктор технических наук, главный научный сотрудник Института механики УдмФИЦ УрО РАН, профессор кафедры радиотехники ИжГТУ имени М. Т. Калашникова
Тюриков Александр Валерьевич, кандидат физико-математических наук, старший научный сотрудник, Институт механики УдмФИЦ УрО РАН, e-mail: alex. tyurikov@mail. ru
Егоров Станислав Феликсович, кандидат технических наук, старший научный сотрудник, Институт механики УдмФИЦ УрО РАН, e-mail: stos. mitm@mail. ru
