CC BY
36
УДК 621.385.833
ОБРАБОТКА И РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ РЕПЕРНЫХ ОТМЕТОК ДЛЯ ЛОКАЛИЗАЦИИ ЗОНДА В СКАНИРУЮЩЕМ ТУННЕЛЬНОМ МИКРОСКОПЕ
ГУЛЯЕВ П. В., ШЕЛКОВНИКОВ Е. Ю., ЕРМОЛИН К. С.
Удмуртский федеральный исследовательский центр Уральского отделения РАН, 426067, г. Ижевск, ул. Т. Барамзиной, 34
АННОТАЦИЯ. В статье рассмотрены две специализированные методики автоматической обработки СТМ-изображений реперных отметок, полученных с помощью нанотвердометра. Первая методика обработки основана на Гаусс-фильтрации и сферическом детекторе анализа кривизны поверхности. Вторая методика основана на медианной фильтрации и алгоритме анализа зернистости с рассечением поверхности по уровням. Установлено, что алгоритм анализа кривизны поверхности, основанный на сферическом детекторе, имеет высокую чувствительность, что ограничивает область его применения только специально подготовленными изображениями. Алгоритм анализа зернистости с рассечением поверхности по уровням позволяет детектировать реперные отметки со сложным контуром на более зашумленных изображениях. Представлены результаты и рекомендации по применению описанных методик обработки СТМ-изображений.
КЛЮЧЕВЫЕ СЛОВА: реперные отметки, сканирующий туннельный микроскоп, фильтрация СТМ-изображений, нанообъекты, алгоритмы детектирования.
ВВЕДЕНИЕ
Сканирующая туннельная микроскопия (СТМ) обладает значительным потенциалом для исследования наноразмерных объектов. Это обусловлено высокой разрешающей способностью СТМ, низким уровнем воздействия на объекты, получением прямых топографических результатов, возможностью проведения исследования на воздухе, в вакууме и в жидкостях.
В качестве подложек для нанообъектов в СТМ, как правило, применяют атомарно-гладкие поверхности благородных металлов, меди, кремния, пиролитического графита. Наибольшей простотой в применении отличается высокоориентированный пиролитический графит. Это обусловлено следующим. Во-первых, подготовка его поверхности отличается меньшей трудоемкостью, в сравнении с другими подложками. Во-вторых, пиролитический графит обладает достаточной стабильностью при исследовании на воздухе. В-третьих, поверхность графита содержит не только атомарно-гладкие участки, но и различные ступеньки, впадины, террасы, которые могут способствовать адсорбции нанообъектов на его поверхности [1, 2].
При исследовании конкретных нанобъектов или их агломераций на поверхности графита, часто возникает необходимость повторной локализации зонда и поля зрения СТМ в одну и ту же область поверхности. Последовательное сканирование образца для поиска требуемой области может занять значительный промежуток времени. Поэтому автоматизация процесса локализации является актуальной задачей.
ПОСТАНОВКА ЗАДАЧИ
Для решения поставленной задачи в настоящей работе предлагается нанести на поверхность реперные отметки, с помощью которых обозначить направление смещения зонда СТМ к исследуемому участку поверхности или выделить периметр требуемого участка. Для нанесения реперных отметок могут применяться атомно-силовая литография или индентирование поверхности нанотвердомером. В настоящей работе использован нанотвердомер КапоТеБ! 600.
Процесс поиска области размещения нанообъектов (локализации зонда СТМ) схематично показан на рис. 1. Реперные отметки расположены вдоль линии с интервалом не более 30% от размера поля зрения микроскопа, что гарантирует попадание в СТМ-изображение трех отметок. Исследуемый участок поверхности также может быть выделен по периметру реперными отметками. Начало перемещения поля зрения микроскопа осуществляется вдоль края образца до появления реперных отметок с последующим смещением вдоль их линии вглубь образца к исследуемому участку.
1 - начальное положение; 2 - промежуточное положение; 3 - конечное положение Рис. 1. Схема перемещения зонда и поля зрения микроскопа
Задача автоматической локализации зонда СТМ в данной постановке требует в первую очередь реализации процедуры распознавания реперных отметок.
Изучение изображений отпечатков нанотвердомера (рис. 2) на пиролитическом графите показало, что отпечаток может быть сегментирован [3-5]. В этом случае известные методы анализа СТМ-изображений, такие как детекторы кривизны или контурные детекторы, выделяют несколько реперных отметок на месте одного отпечатка. В связи с этим разработка специализированных методов подготовки и обработки СТМ-изображений приобретает большое значение.
Ь
Рис. 2. СТМ-изображение отпечатка нанотвердомера
В настоящей работе рассмотрены две методики обработки СТМ-изображений с отпечатками наноиндентора, основанных на алгоритмах фильтрации и детектирования.
МЕТОДИКА ОБРАБОТКИ НА ОСНОВЕ ГАУСС-ФИЛЬТРАЦИИ И СФЕРИЧЕСКОГО ДЕТЕКТОРА КРИВИЗНЫ ПОВЕРХНОСТИ
В данной методике обработка СТМ-изображений начинается с фильтрации низкочастотных искажений, вызванных неидеальностью сканирующей системы СТМ и наклоном поверхности образца. Фильтрация осуществляется следующим образом.
Подбирается аппроксимирующая эту неидеальность поверхность второго порядка Р(2)(х,у), которая затем вычитается из исходной функции СТМ-изображения г = / (х, у) [6]:
7. = г _
(1)
где г' - результирующее изображение.
Исходное и результирующее изображения первого этапа фильтрации показаны на рис. 3, а и 3, б соответственно. Далее производится отсечение фоновых элементов (рис. 3, г). Первый уровень отсечения выбирается в 30 % от максимального значения высоты рельефа. Повышение уровня отсечения происходит с шагом в 10 %. После каждого отсечения с помощью сферического детектора [1] происходит измерение среднего радиуса КСРЩ выпуклостей (в пикселях) на поверхности.
Рис. 3. Этапы работы первого алгоритма фильтрации: исходное СТМ-изображение 90x90 мкм; б - СТМ-изображение с вычетом наклона; в - обрезка фона - 40%; г - применение Гаусс-фильтрации
а
Опытным путем было определено, что при Н^ред » 7 удаляются все фоновые элементы
изображения. Третий этап - фильтрация высокочастотных составляющих (размытие) СТМ-изображения с помощью Гаусс-фильтрации [7]. Данный фильтр использует нормальное распределение Гаусса для вычисления коэффициентов матрицы свертки, применяемой к обрабатываемому изображению.
Уравнение распределения Гаусса для поверхности выглядит следующим образом:
С(т) =^ +у2)/(2ст2), (2)
2лхг
2 2.2
где гг = и + V , и и V - пределы размытия; гг — это радиус размытия, о — стандартное отклонение распределения Гаусса.
Для обработки СТМ-изображений реперных отметок величина гг выбирается исходя из размера отметки в пикселях. Для рис. 3, г это значение составило 20 пикселей.
После фильтрации начинается процесс обработки СТМ-изображения сферическим детектором кривизны [1]. Схема вычисления кривизны представлена на рис. 4.
Изображение Z0 обрабатывается детектором кривизны. Вдоль поверхности 2(х, у)
(рис. 4) перемещается центр сферы небольшого радиуса г (радиус детектора). Если обозначить объем части рельефа, заключенной внутри этой сферы через V и аппроксимировать этот объем другой сферой с радиусом Я , то кривизна поверхности может быть оценена следующим выражением:
3р 4
Я =-3р--_ , (3)
4^ - 2р 3)
где V - объем части рельефа, который определяется по приближенной формуле вычисления интеграла:
V = \Wdv-
: Е ЕI (X , Уг ), (4)
где Р - проекция сферы детектора на плоскость ХУ . Для каждой точки из окрестности Р с координатами хгуг рассчитывается высота рельефа 2(хг, у г) верхняя 2и и нижняя координаты пересечения со сферой г.
Для выпуклых участков поверхности выполняется условие: < 2(хгуг) < 2и, а значение
подынтегральной функции /(х г, у г) принимается равным 2(х г, у г) - .
После вычисления кривизны поверхности для всего изображения осуществляется поиск локальных экстремумов, которые определяют положение реперных отметок.
На рис. 5 показаны результаты поиска реперных отметок (отмечены крестом) до и после Гаусс-фильтрации.
Из рис. 5 следует, что применение предварительной фильтрации СТМ-изображений позволяет сократить количество срабатываний детектора до одного на каждую реперную отметку.
+
+ ++
4 +
+
± +
Г
а) б)
Рис. 5. Результат работы алгоритма сферического детектора на СТМ-изображении: а - до Гаусс-фильтрации; б - после Гаусс-фильтрации
В качестве недостатка представленной методики можно считать относительную сложность реализации, связанную с необходимостью применения сферического детектора кривизны, требующего значительных вычислительных затрат.
МЕТОДИКА ОБРАБОТКИ НА ОСНОВЕ МЕДИАННОЙ ФИЛЬТРАЦИИ И АЛГОРИТМА АНАЛИЗА ЗЕРНИСТОСТИ
Данная методика использует более распространенные алгоритмы обработки, требующие меньших вычислительных затрат на реализацию.
Для фильтрации низкочастотных искажений происходит удаление искажений, связанных с наклоном поверхности образца и неидеальностью сканирующей системы СТМ [6] (рис. 6, б). Далее выполняется отсечение фоновых элементов с фиксированным порогом (рис. 6, в). Следующий этап обработки - удаление высокочастотных составляющих изображения с помощью медианной фильтрации. Размер окна медианной фильтрации устанавливается исходя из размеров реперной отметки на изображении. Результат обработки изображения медианной фильтрацией показан на рис. 6, г.
Рис. 6. Результат работы второго алгоритма фильтрации:
а - оригинальное СТМ-изображение 90x90 мкм; б - СТМ-изображение с вычетом наклона и средних строк; в - обрезание фона -50%; г - медианная фильтрация с окном 7x7
Выполнение описанных выше алгоритмов фильтрации позволяет осуществлять дальнейший поиск реперных отметок с помощью алгоритма анализа зернистости (Grain Analysis) [8]. Настройка алгоритма Grain Analysis на поиск реперных отметок осуществляется посредством плавного повышения уровня относительного сечения (штатный параметр алгоритма) с последующим анализом числа регистрируемых объектов (целевой показатель - 3).
На рис. 7 показаны результаты определения реперных отметок (обведены кружками) алгоритмом Grain Analysis с относительным уровнем рассечения 20 %. Из рис. 7 следует, что предварительная фильтрация снизила число выделенных объектов до трех, что соответствует реальному числу реперных отметок.
® ■■О
о
а) б)
Рис. 7. Результат работы алгоритма анализа зерен детектора на СТМ-изображении:
а - до медианной фильтрации; б - после медианной фильтрации
В качестве недостатка описанной методики можно считать сложность автоматического подбора уровня рассечения алгоритма анализа зернистости.
ЗАКЛЮЧЕНИЕ
Таким образом, применение предварительной фильтрации существенно упрощает выделение реперных отметок на СТМ-изображениях. Фильтрация в первую очередь необходима для удаления фоновых элементов изображения и объединения сегментов изображения отпечатка в единое целое. Выбор алгоритмов объединения зависит от чувствительности метода распознавания.
Для высокочувствительного сферического детектора требуется значительное сглаживание поверхности с помощью Гаусс-фильтрации, Фурье-фильтрации или преобразования Хартли.
Для выделения реперных отметок с помощью алгоритмов анализа зернистости подойдет менее радикальная медианная фильтрация.
Обе представленные методики обработки СТМ-изображений позволяют с высокой достоверностью детектировать реперные отметки на СТМ-изображениях, а их применение дает возможность автоматической локализации поля зрения СТМ на исследуемый участок поверхности.
СПИСОК ЛИТЕРАТУРЫ
1. Гуляев П. В., Шелковников Е. Ю., Тюриков А. В., Кизнерцев С. Р. Координатная привязка СТМ-изображений наночастиц с фильтрацией особых точек // Химическая физика и мезоскопия. 2017. Т. 19, № 1. С. 140-146.
2. Гуляев П. В., Шелковников Ю. К., Тюриков А. В., Кизнерцев С. Р. Применение детекторов кривизны для координатной привязки перекрывающихся изображений в зондовой микроскопии // Ползуновский вестник. 2016. № 2. С. 122-125.
3. Kucharski S. T., Jarza D. Depth Dependence of Nanoindentation Pile-Up Patterns in Copper Single Crystals // Metallurgical and Materials Transactions A, 2014, vol. 45, no. 11, pp. 4997-5008.
4. Daphalapurkar N. P., Wang F., Fu B., Lu H., Komanduri R. Determination of Mechanical Properties of Sand Grains by Nanoindentation // Experimental Mechanics, 2011, vol. 51, no. 5, pp. 719-728.
5. Tranchida D., Piccarolo S., Loos J., Alexeev A. Mechanical Characterization of Polymers on a Nanometer Scale through Nanoindentation. A Study on Pile-up and Viscoelasticity // Macromolecules, 2007, vol. 40, no. 4, pp. 1259-1267.
6. Миронов В. Л. Основы сканирующей зондовой микроскопии. Нижний Новгород: Изд-во Института физики микроструктур РАН, 2004. 110 с. URL: http://www.pnn.unn.ru/UserFiles/lectures/Mironov_SPM_Book.pdf (дата обращения 12.06.2018).
7. Гонсалес Р., Вудс Р. Цифровая обработка изображений / пер. с англ. под ред. П.А. Чочиаю М.: Техносфера, 2005. 1072 с. URL: http://computersbooks.net/index.php?id1=4&category=grafika&author=gonsales-r&book=2005 (дата обращения 12.06.2018).
8. Image Analysis 3.5 Модуль обработки изображений. Справочное руководство. М., Техподдержка НТ-МДТ, 2009. 206 с. URL: https://docplayer.ru/79991780-Image-analysis-3-5-modul-obrabotki-izobrazheniy.html (дата обращения 07.07.2018).
PROCESSING AND RECOGNITION OF IMAGES OF REFERENCE MARKS FOR LOCALIZATION OF THE PROBE IN A SCANNING TUNNEL MICROSCOPE
Gulyaev P. V., Shelkovnikov E. Yu., Ermolin K. S.
Udmurt Federal Research Center, Ural Branch of the Russian Academy of Sciences, Izhevsk, Russia
SUMMARY. The article discusses two specialized techniques for automatic processing of reference marks STM-images. Reference marks are plotted on a pyrolytic graphite sample by means of a nanoindentor instrument. Each technique is divided into two stages: pre-filtration and reference marks detection. The pre-filtering phase is divided into several parts. The first processing technique is based on Gauss filtering and a surface curvature analysis by spherical detector. The pre-filtering phase consists of the following parts: subtraction of the surface slope, cutting off the background elements and filtering background picture elements using Gauss filtering. The Gaussian filtering combines the segments of the reference mark imprint into a coherent whole. The quality of filtering (combining segments) of reference marks depends on the blur radius. The pre-filtering phase allows efficient preparation of STM images for subsequent analysis. The second stage of the technique is the reference marks detection with the help of a spherical surface curvature detector. This detector allows defining convex elements on STM images. The spherical detector has a high sensitivity, which limits its application field by the low-noise (or specially prepared) STM images. The spherical detector also yields unstable results on marks with the complex contour. The second technique is based on median filter and the algorithm of grain analysis with the surface dissection. The preliminary stage of this technique consists of the following parts: filtering low-frequency distortions, subtracting the slope of the surface, cutting off background elements and filtering high-frequency components using median filter. The median filtering algorithm is a simpler algorithm in implementation, compared to Gaussian filtering. The second stage of this technique is the reference marks detection using the algorithm of grain analysis with the surface dissection. The grain analysis algorithm has a variable cut-off level parameter that allows detecting reference marks with a complex contour on high-noise images. The quality of determining the reference marks highly depends on setting of the level of the dissecting surface. Both presented STM-images processing technique allow to distinguish surely the reference marks. The application of the techniques makes it possible to automatically localize the STM field of view to the investigated surface area.
KEYWORDS: reference marks, scanning tunnel microscope, STM image filtration, nanoobjects, detection algorithms.
REFERENCES
1. Gulyaev P. V., Shelkovnikov E. Yu., Tyurikov A. V., Kiznertsev S. R. Koordinatnaya privyazka STM-izobrazheniy nanochastits s fil'tratsiey osobykh tochek [The coordinate binding of nanoparticles STM-images with characteristic point filtration]. Khimicheskaya fizika i mezoskopiya [Chemical Physics and Mesoscopy], 2017, vol. 19, no. 1, pp. 140-146.
2. Gulyaev P. V., Shelkovnikov Yu. K., Tyurikov A. V., Kiznertsev S. R. Primenenie detektorov krivizny dlya koordinatnoy privyazki perekryvayushchikhsya izobrazheniy v zondovoy mikroskopii [Application of curvature detectors for gridding overlapping images in probe microscopy]. Polzunovskiy vestnik [Polzunovsky Vestnik], 2016, no. 2, pp. 122-125.
3. Kucharski S. T., Jarza D. Depth Dependence of Nanoindentation Pile-Up Patterns in Copper Single Crystals. Metallurgical and Materials Transactions A, 2014, vol. 45, no. 11, pp. 4997-5008. https://doi.org/10.1007/s11661-014-2437-4
4. Daphalapurkar N. P., Wang F., Fu B., Lu H., Komanduri R. Determination of Mechanical Properties of Sand Grains by Nanoindentation. Experimental Mechanics, 2011, vol. 51, no. 5, pp. 719-728. https://doi.org/10.1007/s11340-010-9373-z
5. Tranchida D., Piccarolo S., Loos J., Alexeev A. Mechanical Characterization of Polymers on a Nanometer Scale through Nanoindentation. A Study on Pile-up and Viscoelasticity. Macromolecules, 2007, vol. 40, no. 4, pp. 1259-1267. https://doi.org/10.1021/ma062140k
6. Mironov V. L. The fundamentals of scanning probe microscopy. Nizhny Novgorod: Institute of Physics of Microstructures RAN Publ., 2004. 110 p. URL: http://www.pnn.unn.ru/UserFiles/lectures/Mironov_SPM_Book.pdf (accessed June 12, 2018).
7. Authorized translation from the English language edition. Gonzalez R. C., Woods R. E. Digital Image Processing. Second Edition. Published by Pearson Education, Inc, publishing as Prentice Hall, 2002. http://computersbooks.net/index.php?id1=4&category=grafika&author=gonsales-r&book=2005 (accessed June 12, 2018).
8. Image Analysis 3.5 Modul' obrabotki izobrazheniy [Image processing module]. Spravochnoe rukovodstvo. Moscow, Technical support NT-MDT, 2009. 206 p. URL: https://docplayer.ru/79991780-Image-analysis-3-5-modul-obrabotki-izobrazheniy.html (accessed July 07.2018).
Гуляев Павел Валентинович, кандидат технических наук, старший научный сотрудник, Институт механики УдмФИЦ УрО РАН, e-mail: lucac@e-izhevsk. ru
Шелковников Евгений Юрьевич, доктор технических наук, профессор, заведующий лабораторией Института механики УдмФИЦ УрО РАН,
профессор кафедры «Вычислительная техника» ИжГТУ имени М.Т. Калашникова, e-mail: [email protected]
Ермолин Кирилл Сергеевич, младший научный сотрудник, Институт механики УдмФИЦ УрО РАН, e-mail: ermolin@,udm. ru
