CC BY
107
НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н. Э. БАУМАНА
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС77 • 48211. Государственная регистрация №0421200025. ISSN 1994-0408
электронный научно-технический журнал
Разработка алгоритма автоматической сегментации
флуоресцентно-микроскопических изображений препаратов
клеточных культур для задач микробиологии
# 06, июнь 2013
Б01: 10.7463/0613.0574140
Артюхова О. А., Самородов А. В.
УДК 57.087
Россия, МГТУ им. Н.Э. Баумана о1 аа. [email protected] [email protected]
Введение
Анализ флуоресцентно-микроскопических изображений широко распространен в различных областях медицины и биологии. Визуализация клеточных структур с помощью специализированных красителей - флуорохромов - активно используется не только в научных исследованиях [1 - 3], но и в рутинном клинико-лабораторном анализе медико-биологических препаратов [3, 4].
В микробиологии флуоресцентно-микроскопический анализ используется при исследовании клеточных культур, зараженных облигатными внутриклеточными паразитами (хламидиями, риккетсиями). Такое исследование, называемое культуральным, на сегодняшний день является одним из основных методов диагностики инфекций и подбора лекарственных препаратов, ингибирующих их развитие [5, 6].
В ходе культурального исследования выполняется визуальное определение относительного числа инфицированных паразитами клеток в препарате. Негативное воздействие флуоресценции на зрение проводящего исследование врача-лаборанта, высокая трудоемкость и большое время анализа одного препарата приводят к малому объему визуально анализируемой выборки клеток и в целом к низкой достоверности результатов анализа. Разработка автоматизированных методов и алгоритмов анализа флуоресцентно-микроскопических изображений препаратов инфицированных клеточных культур, в первую очередь - алгоритмов сегментации клеток, позволит повысить
достоверность результатов культурального анализа, сократить время исследования, расширить сферу его практического применения.
Алгоритм сегментации флуоресцентно-микроскопических изображений
При исследовании облигатных внутриклеточных паразитов в культуре клеток регистрируемые с использованием флуоресцентного микроскопа изображения содержат клетки культуры клеток и включения паразитов. Пример флуоресцентно-микроскопического изображения препарата культуры клеток, инфицированных хламидиями, представлен на рисунке 1. На изображении клетки выглядят красновато-коричневыми, хламидийные включения - ярко-зелеными.
Рисунок 1 - Пример флуоресцентно-микроскопического изображения препарата культуры
клеток с хламидийными включениями
Для сегментации цветных изображений обычно используются пороговые методы, методы кластеризации, наращивания областей, построения физических моделей формирования изображений и другие [1, 7]. Поскольку на рассматриваемых изображениях координаты цветности клеток и фона зачастую являются идентичными, для сегментации клеток был выбран метод пороговой обработки полутонового изображения - канала V (value) цветового пространства HSV [8] (рисунок 2).
Рисунок 2 - Анализируемое изображение в цветовом канале V
На анализируемом изображении в силу особенностей приготовления препарата наблюдается неравномерность яркости фона, что обуславливает необходимость применения локального адаптивного метода бинаризации. Как показано в работе [9], наиболее пригодным для подобных случаев является метод Ниблэка. Идея данного метода состоит в расчете порога бинаризации Т(х, у) по локальным среднему значению и стандартному отклонению значений яркости:
Т(х, у) = т(х, у) + к • 5(х, у), (1)
где т(х, у) и х, у) - соответственно среднее значение и стандартное отклонение значений яркости изображения в некоторой окрестности рассматриваемой точки; к - коэффициент, значение которого определяется экспериментально (в данном случае при сегментации клеток к = -1).
Результат автоматического выделения масок клеток с использованием бинаризации по методу Ниблэка приведен на рисунке 3. Размер стороны квадратного окна, по которому рассчитывается локальный порог бинаризации при сегментации клеток, соответствует утроенному среднему диаметру клетки и для изображений, зарегистрированных с шагом дискретизации 0,14 мкм/пиксель, равен 700 пикселей [10, 11].
Рисунок 3 - Результат автоматического построения масок клеток по методу Ниблэка
Использование большинства методов цветовой сегментации для выделения на рассматриваемых изображениях хламидийных включений затруднено. Причиной этого является существенное изменение цвета включений в зависимости от их размера и расположения относительно клетки. В результате проведенных исследований для сегментации хламидийных включений был выбран метод цветовой деконволюции [12]. Данный метод, изначально разработанный для анализа изображений окрашенных гистологических препаратов, полученных методом обычной световой микроскопии, был адаптирован для исследования флуоресцентных изображений.
Метод цветовой деконволюции основан на рассмотрении физических механизмов формирования цветного изображения. Интенсивность флуоресценции I Л, регистрируемая
цифровой камерой на длине волны Л, пропорциональна концентрации флуоресцирующих красителей, связанных с внутренними структурами клеток и хламидийных включений
[13, 14]:
1Л= свЛ+ сф^ (2)
где рв - коэффициент пропорциональности, зависящий от квантового выхода /-го красителя на длине волны Л, интенсивности возбуждающего излучения, толщины препарата;
с1 и с2 - концентрации красителей.
В соответствии с этим модель, описывающая формирование элемента изображения, имеет вид:
1К = ев + ев, 1° = ев + I = с^ + е2вВ,
(3)
где 1 к, 1а, 1В - значения интенсивности элемента изображения в цветовых каналах Я, О и В соответственно;
в", в°, вв - коэффициенты пропорциональности, соответствующие вкладу в суммарную интенсивность флуоресценции для каналов Я, О и В соответственно, /-го красителя.
Модель формирования всего изображения без учета функции рассеяния точки микроскопа записывается в матричном виде как
1 (х, у) = В • С (х, у).
(4)
" 1" (х, у)" в1 ~
где 1 (х, у) = 1° (х, у) , В = в°
1В(х, у) вв вВ
С (х у) =
е1( х у) е2(x, у).
Решение уравнения (4) методом наименьших квадратов обеспечивает нахождение профилей концентраций флуоресцирующих красителей:
С(х,у) = (ВТ • В)-1 • ВТ • 1 (х,у).
(5)
Коэффициенты, входящие в матрицу В, определялись с использованием метода, предложенного в [12]. На различных изображениях вручную выделялись области, содержащие только один из двух красителей, по которым вычислялись усредненные цветовые координаты с последующей их нормировкой.
Результатом вычислений в соответствии с уравнением (5) являются два изображения в градациях серого, интенсивность элементов которых пропорциональна локальной концентрации соответствующего красителя. Пример получаемого
изображения, характеризующего профиль концентрации флуоресцентного красителя ФИТЦ, преимущественно связывающегося с хламидиями, приведен на рисунке 4.
Рисунок 4 - Результат цветовой деконволюции анализируемого изображения, характеризующий профиль концентрации красителя ФИТЦ
Как правило, при приготовлении препаратов клеточных культур не происходит полного гашения фоновой флуоресценции, вызванной присутствием флуоресцирующего красителя не только в исследуемом биологическом микрообъекте, но и в целом на всей поверхности препарата (рисунок 4). В силу этого для построения масок хламидийных включений по результату цветовой деконволюции также была использована локальная адаптивная бинаризация по методу Ниблэка (рисунок 5). Эмпирически было установлено, что наилучшие результаты бинаризации достигаются при значении коэффициента к в соотношении (1), равного двум. Размер стороны квадратного окна, по которому рассчитывается локальный порог бинаризации для сегментации хламидийных включений, при шаге дискретизации изображения 0,14 мкм/пиксель, равен 500 пикселей [10, 11].
Рисунок 5
- Результат автоматического построения масок хламидийных включений по
методу Ниблэка
Итоговый результат сегментации анализируемого изображения, полученный после применения морфологической обработки к полученным черно-белым маскам клеток и хламидийных включений, приведен на рисунке 6.
Рисунок 6 - Итоговый результат сегментации анализируемого изображения
Таким образом, разработанный алгоритм сегментации заключается в локальной адаптивной пороговой обработке по методу Ниблэка изображения клеток, построенного в
канале V пространства HSV, и изображения хламидийных включений, построенного по модифицированному методу цветовой деконволюции.
Разработка быстрого алгоритма бинаризации по методу Ниблэка
При использовании алгоритма бинаризации на основе метода Ниблэка изображение сканируется квадратным окном, по которому для каждого положения рассчитывается локальное среднее значение и стандартное отклонение интенсивности элементов изображения. Значительный размер окна сканирования приводит к существенным временным затратам при прямой реализации рассматриваемого алгоритма (несколько суток для ЭВМ с процессором Intel Core i5 с частотой 2,27 ГГц, объемом оперативной памяти 4,00 ГБ и 64-разрядной операционной системой) и невозможности его использования на практике. Для ускорения работы алгоритма бинаризации, т.е. для ускорения расчета локальных средних значений и стандартных отклонений интенсивности элементов изображения, был использован подход, основанный на построении интегрального изображения.
Интегральное изображение I(x0,y0) строится по исходному изображению f (x,y) следующим образом [15]:
xo Уо
I (Хо, Уо) = ZZ f (x, У). (6)
x=1 y=1
С использованием интегрального изображения локальное среднее значение интенсивности изображения внутри прямоугольной области с центром в точке (x0, y0) и со сторонами (2 - Ax +1) и (2 • Ay +1), умноженное на число элементов этой области, может быть вычислено с использованием только трех операций сложения (рисунок 7):
x0 +Ax y0 +Ay x0 +Ax i y0 +Ay y0-Ay-1
f(x0,y0) • N = Z Zf(x,y) = Z Zf(x,y) - Zf(x,y)
x=x0 -Ax y=y0 -Ay x=x0 -Ax у y=1 y=1 y
y0 +Ayf x0 + Ax x0-Ax-1 Л y0-Ay-1 f x0 +Ax x0-Ax-1 Л
= Z Z f (x, у) - Z f (x, у) - Z Z f (x, у) - Z f (x, у) =
y=1 у x=1 x=1 J y=1 у x=1 x=1 J
x0 +Axy0 +Ay x0 - Ax-1 У0 - Ay-1 x0 - Ax-1 У0 +Ay x0 +Axy0 - Ay-1
= Z Z f(x, У) + Z Z f(x, У) - Z Z f(x, У) -Z Z f(x, У) :
x=1 y=1 x =1 y=1 x=1 y =1 x=1 y=1
= I (x0 + Ax, У0 + Ay) +1 (x0 - Ax -1, У0 - Ay -1) -
-1(x0 - Ax -1, У0 + Ay) -1(x0 + Ax, У0 - Ay -1),
(7)
где /(х0, у0) - среднее значение интенсивности изображения внутри прямоугольной области с центром в точке (х0, у0), координатами левого верхнего угла (х0 - Ах, у0 - Ау) и правого нижнего угла (х0 + Ах, у 0 + Ау).
N = (2 - Ах + 1) • (2 • Ау +1) - число элементов рассматриваемой области.
х(ГЛх-1
Хд+ЛХ
угАу-1
У а У»+ЛУ
:
1 |
: Ах Ах л
..... т -
...... - ..... ..... и с ни 1
Ау 1
\ ■
-- -- -- -- > -- -- ... --
Л - у ..... 1 ЙГ» 1 н
--4Ч №.
...... ......[..... 1
| Му)
' 1
а) б)
а) расположение сканирующего окна на изображении; б) точки интегрального изображения, использующиеся для вычисления локальных характеристик изображения Рисунок 7 - Использование интегрального изображения для вычисления локальных
характеристик изображения
Основные потери времени при бинаризации изображений по методу Ниблэка связаны с вычислением локального стандартного отклонения значений интенсивности элементов изображения. В данной работе для ускорения указанных вычислений было предложено использовать не только интегральное изображение (6), но и интегральный квадрат изображения 12(х0,у0), т.е. интегральное изображение, построенное для поэлементно возведенного в квадрат исходного изображения:
х0 У0
12 (х0, У0) = Ц1/ (х, У)]2. (8)
х=1 у=1
С использованием предложенного интегрального представления (8) исходного изображения и с учетом соотношения (7) оценка локальной дисперсии £ 2(х0, у0)
интенсивности изображения внутри прямоугольной области с центром в точке (х0, у0 ) и
со сторонами (2 - Ах +1) и (2 • Ау +1), умноженная на N -1), вычисляется следующим образом:
хо +Ах Уо+АУГ _ 12
5 2(Хо, Уо) -(М -1)= £ X 1/(*' У) - /(Хо, Уо)] =
х= Хо-Ах у=Уо-Ау
хо+Ах Уо+АУ г _ -|2
= Х X/(х,У)]2 - N •[/(Хо,Уо)] =
х=Хо -Ах у=Уо -Ау V /
= 12 (хо + А^ Уо +АУ) + 12 (хо -Ах - 1, Уо -АУ - 1) -
- 12 (хо -Ах - 1, Уо +АУ) - 72(хо +Ах, Уо -АУ - 1) - N \/(Х0, Уо) • •
Для расчета локального порога бинаризации при прямом вычислении среднего значения и стандартного отклонения в некоторой точке изображения, лежащей в центре квадратной области со стороной й, в соответствии с (1) используется (3й2 -1) операций
сложения, три операции умножения, й2 операций возведения в квадрат и одна операция извлечения квадратного корня. При использовании интегральных представлений (6) и (8) для вычисления локального порога число требуемых операций не зависит от размера сканирующего окна и в пересчете на один элемент изображения снижается в среднем до двенадцати сложений, четырех умножений, двух возведений в квадрат и одного извлечения корня.
С использованием указанного подхода время автоматической сегментации одного микроскопического изображения сократилось до 9,5 секунд, что обеспечивает возможность практического применения разработанного алгоритма автоматической сегментации для анализа флуоресцентно-микроскопических изображений препаратов инфицированных культур клеток.
Заключение
В статье предложен алгоритм автоматической сегментации флуоресцентно-микроскопических изображений препаратов инфицированных клеточных культур на примере хламидийной инфекции.
Предложен метод быстрого вычисления адаптивного порога бинаризации по методу Ниблэка, основанный на построении двух интегральных представлений исходного изображения: классического интегрального изображения и введенного интегрального квадрата изображения, используемого для быстрого расчета локального стандартного отклонения значений интенсивности в прямоугольной области исходного изображения.
Предложенный метод позволил снизить время работы алгоритма бинаризации в среднем на 5 порядков и обеспечил возможность практического использования разработанного алгоритма автоматической сегментации.
Внедрение разработанного алгоритма в практику микробиологической лаборатории позволит устранить негативное воздействие флуоресценции на глаза врача при визуальном микроскопическом анализе данных препаратов, существенно снизить трудоемкость и время анализа одного препарата и в целом повысить достоверность культурального метода анализа.
Список литературы
1. Wu Q., Merchant F A., Castleman K.R. Microscope Image Processing. Oxford: Academic Press, 2008. 548 p.
2. Imaging cellular and molecular biological functions / Shorte S.L., Frischknecht F. (Eds.). Springer Berlin Heidelberg, 2007. 472 p. (Ser. Principles and Practice). DOI: 10.1007/978-3-540-71331-9
3. Световая микроскопия в биологии. Методы: пер. с англ. / Под ред. А. Лейси. М.: Мир, 1992. 464 с.
4. Лукичева Т.И. и др. Клинико-лабораторные аналитические технологии и оборудование: учеб. пособ. для студ. средн. проф. учеб. заведений / под ред. проф. В.В. Меньшикова. М.: Издательский центр «Академия», 2007. 240 с.
5. Гранитов В. М. Хламидиозы. М.: Медицинская книга; Н. Новгород: Изд-во НГМА, 2002. 192 с.
6. Якубович А.И., Корепанов А.Р. Урогенитальный хламидиоз. Иркутск: Полиграфический центр «РИЭЛ», 2007. 108 с.
7. Skarbek W., Koschan A. Colour image segmentation: a survey. Technical report № 9432. Technical University of Berlin, 1994. 80 p.
8. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB : пер. с англ. М.: Техносфера, 2006. 616 с.
9. Trier O.D., Taxt T. Evaluation of Binarization Methods for Document Images // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1995. Vol. 17, no. 3. P. 312-315. DOI: 10.1109/34.368197
10. Артюхова О.А. Автоматизированный анализ флюоресцентных изображений микробиологических препаратов //X МНТК «Физика и радиоэлектроника в медицине и экологии ФРЭМЭ'2012»: материалы. Владимир, 2012. Кн. 2. С. 111-113.
11. Артюхова О.А., Кост Е.А., Самородов А.В., Диденко Л.В. Разработка алгоритма автоматизированного анализа изображений хламидий в культуре клеток // V ВНИК «Цитоморфометрия в медицине и биологии: фундаментальные и прикладные аспекты»: материалы. М., 2012. С. 10-11.
12. Ruifrok A.C., Johnston D.A. Quantification of histochemical staining by color deconvolution //Anal Quant Cytol Histol. 2001. Vol. 23. P. 291-299.
13. Оптическая биомедицинская диагностика: учеб. пособие для вузов / пер. с англ. под ред. В.В. Тучина. В 2 т. Т. 1. М.: Физматлит, 2007. 560 с.
14. Digital Microscopy / Sluder G., Wolf D. (eds). 2nd ed. of "Video Microscopy". Academic Press, 2003. 544 p. (Ser. Methods in Cell Biology, vol. 72). ISBN 13: 978-0-12564169-2
15. Viola P., Jones M.J. Robust real-time face detection // International Journal of Computer Vision. 2004. Vol. 57, no. 2. P. 137-154. DOI: 10.1023/B:VISI.0000013087.49260.fb
SCIENTIFIC PERIODICAL OF THE RAIJMAN MS TU
SCIENCE and EDUCATION
EL № FS77 - 48211. №0421200025. ISSN 1994-0408
electronic scientific and technical journal
Development of an automatic segmentation algorithm
for fluorescent microscopic images of cell culture preparations
in microbiology tasks
# 06, June 2013
DOI: 10.7463/0613.0574140
Artyukhova O.A., Samorodov A., V.
Bauman Moscow State Technical University, 105005, Moscow, Russian Federation
ol ga. [email protected] [email protected]
This article presents results of development of an automatic segmentation algorithm for fluorescent microscopic images of cell culture preparations in microbiology tasks. The segmentation algorithm is based on the Niblack local adaptive threshold binarization of cells images in the V channel of the HSV color space, and images of inclusions of intracellular parasites formed with the use of the modified method of color deconvolution. Practical usage of the segmentation algorithm became possible due to the development of the fast algorithm for the Niblack local adaptive binarization. The fast algorithm is based on construction of two integral representations of the original image: a classical integral image and an integral squared image used for quick calculation of local standard deviation of intensity values. The proposed method provides reduction of binarization running time by 5 orders on average. Introduction of the algorithm into microbiological laboratory practice would eliminate the negative impact of fluorescence on doctor's eyes caused by visual microscopic analysis of cell culture preparations, significantly reduce complexity and time of the analysis of one preparation and increase overall accuracy of the cultural method.
Publications with keywords: segmentation, adaptive binarization, integral image, color deconvolution, fluorescent image, automated microscopy
Publications with words: segmentation, adaptive binarization, integral image, color deconvolution, fluorescent image, automated microscopy
References
1. Wu Q., Merchant F A., Castleman K.R. Microscope Image Processing. Oxford: Academic Press, 2008. 548 p.
2. Shorte S.L., Frischknecht F. (Eds.). Imaging cellular and molecular biologicalfunctions. Springer Berlin Heidelberg, 2007. 472 p. (Ser. Principles andPractice). DOI: 10.1007/978-3-540-71331-9
3. Lacey A.J. (ed.). Light Microscopy in Biology: A Practical Approach. Oxford University Press, Oxford, United Kingdom, 1989. 329 p. (The Practical Approach Series). (Russ. ed.: Leysi A. (ed.). Svetovaya mikroskopiya v biologii. Metody. Moscow, Mir, 1992. 464 p.).
4. Lukicheva T.I., Men'shikov V.V. Kliniko-laboratornye analiticheskie tekhnologii i oborudovanie [Clinical and laboratory analytical technologies and equipment]. Moscow, Publishing center «Akademiya», 2007. 240 p.
5. Granitov V. M. Khlamidiozy [Chlamydioses]. Moscow, Meditsinskaya kniga; N. Novgorod, NSMA Publ., 2002. 192 p.
6. Yakubovich A.I., Korepanov A.R. Urogenital'nyy khlamidioz [Urogenital chlamydiosis]. Irkutsk, Printing center «RIEL», 2007. 108 p.
7. Skarbek W., Koschan A. Colour image segmentation: a survey. Technical report № 94-32. Technical University of Berlin, 1994. 80 p.
8. Gonzales R.C., Woods R.E., Eddins S.L. Digital Image Processing UsingMATLAB. Prentice Hall, 2003, 624 p. (Russ. ed.: Gonsales R., Vuds R., Eddins S. Tsifrovaia obrabotka izobrazhenii v sredeMATLAB. Moscow, Tekhnosfera, 2006. 616 p.).
9. Trier O.D., Taxt T. Evaluation of Binarization Methods for Document Images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995, vol. 17, no. 3, pp. 312-315. DOI: 10.1109/34.368197
10. Artyukhova O.A. Avtomatizirovannyy analiz flyuorestsentnykh izobrazheniy mikrobiologicheskikh preparatov [Automated analysis of fluorescent image of microbiological preparations]. 10MNTK "Fizika i radioelektronika v meditsine i ekologii FREME'2012": materialy [Proc. of the 10th scientific-practical conference "Physics and Radioelectronics in medicine and ecology PREME'2012"]. Vladimir, 2012, Book 2, pp. 111-113.
11. Artyukhova O.A., Kost E.A., Samorodov A.V., Didenko L.V. Razrabotka algoritma avtomatizirovannogo analiza izobrazheniy khlamidiy v kul'ture kletok [Development of algorithm of automated image analysis of chlamydia in the culture of cells]. 5 VNPK "Tsitomorfometriya v meditsine i biologii: fundamental'nye i prikladnye aspekty": materialy [Proc. of the 5th scientific-practical conference "Cytomorphometry in Medicine and Biology: Fundamental and Applied Aspects"]. Moscow, 2012, pp. 10-11.
12. Ruifrok A.C., Johnston D.A. Quantification of histochemical staining by color deconvolution. Anal Quant CytolHistol, 2001, vol. 23, pp. 291-299.
13. Tuchin V.V. (ed.). Handbook of Optical Biomedical Diagnostics. Bellingham, Washington, SPIE Press, 2002. 1093 p. (Russ. ed.: Tuchin V.V. (ed.). Opticheskaya biomeditsinskaya diagnostika. V2 t. T. 1. Moscow, Fizmatlit, 2007. 560 p.).
14. Sluder G., Wolf D. (eds). Digital Microscopy. 2nd ed. of "Video Microscopy". Academic Press, 2003. 544 p. (Ser. Methods in Cell Biology, vol. 72). ISBN 13: 978-0-12-564169-2
15. Viola P., Jones M.J. Robust real-time face detection. International Journal of Computer Vision, 2004, vol. 57, no. 2, pp. 137-154. DOI: 10.1023/B:VISI.0000013087.49260.fb
