CC BY
2УДК 616.341+611.018.25+591.81+004.932.2 DOI: 10.56871/ViM.2024.13.21.002
СОВРЕМЕННЫЕ ПОДХОДЫ К СЕГМЕНТАЦИИ БОКАЛОВИДНЫХ КЛЕТОК ТОНКОЙ КИШКИ НА ЦИФРОВЫХ МИКРОФОТОГРАФИЯХ
© Артём Викторович Леванчук, Александра Александровна Тихомирова,
Михаил Александрович Дохов, Алина Андреевна Белая, Марина Валерьевна Липендина
Санкт-Петербургский государственный педиатрический медицинский университет. 194100, г. Санкт-Петербург, ул. Литовская, д. 2
Контактная информация: Артём Викторович Леванчук — преподаватель кафедры медицинской информатики. E-mail: [email protected] ORCID: https://orcid.org/0000-0003-4248-4392 SPIN: 6116-5289
Для цитирования: Леванчук А.В., Тихомирова А.А., Дохов М.А., Белая А.А., Липендина М.В. Современные подходы к сегментации бокаловидных клеток тонкой кишки на цифровых микрофотографиях // Визуализация в медицине. 2024. Т. 6. № 2. С. 10-15. DOI: https://doi.org/10.56871/ViM.2024.13.21.002
Поступила: 25.03.2024 Одобрена: 08.04.2024 Принята к печати: 27.06.2024
РЕЗЮМЕ. Введение. Обнаружение и ограничение по контуру отдельных клеток на цифровых микрофотографиях является наиболее сложным шагом в цитомерии, при автоматизации которого используются различные методы, позволяющие установить корректный диагноз. Цель исследования. Определить наиболее часто встречающиеся в научной литературе методы сегментации бокаловидных клеток тонкой кишки. Материалы и методы. Анализ публикаций, индексируемых в РИНЦ, Scopus; цифровые микрофотографии для оценки количества клеток в поле зрения. Исследование проводилось с помощью открытого программного обеспечения для анализа биомедицинских изображений ImageJ. Использованы цифровые микрофотографии из открытых баз данных openmicroscopy.org и openslide.org. Результаты. Для детекции бокаловидных клеток в эпителии тонкой кишки применяются разнообразные методы, причем наиболее широко распространенным в научной литературе является подход, основанный на пороговой сегментации. Морфологическая сегментация занимает второе место по встречаемости, в то время как фасеточная сегментация, сегментация на основе управляемого водораздела и метод роста областей применяются в меньшем объеме исследований. Такой выбор методов можно связать с используемыми классификаторами, требующими определенных параметров для отнесения выделенного объекта к одному из типов/классов. Заключение. Выбор конкретного метода сегментации связан с подходами, на которых основана работа современных классификаторов клеточных изображений, относящих фрагменты исследуемого изображения к той или ной группе, а именно извлечение числовых признаков, классификация с помощью нейронных сетей и транспортная морфометрия.
Ключевые слова: компьютерная морфометрия, анализ микрофотографий, сегментация изображений
MODERN APPROACHES TO SEGMENTATION OF SMALL INTESTINE GOBLET CELLS ON DIGITAL MICROPHOTOS
© Artem V. Levanchuk, Aleksandra A. Tikhomirova, Mikhail A. Dokhov, Alina A. Belaya, Marina V. Lipendina
Saint Petersburg State Pediatric Medical University. 2 Lithuania, Saint Petersburg 194100 Russian Federation
Contact information: Artem V. Levanchuk — Lecturer of the Department of Medical Informatics. E-mail: [email protected]
ORCID: https://orcid.org/0000-0003-4248-4392 SPIN: 6116-5289
For citation: Levanchuk AV, Tikhomirova AA, Dokhov MA, Belaya AA, Lipendina MV. Modern approaches to segmentation of small
intestine goblet cells on digital microphotos. Visualization in medicine. 2024;6(2):10-15. DOI: https://doi.org/10.56871/ViM.2024.13.21.002
Received: 25.03.2024 Revised: 08.04.2024 Accepted: 27.06.2024
Abstact. Introduction. Detection and delineation of individual cells in digital micrographs is the most complex step in cytometry, which is automated using a variety of techniques to achieve the correct diagnosis. Purpose of the research. Determine the methods of segmentation of goblet cells of the small intestine most commonly used in the scientific literature. Materials and methods. Analysis of publications in the Russian Science Citation Index, Scopus; digital micrographs to estimate the number of cells in the field of view. The study was conducted using open-source biomedical image analysis software ImageJ. Digital micrographs from the open databases openmi-croscopy.org and openslide.org were used. Results. A variety of methods have been used to detect goblet cells in the small intestinal epithelium, with the approach based on threshold segmentation being the most widely used in the scientific literature. Morphological
segmentation is the second most commonly used segmentation, while facet segmentation, driven watershed segmentation, and region growth are used in less research. This choice of methods can be associated with the classifiers used, which require certain parameters to classify the selected object as one of the types/classes. Conclusion. The choice of a specific segmentation method is associated with the approaches on which the work of modern cellular image classifiers is based, assigning fragments of the studied image to a particular group, namely the extraction of numerical features, classification using neural networks and transport morphometry
Keywords: computer morphometry, analysis of microphotographs, image segmentation
ВВЕДЕНИЕ
Автоматизированная визуализация характеризуется общими требованиями, и наиболее сложным этапом анализа данных цитометрии изображений считается способность обнаруживать и выделять контуры отдельных клеток [1, 2]. Бокаловидные клетки, расположенные в эпителии тонкого кишечника, продуцируют муцин и играют важную роль в переваривании и всасывании питательных веществ. Их количество может изменяться при поражении/воспалении тонкого кишечника [3, 4].
На данный момент актуальной задачей является подсчет бокаловидных клеток тонкой кишки для определения состояния здоровья кишечника. Процедура требует большого количества времени и является трудоемкой. В сравнении с ручным подсчетом, автоматизированный при точно заданных параметрах обнаруживает и очерчивает контуры отдельных клеток с большей точностью, но все еще не является достаточно эффективным, поэтому важно определить метод сегментации, позволяющий наиболее четко идентифицировать контуры клеток. Проблема точного подсчета остается нерешенной [5-13].
ЦЕЛЬ ИССЛЕДОВАНИЯ
Целью исследования является определение наиболее часто встречающихся в научной литературе методов сегментации бокаловидных клеток тонкой кишки. Выполнен анализ научных публикаций, индексируемых в базах данных РИНЦ и Scopus. Результат применения каждого метода проиллюстрирован в программе ImageJ на типовых цифровых микрофотографиях бокаловидных клеток, полученных из наборов данных, представленных на платформах openmicroscopy.org и openslide.org.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
При использовании пороговой сегментации изображение в оттенках серого преобразуется в черно-белое путем выбора определенного порогового значения. В результате этой сегментации изображение становится монохромным, где пиксели имеют значения 0 (для объектов) или 1 (для фона) (рис. 1).
Важная задача данного вида сегментации — выбор подходящего порогового значения, позволяющего исключить ошибки определения границ областей. Такого эффекта можно добиться, применяя метод Отсу [14], заключающийся в разделении изображений на два класса пикселей так, чтобы максимизировалась дисперсия. Такой метод сегментации эффективен только для небольшого круга изображений, в которых объект и фон четко различаются по яркостному признаку.
На основе классической пороговой сегментации авторами Д.А. Бушенко, Р.А. Садыховым был разработан способ определения пороговой величины
Рис. 1. Результат применения пороговой сегментации на типовой микрофотографии бокаловидных клеток тонкого кишечника в программной среде ImageJ Fig. 1. The result of applying threshold segmentation on a typical micrograph of goblet cells of the small intestine in the ImageJ software environment
Рис. 2. Многоуровневое изображение бокаловидных кле- Рис. 3. ток тонкого кишечника, как результат применения модифицированной пороговой сегментации на микрофотографии в программной среде ImageJ Fig. 2. Multilevel image of goblet cells of the small intestine as Fig. 3. a result of applying modified threshold segmentation on micrographs in the ImageJ software environment
Результат применения алгоритма метода маркерного водораздела на типовой микрофотографии бокаловидных клеток тонкого кишечника в программной среде ImageJ
The result of applying the marker watershed method algorithm on a typical micrograph of goblet cells of the small intestine in the ImageJ software environment
для выделения протяженных объектов на слабоконтрастных изображениях [15, 16], на основе которого на исходном изображении были успешно выделены бокаловидные клетки (рис. 2).
Модифицированный алгоритм использует статистическое среднее значение яркости пикселей выделенных границ с последующей сегментацией объектов с выделением пикселей, принадлежащих одному искомому объекту, среди которых выделяются наиболее протяженные, отсеивается лишнее.
При использовании метода морфологической сегментации сначала необходимо найти контур клетки, соответствующий ее мембране, при помощи морфологического градиента. Контур должен проходить по резкому перепаду яркости в мембране, поэтому используется полутоновое утоньшение, в котором толщина всех линий — один пиксель.
Метод сегментации управляемого водораздела основан на математической морфологии и чаще применяется для выделения эпителиальных клеток. Метод основан на том, что изображение рассматривается как местность, заполняемая водой с образованием бассейнов. Места соединений бассейнов отмечаются как линии водораздела. Недо-
статками данного метода являются чувствительность к шумам и избыточная сегментация, которые устраняются при помощи маркерного водораздела.
Алгоритм сегментирования бокаловидных клеток тонкой кишки, использующий метод маркерного водораздела, содержит в себе преобразование изображения и вычисление значения градиента яркости с помощью оператора Собеля, затем вычисляются зоны сегментации с черными зонами (объектами), далее вычисляются маркеры переднего плана (операции «раскрытие» и «закрытие», они позволяют анализировать внутреннюю область объекта) и фона. Далее функция сегментации преобразовывается так, чтобы ее минимум располагался на маркерах переднего плана и фона, после вычисляется преобразование водораздела (рис. 3) [17].
Метод роста областей применяется, когда структура ткани выступает в роли фона, затрудняя выделение клеток или сегментацию по порогам. Сначала случайным образом выбираются небольшие области, состоящие из нескольких пикселей, которые становятся стартовыми точками для роста информационных областей. Эффективность способа заключается в использовании бинарных морфологических
Рис. 4. Результат применения алгоритма метода роста об- Рис. 5. ластей на типовой микрофотографии бокаловидных клеток тонкого кишечника в программной среде ImageJ
Fig. 4. The result of applying the algorithm of the region Fig. 5. growth method on a typical micrograph of goblet cells of the small intestine in the ImageJ software environment
Результат применения алгоритма фасеточной сегментации на типовой микрофотографии бокаловидных клеток тонкого кишечника в программной среде ImageJ
The result of applying the facet segmentation algorithm on a typical micrograph of goblet cells of the small intestine in the ImageJ software environment
операций (например, морфологический градиент, полутоновое утоньшение, бинаризация, инверсия) для инициализации начальных областей. Полученное бинарное изображение состоит из плотно прилегающих областей, разделенных линиями шириной в 1 пиксель, чтобы предотвратить их дальнейший рост. Объединение областей происходит путем измерения и анализа их характеристик, включая их форму, размер и другие параметры. Для этого может проводиться двойная идентификация, включающая определение соседних областей. Характеристики соседней области сравниваются с исходной областью по таким условиям, как:
• разница дисперсий для полутоновой величины не должна превышать заданного значения, определяющего отличие клетки от ткани;
• среднее значение полутоновой величины каждой области не должно выходить за пределы, ограниченные дисперсией другой области. Для определения принадлежности клетки измеряются ее геометрические характеристики. Области, которые не соответствуют бокаловидной клетке, удаляются, а оставшиеся заливаются цветом (рис. 4).
Преимущества метода роста областей:
• результат зависит только от порога дисперсии;
• метод работает быстрее, так как в его основе лежит только объединение областей.
Для анализа сложных изображений, где объекты имеют нечеткие пересекающиеся границы, применяются алгоритмы, которые учитывают геометрические особенности границ. Существует метод, который разбивает изображения на однородные фрагменты (фасеты) на основе цветовой яркости. Для формирования клеточных областей фасеты объединяются согласно определенным критериям. Важными факторами при объединении фасетов являются средняя кривизна границ, доля границы в периметре и различия в оптических свойствах (рис. 5) [18, 19].
Поскольку препарат тонкой кишки неоднороден по структуре, границы между бокаловидными и эпителиальными клетками слабоконтрастные, присутствует пересечение оптических плотностей, можно предположить, что данный метод сегментации упростит подсчет процентного содержания бокаловидных клеток для улучшения диагностики заболеваний тонкой кишки.
ВЫВОДЫ
ЛИТЕРАТУРА
Для выделения бокаловидных клеток в эпителии тонкой кишки применяют несколько методов. Наиболее часто в научной литературе встречается пороговая сегментация; на втором месте по популярности — морфологическая сегментация; в меньшем количестве работ используются фасеточная сегментация, а также сегментация с использованием управляемого водораздела и метод роста областей.
Такой выбор методов можно связать с применяемыми классификаторами, требующими определенных параметров для отнесения выделенного объекта к одному из типов/классов. Таким образом, подходы, на которых основана работа современных классификаторов клеточных изображений по отнесению фрагментов исследуемого изображения к той или иной группе, а именно извлечение числовых признаков, классификация с помощью нейронных сетей и транспортная мор-фометрия, приводят к выбору конкретных методов сегментации.
Результаты исследования могут быть использованы для определения более точного метода сегментации посредством проведения сравнительного анализа с набором критериев.
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Вклад авторов. Все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией.
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.
ADDITIONAL INFORMATION
Author contribution. Thereby, all authors made a substantial contribution to the conception of the study, acquisition, analysis, interpretation of data for the work, drafting and revising the article, final approval of the version to be published and agree to be accountable for all aspects of the study.
Competing interests. The authors declare that they have no competing interests.
Funding source. This study was not supported by any external sources of funding.
1. Леванчук А.В., Тихомирова А.А., Дохов М.А., Крылова Ю.С. Распространенность применения программного обеспечения для автоматизированного подсчета клеток в поле зрения в научной литературе. Children's Medicine of the North-West. 2021;9(1):222-223. EDN: PTYIAK.
2. Стернин В.Е., Дохов М.А., Тихомирова А.А., Леванчук А.В. Методы предварительной обработки цифровых фотографий лимфоцитов. Визуализация в медицине. 2023;5(3):16-20. EDN: LYFJFS.
3. Jahanian E., Mahdavi A.H., Asgary S., Jahanian R. Effect of dietary supplementation of mannanoligosaccharides on growth performance, ileal microbial counts, and jejunal morphology in broiler chicks exposed to aflatoxins. Livestock Science. 2016;190:123-130.
4. Шарапов И.Ю., Кварацхелиия А.Г., Болгучева М.Б., Коротких К.Н. Функциональная морфология бокаловидных клеток тонкой кишки при действии различных факторов. Журнал анатомии и гистопатологии. 2021;10(2):73-79.
5. Application of Morphological Operations for Improvement the Segmentation Image of Chicken Intestinal Goblet Cells. International Journal of Computer Applications. 2019;182(41):18-23.
6. Prewitt J.M., Mendelsohn M.L. The analysis of cell images. Ann N Y Acad Sci. 1966;128(3):1035-1053.
7. Boschetto D., Mirzaei H., Leong R.W., Grisan E. Detection and density estimation of goblet cells in confocal endosco-py for the evaluation of celiac disease. Annu Int Conf IEEE Eng Med Biol Soc. 2015;2015:6248-6251. DOI: 10.1109/ EMBC.2015.7319820.
8. Gustafsson J.K., Davis J.E., Rappai T., McDonald K.G., Kulkar-ni D.H., Knoop K.A., Hogan S.P., Fitzpatrick J.A., Lencer W.I., Newberry R.D. Intestinal goblet cells sample and deliver lu-menal antigens by regulated endocytic uptake and transcytosis. Elife. 2021;10:e67292. DOI: 10.7554/eLife.67292.
9. Kim Y.S., Ho S.B. Intestinal goblet cells and mucins in health and disease: recent insights and progress. Curr Gastroenterol Rep. 2010;12:319-330. DOI: 10.1007/s11894-010-0131-2.
10. Knoop K.A, McDonald K.G., McCrate S., McDole J.R., Newberry R.D. Microbial sensing by goblet cells controls immune surveillance of luminal antigens in the colon. Mucosal Immunol. 2015;8:198-210. DOI: 10.1038/mi.2014.58.
11. Kulkarni D.H., McDonald K.G., Knoop K.A., Gustafs-son J.K., Kozlowski K.M., Hunstad D.A., Miller M.J., New-berry R.D. Goblet cell associated antigen passages are inhibited during Salmonella typhimurium infection to prevent pathogen dissemination and limit responses to dietary antigens. Mucosal Immunol. 2018;11:1103-1113. DOI: 10.1038/ s41385-018-0007-6.
12. Димов И.Д., Кашин А.Д., Здорикова М.А., Зайцева А.В., Денисова Г.Н., Карелина Н.Р. Механизмы транспорта ли-пидов через энтероцит кишечной ворсинки. Российские биомедицинские исследования. 2020;5(2):24-30.
13. Schneider C.A., Rasband W.S., Eliceiri K.W. NIH Image to ImageJ: 25 years of image analysis. Nat Methods. 2012;9:671-675. DOI: 10.1038/nmeth.2089.
14. Otsu N. A threshold selection method from gray-level histograms. IEEE Trans. Sys., Man., Cyber. 1979;9:62-66.
15. Бушенко Д.А., Садыхов Р.А. Модифицированный алгоритм адаптивной пороговой сегментации в задачах выделения протяженных объектов на слабоконтрастных изображениях. Доклады БГУИР 2008.
16. Храмцов А.И., Насыров Р.А., Храмцова Г.Ф. Применение информатики в работе патологоанатома: обучение составлению и использованию цифрового архива изображений макропрепаратов. Педиатр. 2021 ;12(1):5-10. DOI: 10.17816/PED1215-10.
17. Уалиева И.М., Жукешева Ж.К. Сегментация микроскопических изображений эпителиальных клеток. Молодой ученый. 2016;10(114):92-96. Доступен по: https://moluch.ru/ archive/114/29771 (дата обращения: 15.08.2024).
18. Медовый В.С., Балабуткин В.А., Иванов А.В., Козинец Г.И. Способ адаптивной автоматической сегментации и распознавания клеток на изображениях цитологических препаратов. Российское агентство по патентам и товарным знакам. 20.06.1999.
19. Храмцов А.И., Насыров Р.А., Храмцова Г.Ф. Обучение врачей-патологоанатомов цифровой фотографии макропрепаратов. Педиатр. 2020;11(4):85-90. DOI: 10.17816/PED11485-90.
REFERENCES
1. Levanchuk A.V., Tikhomirova A.A., Dokhov M.A., Kry-lova Yu.S. Prevalence of the use of software for automated cell counting in the field of view in the scientific literature. Children's Medicine of the North-West. 2021;9(1):222-223. EDN: PTYIAK. (In Russian).
2. Sternin V.E., Dokhov M.A., Tikhomirova A.A., Levanchuk A.V. Methods of preliminary processing of digital photographs of lymphocytes. Visualization in Medicine. 2023;5(3):16-20. EDN LYFJFS. (In Russian).
3. Jahanian E., Mahdavi A.H., Asgary S., Jahanian R. Effect of dietary supplementation of mannanoligosaccharides on growth performance, ileal microbial counts, and jejunal morphology in broiler chicks exposed to aflatoxins. Livestock Science. 2016;190:123-130.
4. Sharapov I.Yu., Kvaratskheliia A.G., Bolgucheva M.B., Ko-rotkikh K.N. Functional morphology of goblet cells of the small intestine under the influence of various factors. Zhurnal anatomii i gistopatologii. 2021;10(2):73-79.
5. Application of Morphological Operations for Improvement the segmentation image of chicken intestinal goblet cells. International Journal of Computer Applications. 2019;182(41):18-23.
6. Prewitt J.M., Mendelsohn M.L. The analysis of cell images. Ann N Y Acad Sci. 1966;128(3):1035-1053.
7. Boschetto D., Mirzaei H., Leong R.W., Grisan E. Detection and density estimation of goblet cells in confocal endosco-
py for the evaluation of celiac disease. Annu Int Conf IEEE Eng Med Biol Soc. 2015;2015:6248-6251. DOI: 10.1109/ EMBC.2015.7319820.
8. Gustafsson J.K., Davis J.E., Rappai T., McDonald K.G., Kulkarni D.H., Knoop K.A., Hogan S.P., Fitzpatrick J.A., Lencer W.I., Newberry R.D. Intestinal goblet cells sample and deliver lumenal antigens by regulated endocytic uptake and transcytosis. Elife. 2021;10:e67292. DOI: 10.7554/ eLife.67292.
9. Kim Y.S., Ho S.B. Intestinal goblet cells and mucins in health and disease: recent insights and progress. Curr Gastroenterol Rep. 2010;12:319-330. DOI: 10.1007/s11894-010-0131-2.
10. Knoop K.A, McDonald K.G., McCrate S., McDole J.R., Newberry R.D. Microbial sensing by goblet cells controls immune surveillance of luminal antigens in the colon. Muco-sal Immunol. 2015;8:198-210. DOI: 10.1038/mi.2014.58.
11. Kulkarni D.H., McDonald K.G., Knoop K.A., Gustafs-son J.K., Kozlowski K.M., Hunstad D.A., Miller M.J., New-berry R.D. Goblet cell associated antigen passages are inhibited during Salmonella typhimurium infection to prevent pathogen dissemination and limit responses to dietary antigens. Mucosal Immunol. 2018;11:1103-1113. DOI: 10.1038/ s41385-018-0007-6.
12. Dimov I.D., Kashin A.D., Zdorikova M.A., Zajceva A.V., Denisova G.N., Karelina N.R. Mechanisms of lipid transport through enterocyte of intestinal villi. Russian Biomedical Research. 2020;5(2):24-30. (In Russian).
13. Schneider C.A., Rasband W.S., Eliceiri K.W. NIH Image to ImageJ: 25 years of image analysis. Nat Methods. 2012; 9:671-675. DOI: 10.1038/nmeth.2089.
14. Otsu N. A threshold selection method from gray-level histograms. IEEE Trans. Sys., Man., Cyber. 1979; 9:62-66.
15. Bushenko D.A., Sadykhov R.A. Modified algorithm of adaptive threshold segmentation in problems of detecting extended objects in low-contrast images. Doklady BGUIR. 2008. (In Russian).
16. Khramtsov A.I., Nasyrov R.A., Khramtsova G.F. Application of informatics in the work of a pathologist: training in the compilation and use of a digital archive of images of mac-ropreparations. Pediatr. 2021; 12(1):5-10. DOI: 10.17816/ PED1215-10. (In Russian).
17. Ualieva I.M., Zhukesheva Zh.K. Segmentation of microscopic images of epithelial cells. Molodoj uchenyj. 2016; 10(114): 92-96. Available at: https://moluch.ru/ar-chive/114/29771 (accessed: 15.08.2024). (In Russian).
18. Medovyj V.S., Balabutkin V.A., Ivanov A.V., Kozinec G.I. Method for adaptive automatic segmentation and recognition of cells in images of cytological preparations. Rossijskoe agentstvo po patentam i tovarnym znakam. 20.06.1999.
19. Hramcov A.I., Nasyrov R.A., Hramcova G.F. Training of pathologists in digital photography of macropreparations. Pediatr. 2020;11(4):85-90. DOI: 10.17816/PED11485-90. (In Russian).
