CC BY
1УДК 004.93'1/.932+519.688+612.112.94
МЕТОДЫ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ЦИФРОВЫХ ФОТОГРАФИЙ ЛИМФОЦИТОВ
© Вадим Евгеньевич Стернин, Михаил Александрович Дохов, Александра Александровна Тихомирова, Артем Викторович Леванчук
Санкт-Петербургский государственный педиатрический медицинский университет. 194100, г. Санкт-Петербург, ул. Литовская, д. 2
Контактная информация: Вадим Евгеньевич Стернин — преподаватель кафедры медицинской информатики. E-mail: [email protected] ORCID ID: 0009-0004-5039-0833 SPIN: 2190-5634
Для цитирования: Стернин В.Е., Дохов М.А., Тихомирова А.А., Леванчук А.В. Методы предварительной обработки цифровых фотографий лимфоцитов // Визуализация в медицине. 2023. Т. 5. № 3. С. 16-20.
Поступила: 30.06.2023 Одобрена: 25.08.2023 Принята к печати: 21.09.2023
Резюме. Цель исследования. Выбор метода предобработки цифровых микрофотографий лимфоцитов для повышения точности автоматизированной оценки количества клеток в поле зрения. Материалы и методы. В данной работе были использованы цифровые микрофотографии лимфоцитов, находящиеся в открытых базах данных openmicroscopy.org и openslide.org. Исследование проводилось с помощью открытого программного обеспечения для анализа биомедицинских изображений QuPath и ImageJ. Для автоматического подсчета с помощью фильтрации изображения в программе ImageJ менялась контрастность и удалялись шумы из микрофотографии. Основным критерием выбора метода предобработки являлась оценка точности полученных результатов. Результаты. Обработаны цифровые микрофотографии (n=40) лимфоцитов с количеством полей 10 в каждой. Проведена статистическая обработка результатов подсчета количества лимфоцитов в поле зрения с применением различных методов фильтрации при автоматическом и ручном подсчетах. Выводы. Применение фильтрации методом нерезкого маскирования увеличивает точность оценки количества лимфоцитов в поле зрения.
Ключевые слова: компьютерная морфометрия, анализ микрофотографий; предобработка микрофотографий; фильтрация медицинских изображений.
METHODS OF PREPROCESSING DIGITAL PHOTOS OF LYMPHOCYTES
© Vadim E. Sternin, Mikhail A. Dokhov, Aleksandra A. Tikhomirova, Artem V. Levanchuk
Saint Petersburg State Pediatric Medical University. Lithuania 2, Saint Petersburg, Russian Federation, 194100
Contact information: Vadim E. Sternin — Teacher at the Department of Medical Informatics. E-mail: [email protected]
ORCID ID: 0009-0004-5039-0833 SPIN: 2190-5634
For citation: Sternin VE, Dokhov MA, Tikhomirova AA, Levanchuk AV. Methods of preprocessing digital photos of lymphocytes.
Visualization in medicine (St. Petersburg). 2023;5(3):16-20.
Received: 30.06.2023 Revised: 25.08.2023 Accepted: 21.09.2023
Abstact. Purpose of the research. Choosing the method of preprocessing digital microphotographs of lymphocyte cells to improve the accuracy of automated assessment of the number of cells in the field of view. Materials and methods. In this work, digital micrographs of lymphocyte cells were used, which are in open databases openmicroscopy.org and openslide.org. The study was conducted using open source biomedical image analysis software QuPath and ImageJ. For automatic counting using image filtering, the contrast was changed in the ImageJ program and noise was removed from the micrograph. The main criterion for choosing the preprocessing method was the evaluation of the accuracy of the results obtained. Results. Digital micrographs (n=40) of lymphocyte cells with 10 fields in each were processed. Statistical processing of the results of automatic counting of the number of lymphocyte cells in the field of vision using various filtration methods and after manual counting was carried out. Conclusions. The use of filtering by the method of blurred masking increases the accuracy of estimating the number of lymphocyte cells in the field of view.
Key words: computer morphometry; analysis of microphotographs; preprocessing of microphotographs; filtering of medical images.
ВВЕДЕНИЕ
В настоящее время в медицине все большее распространение получают компьютерные технологии
[1], позволяющие решать задачи медицинской классификации. Одной из важных частей диагностического процесса является получение цифровых изображений для постановки корректного диагноза.
Процесс распознавания медицинских микрофотографий включает в себя ряд этапов: предобработка микрофотографии, сегментация для выделения объектов, идентификация или распознавание.
Предварительная обработка нужна для того, чтобы снижать уровень шумов, повышать контрастность изображения, улучшать видимость объектов на микрофотографии, устранять размытость границ [2]. Авторы выделяют несколько показателей, подходящих для определения качества предобработки микрофотографий: меры размытости, сегментации, энтропии изображения, резкости, уровни шумов [3, 4].
Методы, используемые на этапе предварительной обработки, различны и зависят от задач исследования. Исследователи выделяют среди методов предварительной обработки микрофотографий выделение наиболее информативных фрагментов, их увеличение, цветокартирование, изменение пространственного разрешения, изменение контрастного разрешения и т.п. [5-7]. К основным действиям, проводящимся на этапе предварительной обработки относятся изменения контрастности и яркости изображения, которые в свою очередь делятся на линейные, нелинейные и адаптивные. При применении соответствующих фильтров можно соединить два этапа (этап фильтрации и этап предварительной обработки) для обеспечения быстродействия. Этап предварительной обработки также предусматривает геометрические операции над изображением. К ним относятся методы поворота изображения, увеличения и уменьшения изображения. Однако основным способом повышения качества предобработки микрофотографии является фильтрация [8, 9]. Фильтрация необходима для удаления шумов и придания большей контрастности изображению.
Авторы ряда исследований отмечают важность предварительной обработки изображений, так как она повышает точность результатов подсчета на 8-15% в зависимости от выбранного способа предобработки [7, 10].
В данном исследовании проводилась предобработка микрофотографий лимфоцитов. Перед подсчетом количества лимфоцитов была проведена предварительная обработка микрофотографий с помощью различных методов фильтрации.
ЦЕЛЬ ИССЛЕДОВАНИЯ
Выбор метода предобработки цифровых микрофотографий лимфоцитов для повышения точности автоматизированной оценки количества клеток в поле зрения.
МАТЕРИАЛЫ И МЕТОДЫ
Применение фильтров производилось в программе ImageJ, а подсчет количества клеток — в программе QuPath. Микрофотографии лимфоцитов брались из открытых баз данных openmicroscopy. org [11] и openslide.org [12]. В рамках исследования были изучены 40 изображений лимфоцитов (10 полей зрения в каждом с количеством клеток, примерно равным 100).
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Изображения лимфоцитов из открытых баз данных openmicroscopy.org и openslide.org были взяты без предварительной фильтрации (рис. 1). Автоматический подсчет на прямоугольных полях зрения осуществлялся через функцию Cell detection в программе QuPath. Далее проводилось сравнение с ручным подсчетом.
Среднее количество лимфоцитов на изображении для всей выборки из 40 изображений по результатам ручного подсчета равнялось 97. Далее считалось расхождение между результатом автоматизированного подсчета количества лимфоцитов с применением различных фильтров и с ручным подсчетом. В рамках исследования для сравнения были взяты ряд фильтров, имеющихся в наличии в программе ImageJ:
1. Фильтр Гаусса соединяет обработку частоты изображения и обработку во временной области как фильтр нижних частот, который может отфильтровывать шумы, и тем самым сглаживать изображение. Гауссова фильтрация — это фильтр линейного сглаживания, подходящий для устранения гауссовского шума и широко использующийся в процессе
Рис. 1. Пример изображения лимфоцитов до применения фильтра
Рис. 2. Пример изображения лимфоцитов после применения фильтра Unsharpe mask
Таблица 1
Количество клеток при обработке микрофотографий после ручного и автоматизированного подсчета с применением различных фильтров (в среднем на одно изображение)*
уменьшения шума при обработке изображений. Гауссовы сглаживающие фильтры очень эффективны в подавлении шумов, которые характерны для нормального распределения [13, 14].
2. Нерезкое маскирование. Это технологический прием обработки изображения, который позволяет добиться повышения субъективной четкости за счет усиления контраста мелких деталей при неизменном общем контрасте. Нерезкое маскирование усиливает локальный контраст изображения на тех участках, где изначально присутствовали резкие изменения градаций цвета (рис. 2). Благодаря этому изображение визуально воспринимается как более резкое [15, 16].
3. Медианный фильтр — фильтр, при котором значения внутри него сортируются в порядке возрастания или убывания. Значение, находящееся в середине упорядоченного списка, поступает на выход фильтра. Его особенностью является то, что он сохраняет четкие границы между областями разных цветов, а преимуществами данного метода являются
быстрота выполнения фильтрации и простота реализации алгоритма. К недостаткам можно отнести сравнительно плохое воспроизведение изображения после фильтрации, замазывание контуров и мелких деталей изображения даже при небольшом количестве шума, слабую чувствительность метода к особенностям распределения яркости пикселей на изображении, особенно если нет четкого разделения между темными и светлыми участками [14, 17].
Анализ результатов применения фильтров показал, что улучшение точности подсчета количества клеток достигается за счет увеличения контрастности изображения. Как показано в таблице 1, наибольшие различия при автоматизированном и ручном подсчете с фильтрацией и без ее применения были выявлены при использовании нерезкого маскирования.
Анализ данных, представленных в таблице 1, показал, что средние значения автоматического подсчета после фильтрации методом нерезкого маскирования отличаются на 15,4% от значений ручного подсчета без использования фильтров, другие фильтры показали меньшие различия (фильтр Гаусса — 7,2%, медианный фильтр — 11,3%).
Статистическая обработка показала, что в двух выборках (ручной и автоматизированный подсчеты) выявлены достоверные различия (р <0,05) [18] по количеству выявленных лимфоцитов, что явилось следствием использования фильтрации методом нерезкого маскирования при предварительной обработке изображения.
ВЫВОДЫ
Наибольшую точность при проведении исследования показало применение фильтрации с помощью нерезкого маскирования. При применении данного метода фильтрации была продемонстрирована наибольшая разница в оценке количества лимфоцитов при автоматизированном подсчете в программе QuPath и ручном подсчете.
Дальнейшим направлением исследований будет выявление оптимального алгоритма сегментации изображения лимфоцитов для корректного выбора полей зрения на микрофотографиях.
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Вклад авторов. Все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией.
Методы подсчета клеток Метод фильтрации
фильтр Гаусса нерезкое маскирование медианный фильтр
Ручной 87,8 89,1 87,9
Автоматизированный 94,6 105,3 99,1
* Уровень значимости р <0,05 при сравнении результатов подсчета числа клеток.
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.
ADDITIONAL INFORMATION
Author contribution. Thereby, all authors made a substantial contribution to the conception of the study, acquisition, analysis, interpretation of data for the work, drafting and revising the article, final approval of the version to be published and agree to be accountable for all aspects of the study.
Competing interests. The authors declare that they have no competing interests.
Funding source. This study was not supported by any external sources of funding.
ЛИТЕРАТУРА
1. Дементьев Н.А., Тихомирова А.А., Дохов М.А., Стер-нин В.Е. Обоснование подходов к компьютерному распознаванию гистологических структур. Children's Medicine of the North-West. 2021; 9(1): 125-6.
2. Ходкевич И.А., Бояркин С.Е. Предобработка медицинских изображений. Сборник избранных статей научной сессии ТУСУР. 2021; 1(1): 77-80.
3. Батищев Д.С. Метрики качества медицинских изображений. Научный результат. Информационные технологии. 2019; 4(3).
4. Анисимов Б.В. Распознавание и цифровая обработка изображений. М.: Высш. Школа; 1983.
5. Виллевальде А.Ю., Юлдашев 3.М. Метод предварительной обработки медицинских малоконтрастных изображений. Информационно-управляющие системы. 2008; 5(36): 41-4.
6. Яне Б. Цифровая обработка изображений. М.: Техносфера; 2007.
7. Дороничева А.В., Савин С.З. Методы распознавания медицинских изображений для задач компьютерной автоматизированной диагностики. Современные проблемы науки и образования. 2014; 4.
8. Автандилов Г.Г. Медицинская морфометрия. Руководство. М.: Медицина; 1990.
9. Автандилов Г.Г. Морфометрия в развитии доказательной патологической анатомии. Материалы II Московской региональной научно-практической конференции (c международным участием). Цитоморфометрия в медицине и биологии: фундаментальные и прикладные аспекты. М.; 2009: 3-6.6.
10. Шагалова П.А., Ерофеева А.Д., Орлова М.М. и др. Исследование алгоритмов предобработки изображений для
повышения эффективности распознавания медицинских снимков. Нижний Новгород: Труды НГТУ им. Р.Е. Алексеева. 2020: 25-31.
11. Электронный каталог. The Open Microscopy Environment. Электронный ресурс. https://https://www.openmicroscopy. org/
12. Электронный каталог Openslide. Электронный ресурс. https://https://www. openslide.org/
13. Черный С.А. Частотные и пространственные методы цифровой фильтрации изображений. Молодежный научно-технический вестник. МГТУ им. Н.Э. Баумана. Электронный журнал. 2012; 5: 1-7.
14. Каныгина А.А. Сравнение эффективности нелинейных методов фильтрации медицинских изображений. КАРДИО-ИТ. 2017; 1(4): 101.
15. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера; 2006.
16. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде Matlab. М.: Техносфера; 2006.
17. Бирюков Е.Д. Использование медианного фильтра в системе обработки изображений реалистичной компьютерной графики. Новые информационные технологии в автоматизированных системах. 2014; 17: 216-20.
18. Гельман В.Я., Тихомирова А.А., Дохов М.А. Электронные таблицы MS Excel в практической деятельности специалиста здравоохранения. Учебно-методическое пособие. СПб.: СПбГПМУ; 2020. EDN LCYXPX.
REFERENCES
1. Dement'yev N.A., Tikhomirova A.A., Dokhov M.A., Sternin V.Ye. Obosnovaniye podkhodov k komp'yuternomu raspoznavaniyu gistologicheskikh struktur. [Justification of approaches to computer recognition of histological structures]. Children's Medicine of the North-West. 2021; 9(1): 125-6. (in Russian).
2. Khodkevich I.A., Boyarkin S.Ye. Predobrabotka meditsins-kikh izobrazheniy. [Preprocessing of medical images]. Sbornik izbrannykh statey nauchnoy sessii TUSUR. 2021; 1(1): 77-80. (in Russian).
3. Batishchev D.S. Metriki kachestva meditsinskikh izo-brazheniy. [Quality metrics for medical images]. Nauchnyy rezul'tat. Informatsionnyye tekhnologii. 2019; 4(3). (in Russian).
4. Anisimov B.V. Raspoznavaniye i tsifrovaya obrabotka izo-brazheniy. [Recognition and digital image processing]. Moskva: Vyssh. Shkola Publ.; 1983. (in Russian).
5. Villeval'de A.Yu., Yuldashev 3.M. Metod predvaritel'noy obrabotki meditsinskikh malokontrastnykh izobrazheniy. [A method for preprocessing medical low-contrast images]. Informatsionno-upravlyayushchiye sistemy. 2008; 5 (36): 41-4. (in Russian).
6. Yane B. Tsifrovaya obrabotka izobrazheniy. [Digital image processing]. Moskva: Tekhnosfera Publ.; 2007. (in Russian).
7. Doronicheva A.V., Savin S.Z. Metody raspoznavaniya meditsinskikh izobrazheniy dlya zadach komp'yuternoy avtomatizirovannoy diagnostiki. [Medical image recognition methods for computer automated diagnostics tasks]. Sovremennyye problemy nauki i obrazovaniya. 2014; 4. (in Russian).
8. Avtandilov G.G. Meditsinskaya morfometriya. [Medical morphometr]. Rukovodstvo. Moskva: Meditsina Publ.; 1990. (in Russian).
9. Avtandilov G.G. Morfometriya v razvitii dokazatel'noy pa-tologicheskoy anatomii. [Morphometry in the development of evidence-based pathological anatomy]. Materialy II Moskovskoy regional'noy nauchno-prakticheskoy konferen-tsii (c mezhdunarodnym uchastiyem). Tsitomorfometriya v meditsine i biologii: fundamental'nyye i prikladnyye aspekty. Moskva; 2009: 3-6.6. (in Russian).
10. Shagalova P.A., Yerofeyeva A.D., Orlova M.M. i dr. Issle-dovaniye algoritmov predobrabotki izobrazheniy dlya povy-sheniya effektivnosti raspoznavaniya meditsinskikh snimkov. [Study of image preprocessing algorithms to improve the efficiency of medical image recognition]. Nizhniy Novgorod: Trudy NGTU im. R. Ye. Alekseyeva. 2020: 25-31. (in Russian).
11. Elektronnyy katalog. The Open Microscopy Environment. Elektronnyy resurs. https://https://www.openmicroscopy.org/
12. Elektronnyy katalog Openslide. Elektronnyy resurs. https:// https://www. openslide.org/
13. Chernyy S.A. Chastotnyye i prostranstvennyye metody tsif-rovoy fil'tratsii izobrazheniy. [Frequency and spatial methods of digital image filtering]. Molodezhnyy nauchno-tekh-nicheskiy vestnik. MGTU im. N.E. Baumana. Elektronnyy zhurnal. 2012; 5: 1-7. (in Russian).
14. Kanygina A.A. Sravneniye effektivnosti nelineynykh me-todov fil'tratsii meditsinskikh izobrazheniy. [Comparing the effectiveness of nonlinear medical image filtering methods]. KARDIO-IT. 2017; 1(4): 101. (in Russian).
15. Gonsales R., Vuds R. Tsifrovaya obrabotka izobrazheniy. [Digital image processing]. Moskva: Tekhnosfera Publ.; 2006. (in Russian).
16. Gonsales R., Vuds R., Eddins S. Tsifrovaya obrabotka izo-brazheniy v srede Matlab. [Digital image processing in Mat-lab]. Moskva: Tekhnosfera Publ.; 2006. (in Russian).
17. Biryukov Ye.D. Ispol'zovaniye mediannogo fil'tra v sisteme obrabotki izobrazheniy realistichnoy komp'yuternoy grafiki. [Using a median filter in a realistic computer graphics image processing system]. Novyye informatsionnyye tekhnologii v avto-matizirovannykh sistemakh. 2014; 17: 216-20. (in Russian).
18. Gel'man V.Ya., Tikhomirova A.A., Dokhov M.A. Elek-tronnyye tablitsy MS Excel v prakticheskoy deyatel'nosti spetsialista zdravookhraneniya. [MS Excel spreadsheets in the practice of a healthcare professional]. Uchebno-metodi-cheskoye posobiye. Sankt-Peterburg: SPbGPMU Publ.; 2020. EDN LCYXPX. (in Russian).
