CC BY
2
применение Алгоритмов глубокого машинного обучения на основе многослойной нейронной сети YOLi для идентификации грибкового кератита
DOI: 10.17691/stm2024.16.4.01 УДК 617.713-002:004.8 Поступила 20.02.2024 г.
А.В. Ситнова, клинический ординатор кафедры глазных болезней1; Э.Р. Валитов, преподаватель кафедры компьютерных наук Депаратамента больших данных и информационного поиска2;
С.Н. Светозарский, к.м.н., врач-офтальмолог3; ассистент кафедры глазных болезней4
1 Национальный медицинский исследовательский центр «Межотраслевой научно-технический комплекс «Микрохирургия глаза» имени академика С.Н. Федорова» Минздрава РФ, Бескудниковский бульвар, 59а, Москва, 127486;
Национальный исследовательский университет «Высшая школа экономики», ул. Мясницкая, 20, Москва, 101000;
3Приволжский окружной медицинский центр ФМБА России, ул. Ильинская, 14, Н. Новгород, 603000; "Приволжский исследовательский медицинский университет, пл. Минина и Пожарского, 10/1, Н. Новгород, 603005
Цель исследования — разработка метода диагностики грибкового кератита на основе анализа фотографий переднего отрезка глаза при помощи алгоритмов глубокого машинного обучения с последующей оценкой чувствительности и специфичности на тестовом наборе данных в сравнении с результатами практикующих офтальмологов.
Материалы и методы. Исследование включало следующие этапы: набор данных, предварительная подготовка, аугментация и разметка изображений, выбор подхода к обучению и архитектуры нейронной сети, обучение модели, валидация с коррекцией гиперпараметров, оценка показателей эффективности алгоритма на тестовой выборке, определение чувствительности и специфичности выявления грибкового кератита практикующими врачами. Использовано 274 изображения переднего отрезка глаза: 130 фотографий глаз, пораженных грибковым кератитом, и 144 снимка — физиологическая норма, кератиты другой этиологии и различные заболевания переднего отрезка глаза. Исключали фотографии, сделанные после начала лечения, а также иллюстрирующие кератиты смешанной этиологии и перфорацию роговицы. Изображения тренировочной выборки размечали с помощью веб-приложения VGG Image Annotator, после чего использовали для обучения сверточной нейронной сети YOLOv8. Набор фотографий тестовой выборки был также предложен практикующим офтальмологам для определения точности диагностики грибкового кератита.
Результаты. Показатель чувствительности модели составил 56,0%, уровень специфичности достигал 96,1%, доля правильных ответов алгоритма — 76,5%. Точность распознавания изображений практикующими офтальмологами составила 50,0%, специфичность — 41,7%, чувствительность — 57,7%. При этом точность и специфичность алгоритма статистически значимо превосходили результаты экспертной оценки (р<0,05).
Заключение. Исследование показало высокий потенциал алгоритмов глубокого машинного обучения в диагностике грибкового кератита и их преимущества в специфичности по сравнению с экспертной оценкой при условии отсутствия метаданных. Использование технологий «компьютерного зрения» может найти применение в качестве дополнительного метода диагностики
Для контактов: Ситнова Ангелина Васильевна, e-mail: [email protected]
при принятии решений в сложных случаях и в условиях телемедицинской помощи. Требуются дальнейшие исследования для сравнения разработанной модели с альтернативными подходами, расширение и стандартизация баз данных.
Ключевые слова: глубокое обучение; сверточная нейронная сеть; YOLOv8; микоз роговицы; диагностика кератитов.
Как цитировать: Sitnova A.V., Valitov E.R., Svetozarskiy S.N. Application of deep learning algorithms based on the multilayer YOLOv8 neural network to identify fungal keratitis. Sovremennye tehnologii v medicine 2024; 16(4): 5, https://doi.org/10.17691/ stm2024.16.4.01
English
Application of Deep Learning Algorithms Based on the Multilayer YOLOv8 Neural Network to Identify Fungal Keratitis
A.V. Sitnova, Clinical Resident, Department of Eye Diseases1;
E.R. Valitov, Teacher, Computer Sciences Chair, Department of Big Data and Information Retrieval2;
S.N. Svetozarskiy, MD, PhD, Ophthalmologist3; Assistant, Department of Eye Diseases4
1The S. Fyodorov Eye Microsurgery Federal State Institution, 59a Beskudnikovsky Blvd., Moscow,
127486, Russia;
2National Research University Higher School of Economics, 20 Myasnitskaya St., Moscow, 101000, Russia;
3Privolzhsky District Medical Center of Federal Medico-Biologic Agency of Russia, 14 Ilyinskaya St.,
Nizhny Novgorod, 603000, Russia;
4Privolzhsky Research Medical University, 10/1 Minin and Pozharsky Square, Nizhny Novgorod,
603005, Russia
The aim of the study is to develop a method for diagnosing fungal keratitis based on the analysis of photographs of the anterior segment of the eye using deep learning algorithms with subsequent evaluation of sensitivity and specificity of the method on a test data set in comparison with the results of practicing ophthalmologists.
Materials and Methods. The study has included the stages of data acquisition, image pre-training and markup, selection of training approach and neural network architecture, training with input data augmentation, validation with hyperparameter correction, evaluation of algorithm performance on a test sample, and determination of sensitivity and specificity of fungal keratitis detection by practicing doctors. A total of 274 anterior segment images were used, including 130 photographs of the eyes affected by fungal keratitis and 144 photographs illustrating normal eyes, keratitis of other etiologies, and various anterior segment pathologies. Photographs taken after the treatment onset, illustrations of keratitis of mixed etiology and corneal perforation were excluded from the study. Images of the training sample were marked up using the VGG Image Annotator web application and then used to train the YOLOv8 convolutional neural network. Images from the test data set were also offered to practicing ophthalmologists to determine the diagnostic accuracy of fungal keratitis.
Results. The sensitivity of the model was 56.0%, the specificity level reached 96.1%, and the proportion of correct answers of the algorithm was 76.5%. The accuracy of image recognition by practicing ophthalmologists was 50.0%, specificity — 41.7%, sensitivity — 57.7%.
Conclusion. The study showed the high potential of deep learning algorithms in the diagnosis of fungal keratitis and its advantages in accuracy compared to expert judgment in the absence of metadata. The use of computer vision technologies may find application as a complementary diagnostic method in decision making in complex cases and in telemedicine care settings. Further research is required to compare the developed model with alternative approaches, to expand and standardize databases.
Key words: deep learning; convolutional neural network; YOLOv8; corneal mycosis; keratitis diagnosis.
Введение
Обилие визуальной информации обусловило повышенный интерес к разработке и внедрению систем искусственного интеллекта в сферу охраны зрения [1], включая организацию телемедицинской помощи [2]. Медицинские технологии, основанные на методах машинного обучения, могут выступать в качестве виртуального ассистента врача, спо-
собствуя ускорению принятия решений и повышая точность диагностики, при этом снижая риски ошибок и затраты на обработку данных [3]. Последние достижения в области алгоритмов глубокого обучения, в частности сверточных нейронных сетей, сделали возможным выявление заболеваний с помощью технологий «компьютерного зрения», обученных на больших наборах медицинских изображений [4, 5].
/////////////////////^^^^
6 СТМ | 2024 | том 16 | №4 А.В. Ситнова, Э.Р. Валитов, С.Н. Светозарский
Наибольшие успехи машинного обучения в офтальмологии достигнуты в направлении автоматизированной диагностики диабетической ретинопатии, возрастной макулярной дегенерации, глаукомы и катаракты [1, 6]. При этом возможности искусственного интеллекта для раннего выявления заболеваний роговицы остаются недостаточно изученными. Это связано с тем, что получение изображений переднего отрезка глаза менее унифицировано по сравнению с фоторегистрацией глазного дна из-за разнообразия структур и методов визуализации [7].
Помутнение роговицы является причиной двусторонней слепоты и выраженного снижения зрения у 5,5 млн человек в мире и причиной односторонней потери зрения у 6,2 млн человек [8]. Значительная доля помутнений роговицы обусловлена перенесенным инфекционным кератитом, заболеваемость которым в различных регионах колеблется в широких пределах: от 6,6 и 27,6 случаев в год на 100 000 человек в Австралии и США соответственно до 113 и 799 случаев в год на 100 000 человек в Индии и Непале соответственно [9].
Доля грибковых поражений в структуре заболеваемости инфекционным кератитом ежегодно возрастает в связи с широким и бесконтрольным использованием глазных капель, содержащих антибиотики и стероиды [10]. Заболевание наиболее распространено в тропических и субтропических регионах, где его частота достигает 81,5% от всех лабораторно подтвержденных инфекций роговицы [11, 12]. Бремя грибкового кератита для пациента и общества обусловлено длительной утратой трудоспособности и инвалидизацией, продолжительным и дорогостоящим лечением и реабилитацией, снижением качества жизни и ограничением социального функционирования в связи с потерей зрительных функций [13]. Высокая социальная значимость заболевания позволила определить грибковый кератит как «социальную и экономическую катастрофу» [14].
Грибковая инфекция известна своим агрессивным течением и устойчивостью возбудителя к противогрибковым препаратам, что связано с особенностями патогенеза и образованием биопленок [10]. Позднее начало специфического лечения ассоциировано с развитием осложнений, вынужденным проведением неотложных оперативных вмешательств и потерей зрения. Раннему выявлению грибкового кератита препятствуют недостаточная точность клинической диагностики, составляющая от 33 до 80% [15], лож-ноотрицательные результаты при использовании культуральных микробиологических методов исследования, достигающие 37-41% [11, 16], а также ограниченная доступность новых высокоинформативных методик [10]. Все это определяет актуальность поиска новых методов ранней диагностики заболевания [9, 10, 17], отвечающих требованиям быстроты проведения, высокой точности, независимости от клинического опыта специалиста и максимальной
доступности. Подобным требованиям могут соответствовать диагностические системы, основанные на технологиях искусственного интеллекта, где применяются многослойные нейронные сети — глубокое обучение. В то же время лишь единичные исследования посвящены анализу возможностей искусственного интеллекта в распознавании изображений переднего отрезка глаза.
Цель исследования — разработка метода диагностики грибкового кератита на основе анализа фотографий переднего отрезка глаза при помощи алгоритмов глубокого машинного обучения с последующей оценкой чувствительности и специфичности на тестовом наборе данных в сравнении с результатами практикующих офтальмологов.
Материалы и методы
Исследование включало следующие этапы: набор данных, предварительная подготовка и разметка изображений, выбор подхода к обучению и архитектуры сети, обучение нейросети, валидация с коррекцией гиперпараметров, оценка показателей эффективности алгоритма на тестовой выборке, определение чувствительности и специфичности выявления грибкового кератита практикующими врачами. Исследование выполнено в соответствии с положениями Хельсинкской декларации (2013).
Ретроспективный набор данных осуществляли из базы фотографий переднего отрезка глаза, выполненных с помощью фундус-камеры Visucam 500 (Carl Zeiss, Германия) в офтальмологическом отделении Приволжского окружного медицинского центра Федерального медико-биологического агентства (Н. Новгород) в период с 2015 по 2022 г. Полученный набор дополнялся данными из баз открытого доступа PubMed Central и Retina Image Bank. Основными критериями были достаточное качество изображений по параметрам сфокусированности, центрации, яркости, доступности роговицы для рассмотрения (прикрытие веками не более чем на 1/3), а также наличие достоверной информации о диагнозе пациента.
На этапе подготовки данных изображения были разделены на классы, включающие 130 фотографий глаз, пораженных грибковым кератитом, и 144 фотографии, иллюстрирующие физиологическую норму и другие виды патологии переднего отрезка глаза, в том числе катаракту, дистрофию роговицы, птеригиум, кератиты вирусной и бактериальной этиологии.
В связи со сложностью стандартизации изображений переднего отрезка глаза в 2023 г. были предложены критерии комплексной оценки качества таких изображений для включения их в наборы данных при разработке систем искусственного интеллекта [18]. Эти критерии применялись нами для стандартизации набора данных и повышения
Таблица 1
Параметры стандартизации изображений и их оценка [18]
Параметр Оценка Критерии
Разрешение изображения 10 Разрешение выше среднего
5 Разрешение среднее/ниже среднего, но все структуры различимы
0 Разрешение ниже среднего, структуры трудно различимы
Формат изображения 10 Формат изображения соответствует формату набора данных
0 Формат изображения не соответствует формату набора данных
Отличительные черты 10 Есть характерные черты заболевания, очевидные на фотографии
0 Характерных черт нет или они не видны на фотографии
Источник изображения 10 Оригинальное изображение из первоисточника, от известного пациента
5 Первоисточник неизвестен, но есть точный диагноз и характерные черты заболевания
0 Неподлинное изображение, диагноз сомнителен или неизвестен
Анатомическая 10 Полностью сохранена
целостность 0 Не сохранена
Анамнез пациента 10 Анамнез и диагноз известен
5 Анамнез неизвестен, но есть точный диагноз
0 Нет данных о пациенте и диагнозе
Таблица 2
Распределение данных в выборках
Патология Всего изображений Тренировочная Валидационная Тестовая выборка выборка выборка
Грибковый кератит 130 84 20 26
Другие патологии + физиологическая норма 144 98 20 26
надежности исследования. Каждое изображение оценивали в баллах по таким параметрам, как разрешение, формат, наличие отличительных черт интересующей патологии, источник изображения, анатомическая целостность и наличие информации о пациенте (табл. 1).
Изображения с оценкой «0» хотя бы по одному параметру исключали из базы данных. Преимуществом обладали фотографии из архива собственной фун-дус-камеры, имевшие оценку, близкую к 10 баллам в целом по всем пунктам.
Критерием включения в группу грибкового кератита было наличие верифицированного грибкового
поражения роговицы любого размера и локализации. При этом исключались фотографии, сделанные после начала лечения, а также иллюстрирующие кератиты смешанной этиологии и перфорацию роговицы. Во вторую группу были отнесены изображения с физиологической нормой и различной патологией органа зрения, визуализируемой на фотографиях переднего отрезка глаза (заболевания роговицы, радужной оболочки, хрусталика), которые могли быть приняты за грибковое поражение роговицы. Для обучения нейронной сети фотографии из каждой группы были случайным образом разделены на тренировочную, валидаци-онную и тестовую выборки (табл. 2). Все изображения были приведены к единому формату 320*320 пикселей и анонимизированы.
На этапе разметки на всех изображениях тренировочной выборки выделяли область интереса по методике векторных 2D-прямоугольников (bounding box) с помощью веб-приложения VGG Image Annotator (рис. 1). В процессе разметки мы придерживались нескольких принципов: интересующие зоны выделяли прямоугольником, несколько близко расположенных мелких очагов объединяли единой рамкой, границы разметки устанавливали максимально близко к краям очага. Рамку располагали таким образом, чтобы в ее пределы не попадали края век и световые рефлексы на изображении.
Выбор подходов к обучению и созданию архитектуры алгоритмов машинного обучения определялся поставленной целью дифференциальной диагностики поражения роговицы грибковым агентом от других заболеваний. С точки зрения технической терминологии это предполагает решение задачи классификации изображений и детекции объектов. В связи с этим был выбран способ обучения многослойной нейронной сети с учителем. Из множества сверточных нейронных сетей использовали алгоритм YOLOv8 (You Only Look Once), обеспечивающий классификацию и детекцию объектов в режиме реального времени. Модель YOLOv8 демонстрирует высокие показатели скорости и точности в различных областях компьютерного зрения, опережая модели предыдущих поколений [19]. В отличие от других двухуровневых сверточных нейросетей YOLOv8 оценивает все вы-
/////////////////////^^^^
8 СТМ I 2024 I том 16 j №4 А.В. Ситнова, Э.Р. Валитов, С.Н. Светозарский
Рис. 1. Мануальная разметка фотографии переднего отрезка глаза пациента с грибковым кератитом по методике векторных 20-прямоугольников
деленные области изображений одновременно, что значительно ускоряет процесс обучения [20].
Для обучения нейросети были использованы 182 размеченных изображения тренировочной выборки. Принцип обучения можно описать в виде следующих последовательных этапов. Сначала изображение подается на вход нейросети, где происходят его анализ и формирование значений, по которым нейронная сеть сопоставляет интересующие регионы с участками входного изображения. Далее выделяются регионы, в которых находятся объекты, подлежащие распознаванию [21]. Так создается пробная модель, способная анализировать набор признаков и классифицировать объекты. Алгоритм сверяет свой результат с заданным и корректирует модель согласно «верному» ответу. Данный процесс многократно повторяется до тех пор, пока алгоритм не сможет правильно классифицировать объекты. Дополнительно на каждой итерации к изображениям применяются различные аугментации, т.е. незначительные изменения объектов (например, уменьшение или приближение). Данное действие позволяет искусственно расширить обучающую выборку, сделать модель более устойчивой к фотографиям различного качества и ракурса.
Обучение модели было закончено, когда перестали регистрироваться улучшения, что позволило избежать переобучения.
На следующем этапе оценивали точность обученной модели с помощью неизвестной для нее полностью уникальной валидационной выборки из 40 изображений, что позволяло вручную корректировать внешние переменные конфигурации, или ги-
перпараметры. По достижении удовлетворительных значений чувствительности модели на вход подавалась тестовая выборка, не имеющая повторений с тренировочным и валидационным датасетами, для определения показателей эффективности диагностики грибкового кератита. Исследование выполнено с помощью аппаратного обеспечения NVIDIA GTX TITAN Xp Pascal с объемом видеопамяти 12 Гб, необходимой для распознавания и обработки изображений.
Четырем практикующим офтальмологам со стажем работы не менее 7 лет было предложено провести диагностику грибкового кератита по фотографиям тестовой выборки для сравнения их результатов с чувствительностью и специфичностью обученной нейросети. Перед каждым экспертом была поставлена задача выявить изображения с грибковым поражением роговицы без дополнительной информации о пациенте, что значительно усложняло диагностику [22].
Статистический анализ данных включал расчет показателей чувствительности, специфичности и точности, точности (precision) и полноты (recall), а также построение кривых precision-recall для оценки качества обнаружения грибкового кератита на изображениях переднего отрезка глаза при помощи разработанной модели. Кривые precision-recall являются аналогом ROC-кривых для визуализации результатов применения алгоритмов машинного обучения. Сравнение показателей эффективности модели и практикующих врачей осуществляли при помощи критерия х2, принятый уровень значимости — 0,05.
Результаты
Процесс обучения нейронной сети YOLOv8 включал 118 итераций и длился 413 мин. Доля правильных ответов алгоритма составила 76,5% на тестовой выборке, вероятность ошибки — 23,5% (рис. 2). Чувствительность модели по результатам тестирования составила 56,0%, а специфичность — 96,0% (табл. 3). Классификация 52 фотографий опытными офтальмологами показала среднее значение доли правильных ответов (Acc — 50,0%); специфичность — 41,7%, чувствительность — 57,7%. Точность и специфичность разработанного алгоритма статистически значимо превосходили результаты экспертной оценки (р<0,05) (см. табл. 3).
В результате оценки алгоритмом тестовой выборки были получены размеченные изображения с метками, соответствующими предположению модели относительно того, является ли выделенная патология грибковым кератитом (рис. 3). Установлено, что модель адекватно осуществляет разметку изображений в 76,5% случаев.
Таким образом, настоящее исследование продемонстрировало высокую эффективность
Рис. 2. Кривая precision-recall, характеризующая качество обнаружения грибкового кератита на изображениях переднего отрезка глаза при помощи разработанной модели
Таблица 3
Результаты классификации изображений разработанной моделью и практикующими специалистами
Показатели Модель Врачи р
Точность, % 76,5 50,0 0,004
Чувствительность, % 56,0 57,7 1,0
Специфичность, % 96,1 41,7 <0,001
Precision 0,93 — —
Recall 0,56 — —
алгоритмов машинного обучения, разработанных на основе сверточной многослойной нейронной сети YOLOv8, в диагностике грибкового кератита на фотографиях переднего отрезка глаза, сравнимую с результатами практикующих офтальмологов. Оригинальность подхода заключалась в сочетании задач классификации изображений с детекцией патологических объектов, а также включении в набор данных невоспалительных заболеваний переднего отрезка глаза, что максимально приближало моделируемую ситуацию к условиям телемедицинского мониторинга.
non-ker 0.15
20.12.2018 12:47:27.6
Кг
' ft ,
03.07.2017 11:50:41.4
Рис. 3. Результаты дихотомической классификации изображений и детекции объектов тестовой выборки при помощи разработанной модели
Метка кег соответствует выявлению алгоритмом признаков грибкового кератита с указанием вероятности этого события; поп-кег — отсутствию признаков грибкового кератита с вероятностью этого исхода
////////////////^^^^^
10 СТМ J 2024 J том 16 J №4 А.В. Ситнова, Э.Р. Валитов, С.Н. Светозарский
Обсуждение
Клинические данные, включая анамнез и объективную картину, обнаруживаемую при биомикроскопии, лежат в основе дифференциальной диагностики кератитов различной этиологии. Наиболее сложным для верификации является грибковое поражение, при котором точность экспертной оценки практикующими офтальмологами характеризуется большим разбросом значений. В частности, доля правильных ответов при дифференциации грибкового и бактериального кератитов по фотографиям переднего отрезка глаза составляет 49-67% [22-24], что соотносится с полученным нами показателем (50,0%). Относительно низкие показатели эффективности могут быть связаны с тем, что задействованные в нашем исследовании врачи не являлись узкоспециализированными специалистами по инфекционной патологии глаза, в то же время они имели опыт работы в сфере транспланатации роговицы не менее 5 лет.
Сравнение показателей точности алгоритмов с результатами практикующих врачей является важным компонентом исследований, посвященных разработке технологий «компьютерного зрения». Так, в исследовании М.Т. Кио с соавт. [24] алгоритм с аналогичным дизайном, построенный на основе архитектуры DenseNet, демонстрировал показатели чувствительности, превышающие таковые у практикующих офтальмологов, и более низкую специфичность по сравнению с врачами. В работе S. Ни с соавт. [25] при сравнении точности диагностики инфекционного кератита экспертная диагностика также уступала предложенным методам машинного обучения.
Диагностическая точность алгоритмов глубокого обучения в первую очередь зависит от количества и качества использованных данных, при этом прослеживается прямая связь между количеством данных и точностью результата [6]. В исследовании М. Soleimani с соавт. [26] удалось собрать уникальную базу из 9329 фотографий, выполненных в ходе биомикроскопии 977 пациентов, что позволило достичь 84% точности при дифференцировании бактериального и грибкового кератитов и 77,5% — в определении типа грибов (нитчатых или дрожжевых патогенов). В исследовании А. Коуата с соавт. [27] аналогичные задачи этиологической диагностики решались с помощью алгоритма на основе архитектуры ResNet50, который обеспечивал высокую точность диагностики акантамебного (96,7%), бактериального (77,6%), грибкового (84,2%) поражения роговицы, а для вируса простого герпеса доля правильных ответов достигала 91,7%.
Для совершенствования разработанной нами методики необходимо дальнейшее увеличение объема выборки за счет не только изображений грибкового кератита, но и поражений роговицы другой этиологии и иных заболеваний переднего отрезка глаза, что позволит повысить качество работы алгоритма. Пути
решения данной проблемы включают вовлечение новых исследовательских центров, обладающих уникальными базами офтальмологических изображений. Примером подобной коллаборации является работа M. Tiwari с соавт. [28], где пополнение базы фотографий обеспечивалось объединением наборов данных, хранящихся в архиве клинических испытаний по программам "Steroids for Corneal Ulcers Trial (SCUT)" и "Mycotic Ulcer Treatment Trial (MUTT)", а также изображений из локального архива Стэнфордского университета.
В перспективе достигнутые нами показатели могут быть улучшены посредством не только увеличения объема выборки, но и повышения качества данных, совершенствования критериев отбора изображений и более детальной проработки параметров нейросе-ти. Препятствием к этому являются критерии включения и исключения объектов выборки, поскольку достаточно часто пациенты попадают к офтальмологу после безуспешных попыток самостоятельного лечения или на поздних стадиях заболевания, когда могут наблюдаться язвенные изменения, перфорация роговицы или присоединение вторичной инфекции. Сложность также заключается в необходимости унификации изображений по техническим параметрам. В частности, причиной невысоких значений доли правильных ответов алгоритма могла стать неоткор-ректированная яркость фотографий. При подборе данных из выборки исключались очевидно яркие и слишком темные изображения, однако точное определение оптимального диапазона яркости с целью предварительного редактирования и нормирования фотографий представляется актуальной научной задачей [29]. В исследовании A. Hanif с соавт. [30], посвященном анализу влияния качества фотографических снимков переднего отрезка глаза на результаты эффективности нейросети, установлено, что наличие световых рефлексов, а также попадание в кадр краев век и ресниц значимо отражается на итоговых диагностических показателях. Применение разметки изображений повышает точность диагностики на 16% [31], а включение в алгоритм распознавания фотографий этапа автоматической сегментации изображений может обеспечить прирост эффективности на 7% [32].
Выбор варианта архитектуры нейронной сети также влияет на результативность системы, поскольку ее характеристики подбирают в зависимости от типа информации и задач исследования. Ряд работ, посвященных анализу офтальмологических изображений, был успешно реализован на базе таких нейросе-тей, как ResNet50 и FasterCNN [31]. В исследовании [33], посвященном классификации бактериального и грибкового кератита, модель на основе ResNet50 обеспечивала чувствительность 80% и специфичность 70%, что несколько превосходит наши значения. Однако это может быть обусловлено объемом выборки, исключением иных видов патологии
роговицы и переднего отрезка глаза, а также использованием заранее обученной нейронной сети. При сравнении диагностической точности нескольких нейросетей точность диагностики грибкового кератита варьировала в широких пределах — от 26 до 66%, в то время как при диагностике бактериального кератита доля правильных ответов алгоритма составляла не менее 79,6% [34]. В отличие от грибкового поражения сравнение эффективности алгоритмов на основе нейросетей ResNet50, ResNeXt50, DenseNet121, SE-ResNet50, EfficientNets ВО, В1, В2 и В3 в распознавании бактериального кератита не показало статистически значимых различий [35]. Учитывая отсутствие работ, использовавших современное поколение нейросетей YOLOv8 для выявления грибкового кератита, мы считаем целесообразным дальнейшее исследование возможностей данной архитектуры в сравнении с другими сверточными нейросетями, применяемыми для анализа большого количества изображений.
Для улучшения алгоритмов глубокого обучения важно понимать, в каких случаях появляются лож-ноположительные и ложноотрицательные результаты. При разборе причин ошибок в работе Н. Gu с соавт. [36] установлено, что у пациентов с поражением центральной зоны роговицы модель ложно диагностировала катаракту в связи с локализацией поражения в области зрачка; осложненную катаракту алгоритм идентифицировал как инфекционный кератит, а неинфекционный кератит распознавался как инфекционный и нейронной сетью, и врачами-офтальмологами.
Значительные успехи диагностики кератитов различной этиологии с помощью методов глубокого обучения были достигнуты при анализе изображений конфокальной микроскопии роговицы; в случае идентификации грибкового кератита точность достигала 97%, а специфичность — 96% [37]. Однако ограниченная доступность конфокальной микроскопии обусловливает необходимость дальнейших исследований в области распознавания фотографий переднего отрезка глаза [10], что особенно актуально для обмена данными в ходе проведения телемедицинских консультаций. Все это доказывает сложность идентификации грибкового кератита и подтверждает необходимость оптимизации работы алгоритмов и обогащения наборов данных.
Помимо технических затруднений, возникающих в процессе обучения моделей, перед исследователями и врачами стоит вопрос о том, насколько широко и как скоро могут быть применены данные технологии. Методология нашего исследования предполагала распознавание фотографий переднего отрезка глаза без метаданных, в связи с чем сравнение результатов экспертов и разработанного алгоритма нельзя полностью экстраполировать на условия реальной клинической практики, поскольку даже в условиях телемедицинских консультаций
врач обладает дополнительными ценными для диагностики сведениями из анамнеза пациента. При этом технологии компьютерного зрения позволяют классифицировать изображения по категориям, что имеет колоссальный потенциал для практической медицины и развития здравоохранения в целом. Цифровая медицина названа ведущим направлением совершенствования здравоохранения согласно стратегии развития обрабатывающей промышленности РФ до 2035 года [38]. Внедрение технологий искусственного интеллекта позволит осуществлять комплексный скрининг многих заболеваний, в том числе грибкового кератита. Однако это сопряжено с рядом сложностей, многие из которых пока остаются нерешенными [39]. Так, обсуждаются проблемы этики использования данных пациентов, обеспечения информационной безопасности и правовой ответственности. Техническим ограничением для развития технологии является отсутствие единых стандартов сбора данных. Исследователи в разных клиниках используют оригинальные принципы сбора и обработки данных, что приводит к низкой воспроизводимости результатов даже при схожем техническом обеспечении. И этические, и технические аспекты должны быть регламентированы, что требует совершенствования законодательной базы в сфере биомедицинского искусственного интеллекта.
К преимуществам настоящего исследования можно отнести достаточный объем изображений с редкими офтальмологическими патологиями, выполнение разметки всех фотографий обучающей выборки и сравнительный характер работы. Решение задачи автоматизированной диагностики грибкового кератита в сочетании с детекцией патологических объектов на фотографиях переднего отрезка глаза с применением нейронной сети YOLOv8 в научной литературе представлено впервые.
Заключение
Визуализация структур переднего отрезка глаза лежит в основе диагностики заболеваний роговицы, однако интерпретация полученных данных зависит от опыта офтальмолога, что может сказываться на сроках оказания помощи и адекватности назначаемой терапии. Исключительно клинический подход не всегда может оправдать свою простоту, в том числе в случае с грибковым кератитом, который требует быстрой диагностики на ранних этапах. Автоматизированная классификация медицинских изображений имеет значительный потенциал в решении подобных проблем, так как использование искусственного интеллекта способствует снижению нагрузки на врачей и повышению эффективности скрининговых методов.
В настоящем исследовании разработана методика диагностики грибкового кератита с помощью автоматизированной классификации и детекции патологи-
/////////////////////^^^^
12 СТМ | 2024 | том 16 | №4 А.В. Ситнова, Э.Р. Валитов, С.Н. Светозарский
ческих объектов на фотографиях переднего отрезка глаза сверточной нейронной сетью YOLOv8. Доля правильных ответов алгоритма составила 76,5%, а чувствительность и специфичность — 57,7 и 96,1% соответственно, что не уступало средним результатам врачей-офтальмологов.
Перспективными задачами для дальнейших исследований являются сбор большего объема данных и их тщательная обработка, унификация технических параметров, совершенствование алгоритмов глубокого машинного обучения для лучшей производительности, оценка возможностей метода для дифференциальной диагностики различных видов патологии роговицы.
Финансирование. Исследование выполнено за счет гранта Российского научного фонда №23-7501007, https://rscf.ru/project/23-75-01007/.
Конфликт интересов отсутствует.
Литература/References
1. Апрелев А.Е., Манкибаева РИ., Манкибаев Б.С., Апрелева Е.В. Применение систем с искусственным интеллектом в диагностике офтальмологических заболеваний. Вестник Башкирского государственного медицинского университета 2019; 3: 10-14.
Aprelev A.E., Mankibaeva R.I., Mankibaev B.S., Apreleva E.V. The use of systems with artificial intelligence in the diagnosis of ophthalmic diseases. Vestnik Bashkirskogo gosudarstvennogo medicinskogo universiteta 2019; 3: 10-14.
2. Sharma M., Jain N., Ranganathan S., Sharma N., Honavar S.G., Sharma N., Sachdev M.S. Tele-ophthalmology: need of the hour. Indian J Ophthalmol 2020; 68(7): 1328-1338, https://doi.org/10.4103/ijo.IJ0_1784_20.
3. Глизница П.В., Тахчиди Х.П., Светозарский С.Н., Бурсов А.И., Шустерзон К.А. Машинное обучение в диагностике и лечении офтальмологических заболеваний. Голова и шея. Российский журнал 2022; 10(1): 83-90, https://doi.org/10.25792/HN.2022.10.183-90.
Gliznitsa P.V., Takhchidi Kh.P., Svetozarskiy S.N., Bursov A.I., Shusterzon K.A. Machine learning in the diagnosis and treatment of ophthalmic diseases. Head and neck. Russian Journal 2022; 10(1): 83-90, https://doi. org/10.25792/HN.2022.10.1.83-90.
4. Litjens G., Kooi T., Bejnordi B.E., Setio A.A.A., Ciompi F., Ghafoorian M., van der Laak J.A.W.M., van Ginneken B., Sánchez C.I. A survey on deep learning in medical image analysis. Med Image Anal 2017; 42: 60-88, https://doi.org/10.1016/j.media.2017.07.005.
5. LeCun Y., Bengio Y., Hinton G. Deep learning. Nature 2015; 521(7553): 436-444, https://doi.org/10.1038/ nature14539.
6. Гарри Д.Д., Саакян С.В., Хорошилова-Масло-ва И.П., Цыганков А.Ю., Никитин О.И., Тарасов Г.Ю. Методы машинного обучения в офтальмологии. Обзор литературы. Офтальмология 2020; 17(1): 20-31, https:// doi.org/10.18008/1816-5095-2020-1-20-31.
Garri D.D., Saakyan S.V., Khoroshilova-Maslova I.P., Tsygankov A.Yu., Nikitin O.I., Tarasov G.Yu. Methods of
machine learning in ophthalmology: review. Oftal'mologia 2020; 17(1): 20-31, https://doi.org/10.18008/1816-5095-2020-1-20-31.
7. Ursuleanu T.F., Luca A.R., Gheorghe L., Grigorovici R., lancu S., Hlusneac M., Preda C., Grigorovici A. Deep learning application for analyzing of constituents and their correlations in the interpretations of medical images. Diagnostics (Basel) 2021; 11(8): 1373, https://doi.org/10.3390/diagnostics11081373.
8. Wang E.Y., Kong X., Wolle M., Gasquet N., Ssekasanvu J., Mariotti S.P., Bourne R., Taylor H., Resnikoff S., West S. Global trends in blindness and vision impairment resulting from corneal opacity 1984-2020: a meta-analysis. Ophthalmology 2023; 130(8): 863-871, https://doi.org/10.1016/j.ophtha.2023.03.012.
9. Cabrera-Aguas M., Khoo P., Watson S.L. Infectious keratitis: a review. Clin Exp Ophthalmol 2022; 50(5): 543562, https://doi.org/10.1111/ceo.14113.
10. Sitnova A.V., Svetozarskiy S.N. Modern technologies in diagnosis of fungal keratitis (review). Sovremennye tehnologii v medicine 2023; 15(2): 73, https://doi. org/10.17691/stm2023.15.2.07.
11. Brown L., Leck A.K., Gichangi M., Burton M.J., Denning D.W. The global incidence and diagnosis of fungal keratitis. Lancet Infect Dis 2021; 21(3): e49-e57, https://doi. org/10.1016/S1473-3099(20)30448-5.
12. Hoffman J.J., Burton M.J., Leck A. Mycotic keratitis — a global threat from the filamentous fungi. J Fungi (Basel) 2021; 7(4): 273, https://doi.org/10.3390/jof7040273.
13. Brown L., Kamwiziku G., Oladele R.O., Burton M.J., Prajna N.V., Leitman T.M., Denning D.W. The case for fungal keratitis to be accepted as a neglected tropical disease. J Fungi (Basel) 2022; 8(10): 1047, https://doi.org/10.3390/ jof8101047.
14. Whitcher J.P., Srinivasan M., Upadhyay M.P. Prevention of corneal ulceration in the developing world. Int Ophthalmol Clin 2002; 42(1): 71-77, https://doi. org/10.1097/00004397-200201000-00010.
15. Ung L., Bispo P.J.M., Shanbhag S.S., Gilmore M.S., Chodosh J. The persistent dilemma of microbial keratitis: global burden, diagnosis, and antimicrobial resistance. Surv Ophthalmol 2019; 64(3): 255-271, https://doi.org/10.1016/j. survophthal.2018.12.003.
16. Deorukhkar S., Katiyar R., Saini S. Epidemiological features and laboratory results of bacterial and fungal keratitis: a five-year study at a rural tertiary-care hospital in western Maharashtra, India. Singapore Med J 2012; 53(4): 264-267.
17. Светозарский С.Н., Андреев А.Н., Щербакова С.В. Грибковый кератит после сквозной кератопластики. Вестник офтальмологии 2019; 135(4): 98-102, https:// doi.org/10.17116/oftalma201913504198.
Svetozarskiy S.N., Andreev A.N., Shcherbakova S.V. Fungal keratitis after penetrating keratoplasty. Vestnik oftal'mologii 2019; 135(4): 98-102, https://doi.org/10.17116/ oftalma201913504198.
18. Shao Y., Jie Y., Liu Z.G.; Expert Workgroup of Guidelines for the application of artificial intelligence in the diagnosis of anterior segment diseases (2023); Ophthalmic Imaging and Intelligent Medicine Branch of Chinese Medicine Education Association; Ophthalmology Committee
of International Association of Translational Medicine; Chinese Ophthalmic Imaging Study Groups. Guidelines for the application of artificial intelligence in the diagnosis of anterior segment diseases (2023). Int J Ophthalmol 2023; 16(9): 1373-1385, https://doi.org/10.18240/ijo.2023.09.03.
19. Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: unified, real-time object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2016; 779-788, https://doi. org/10.1109/CVPR.2016.91.
20. Bochkovskiy A., Wang C.-Y., Liao Н.-Y.M. YOLOv4: optimal speed and accuracy of object detection. ArXiv 2020, https://doi.org/10.48550/arXiv.2004.10934.
21. Брехт Э.А., Коншина В.Н. Применение нейронной сети YOLO для распознавания дефектов. Интеллектуальные технологии на транспорте 2022; 2(30): 41-47.
Breht E.A., Konshina V.N. Application of YOLO neural network for defect recognition. Intellektua'nye tehnologii na transporte 2022; 2(30): 41-47.
22. Xu Y., Kong M., Xie W., Duan R., Fang Z., Lin Y., Zhu Q., Tang S., Wu F., Yao Y.-F. Deep sequential feature learning in clinical image classification of infectious keratitis. Engineering 2021; 7(7): 1002-1010, https://doi.org/10.1016/j. eng.2020.04.012.
23. Dalmon C., Porco T.C., Lietman T.M., Prajna N.V., Prajna L., Das M.R., Kumar J.A., Mascarenhas J., Margolis T.P., Whitcher J.P., Jeng B.H., Keenan J.D., Chan M.F., McLeod S.D., Acharya N.R. The clinical differentiation of bacterial and fungal keratitis: a photographic survey. Invest Ophthalmol Vis Sci 2012; 53(4): 1787-1791, https://doi.org/10.1167/iovs 11-8478.
24. Kuo M.T., Hsu B.W., Yin Y.K., Fang P.C., Lai H.Y., Chen A., Yu M.S., Tseng V.S. A deep learning approach in diagnosing fungal keratitis based on corneal photographs. Sci Rep 2020; 10(1): 14424, https://doi.org/10.1038/s41598-020-71425-9.
25. Hu S., Sun Y., Li J., Xu P., Xu M., Zhou Y., Wang Y., Wang S., Ye J. Automatic diagnosis of infectious keratitis based on slit lamp images analysis. J Pers Med 2023; 13(3): 519, https://doi.org/10.3390/jpm13030519.
26. Soleimani M., Esmaili K., Rahdar A., Aminizadeh M., pour K., Tabatabaei S.A., Mirshahi R., Bibak Z.,
di S.F., Koganti R., Yousefi S., Djalilian A.R. gnosis of infectious keratitis to discriminating a deep learning-based study. Sci Rep ' ps://doi.org/10.1038/s41598-023-
Miy; Dete infectio
¡¡Of™.......s
»raps using deep learn images. Sci Rep 2021; 11(1): 22642 s41598-021-02138-w.
28. Tiwari M., Piech C., Baite Srinivasan M., Lalitha P., Vil.^... Chua J.T., Redd T., Lietman T.M. Differentiation of active corneal i
yazaki D., Nakagawa Y., Ayatsuka Y., ., Sasaki S.I., Shimizu Y., Inoue Y. probability of causative pathogen in orithm of slit-lamp
doi.org/10.1038/
using deep learning. Ophthalmology 2022; 129(2): 139-146, https://doi.org/10.10167j.ophtha.2021.07.033.
29. Ghosh A.K., Thammasudjarit R., Jongkhajornpong P., Attia J., Thakkinstian A. Deep learning for discrimination between fungal keratitis and bacterial keratitis: deepkeratitis. Cornea 2022; 41(5): 616-622, https://doi.org/10.1097/IC0. 0000000000002830.
30. Hanif A., Prajna N.V., Lalitha P., NaPier E., Parker M., Steinkamp P., Keenan J.D., Campbell J.P., Song X., Redd T.K. Assessing the impact of image quality on deep learning classification of infectious keratitis. Ophthalmol Sci 2023; 3(4): 100331, https://doi.org/10.1016/j.xops.2023.100331.
31. Takhchidi K.P., Gliznitsa P.V., Svetozarskiy S.N., Bursov A.I., Shusterzon K.A. Labelling of data on fundus color pictures used to train a deep learning model enhances its macular pathology recognition capabilities. Bulletin of Russian State Medical University 2021; (4): 28-33, https:// doi.org/10.24075/brsmu.2021.040.
32. Li D.J., Huang B.L., Peng Y. Comparisons of artificial intelligence algorithms in automatic segmentation for fungal keratitis diagnosis by anterior segment images. Front Neurosci 2023; 17: 1195188, https://doi.org/10.3389/ fnins.2023.1195188.
33. Redd T.K., Santina L.D., Prajna N.V., Lalitha P., Acharya N., Lietman T. Automated differentiation of bacterial from fungal keratitis using deep learning. Invest Ophthalmol Vis Sci 2021; 62(8): 2161.
34. Hung N., Shih A.K.-Y., Lin C., Kuo M.-T., Hwang Y.-S., Wu W.-C., Kuo C.-F., Kang E.Y.-C., Hsiao C.-H. Using slit-lamp images for deep learning-based identification of bacterial and fungal keratitis: model development and validation with different convolutional neural networks. Diagnostics 2021; 11(7): 1246, https://doi.org/10.3390/ diagnostics11071246.
35. Kuo M.T., Hsu B.W., Lin Y.S., Fang P.C., Yu H.J., Chen A., Yu M.S., Tseng V.S. Comparisons of deep learning algorithms for diagnosing bacterial keratitis via external eye photographs. Sci Rep 2021; 11(1): 24227, https://doi. org/10.1038/s41598-021-03572-6.
36. Gu H., Guo Y., Gu L., Wei A., Xie S., Ye Z., Xu J., Zhou X., Lu Y., Liu X., Hong J. Deep learning for identifying corneal diseases from ocular surface slit-lamp photographs. Sci Rep 2020; 10(1): 17851, https://doi.org/10.1038/s41598-020-75027-3.
37. Essalat M., Abolhosseini M., Le T.H., Moshtaghion S.M., Kanavi M.R. Interpretable deep learning for diagnosis of fungal and acanthamoeba keratitis using in vivo confocal microscopy images. Sci Rep 2023; 13(1): 8953, https://doi.org/10.1038/ s41598-023-35085-9.
38. Крутиков В.К., Косогорова Л.А., Якунина М.В., Якунина В.А., Шаров С.В. Стандарты применения искусственного интеллекта в отечественной медицине. Экономика и предпринимательство 2022; 3(140): 11841186.
Krutikov V.K., Kosogorova L.A., Yakunina M.V., Yakunina V.A., Sharov S.V. Standards for the use of artificial intelligence in domestic medicine. Ekonomika i prinimatelstvo 2022; 3(140): 1184-1186.
/mmmmmmmmmmmmmmmmmmmmmmmmt 14 СТМ 1 2024 1 том 16 J №4
