CC BY
0
УДК: 04.852:07.76
DOI: 10.20969/VSKM.2025.18(1).98-106
Интерпретируемые модели машинного обучения как инструмент объяснения прогнозных оценок в кардиологии
К.И. Шахгельдян12, В.Ю. Рублев13, Н.С. Куксин1, Р.Л. Пак1, Б.И. Гельцер1
1ФГАОУ ВО«Дальневосточный федеральный университет», Россия, 690922, Приморский край, г. Владивосток, о. Русский, пос. Аякс, д.10, к.25
2ФГБОУ ВО Владивостокский государственный университет, Россия, 690014, Приморский край, г. Владивосток, ул. Гоголя, д. 41
3ГБУЗ "Приморская краевая клиническая больница №1", Россия, 690091, Приморский край, г. Владивосток, ул. Алеутская, д. 57
Реферат. Введение. Внутригоспитальная летальность при выполнении коронарного шунтирования у больных ишемической болезнью сердца варьирует от 1 до 6%. В последние годы для прогнозирования внутригоспи-тальной летальности после коронарного шунтирования все чаще используют методы машинного обучения, широкое внедрение которых в клиническую практику ограниченно непрозрачностью результатов прогноза. Цель исследования - разработка интерпретируемых моделей машинного обучения для прогнозирования внутриго-спитальной летальности у больных ишемической болезнью сердца после коронарного шунтирования на основе многоуровневой категоризации непрерывных предикторов. Материалы и методы. Проведено одноцентровое ретроспективное исследование по данным 1504 историй болезни пациентов с ишемической болезнью сердца после коронарного шунтирования. Было выделено 2 группы лиц, первая из которых включала 79 (5,3%) больных, умерших в стационаре, вторая - 1425 (94,7%) - с благоприятным исходом операции. Для отбора предикторов использовали методы статистического анализа, разработка моделей выполнялась с помощью методов машинного обучения (многофакторной логистической регрессии, случайного леса, стохастического градиентного бустинга). Для многоуровневой категоризации предикторов использовали методы оптимизации на сетке и метод аддитивного объяснения Шепли. Результаты и их обсуждение. По результатам многоступенчатого анализа показателей клинико-функционального статуса больных ишемической болезнью сердца были выделены, валидированы и категоризированы предикторы внутригоспитальной летальности. Прогностические модели внутригоспитальной летальности с многоуровневой категоризацией предикторов превосходили по точности модели с предикторами в непрерывной форме (AUC 0.882 vs 0.856) и обеспечивали возможность клинической интерпретации генерируемых заключений. Заключение. Разработаны интерпретируемые прогностические модели машинного обучения, основным элементом которых являлась многоуровневая категоризация предикторов внутригоспитальной летальности. Данный подход отличался высокой точностью и объяснимостью результатов прогнозирования, что позволяет использовать его при других заболеваниях кардиологического профиля.
Ключевые слова: прогностические модели, многоуровневая категоризация, внутригоспитальная летальность, коронарное шунтирование, метод аддитивного объяснения Шепли.
Для цитирования: Шахгельдян К.И., Рублев В.Ю., Куксин Н.С., [и др.]. Интерпретируемые модели машинного обучения как инструмент объяснения прогнозных оценок в кардиологии // Вестник современной клинической медицины. - 2025. - Т. 18, вып. 1. - С.98-106. DOI: 10.20969/VSKM.2025.18(1).98-106.
Interpretable machine learning models as an instrument for explaining predictive assessments in cardiology
Karina I. Shakhgeldyan12, Vladislav U. Rublev13, Nikita S. Kuksin1, Regina L. Pak1, Boris I. Geltser1
1Far Eastern Federal University, 10/25 Ajax Bay, Russky Island, 690922 Vladivostok, Primorsky Krai, Russia 2Vladivostok State University, 41 Gogolya Str., 690922 Vladivostok, Primorsky Krai, Russia 3Regional Clinical Hospital No. 1, 57 Aleutskaya Str., 690091 Vladivostok, Primorsky Krai, Russia
Abstract. Introduction. In-hospital mortality during coronary artery bypass grafting in patients with coronary artery disease varies from 1 to 6%. In recent years, machine learning methods have been increasingly used to predict in-hospital mortality after coronary artery bypass grafting. However, their widespread implementation in clinical practice is limited by the non-transparency of the predictive results. Aim. The aim of the study is to develop interpretable machine learning models for predicting in-hospital mortality in patients with coronary artery disease after coronary artery bypass grafting, based on the multi-level categorization of continuous predictors. Materials and Methods. A single-center retrospective study was conducted using data from 1504 case histories of patients with coronary artery disease after coronary artery bypass grafting. Two groups were identified: The first one included 79 (5.3%) patients who had died in the hospital, and the second one included 1425 (94.7%) patients with favorable coronary artery bypass grafting outcomes. Statistical analysis methods were used to select predictors, and models were developed using machine learning methods, such as multivariate logistic regression, random forest, and stochastic gradient boosting. Grid search optimization and the Shapley additive explanation method were used for the multi-level categorization of predictors. Results and Discussion. As a result of the multi-step analysis of the clinical and functional status indicators in patients with coronary artery disease,
in-hospital mortality predictors were identified, validated, and categorized. Predictive models of in-hospital mortality with multi-level categorization of predictors surpassed the models with continuous predictors in terms of performance (AUC 0.882 vs 0.856) and provided clinical interpretability of the generated conclusions. Conclusions. Interpretable predictive machine learning models have been developed, with the main element being the multi-level categorization of in-hospital mortality predictors. This approach was characterized by high accuracy and interpretability of the prediction results, which allows using it for other cardiological conditions.
Keywords: predictive models, multi-level categorization, in-hospital mortality, coronary artery bypass grafting, Shapley additive explanation method.
For citation: Shakhgeldyan, K.I.; Rublev, V.U.; Kuksin, N.S.; et al. Interpretable machine learning models as an instrument for explaining predictive assessments in cardiology. The Bulletin of Contemporary Clinical Medicine. 2025, 18 (1), 98-106. DOI: 10.20969/VSKM.2025.18(1).98-106.
Введение. Ишемическая болезнь сердца (ИБС) доминирует среди причин смертности населения в большинстве стран мира [1]. Коронарное шунтирование (КШ) относится к одной из основных хирургических технологий восстановления коронарного кровотока при ИБС [2]. Вместе с тем внутригоспитальная летальность (ВГЛ) при выполнении КШ варьирует в диапазоне от 1 до 6%, что зависит от возраста больных, спектра и тяжести сопутствующих заболеваний и других факторов [3]. В современной клинической практике для стратификации риска ВГЛ после КШ используются шкалы, разработанные с помощью многофакторной логистической регрессии (МЛР): Euroscore II [4], The Society of Thoracic Surgeons [5], HATCH [6]. В последние годы для прогнозирования ближайших и отдаленных результатов КШ помимо МЛР все чаще используют более широкий спектр методов машинного обучения (МО). Показана, в частности, прогностическая эффективность алгоритмов стохастического градиентного бустинга (СГБ), случайного леса (СЛ) и деревьев решений [7-9]. В большинстве исследований для разработки прогностических моделей в клинической медицине используются предикторы в непрерывной форме. Основным недостатком этих моделей является непрозрачность генерируемых прогнозов, что ограничивает их широкое внедрение в повседневную врачебную практику. В последние годы внимание исследователей сосредоточено на разработке интерпретируемых моделей МО, предикторы которых представлены в категориальной форме [10]. В ряде публикаций показано, что многоуровневая категоризация является приоритетным методом поиска пороговых значений предикторов, обеспечивающим высокую точность прогнозирования и объяснимость его результатов [11]. В настоящей работе на примере оценки вероятности ВГЛ у больных ИБС после планового КШ анализируется предсказательная ценность интерпретируемых моделей МО и возможность трансляции данного подхода для прогностических исследований при других заболеваниях кардиологического профиля.
Цель исследования. Разработка интерпретируемых моделей МО для прогнозирования ВГЛ у больных ИБС после КШ на основе многоуровневой категоризации непрерывных предикторов.
Материалы и методы. Проведено одноцен-тровое когортное ретроспективное исследование с использованием базы данных больных ИБС после КШ. Было обработано 1504 электронных историй болезни пациентов (1152 мужчин и 352 женщин) со
стабильной ИБС в возрасте от 35 до 83 лет с медианой (МЕ) 64 года и межквартильным интервалом (59; 69), поступивших для планового КШ в кардио-хирургическое отделение " Приморская краевая клиническая больница № 1" г. Владивостока в период с 2008 по 2023 гг [12]. Среди обследованной когорты было выделено 2 группы лиц. В первую из них вошли 79 (5,3%) больных, умерших в стационаре в течении 30 суток после операции (ВГЛ), во вторую - 1425 (94,7%) пациентов с благоприятным исходом КШ. Критерии включения в исследование: больные со стабильной ИБС и подтвержденной необходимостью планового изолированного КШ. Критерии невключения: больные с острым коронарным синдромом и эндоваскулярной реваскуляризацией. Исследование соответствовало принципам Хельсинкской декларации и одобрено локальным этическим комитетом ДВФУ № 1 от 08.12.2021. Дооперационный клини-ко-функциональный статус больных оценивали в первые сутки стационарного лечения с помощью 150 факторов, наиболее значимые из которых представлены в таблице 1. Анализировали анамнестические данные, эхокардиографические индикаторы, в том числе фракцию выброса левого желудочка (ФВ ЛЖ), продольный размер правого предсердия (ППП), диаметр правого предсердия (ДПП), диаметр левого предсердия (ДЛП), систолическое давление в легочной артерии (СДЛА), концентрацию креатинина в крови и др. Конечная точка исследования была представлена показателем ВГЛ после КШ от всех причин в форме категориального бинарного признака («отсутствие» или «развитие»).
Распределение данных по тесту Колмогорова-Смирнова отличалось от нормального, в связи с чем использовали непараметрические методы статистики. Показатели были представлены медианой (Me) и межквартильными интервалами (Q1; Q3), для межгрупповых сравнений непрерывных переменных применяли тест Манна-Уитни, а для категориальных - х2. Отношение шансов (ОШ) и их 95% ДИ рассчитывали точным тестом Фишера. Статистически значимыми считали различия при р<0.05.
Прогностические модели ВГЛ с предикторами в непрерывной форме разрабатывали методами МЛР, СЛ и СГБ. Модели, в которых использовались категориальные предикторы, разрабатывали только на основе МЛР и СГБ. Качество моделей оценивали по 6 метрикам: площадь под ROC-кривой (AUC), чувствительность (Sen), специфичность (Spec), F1-score, positive predictive value (PPV), negative predictive value (NPV).
Для дихотомизации потенциальных предикторов использовали методы оптимизации на сетке с шагом A=(max-min)/100: минимизацию p-value - Min(p-value), максимизацию AUC - Max(AUC), квартили, метод центроидов [13] и аддитивного объяснения Шепли (SHAP) [14]. Последний применяли также для оценки степени влияния предикторов модели на конечную точку. Для выполнения многоуровневой категоризации нами предложено 2 новых подхода. Первый из них предполагал использование пороговых значений, полученных по результатам анализа SHAP-value (рисунок). Второй, мультиметрический, объединял все пороговые значения, выделенные при дихотомизации показателей различными методами, в том числе многоуровневой категоризации по SHAP. При этом близкие пороговые значения объединялись в одно путем усреднения. Кроме того, в работе применяли 2 процедуры категоризации, предложенные ранее [13, 15]. В первой использовали медианы анализируемых факторов в группах сравнения и равноудаленные от них значения (центроиды), с помощью которых выделяли 4 категории для каждого показателя [13]. Вторая процедура была связана с выделением 4-х категорий для каждой переменной по результатам оценки их медиан, 2 и 3 квартили [15].
Датасет был разделен на 2 выборки: для обучения и кросс-валидации - 80%; для итогового тестирования - 20%. Процедура обучения и кросс-валидации выполнялась методом стратифицированного k-Folders на 7 выборках. Усредненные метрики качества AUC, Sen и Spес использовали для выбора лучшей модели, отбора и валидации предикторов и подбора оптимальных гиперпараметров путем перебора по сетке допустимых значений. Для заключительного тестирования лучшие модели МЛР, СЛ и СГБ с оптимальными параметрами и гиперпараметрами обучали на 80% датасета, а проверяли на подгруппе для итогового тестирования. Для доверительной оценки метрик качества процедуру повторяли 100 раз, выполняя первоначальное разделение случайным образом методом Монте-Карло.
Анализ данных и построение моделей проводились в Python с открытым исходным кодом, версии 3.9.16.
Дизайн исследования включал 5 этапов. На первом из них с помощью тестов межгрупповых сравнений формировался пул потенциальных предикторов ВГЛ (таблица 1). На втором этапе с помощью методов МО разрабатывали прогностические модели ВГЛ c предикторами в непрерывной форме (таблица 2). Структуру моделей пошагово
Таблица 1 Table 1
Клинико-функциональная характеристика больных ишемической болезнью сердца
Clinical and functional parameters of patients with ischemic heart disease
Предиктор Группа 1 (n=79) Группа 2 (n=1432) ОШ (95%) ДИ p-value
Возраст, лет 68 (64; 73) 64 (59; 69) - 0.0000092
ППП, см 4.2 (3.8; 4.4) 3.7 (3.4; 4.1) - <0.000001
ДПП, см 4.7 (4.3; 5.3) 4.3 (3.8; 4.9) - 0.000024
ДЛП, см 4.9 (4.25; 5.3) 4.5 (3.9; 5) - 0.00025
ФВ ЛЖ, % 52 (42; 60 ) 60 (51; 64) - 0.0000034
СДЛА, мм рт.ст. 28.5 (23; 39.25) 26 (23; 30) - 0.0105
КСР, см 3.6 (3.2; 3.95) 3.4 (3.1; 3.8) - 0.0119
КДР, см 5.2 (4.8; 5.45) 5.1 (4.8; 5.4) - 0.769
ИМ, абс. (%) 42 (55.2%) 290 (20.35%) 4.44 [2.8; 7.04] <0.000001
ХСН III—IV ФК , абс. (%) 25 (31.6%) 180 (12.6%) 3.17 [1.9; 5.2] 0.0000048
ЭКА, абс. (%) 40 (50.6%) 477 (33.47%) 2.04 [1.29; 3.2] 0.0023
СС III—IV ФК, абс. (%) 32 (40.5%) 331 (23.2%) 2.25 [1.4; 3.6] 0.00104
Аортальный стеноз 6 (7.6%) 29 (2%) 3.3 [1.2; 7.7] 0.029
НТК, абс(%) 22 (27.8%) 188 (13.2%) 2.54 [1.5; 4.25] 0.00074
Креатинин, ммоль/л 108.55 (90.1; 125.2) 96 (82; 110) - 0.000121
КК, мл / мин 60.35 (47.9; 79.6) 77.62 (64.1; 95.3) - <0.000001
ТВ, с 18.2 (15.1; 21) 19.9 (17.2; 21.5) - 0.00275
ПТИ, % 89.25 (81.9; 96) 93.6 (85.7; 101) - 0.00081
СОЭ, мм/час 15 (9; 28) 13 (7.5; 22.5) - 0.0467
Глюкоза, ммоль/л 5.625 (4.993; 7.14) 6.657±3.142 5.67 (5.13; 6.475) 6.13±1.76 0.989 0.0172
СО, абс. (%) 6 (9.52%) 25 (2.67%) 3.8 [1.5; 9.73] 0.00779
Примечание: ППП - продольный размер правого предсердия; ДПП - диаметр правого предсердия; ФВ ЛЖ- фракция выброса левого желудочка; СДЛА - систолическое давление в легочной артерии; ТВ - тромбиновое время; КСР - конечного систолического размера; КДР - конечного диастолического размера; ДЛП - диаметр левого предсердия; КК - клиренс кре-атинина; СО - срочность проведения коронарного шунтирования (экстренные операции); НТК - наличие недостаточности трикуспидального клапана; ИМ - недавний инфаркт миокарда; ХСН - хроническая сердечная недостаточность ; ЭКА - экстра-кардиальная артериопатия; СС - стенокардия; ФК - функциональный класс; ПТИ - протромбиновый индекс; СОЭ - скорость оседания эритроцитов.
дополняли новыми предикторами, выделенными на первом этапе исследования, при условии статистически значимого различия на уровне р^а!ие < 0.05. Прогностическая значимость предиктора подтверждалась, если после его включения в модель значение ЛЫС возрастало. На третьем этапе с помощью различных методов выделения пороговых значений осуществляли бинаризацию непрерывных переменных (таблица 3). На четвертом этапе исследования выполняли многоуровневую категоризацию переменных. В рамках каждого подхода формировали группы потенциальных предикторов ВГЛ. Для оценки степени их влияния на конечную точку были разработаны модели МЛР, весовые коэффициенты которых использовали для кодирования многоуровневых категориальных предикторов. На пятом этапе, используя СГБ, разработаны 4 новых прогностических модели ВГЛ, предикторы которых были получены разными методами многоуровневой категоризации.
Результаты. Межгрупповой анализ факторов, характеризующих клинико-функциональный статус больных ИБС перед КШ, показал, что пациенты первой группы отличаются более старшим возрастом, увеличением продольного (ППП) и поперечного (диаметр - ДПП) размеров правого предсердия, поперечного (диаметр - ДЛП) размера левого предсердия, более низкими значениями ФВ ЛЖ, тромбинового времени (ТВ), протромбинового индекса (ПТИ), клиренса креатинина (КК) и конечного систолического размера ЛЖ (КСР); повышением систолического давления в легочной артерии (СДЛА); большим числом случаев срочного/экстренного (СО) проведения КШ; наличием недостаточности трикуспидального клапана (НТК) в анамнезе, недавно (до 4-х месяцев) перенесенного ИМ, хронической сердечной недостаточности (ХСН) и стабильной стенокардии (СС) ИМУ функционального класса (ФК), экстракарди-альной артериопатии (ЭКА), аортального стеноза в анамнезе (таблица 1).
На втором этапе исследования были разработаны прогностические модели ВГЛ, в которых пре-
дикторы были выделены путем последовательного включения анализируемых факторов в структуру моделей МЛР, СГБ и СЛ. Увеличение точности прогноза по метрике ЛЫС свидетельствовало об их предсказательной ценности. Структура лучших моделей МЛР, СГБ и СЛ включала идентичный набор предикторов в непрерывной (ППП, возраст больных, концентрацию креатинина и глюкозы в крови, СДЛА и ФВ ЛЖ) и дихотомической форме (недавно перенесенный ИМ, наличие ХСН и стабильной стенокардии ИМУ ФК, ЭКА и СО).
Сопоставление предсказательной ценности разработанных моделей МЛР, СГБ и СЛ показало, что они обладают высокой прогностической способностью и имеют близкие значения метрик качества при кросс-валидации и итоговом тестировании (ЛЫС варьировала от 0,846 до 0,858), что свидетельствует об отсутствии их переобучения и хороших обобщающих свойствах (таблица 2).
На третьем этапе исследования выполняли дихо-томизацию предикторов ВГЛ в непрерывной форме методами поиска оптимального порога отсечения на сетке, расчета центроида и БИЛР (таблица 3). Использование пороговых значений, отклонение от которых ассоциируется с увеличением вероятности ВГЛ, позволяет рассматривать бинаризированные данные как факторы риска (ФР) фатального события. ФР кодируется "1", если значение предиктора превышает порог с постфиксом "+" или не достигает его - с постфиксом "-", в остальных случаях - "0".
Результаты исследования показали, что пороговые значения, полученные различными методами бинаризации часто отличались между собой, несмотря на то, что все они имели статистическую значимость по критерию р^а!ие < 0.01. Так, например, порог отсечения для показателя возраста по версии БНЛР составлял >68 лет, в то время как при минимизации р^а!ие точка отсечения фиксировалась на уровне 75 лет (таблица 3). Необходимо отметить, что метод БНЛР позволяет не только определить пороговые границы, но и оценить интенсивность влияния на ВГЛ показателей, значения которых
Таблица 2
Оценка точности прогностических моделей ВГЛ у больных ИБС после КШ с использованием предикторов
в непрерывной форме
Table 2
Performance evaluation of predictive models for in-hospital mortality in patients with ischemic heart disease after coronary artery bypass grafting, using continuous predictors
Метрики Кросс-валидация Итоговое тестирование
МЛР СГБ СЛ МЛР СГБ СЛ
AUC 0.853 [0.85; 0.856] 0.846 [0.843; 0.849] 0.847 [0.844; 0.851] 0.771[0.761; 0.781] 0.779 [0.761; 0.782] 0.858 [0.833;0.884] 0.853 [0.841; 0.864] 0.856 [0.846; 0.867]
Sen 0.771 [0.765; 0.7777] 0.765 [0.757; 0.773] 0.774 [0.771; 0.777] 0.782 [0.759 0.804] 0.784 [0.76; 0.809] 0.892 [0.781; 0.822]
Spec 0.776 [0.773 0.779] 0.77 [0.763; 0.777] 0.771 [0.763; 0.778] 0.773 [0.766; 0.78]
PPV 0.226 [0.223; 0.229] 0.223 [0.22; 0.227] 0.229 [0.226; 0.233] 0.215 [0.208; 0.221] 0.216 [0.209; 0.223] 0.222 [0.215; 0.228]
NPV 0.977 [0.976; 0.977] 0.976 [0.975; 0.977] 0.976 [0.975; 0.977] 0.978 [0.976; 0.98] 0.978 [0.976; 0.981] 0.98 [0.978; 0.982]
F-score 0.347 [0.343 0.352] 0.344 [0.339; 0.348] 0.351 [0.347; 0.356] 0.336 [0.327; 0.345] 0.337 [0.328 ;0.348] 0.346 [0.327; 0.356]
Таблица 3
Дихотомизация непрерывных предикторов ВГЛ с помощью различных методов
Table 3
Dichotomization of ^ntinuous predictors of in-hospital mortality using various methods
Предиктор Min(p-value) Max(AUC) Центроид SHAP
Возраст, лет 75+ 67+ 66+ 68+ 76+
ФВ ЛЖ, % 43- 50- 56- 4637-
СДЛА,мм рт.ст. 38+ 33.6+ 27+ 35+ 39+ 48+
Креатинин, ммоль/л 116.5+ 116.5+ 102+ 81-118+
ППП,см 4+ 3.9+ 3.95+ 4.1 + 4.5+
Глюкоза, ммоль/л 17.3+ 7.1 + 5.6+ 7.1 + 11.4+
Примечание: ППП - продольный размер правого предсердия; ФВ ЛЖ - фракция выброса левого желудочка; СДЛА - систолическое давление в легочной артерии.
находятся в "зоне риска" (рисунок). Так, зоны, где наблюдаются отрицательные значения SHAP-value, ассоциируются с благоприятным исходом КШ. Зона с близкими к 0 значениями SHAP-value характеризует отсутствие связи с конечной точкой. Положительные SHAP-value указывают на взаимосвязи анализируемого показателя с ВГЛ. Полученные данные позволяют выделить категориальные ФР ВГЛ, к которым помимо возраста старше 68 лет относятся следующие признаки: ППП > 4.1 см, ФВ ЛЖ < 43%, СДЛА > 39 мм рт.ст., креатинин > 118 ммоль/л (рисунок). Все дихотомические показатели подтвердили свой прогностический потенциал в качестве предикторов ВГЛ в разработанных моделях МО.
Оценка динамики изменений SHAP-value явилась основанием для использования этого метода в процедурах многоуровневой категоризации. Так, на примере диаграммы ФВ ЛЖ видно, что вероятность ВГЛ последовательно увеличивается в диапазоне значений данного показателя от 43% до 37% и резко возрастает при его уровне < 37%. Увеличение возраста пациента более 68 лет повышает риск ВГЛ, но вероятность фатального исхода значительно возрастает у пациентов старше 76 лет.
На четвертом этапе исследования на основе использования 4-х методов многоуровневой категоризации были сформированы группы ФР ВГЛ (таблица 4). Первый пул ФР был получен при анализе SHAP-value (рисунок). Второй - расширял первый пул ФР дихотомическими пороговыми значениями, полученными на предыдущем этапе другими методами бинаризации. Третья группа включала медианы предикторов в группах сравнения и их центроиды, а четвертая - использовала пороговые значения, соответствующие квартилям предикторов. Для кодирования значений многоуровневых категориальных предикторов использовали весовые коэффициенты (ВК) моделей МЛР, разработанных для каждой группы ФР. Если ВК в МЛР был меньше 0, то исключали соответствующий ему ФР из рассмотрения. В таблицу 4 вошли ФР только с положительными ВК.
На пятом этапе на основе многоуровневых предикторов, полученных различными методами, были разработаны 4 прогностические модели ВГЛ на основе СГБ (таблица 5). Лучшие прогностические свойства демонстрировала модель с предикторами, выделенными методом мультиметрической категоризации. Она превосходила по точности модель, включающую непрерывные переменные (р^а1ие < 0.00001), и позволяла дать клиническую интерпретацию прогнозу ВГЛ по результатам оценки пороговых значений и ВК ее предикторов (таблица 4). С учетом этих данных было установлено, что у больных ИБС после КШ наибольшая вероятность развития неблагоприятного исхода ассоциируется с уровнем глюкозы выше 11.4 ммоль/л (ВК - 2.077) и выше 17.3 ммоль/л (ВК -3.843), возрастом старше 76 лет (ВК -1.91) и показателем ППП в диапазоне 4.1 -4.5 см (ВК - 1.726). К менее значимым факторам риска ВГЛ относятся показатели СДЛА > 39 мм рт. ст. (ВК - 1.465), уровни креатинина > 118 ммоль/л (ВК - 1.137) и < 81 ммоль/л (ВК - 1.093), экстренность операции (ВК - 1.063), СС III—IV ФК (ВК -1.053), недавний ИМ (ВК - 1.028), ЭКА (ВК - 0.982), ХСН III—IV ФК (ВК - 0.98). Средний уровень влияния на ВГЛ демонстрировали показатели ППП > 4.5 см (ВК - 0.774), ФВ ЛЖ < 37% (ВК - 0.729), возраст в диапазоне от 68 до 76 лет (ВК - 0.688) и СДЛА от 35 до 39 мм рт.ст. (ВК - 0.617).
Обсуждение. В последние годы на основе методов МО разрабатываются прогностические модели, применение которых в клинической практике ограничивается сложностью интерпретации результатов прогноза. Перспективными инструментами для решение этой задачи являются алгоритмы объяснимого искусственного интеллекта, к которым относят определение пороговых значений предикторов прогностических моделей и их ранжирование по интенсивности влияния на конечную точку [16]. Одним из подходов к определению пороговых значений является категоризация предикторов, которая позволяет детализировать соотношения показате-
<u 1
< О
(Л
■"httitH^
„.„••••i
...........I'll1" !
• ■ ¡Iм 168
40
-4-
76
50 60 70 80
Возраст, лет
.......
Illiil1 ' -1- 1 1 1 1 1 1
• П" 14.114.5
3 4 5
ППП, CM
< I
1.0
0.0
-0.5
50
100 150 200
Креатинин, ммоль/1
. 1 „• 1 1 . Ut .
Ц- г .....
ж гН СО Wfill8
, . . J т i t i—i—
250
0.75 0.50 0.25 0.00 -0.25
■ . i 1
* • ■ -.!i ' - it 1 1
■ i ;
i
i i 371 1 III 143 ~~I jlpl fijl. •
30
40 50 60 70 ФВ ЛЖ, %
80
90
1.0
и a
m
> 0Л
n
<
X
l/l 0.0
20
II -1 i 1! г i
1 l;~ 1 i I i !.[' 1! ' 1 ,
."• ¡1. ______ 1 1
■ц 139 ¡48 FIPr 1 1Г 1
40 60
СРДЛА, мм.рт.ст.
80
1.5 1.0 0.5 0.0
10 15 20
Глюкоза, ммоль/л
• • I
•
Щ
0i 7.1 11.4
25
Рисунок. Влияние непрерывных и категориальных показателей на вероятность неблагоприятного исхода Figure 1. Influence of Continuous and Categorical Indicators on the Probability of an Adverse Outcome Примечание: пунктирные линии обозначают пороги отсечения; ППП - продольный размер правого предсердия; ИМ - инфаркт миокарда, ФВ ЛЖ - фракция выброса левого желудочка; СДЛА - систолическое давление в легочной артерии, ХСН-хроническая сердечная недостаточность.
Таблица 4
Весовые коэффициенты и пороги предикторов, полученные методами многоуровневой категоризации
Table 4
Weight coefficients and predictor thresholds obtained through methods of multi-level categorization
Предикторы Мультиметрическая категоризация Медианы групп и центроид Квартили
Пороги ВК Пороги ВК Пороги ВК
Возраст, лет [68;76] 0.688 [64;69] 0.739
76+ 1.91 68+ 0.973 69+ 0.982
ППП, см [4.1;4.5] 1.726 [3.95; 4.2] 0.921 [3.7;4.1] 0.84
4.5+ 0.774 4.2+ 1.685 4.1 + 1.935
ФВ, % 37- 0.729 52- 0 50- 0.182
СДЛА, мм рт. ст. [35; 39] 0.617 [26;30] 0.228
39+ 1.465 28+ 0.906 30+ 0.881
Креатинин, ммоль/л 81- 1.093
118+ 1.137 108+ 0.694 110+ 0.613
Глюкоза [11.4; 17.3] 2.077 [5.6; 6.5] 0.247
17.3+ 3.843 5.6+ 0.444 6.5+ 0.677
ИМ 1 1.028 1 0.959 1 2.23
ХСН III—IV ФК 1 0.98 1 1.031 1 0.846
ЭКА 1 0.982 1 1.03 1 0.673
СО 1 1.063 1 1.439 1 1.541
CC III-IV ФК 1 1.053 1 1.06 1 1.27
Примечание: ППП - продольный размер правого предсердия, ФВ - фракция выброса левого желудочка (ЛЖ), СДЛА - систолическое давление в легочной артерии, СС- стабильная стенокардия, ИМ - недавний инфаркт миокарда, ХСН - хроническая сердечная недостаточность; ФК - функциональный класс; ЭКА - экстракардиальная артериопатия; СО - срочность проведения коронарного шунтирования (экстренные операции); ВК - весовые коэффициенты.
Таблица 5
Оценка точности прогностических моделей ВГЛ на основе предикторов с многоуровневой категоризацией
Table 5
Performance evaluation of prognostic models for in-hospital mortality based on predictors with multi-level categorization
Метрики Мультиметрическая категоризация Медианы групп и центроид Квартили
AUC 0.882 [0.873; 0.891] 0.859 [0.849; 0.869] 0.856 [0.846; 0.866]
Sen 0.817 [0.796; 0.838] 0.772 [0.748; 0.795] 0.793 [0.772; 0.815]
Spec 0.812 [0.807; 0.817] 0.777 [0.771; 0.783] 0.777 [0.771; 0.782]
PPV 0.258 [0.25;0.265] 0.216 [0.209; 0.222] 0.22 [0.214; 0.226]
NPV 0.983 [0.981; 0.985] 0.978 [0.975; 0.98] 0.98 [0.978; 0.982]
F-score 0.391 [0.381; 0.4] 0.336 [0.327; 0.345] 0.344 [0.336; 0.353]
лей клинико-функционального статуса больных с результирующей переменной.
Наиболее доступным методом многоуровневой категоризации является дескриптивная статистика с расчетом медиан, квартилей или квантилей [1719], который неоднократно подвергался критике и, как показано в нашей работе, ухудшал прогностические свойства моделей. Другим распространенным способом категоризации является выделение пороговых значений известных из практики как выход за пределы нормы, которые не связаны с клиническим контекстом прогнозируемого неблагоприятного события [19]. В качестве альтернативы нами были предложены и валидированы два метода многоуровневой категоризации непрерывных переменных способные учитывать клинический контекст: метод БИДР и мультиметрическая категоризация. Первый базируется на извлечении знаний об особенностях взаимосвязей клинических параметров и конечной точки из уже обученной многофакторной прогностической модели, что позволяет более точно определить пороги отсечения предикторов. В основе второго метода лежит оптимизация целевых функций р^а!ие, ДиС и расчет порогового значения с помощью центроиды [13]. Использование ФР, выделенных различными методами категоризации, позволяет улучшить прогностические свойства моделей и повысить их интерпретируемость. Так, в модели с непрерывными предикторами ДиС составляла 0.858, а при использовании мультиметрической категоризации - 0.882. Кроме того, применение ФР в качестве предикторов детализирует знания об их взаимосвязи с конечной точкой исследования.
Ограничения исследования связаны с его ретроспективным характером, необходимостью валидации моделей на данных из других лечебных учреждений.
Заключение. В настоящем исследовании на основе базы данных пациентов с ИБС после планового КШ разработаны интерпретируемые прогностические модели МО, основным элементом которых являлась мультиметрическая категоризация предикторов ВГЛ. Данный подход обеспечил высокую точность и прозрачность результатов прогнозирования. Полученные данные свидетельствуют о возможности использования предложенного метода в задачах прогнозирования при других заболеваниях кардиологического профиля.
Прозрачность исследования. Исследование выполнено в рамках проекта FZNS-2023-0010 Госзадания ДВФУ. Авторы несут полную ответственность за предоставление окончательной версии рукописи в печать.
Декларация о финансовых и других взаимоотношениях. Все авторы принимали участие в разработке концепции и дизайна исследования и в написании рукописи. Окончательная версия рукописи была одобрена всеми авторами.
ЛИТЕРАТУРА /REFERENCES
1. Khan MA, Hashim MJ, Mustafa H, et al. Global Epidemiology of Ischemic Heart Disease: Results from the Global Burden of Disease Study. Cureus. 2020; 12 (7): e9349. DOI: 10.7759/cureus.9349
2. Neumann FJ, Sousa-Uva M, Ahlsson A, et al. 2018 ESC/ EACTS Guidelines on myocardial revascularization. European heart journal. 2019; 40 (2): 87-165. DOI: 10.1093/eurheartj/ehy394
3. Гельцер Б.И., Рублев В.Ю., Циванюк М.М., Шахгельдян К.И. Машинное обучение в прогнозировании ближайших и отдаленных результатов реваскуляризации миокарда: систематический обзор // Российский кардиологический журнал. - 2021. - Т.26, вып.8. - С.115-124. [Geltser BI, Rublev VU, Tsivanyuk MM, Shakhgeldyan KI. Mashinnoe obuchenie v prognozirovanii blizhajshih i otdalennyh rezul'tatov revaskulyarizacii miokarda. [Machine Learning in Predicting Short-Term and Long-Term Outcomes of Myocardial Revascularization: A Systematic Review]. Rossijskij kardiologicheskij zhurnal [Russian Journal of Cardiology]. 2021; 26 (8): 115-124. (In Russ.)]. D0I:10.15829/1560-4071-2021-4505
4. Nashef SA, Roques F, Michel P, et al. European system for cardiac operative risk evaluation (EuroSCORE). European journal of cardio-thoracic surgery: official journal of the European Association for Cardio-thoracic Surgery. 1999; 16(1): 9-13. DOI: 10.1016/s1010-7940(99)00134-7
5. Suenari K, Chao TF, Liu CJ, Kihara Y, et al. Usefulness of HATCH score in the prediction of new-onset atrial fibrillation for Asians. Medicine. 2017; 96 (1): e5597. DOI:10.1097/MD.0000000000005597
6. Vassileva CM, Aranki S, Brennan JM, et al. Evaluation of the Society of Thoracic Surgeons Online Risk Calculator for Assessment of Risk in Patients Presenting for Aortic Valve Replacement After Prior Coronary Artery Bypass Graft: An Analysis Using the STS Adult Cardiac Surgery Database. The Annals of thoracic surgery. 2015; 100 (6): 2109-2116. DOI: 10.1016/j.athoracsur.2015.04.149
7. Mpanya D, Celik T, Klug E, Ntsinjana H. Machine learning and statistical methods for predicting mortality in heart
failure. Heart failure reviews. 2021; 26 (3): 545-552. DOI: 10.1007/s10741-020-10052-y
8. Shin S, Austin PC, Ross HJ, et al. Machine learning vs. conventional statistical models for predicting heart failure readmission and mortality. ESC heart failure. 2021; 8 (1): 106-115. DOI: 10.1002/ehf2.13073
9. Okere AN, Sanogo V, Alqhtani H, Diaby V. Identification of risk factors of 30-day readmission and 180-day inhospital mortality, and its corresponding relative importance in patients with Ischemic heart disease: a machine learning approach. Expert review of pharmacoeconomics & outcomes research. 2021; 21 (5): 1043-1048. D0I:10.1 080/14737167.2021.1842200
10. Putri Sari Asiha et al. Interpretable Machine Learning Model For Heart Disease Prediction. 8th International Conference on Computer Science and Computational Intelligence (ICCSCI 2023). Procedia Computer Science. 2023; 227: 439-445. DOI: 10.1016/j.procs.2023.10.544
11. Shakhgeldyan KI, Kuksin NS, Domzhalov IG, et al. Interpretable machine learning for in-hospital mortality risk prediction in patients with ST-elevation myocardial infarction after percutaneous coronary interventions. Computers in Biology and Medicine. 2024; 170: 107953. DOI: 10.1016/j.compbiomed.2024.107953
12. Рублев В.Ю., Гельцер Б.И., Шахгельдян К.И. Прогностическая оценка клинико-функционального статуса пациентов с ишемической болезнью сердца после коронарного шунтирования // Свидетельство о государственной регистрации базы данных № 2022621907. 2022. бюл. № 8. [Rublev VU, Geltser BI, Shakheldyan KI. Prognosticheskaya ocenka kliniko-funkcional'nogo statusa pacientov s ishemicheskoj bolezn'yu serdca posle koronarnogo shuntirovaniya. [Prognostic Assessment of the Clinical and Functional Status of Patients with Ischemic Heart Disease After Coronary Artery Bypass Grafting].
Svidetel'stvo o gosudarstvennoj registracii bazy dannyh № 2022621907 [Certificate of State Registration of a Database № 2022621907]. 2022; 8. (In Russ.)].
13. Valente F, Henriques J, Paredes S, et al. A new approach for interpretability and reliability in clinical risk prediction: Acute coronary syndrome scenario. Artif Intell Med. 2021; 117: 102113. DOI: 10.1016/j.artmed.2021.102113
14. Lundberg SM, Lee SI. A unified approach to interpreting model predictions, in: Advances in Neural Information Processing Systems. Proceedings of the 31st Annual Conference on Neural Information Processing Systems (NIPS'17). 2017. URL: https://arxiv.org/abs/1705.07874
15. Evenson KR, Wen F, Herring AH. Associations of Accelerometry-Assessed and Self-Reported Physical Activity and Sedentary Behavior With All-Cause and Cardiovascular Mortality Among US Adults. Am J Epidemiol. 2016; 184 (9): 621-632. DOI: 10.1093/aje/ kww070
16. Molnar C. Interpretable Machine Learning. A Guide for Making Black Box Models Explainable Electronic resource.2023. URL: https://christophm.github.io/ interpretable-ml-book/
17. Altman DG, Royston P. The cost of dichotomising continuous variables. BMJ. 2006; 332 (7549): 1080. DOI: 10.1136/bmj.332.7549.1080
18. Mabikwa OV, Greenwood DC, Baxter PD, Fleming SJ. Assessing the reporting of categorised quantitative variables in observational epidemiological studies. BMC Health Serv Res. 2017; 17 (1): 201. DOI: 10.1186/ s12913-017-2237-9
19. Turner EL, Dobson JE, Pocock SJ. Categorization of continuous risk factors in epidemiological publications: a survey of current practice. Epidemiol Perspect Innov. 2010; 7: 9. DOI: 10.1186/1742-5573-7-9
ИНФОРМАЦИЯ ОБ АВТОРАХ:
ШАХГЕЛЬДЯН КАРИНА ИОСИФОВНА, ORCID ID: 0000-0002-4539-685X, докт. тех. наук, доцент, e-mail: [email protected];
зав. лабораторией анализа больших данных в здравоохранении и медицине Школы медицины и наук о жизни, ФГАОУ ВО «Дальневосточный федеральный университет», Россия, 690922, Приморский край, г. Владивосток, о. Русский, пос. Аякс, д.10, к.25; директор Научно-образовательного центра искусственного интеллекта, ФГБОУ ВО Владивостокский государственный университет, Россия, 690014, Приморский край, г.Владивосток, ул.Гоголя, д.41, тел.: +7(924) 231-44-91. РУБЛЕВ ВЛАДИСЛАВ ЮРЬЕВИЧ, ORCID ID: 0000-0001-76204454, e-mail: [email protected]; младший научный сотрудник лаборатории анализа больших данных в здравоохранении и медицине Школы медицины и наук о жизни, ФГАОУ ВО «Дальневосточный федеральный университет», Россия, 690922, Приморский край, г.Владивосток, о.Русский, пос.Аякс, д.10, к.25; врач сердечно-сосудистый хирург отделения хирургического лечения сложных нарушений ритма сердца и ЭКС, ГБУЗ "Приморская краевая клиническая больница №1", Россия, 690091, Приморский край, г. Владивосток, ул.Алеутская, 57.
КУКСИН НИКИТА СЕРГЕЕВИЧ, ORCID ID: 0009-0005-91060117, e-mail: [email protected];
аспирант, Институт математики и компьютерных технологий, ФГАОУ ВО «Дальневосточный федеральный университет», Россия, 690922, Приморский край, г.Владивосток, о. Русский, пос. Аякс, д.10, к.25.
INFORMATION ABOUT THE AUTHOR(S):
KARINA I. SHAKHGELDYAN, ORCID ID: 0000-0002-4539-685X, Dr. sc. tech., Associate Professor, e-mail: [email protected]; Head of the Big Data Analysis Laboratory in Medicine and Healthcare, School of Medicine and Life Sciences, Far Eastern Federal University, 10/25 Ajax Bay, Russky Island, 690922 Vladivostok, Primorsky Krai, Russia; Director of the Artificial Intelligence Research and Education Center, Vladivostok State University, 41 Gogolya Str., 690922 Vladivostok, Primorsky Krai, Russia. Tel. +7(924) 231-44-91.
VLADISLAV U. RUBLEV, ORCID ID: 0000-0001-7620-4454, e-mail: dr. rublev. [email protected];
Junior Researcher at the Big Data Analysis Laboratory in Healthcare
and Biomedicine, School of Medicine and Life Sciences,
Far Eastern Federal University, 10/25 Ajax Bay, Russky Island,
690922 Vladivostok, Primorsky Krai, Russia;
Cardiovascular Surgeon at the Department for Surgical Treatment
of Complex Heart Rhythm Disorders and Pacemakers,
Regional Clinical Hospital No. 1, 57 Aleutskaya Str., 690091
Vladivostok, Primorsky Krai, Russia.
NIKITA S. KUKSIN, ORCID ID: 0009-0005-9106-0117,
e-mail: [email protected];
Postgraduate Student, Institute of Mathematics and Computer Technology, Far Eastern Federal University, 10/25 Ajax Bay, Russky Island, 690922 Vladivostok, Primorsky Krai, Russia.
ПАК РЕГИНА ЛЕОНИДОВНА, ORCID ID: 0009-0004-3745-5399, e-mail: [email protected];
ассистент департамента клинической медицины, младший научный сотрудник лаборатории анализа больших данных в здравоохранении и медицине Школы медицины и наук о жизни, ФГАОУ ВО «Дальневосточный федеральный университет», Россия, 690922, Приморский край, г.Владивосток, о.Русский, пос.Аякс, д.10, к.25.
ГЕЛЬЦЕР БОРИС ИЗРАЙЛЕВИЧ, ORCID ID: 0000-0002-9250-557X, докт. мед. наук, профессор, член-корреспондент РАН, e-mail: [email protected];
зам. директора по науке Школы медицины и наук о жизни, ФГАОУ ВО «Дальневосточный федеральный университет», Россия, 690922, Приморский край, г. Владивосток, о. Русский, пос. Аякс, д.10, к.25.
REGINA L. PAK, ORCID ID: 0009-0004-3745-5399, e-mail: [email protected];
Assistant Professor at the Department of Clinical Medicine, Junior Researcher at the Big Data Analysis Laboratory in Healthcare and Biomedicine, School of Medicine and Life Sciences, Far Eastern Federal University, 10/25 Ajax Bay, Russky Island, 690922 Vladivostok, Primorsky Krai, Russia. Tel. +7(924) 322-55-48.
BORIS I. GELTSER, ORCID ID: 0000-0002-9250-557X, Dr. sc. med., Professor, Corresponding Member of the Russian Academy of Sciences, e-mail: [email protected]; Deputy Science Director of the School of Medicine and Life Sciences, Far Eastern Federal University, 10/25 Ajax Bay, Russky Island, 690922 Vladivostok, Primorsky Krai, Russia. Tel. +7(914) 703-38-04.
