CC BY
441
УДК 616-53.32-007.21:616-089-039.72
ВОЗМОЖНОСТИ ROC-АНАЛИЗА В ИНТЕНСИВНОЙ ТЕРАПИИ НОВОРОЖДЕННЫХ
Бударова1 К.В., Шмаков1 А.Н., Сирота2 С.И.
1ФГБОУ ВО «Новосибирский государственный медицинский университет», г. Новосибирск, Российская Федерация
2ГБУЗ НСО «Детская клиническая больница №1», г. Новосибирск, Российская Федерация
Аннотация: Рассмотрен ROC-анализ при применении бинарного классификатора. Продемонстрирована оценка предсказательной способности на примере двух шкал полиорганной недостаточности у новорожденных с хирургической патологией. В исследование были проанализированны динамические показатели шкал полиорганной недостаточности у 77 новорожденных с экстренной абдоминальной патологией. Проведена сравнительная оценка полученных результатов с имеющимися данными в литературе.
Ключевые слова: ROC-анализ, ROC-кривая, точка отсечения, новорожденные, шкалы оценки полиорганной недостаточности.
Введение: ROC-анализ (Receiver Operator Characteristic) является полезным классическим алгоритмом для решения вопросов классификации и определения предсказательной способности теста [1; 2; 3]. Данный метод позволяет объективно оценить диагностическую значимость тестирования, провести сравнительную оценку нескольких тестов, в том числе и разнородных, определить индивидуальные критерии каждого интерпретатора. ROC-кривая часто используется для представления результатов бинарной классификации [3; 4; 5]. ROC-кривая показывает зависимость количества верно классифицированных положительных примеров (истинно положительного множества) от количества неверно классифицированных отрицательных примеров (лож-ноотрицательного множества). Оценка надежности выражается в показателях чувствительности (sensitivity, Se) и специфичности (specificity, Sp). Сравнение двух и более тестов проводится с учетом площади под кривыми (AUC). С допущениями можно считать, что чем ближе показатель AUC к 1,0, тем лучшей прогностической силой
обладает модель. В литературе [2; 4] иногда приводится следующая экспертная шкала для значений АиС, по которой можно судить о качестве модели: 0,9-1,0 - отличное, 0,8-0,9 - очень хорошее, 0,7-0,8 - хорошее, 0,6-0,7 - среднее, 0,5-0,6 -неудовлетворительное.
Цель работы: на примере конкретной модели показать диагностическую и практическую ценность ROC-анализа в группе новорожденных с хирургической патологией. Было проведено обсервационное исследование эффективности тестируемой шкалы с эталонной (проверенной на валидность и общепризнанной) в группе новорожденных с хирургической патологией органов брюшной полости.
Статистическая обработка материала выполнена с применением программы «Statistica 6.0». Для статистического анализа были использованы ранговый корреляционный анализ по Спир-мену и возможности ROC-анализа с расчетом АиС, точек отсечения с чувствительностью и специфичностью, отношения правдоподобия (LR) и прогностичности результата (РУ).
—---
'Журнал включен в Перечень рецензируемых научных изданий ВАК
—--—
Материалы и методы: Исследование проводилось на базе ГБУЗ НСО «Детская клиническая больница № 1» города Новосибирска в отделении анестезиологии и реанимации с 2012г. по 2015г.
Критерии включения в исследование: необходимость экстренного хирургического лечения патологии кишечника; неонатальный период (до 28 суток жизни при поступлении). Критерии исключения: летальный исход до 3 суток с момента поступления (9 человек) и перевод из отделения анестезиологии-реанимации в профильное отделение до 2 суток с момента поступления (4 человека). Клинический материал до применения критерия исключения составил 90 новорожденных. После применения критериев исключения в разработку включено 77 новорожденных.
Распределение по степеням недоношенности в зависимости от гестационного возраста составило: 1 степень - 11,7% (9), 2 - 16,9% (13), 3 -7,8% (6), 4 - 16,9% (13). Значение медианы массы тела при рождении (Mo) доношенных новорожденных 2955г, минимальное значение (min) 2250г, а максимальное значение (max) 3910г. Значение данных показателей для недоношенных: медиана Mo 1800г, min 670г; max 2640г]. Мальчиков - 58,4% (45), девочек - 41,6% (32).
Новорожденные поступали в стационар на 2 сутки жизни (Me), со значениями min 1 час; max 17 суток. По встречаемости хирургическая патология представлена: кишечная непроходимость
Таблица 1
Оценка выраженности полиорганной недостаточности у новорождённых с острой хирургической патологией на этапах исследования: Me [min; max]
высокая - 30% (23), низкая - 19% (15); гастро-шизис - 12% (9), некротизирующий энтероколит (НЭК) IIIB стадии (по классификации Walsh M C, Kliegman R.M., 1986) - 39% (30). В качестве критерия исхода выбрана 28-дневная хирургическая летальность: благоприятный исход (выжили, переведены в профильное отделение) отмечен у 85,7% новорожденных (66 человек), летальный исход зарегистрирован у 14,3% (11 новорожденных) .
Сравнивали динамические оценки полиорганной недостаточности (ПОН) по двум шкалам: «Sequential Organ Failure Assessment» [8], адаптированная к неонатальному периоду («aSOFA») [6], выступающая в качестве испытуемой, с критическим порогом > 12 баллов, и «The Neonatal Multiple Organ Dysfunction» («NEOMOD») [7], с критическим порогом > 9 баллов, признанная эталонной.
Периодичность исследования соответствовала четырём временным этапам: 1. - первые сутки с момента поступления, 2. - конец первых суток послеоперационного периода, 3. - третьи сутки послеоперационного периода, 4. - седьмые сутки послеоперационного периода.
Результаты исследования. Балльная оценка по исследуемым шкалам на выделенных этапах приведена в таблице 1.
Этапы исследования «aSOFA», баллы «NEOMOD», баллы
1 этап 9 [2; 18] 4 [1; 11]
2 этап 10 [4; 19] 4 [3; 12]
3 этап 8 [2; 18] 3 [1; 13]
4 этап 7 [2; 20] 2 [1; 10]
Интерес представляло изучение валидности двух шкал с выявлением шкалы, обладающей
большей репрезентативностью. Данные корреляционного анализа шкал «NEOMOD» и «аSOFA» представлены в таблице 2.
Таблица 2
Корреляционные сопоставления баллов шкалы «NEOMOD» с баллами «аSOFA» на этапах исследования
Показатели Этапы
1. 2. 3. 4.
R 0,798 0,719 0,755 0,784
R2 0,64 0,52 0,57 0,61
Р 0,000 0,000 0,000 0,000
—--—
Как видно, сравниваемые шкалы продемонстрировали прямую, сильную, статистически значимую корреляционную связь на всех этапах
100
80
rv 60
<S 40
20
100 -
30
60
от 40
20
0
0
исследования. Обе шкалы удовлетворительно отражали динамику состояния пациентов.
Демонстрация сравнительной эффективности
двух шкал представлена на рисунке 1.
х
20
40
60
ВО
100
20
40
60
во
100
100-Speoficity Этап 1
100-Specificity Этап 2
j *
100
30
& 60
от 40
_L
_L
—-NEOMOD —■— SOFA
Х
20
0
— NEOMOD —■— SOFA 1С
X
100
о
100
- NEOMOD -SOFA
20 40 60 80 1ОО-БрестсКу
Этап 4
Рисунок 1. Сопоставление ROC-кривых шкал «NEOMOD» и «aSOFA» на выделенных этапах исследования.
20 40 60 30 100-Speciflcity
Этап 3
При визуальной оценке можно утверждать, что обе шкалы обладают высокой чувствительностью, причём на этапах 1 и 3 «aSOFA» имеет
незначительное преимущество. Результаты расчётов АиС представлены в таблице 3.
Таблица 3
Сопоставление двух шкал полиорганной недостаточности на этапах исследования
методом ROC-анализа
AUC Разница Стандартная 95% доверительный ин- уровень зна-
между ошибка (с) тервал AUC, (95%CI) чимости
AUC (р )
—--—
Журнал включен в Перечень рецензируемых научных изданий ВАК
—--—
NEOMOD 1 0,9 0,055 0,045 0,S1; 0,957 р = 0,154
SOFA 1 0,955 0,022 0,SS1; 0,9S9
NEOMOD 2 0,92S 0,01 0,03 0,S46; 0,975 р = 0,971
SOFA 2 0,927 0,035 0,S44; 0,974
NEOMOD 3 0,952 0,023 0,027 0,S7S; 0,9SS р = 0,424
SOFA 3 0,975 0,017 0,91; 0,997
NEOMOD 4 0,976 0,014 0,023 0,91; 0,997 р = 0,339
SOFA 4 0,990 0,009 0,933; 1,0
При сопоставимости результатов шкальных оценок методом сравнения площадей под каждой ROC-кривой продемонстрированы большие площади под ROC-кривыми двух шкал с наименьшей разницей на 2-м и 4-м этапах исследования, равные соответственно 0,01 (р = 0,971) и 0,014 (р = 0,339), что явилось подтверждением равной информативности прогностических показателей, вошедших в шкалы, в конце первых суток послеоперационного периода - как самого «нестабильного» периода и седьмых суток как периода регресса операционной травмы. Площади под ROC-кривыми (от 0,9 до 0,99) демонстрируют силу моделей с высокой дискриминационной способностью. Однако шкала «аSOFA» имела большую АиС на этапах исследования с более узким 95%С1 и более высокой о.
По построенным кривым проведена оценка критических порогов неблагоприятного прогноза. Так как шкалы ПОН отличаются своей универсальностью по отношению к нозологическим формам, то критерием оценки точки отсечения было требование баланса максимальных показателей чувствительности и специфичности модели. Для шкалы «аSOFA» точка 12 баллов на этапах 1 и 2 соответствовала заданному требованию. На 1-м этапе чувствительность - 92,42% (95%С1 83,2 - 97,5), специфичность - 90,91% (95%С1 58,7 - 99,8%), отношение правдоподобия для положительного результата равно 10,17, то есть, в 10,17 раз чаще при летальном исходе оценка по шкале составила более 12 баллов. Про-гностичность отрицательного результата означала, что при оценке тяжести ПОН более 12 баллов на этапе 1 в 99,1% случаев (95%С1 92,7 - 100) наступил летальный исход. Характеристики точки на втором этапе были схожи, но со снижением чувствительности: Se = 81,8% (95%С1
70.4 - 90,2), Sp = 90,91% (95%С1 58,7 - 99,8), +LR = 9,0, -РУ = 97,8% (95%С1 90,7 - 99,9). На 3 и 4 этапах оптимальной точкой разделения была оценка в 13 баллов. На этапах 3 и 4 этот критерий имел характеристику: Se = 96,97% (95%С1
89.5 - 99,6), Sp = 90,91% (95%С1 58,7 - 99,8), +LR
= 10,67 -PV = 99% (95%CI 93 - 100) и Se = 98,48% (95%CI 81,3 - 96,6), Sp = 88,89% (95%CI 71,5 - 100), +LR = 8,86, -PV = 99,8% (95%CI 93,7 - 100), соответственно.
На всех этапах критерием со 100% специфичностью, исключающим возможную постановку ложноположительного исхода, была точка разделения 10 баллов по шкале «^SOFA», а оценка 16 баллов и более прогнозировала 100% вероятность летального исхода.
Для «NEOMOD» представленная в литературе критическая точка 9 баллов ассоциируется с абсолютно неблагоприятным прогнозом (летальность 100%). В нашем исследовании для шкалы «NEOMOD» оказались полезными точки разделения 6 баллов на 1 этапе и 5 баллов на последующих трех этапах исследования. На первом этапе Se = 93,94% (95%CI 85,2 - 98,3), Sp = 72,73% (95%CI 39,0 - 94,0), +LR = 3,44, -PV = 99,1% (95%CI 91,3 - 100). На последующих трех этапах критерий 5 баллов имел следующие характеристики: на 2-м этапе Se = 86,36% (95%CI
75.7 - 93,6), Sp = 90,91% (95%CI 58,7 - 99,8), +LR = 9,5, -PV = 98,4% (95%CI 91,5 - 100), на 3-м этапе Se = 95,45% (95%CI 87,3 - 99,1), Sp = 98,48% (95%CI 48,2 - 97,7), +LR = 5,25, -PV = 99,4% (95%CI 92,6 - 100), на 4-м этапе Se = 81,8% (95%CI 91,8 - 100), Sp = 88,89% (95%CI
51.8 - 99,7), +LR = 8,86, -PV = 99,8% (95%CI 93,7 - 100).
Выводы. Аппарат ROC-анализа позволяет оценивать прогностическую способность классификатора, проводить сравнение по эффективности классификаторов и выбирать оптимальный порог значения. Использование ROC-ана-лиза помогает выявлять наиболее значимые критерии, отражающие патологический процесс, позволяет выбирать первоочередные шаги в интенсивной терапии. Протестированная шкала «SOFA», адаптированная к периоду новорож-денности, доказала равную информативность со шкалой «NEOMOD» и может быть использована в практике интенсивной неонатологии.
ЛИТЕРАТУРА
1. Григорьев С.Г., Лобзин Ю.В., Скрипченко Н.В. Роль и место логистической регрессии и ROC-анализа в решении медицинских диагностических задач // Журнал инфектологии. 2016. Т. 8. № 4. С. 36-45.
2. Петри А., Сэбин К. Наглядная медицинская статистика: учеб. пособие / пер. с анг. под ред. В.П. Леонова. - 3-е изд., перераб. и доп. М.: ГЭОТАР-Ме-диа. 2015. 216 с.
3. Файнзильберг Л.С. Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC анализа // Управляющие системы и машины. 2009. № 5. С. 3-13.
4. Fawcett T. An introduction to ROC analysis. Pattern Recognition Letters 27. 2006. Р. 861-874.
5. Fawcett T. ROC Graphs: Notes and Practical Considerations for Researchers. Kluwer Acad. Publ. 2004. Р. 38.
6. Шмаков А. Н., Кохно В. Н. Критические состояния новорожденных (технология дистанционного консультирования и эвакуации). Новосибирск, 2007. 168 с.
7. Janota J., Stranak Z., Statecna B. Characterization of multiple organ dysfunction syndrome in very low birthweight infants: a new sequential scoring system // Shock. 2001. Vol. 15. № 5. P. 348-352.
8. Vincent JL, Moreno R, et al. The SOFA (Sepsis-related Organ Failure Assessment) score to describe organ dysfunction/failure // Intensive Care Medicine. 1996. Vol. 22. Р. 707- 710.
FEATURES OF ROC-ANALYSIS IN NEONATAL INTENSIVE CARE
Budarova1 K.V., Shmakov1 A.N., Sirota2 S.I.
Novosibirsk State Medical University, Novosibirsk, Russian Federation 2Children Clinical Hospital №1, Novosibirsk, Russian Federation
Annotation: ROC-analysis is considered in the application of a binary classifier. There was a demonstration of the ability to estimate the predictive example of two scales of multiple organ failure in newborns with surgical pathology. There was analysis of scale dynamic data of multiple organ failure in 77 newborns with emergency abdominal pathology. There was a comparative evaluation of the results with the data available in the literature. Key words: ROC-analysis, ROC-curve, the cut-off point, newborns, organ failure assessment scale.
REFERENCES
1. Grigoryev S.G., Lobzin YU.V., Skripchenko N.V. The role and place of logistic regression and ROC-analysis in the decision of the medical diagnostic problems // Zhurnal infektologii. 2016. Vol. 8, № 4. P. 36-45. (in Russian)
2. Petri A., Sebin K. Transparent medical statistics: uchebnoe posobiye. pod red. V.P. Leonova. 3-ye izd., pererab. i dop. - M.: GEOTAR-Media, 2015. (in Russian)
3. Faynzilberg L.S., Zhuk T.N. Certified evaluation of diagnostic tests based on strengthened ROC analysis // Upravlyayushchiye sistemy i mashiny. 2009. № 5. P. 313. (in Russian)
4. Fawcett T. An introduction to ROC analysis, Pattern Recognition Letters 27, 2006, P. 861-874.
5. Fawcett T. ROC Graphs: Notes and Practical Considerations for Researchers. Kluwer Acad. Publ. 2004. 38 P.
6. Shmakov A. N., Kokhno V. N. Critical condition neonates (remote consultation technology and evacuation). Novosibirsk. 2007. 168 p. (in Russian)
7. Janota J., Stranak Z., Statecna B. Characterization of multiple organ dysfunction syndrome in very low birthweight infants: a new sequential scoring system // Shock. 2001. Vol. 15. № 5. P. 348-352.
8. Vincent JL, Moreno R, et al. The SOFA (Sepsis-related Organ Failure Assessment) score to describe organ dysfunction/failure // Intensive Care Medicine. 1996. Vol. 22. P. 707- 710.
—--—
Журнал включен в Перечень рецензируемых научных изданий ВАК
