Уральский медицинский журнал. 2021. Т. 20, № 5. С. 11-20. Ural medical journal. 2021; Vol. 20, no 5. P. 11-20
Научная статья
УДК: 614.883:616-053.3
DOI: 10.52420/2071-5943-2021-20-5-11-20
ОЦЕНКА ПРЕДИКТИВНОЙ ЦЕННОСТИ ШКАЛЫ NTISS В ОТНОШЕНИИ ИСХОДОВ У НОВОРОЖДЕННЫХ
Ольга Петровна Ковтун 1 Рустам Фаридович Мухаметшин 2, Надежда Степановна Давыдова 3
1 3 ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России,
Екатеринбург, Россия
2 ГАУЗ Со «Областная детская клиническая больница», Екатеринбург, Россия
1 https://orcid.org/0000-0002-5250-7351
2 [email protected], https://orcid.org/0000-0003-4030-5338
3 [email protected], https://orcid.org/0000-0001-7842-6296
Аннотация
Введение. Совершенствование методов угрозометрии на этапах межгоспитальной транспортировки остается актуальной задачей неотложной неонатологии. Шкалы терапевтического типа остаются малоизученными и их предиктивная ценность и практическая применимость требуют изучения. Целью работы является определение предиктивной ценности шкалы NTISS на предтранспортном этапе в отношении исходов госпитального этапа лечения новорожденных. Материалы и методы. В когортное исследование включены данные 604 выездов транспортной бригады реанимационно-консультативного центра. Выполнена оценка по шкале NTISS, изучены исходы госпитального этапа лечения. Осуществлен расчет AUC ROC кривой шкалы NTISS в отношении бинарных исходов госпитального этапа. Корреляционный анализ количественных данных выполнен критерием Спирмена. Результаты. AUC более 0,8 наблюдается для летального исхода на госпитальном этапе (AUC=0,823 (0,758-0,888)), смерти в течение 7 суток жизни (AUC=0,827 (0,752-0,901)), позднего неонатального сепсиса (AUC=0,808 (0,7370,879)), бронхолегочной дисплазии (AUC=0,810 (0,763-0,856)), тяжелых внутрижелудочковых кровоизлияний (AUC=0,847 (0,804-0,889)) и окклюзионной гидроцефалии (AUC=0,830 (0,757-0,904)). Схожие результаты получены при анализе исходов среди выживших пациентов. В отношении прочих бинарных исходов шкала демонстрирует AUC менее 0,8. Выявлена слабая, но достоверная корреляционная связь между оценкой по шкале NTISS и длительностью интенсивной терапии (г=0,431, р<0,0001). Корреляционная связь оценки по NTISS и длительности ИВЛ, нСРАР составил менее 0,3. Анализ исходов среди выживших пациентов показал слабую корреляционную связь оценки по NTISS и длительности интенсивной терапии, r=0,492, p<0,0001 и длительностью госпитализации, r=0,498, p<0,0001. Дискуссия. Шкала NTISS продемонстрировала приемлемый уровень точности (AUC>0,8) при прогнозировании госпитальной летальности, позднего неонатального сепсиса, бронхолегочной дисплазии, тяжелых вну-трижелудочковых кровоизлияний и формированию окклюзионной гидроцефалии как среди выживших пациентов, так и в общей выборке. Наблюдаемые результаты сопоставимы с информативностью прочих неонатальных шкал различных типов. Заключение. Предиктивная ценность NTlSS в отношении исходов госпитального этапа приемлема и сопоставима с возможностями шкал физиологического типа, описанных в литературе.
Ключевые слова: транспортировка новорожденных, угрозометрические шкалы, прогностические шкалы.
Для цитирования: Ковтун, О. П. Оценка предиктивной ценности шкалы ЫТ^ в отношении исходов у новорожденных / О. П. Ковтун, Р. Ф. Мухаметшин, Н. С. Давыдова // Уральский медицинский журнал. - 2021. - Т. 20, № 5. - С. 11-20. - http://doi.org/10.52420/2071-5943-2021-20-5-11-20.
@ Ковтун О.П., Мухаметшин Р.Ф., Давыдова Н.С., 2021
Original Article
ASSESSMENT OF THE PREDICTIVE VALUE OF THE NTISS SCALE FOR NEONATAL OUTCOMES
Olga P. Kovtun 1 Rustam F. Mukhametshin 2, Nadezhda S. Davidova 3
1 3 Ural State Medical University, Ekaterinburg, Russia
2 Regional Children's Clinical Hospital, Ekaterinburg, Russia
1 https://orcid.org/0000-0002-5250-7351
2 [email protected], https://orcid.org/0000-0003-4030-5338
3 [email protected], https://orcid.org/0000-0001-7842-6296
Abstract
Introduction. Improving the disease severity scoring systems at the stages of inter-hospital transportation remains an actual in neonatal intensive care. Therapeutic scales remain poorly studied and their predictive value and practical applicability. The aim of the work is to determine the predictive value of the NTISS scale at the stage of pre-transport preparation in relation to the treatment outcomes of newborns. Materials and methods. The cohort study included data from 604 visits of the resuscitation and consultation center transport team. The evaluation was performed on the NTISS scale, and the outcomes were studied. The AUC ROC curve of the NTISS scale was calculated in relation to the binary outcomes. The correlation analysis of the quantitative data was performed by Spearman's criterion. Results. AUC greater than 0.8 was observed for the risk of death (AUC=0,823 (0,758-0,888)), 7-day mortality (AUC=0,827 (0,752-0,901)), late onset sepsis (AUC=0,808 (0,737-0,879)), bronchopulmonary dysplasia (AUC=0,810 (0,763-0,856)), severe intraventricular hemorrhage (AUC=0,847 (0,804-0,889)) u occlusive hydrocephalus (AUC=0,830 (0,757-0,904)). Similar results were obtained analyzing the outcomes among the surviving patients. For other binary outcomes, the scale shows an AUC of less than 0.8. The analysis of outcomes among the surviving patients showed a weak correlation between the NTISS score and the duration of intensive care, r=0.492, p<0.0001, and the duration of hospitalization, r=0.498, p<0.0001. Discussion. The NTISS scale demonstrated an acceptable level of accuracy (AUC>0.8) in predicting hospital mortality, late neonatal sepsis, bronchopulmonary dysplasia, severe intraventricular hemorrhage, and the formation of occlusive hydrocephalus, among both surviving patients and general sample. The observed results are comparable with the information content of other neonatal scales of various types. Conclusion. The predictive value of NTISS in relation to the outcomes of the hospital stage is comparable to the physiological scales described in the literature.
Keywords: newborn transfer, disease severity scoring systems, prognostic scales.
For citation: Kovtun, O. P. Assessment of the predictive value of the NTISS scale for neonatal outcomes
/ O. P. Kovtun, R. F. Mukhametshin, N. S. Davidova // Ural medical journal. - 2021. - Vol. 20 (5). - P. 11-20. - http://doi.org/10.52420/2071-5943-2021-20-5-11-20.
ВВЕДЕНИЕ
На протяжении многих лет специалистами неотложной неонатологии, осуществляющими межгоспитальную транспортировку новорожденных, предпринимались попытки объективизировать тяжесть состояния пациента для взвешенного принятия решения относительно его транспортировки и маршрутизации. По способу формирования шкалы могут быть условно разделены на две группы — физиологические и терапевтические. Терапевтический подход основан на том, что уровень инвазивности терапии, необходимой для поддержания витальных функций пациента, связан непосредственно с физиологической нестабильностью и также коррелирует с риском летального исхода [1]. Формализованная оценка тяжести состояния новорожденного имеет целью определить, насколько тяжелым является состояние ребенка в данный момент и насколько ребенок стабилен, являясь дополнительным инструментом оценки будущих рисков заболеваемости и смертности на основании имеющихся исходных данных [2].
В рамках решения этих задач в 1992 году Gray J.E. и соавт. опубликовали разработанную ими
угрозометрическую неонатальную шкалу эффективности лечения (NTISS, The Neonatal Therapeutic Intervention Scoring System). Она была создана путем изменения системы оценки терапевтического вмешательства (TISS, Therapeutic Intervention Scoring System). Система TISS оценивает тяжесть состояния больного по количеству и сложности методов исследования и терапии, необходимых для его ведения. Эта система разделяет все диагностические и терапевтические процедуры на 4 группы, в которых каждая процедура оценивается соответственно в 1, 2, 3 и 4 балла. Суммарная оценка по шкале выражает тяжесть состояния. Из 76 оригинальных параметров TISS 42 были удалены, 28 добавлены, и признаки разделены по типам терапевтического действия для формирования NTISS. Оригинальная шкала NTISS включает в себя оценку по следующим блокам: респираторный, кардиоваскулярный, лекарственная терапия, мониторинг, метаболизм и питание, трансфузия, процедуры, сосудистый доступ. Как и TISS, NTISS присваивает баллы с 1 по 4 для различных действий в интенсивной терапии [1]. Значение NTISS было рассчитано для 1643 новорожденных, поступивших в ОРИТН с 1989 по 1990 год. Показатели NTISS варьировали от 0 до 47 при среднем значе-
нии 12,3 ± 8,7 (SD). Обнаружена слабая корреляция с весом при рождении (г = -0,11) или гестаци-онным возрастом (г = -0,17), но показатели ЫТ^ хорошо коррелировали с ожидаемыми маркерами тяжести заболевания, включая оценки риска смерти лечащими врачами (г = 0,70, Р <.0001), смертность в стационаре (Р <0,05). Значение оценки по ЫТ^ на момент поступления в реанимационное отделение коррелирует с длительностью нахождения в отделении, стоимостью лечения пациента и величиной затрат госпитальных ресурсов. Сделан вывод о том, что ЫТ^ является действительным показателем терапевтической интенсивности, который не зависит от веса при рождении и может использоваться как показатель тяжести неонатальной заболеваемости и использования ресурсов [3]. Ранние работы указывали на неоднородную предиктивную ценность этой шкалы в отношении исходов недоношенных новорожденных, показатель ЫТ^ при поступлении коррелировал только со смертностью у новорожденных с весом менее 1500 г. Нет корреляции со смертностью у детей с массой при рождении >1500 г, с гестационным возрастом или с психомоторным развитием на первом году жизни [4]. Oygur Ы. и соавт. (2012) продемонстрировали высокие значение АиС для прогнозирования смерти (АиС=0,851) у пациентов с массой 500-1499 грамм [5]. В подавляющем большинстве работ акцент сделан на применение шкалы у недоношенных новорожденных, в то время как доношенные новорожденные составляют значительную долю обращений в консультативные центры и транспортные бригады [6].
Терапевтический подход к формированию шкалы содержит в себе несколько потенциальных проблем. Во-первых, среди специалистов может не быть единого мнения относительно терапии в той или иной ситуации, в этой связи оценка будет отражать не тяжесть пациента, а личные предпочтения конкретного врача. Во-вторых, учреждения разных уровней помощи будут обладать разными терапевтическими возможностями в отношении лечения того или иного состояния, то есть различия в оценке будут характеризовать не разную степень тяжести пациентов, а разные терапевтические возможности учреждений, что, безусловно, обесценивает шкалу данного типа. В-третьих, шкалы такого типа склонны к «устареванию» по мере появления новых методов терапии, которые не учтены в исходной модели. Напротив, ряд включенных ранее способов могли утратить свою актуальность, либо накапливаются данные относительно их неэффективности. Четвертой важной особенностью является изменение неонатальной популяции (увеличение доли детей с очень низкой и экстремально низкой массой тела, рост выживаемости в этой категории), произошедшее со времени создания и валидизации шкал. В такой ситуации валидность шкалы подвергается большим сомнениям и может потребовать актуализации [1, 7]. Все вышесказанное и стало основанием для выполнения данного исследования.
Цель исследования — определить предик-тивную ценность оценки по шкале ЫТ^ на момент предтранспортной подготовки в отношении исходов госпитального этапа новорожденных, консультированных или эвакуированных неона-тальных пациентов.
МАТЕРИАЛЫ И МЕТОДЫ
В исследование включены данные 640 выездов транспортной бригады реанимационно-консультативного центра для новорожденных (РКЦН) Областной детской клинической больницы (ОДКБ) Екатеринбурга в период с 1 августа 2017 г. по 31 декабря 2018 г. Полный объем данных или исходы были недоступны для 36 случаев. Следовательно, выборку составляют 604 случая выезда транспортной бригады к 564 новорожденным детям, госпитализированных в медицинские организации Свердловской области и находящихся на дистанционном наблюдении РКЦН ОДКБ в связи с тяжестью состояния. Критерии обращения, критерии принятия тактического решения, критерии транспортабельности и критерии медицинской сортировки регламентированы соответствующим региональным приказом (Приказ Министерства здравоохранения Свердловской области № 1687п от 04.10.2017) и внутренними нормативными актами ОДКБ. Источником данных об исходах госпитального этапа была первичная медицинская документация.
Статистические инструменты. Инструменты описательной статистики: медиана и межквар-тельный интервал, доля, 95% ДИ доли, ошибка доли, расчет площади под ROC кривой, расчет чувствительности, специфичности, cut-off уровень, положительная (PPV) и отрицательная предик-тивная ценность (NPV). Корреляционный анализ количественных данных при ненормальном распределении выполнен критерием Спирмена. Анализ выполнен с использованием программных средств BioStas Pro 7.0.1.0. и Matlab R2017a.
РЕЗУЛЬТАТЫ
Значительную долю детей, получавших консультативную и эвакуационную помощь при выезде реанимационной бригады, составили доношенные и поздние недоношенные (34 0/7 — 36 6/7 недель) новорожденные: в гестационном возрасте 37 недель и более — 40% выборки, дети с массой 2500 грамм и более — 51,82% от выборки. Новорожденные с экстремально низкой и очень низкой массой тела составили 9,59% и 12,91% от выборки соответственно (табл. 1). Этим объясняется тот факт, что введение сурфактанта на этапе обратившейся медицинской организации выполнено в 26,49% случаев. Прочие исходные данные выборки приведены в таблице 2.
Анализ обращений по уровням медицинских организаций (МО), медицинской сортировки и решений бригады о транспортировке указывает на то, что основным источником обращений были организации 2 уровня (70,36%), доля обращений из учреждений 1 уровня составила 18,71%. Наименьший объем обращений и выездов отмечен в учреждениях 3 уровня (10,93%). По результатам осмотра и оценки состояния транспортная бригада приняла решение о транспортировке пациентов в 82,28% случаев, в 7,62% случаев пациенты были признаны нетранспортабельными, в 10,01% случаев пациент оставлен в исходной медицинской организации, поскольку не требовал повышения уровня медицинской помощи. В 89,52% случаев эвакуация осуществлялась в учреждение 3 уровня, перевод в ОРИТН выполнялся в 84,27% случаев. Эвакуация выполнена с первой попытки в 92,23% случаев (табл. 3).
Таблица 1
Распределение новорожденных по массам и гестационным возрастам
Масса и гестационный возраст Доля [95% ДИ] Ошибка доли
Менее 750 гр 4,30 [2,83-6,25] 0,83
750-999 гр 5,30 [3,65-7,40] 0,91
1000-1499 гр 12,91 [10,34-15,85] 1,36
1500-2499 гр 25,66 [22,22-29,34] 1,78
2500-3499 гр 34,27 [30,49-38,21] 1,93
Более 3500 гр 17,55 [14,60-20,82] 1,55
22-24 нед 2,32 [1,27-3,86] 0,61
25-28 нед 11,59 [9,15-14,42] 1,30
29-32 нед 13,08 [10,49-16,03] 1,37
33-36 нед 32,95 [29,21-36,86] 1,91
37 недель и более 40,07 [36,13-44,10] 1,99
Примечание: данные приведены в форме доли с доверительным интервалом и ошибки доли.
Таблица 2
Данные анамнеза
Показатели Медиана [IQR]
Возраст обращения, сут. 1 [0-2]
Возраст выезда, сут. 1 [1-3]
Возраст эвакуации, сут. 1 [1-3]
Масса при рождении, гр. 2515 [1600-3275]
Гестационный возраст, нед. 36 [32-38]
Оценка по Апгар на 1 минуте, баллов 6 [4-7]
Оценка по Апгар на 5 минуте, баллов 7 [6-8]
Примечание: данные приведены в форме медианы и межквартильного интервала.
На момент осмотра реаниматолога транспортной бригады 50,83% пациентов находились на традиционной ИВЛ и 10,43% требовали проведения неинвазивной поддержки (пСРАР), 29,47% не требовали респираторной поддержки. В 7,12% случаев пациенты получали дополнительный кислород свободным потоком. Инфузионная терапия проводилась в 88,41% случаев, из которых 9,11% получали микроструйно дофамин, 2,48% — адреналин (табл. 4).
Тактические решения и маршр
Оценка по шкале ЫТ^ на момент осмотра реаниматолога транспортной бригады составила (медиана [IQR]) 15 [11-18] баллов. Шкала применялась в авторской версии, без модификаций. Распределение пациентов и исходы в наблюдаемой выборке в зависимости от оценки по шкале являются предметом отдельного исследования.
Анализируя исходы госпитального этапа исследуемой группы, следует отметить, что в описываемой выборке летальность (за весь период госпитализации) составила 6,74%, 7-суточная летальность — 3,9%. В 79,26% случаев интенсивная терапия завершена выпиской пациента домой. Кроме того, 14,01% пациентов были переведены для завершения выхаживания в организации 2 и 3 уровней. Помимо исходов в общей выборке, рассчитаны исходы среди выживших пациентов, что представляет существенно больший интерес в отношении предиктивной ценности шкалы (табл. 5).
Медиана длительности интенсивной терапии составила 6 суток, ИВЛ — 3 суток, неинвазивной вентиляции — 2 суток, госпитализации — 19 суток. Количественные исходы госпитального этапа в общей выборке и среди выживших приведены в таблице 6.
Таблица 3
изация транспортной бригады
Маршрутизация и тактические решения Доля [95% ДИ] Ошибка доли
Нетранспортабелен 7,62 [5,63-10,03] 1,08
Оставлен на месте с улучшением 10,10 [7,81-12,78] 1,23
Транспортирован 82,28 [79,00-85,25] 1,55
Переведен в МО 2б 10,48 [7,93-13,52] 1,38
Переведен в МО 3 89,52 [86,48-92,07] 1,38
Переведен в ОРИТН 84,27 [80,77-87,37] 1,63
Переведен в ОПН 15,73 [12,63-19,23] 1,63
Эвакуация с первой попытки 92,34 [89,63-94,52] 1,19
Эвакуация со второй попытки 6,85 [4,79-9,45] 1,13
Эвакуация более чем со второй попытки 0,81 [0,22-2,05] 0,40
Примечание: МО — медицинская организация; ОРИТН — отделение реанимации и интенсивной терапии новорожденных; ОПН — отделение патологии новорожденных. Данные приведены в форме доли с доверительным интервалом и ошибки доли.
Таблица 4
Объем интенсивной терапии при осмотре пациента транспортной бригадой
Объем интенсивной терапии Доля [95% ДИ] Ошибка доли
Без респираторной поддержки 29,47 [25,86 — 33,28] 1,86
Дополнительный кислород 7,12 [5,20 — 9,47] 1,05
пСРАР 10,43 [8,11 — 13,15] 1,24
ИВЛ 50,83 [46,76 — 54,89] 2,03
ВЧИВЛ 2,15 [1,15 — 3,65] 0,59
Инфузия 88,41 [85,58 — 90,85] 1,30
Дофамин 9,11 [6,93 — 11,69] 1,17
Адреналин 2,48 [1,40 — 4,06] 0,63
добутамин 0,50 [0,10 — 1,44] 0,29
PGE (простагландины Е) 3,81 [2,43 — 5,66] 0,78
Седация 5,96 [4,21 — 8,16] 0,96
Миоплегия 0,50 [0,10 — 1,44] 0,29
Примечание: нСРАР — nasal continuous positive airway pressure (спонтанное дыхание на фоне постоянного положительного давления в носовых ходах); ИВЛ — искусственная вентиляция легких; ВЧИВЛ — высокочастотная искусственная вентиляция легких; PGE — простагландины Е. Данные приведены в форме доли с доверительным интервалом и ошибки доли.
Таблица 5
Исходы госпитального этапа и осложнения периода новорожденности
Исходы госпитального этапа Доля [95% ДИ] Ошибка доли
Смерть 6,74 [4,81-9,13] 1,06
Смерть до 7 суток 3,90 [2,46-5,85] 0,82
Выписан домой 79,26 [75,67-82,53] 1,71
Перевод в МО2-3 14,01 [11,25-17,15] 1,46
Поздний неонатальный сепсис (ПНС) 5,32 [3,62-7,51] 0,95
Бронхолегочная дисплазия (БЛД) 11,52 [9,01-14,45] 1,34
Внутрижелудочковые кровоизлияния (ВЖК) 1-2 4,08 [2,60-6,06] 0,83
Внутрижелудочковые кровоизлияния (ВЖК) 3-4 6,03 [4,21-8,32] 1,00
Окклюзионная гидроцефалия (ОГ) 1,77 [0,85-3,24] 0,56
Синдром утечки воздуха (СУВ) 2,31 [1,23-3,91] 0,63
ПНС среди выживших 3,61 [2,19-5,59] 0,81
БЛД среди выживших 10,84 [8,31-13,81] 1,36
ВЖК 1-2, среди выживших 4,37 [2,79-6,49] 0,89
ВЖК 3-4, среди выживших 3,61 [2,19-5,59] 0,81
ОГ, среди выживших 1,90 [0,92-3,47] 0,60
СУВ, среди выживших 1,52 [0,66-2,97] 0,53
Примечание: МО — медицинская организация; ПНС — поздний неонатальный сепсис; БЛД — бронхолегоч-ная дисплазия; ВЖК — внутрижелудочковые кровоизлияния; ОГ — Окклюзионная гидроцефалия; СУС — синдром утечки воздуха. Данные приведены в форме доли с доверительным интервалом и ошибки доли.
Таблица 6
Количественные исходы госпитального этапа
Продолжительность интенсивной терапии Численность выборки Медиана [IQR]
Длительность интенсивной терапии, сут. 500 6 [3-10]
Длительность ИВЛ, сут. 345 3 [1-6]
Длительность пСРАР, сут. 221 2 [1-3]
Длительность госпитализации, сут. 564 19 [11-32]
Длительность интенсивной терапии среди выживших, сут. 462 6 [3-10]
Длительность ИВЛ среди выживших, сут. 307 3 [1-6]
Длительность пСРАР среди выживших, сут. 211 2 [1-3]
Длительность госпитализации среди выживших, сут. 526 20 [13-33]
Примечание: нСРАР — nasal continuous positive airway pressure (спонтанное дыхание на фоне постоянного положительного давления в носовых ходах); ИВЛ — искусственная вентиляция легких. Данные приведены в форме медианы и межквартильного интервала.
С целью оценки предиктивной ценности шкалы NTISS выполнено построение ROC кривых в отношении бинарных исходов для общей выборки, а затем для группы выживших новорожденных. Также выполнено построение ROC кривых в отношении бинарных исходов в зависимости от массы при рождении и гестационного возраста. При значении более 0,8 тест считается полезным для практической деятельности [8]. Шкала NTISS обладает достаточно высокой прогностической способностью в отношении ряда клинически важных исходов: смерть на госпитальном этапе (AUC=0,823 (0,758-0,888)), смерть в течение семи суток жизни (AUC=0,827 (0,752-0,901)), поздний неонатальный сепсис (AUC=0,808 (0,737-0,879)), БЛД (AUC=0,810 (0,763-0,856)), тяжелые ВЖК (AUC=0,847 (0,804-0,889)) и окклюзионная гидроцефалия (AUC=0,830 (0,757-0,904)). В отношении прочих исходов AUC составляет менее 0,8, что не является клинически приемлемым результатом (табл. 7). Масса при рождении и гестаци-онный возраст обладают недостоверно меньшей предиктивной ценностью в отношении леталь-
В таблице 7 приведены значения площади под ROC кривой (AUC), значения Cut-off для оцениваемого параметра, чувствительность, специфичность, положительная предиктивная ценность (PPV), отрицательная предиктивная ценность (NPV).
Огромный интерес в практическом плане представляет предиктивная возможность в отношении описываемых исходов сред выживших пациентов. Шкала NTISS демонстрирует хорошую предиктивную ценность в отношении развития позднего неонатального сепсиса (AUC=0,838 (0,757-0,919)), БЛД (AUC=0,813 (0,764-0,862)), тяжелых ВЖК (AUC=0,848 (0,800-0,896)) и окклюзи-онной гидроцефалии (AUC=0,857 (0,789-0,925)) среди выживших пациентов (табл. 8). Однако масса при рождении и гестационный возраст остаются достоверно более точными в прогнозировании клинически значимых исходов среди выживших пациентов и имеют преимущество над исследуемой шкалой: БЛД (AUC=0,967 (0,9340,991) и AUC=0,957 (0,930-0,983) для массы при рождении и гестационного возраста соответственно), тяжелых ВЖК (AUC=0,946 (0,916-0,977)
ного исхода за время госпитализации (АиС=0,757 (0,659-0.856) и АиС=0,723 (0,613-0.832) для массы и гестационного возраста соответственно) и летального исхода в течение первых семи дней жизни (АиС=0,699 (0,563-0,834) и АиС=0,663 (0,513-0,813) для массы и гестационного возраста соответственно). Прогностическая ценность массы и гестационного возраста в отношении прочих исходов выглядит более убедительно, чем возможности шкалы ЫТ^: БЛД (АиС=0,952 (0,928-0,976) и АиС=0,943 (0,917-0,969) для массы и гестационного возраста соответственно), тяжелых ВЖК (АиС=0,954 (0,932-0,975) и АиС=0,952 (0,933-0,971) для массы и гестаци-онного возраста соответственно) и окклюзион-ной гидроцефалии (АиС=0,918 (0,885-0,952) и АиС=0,915 (0,875-0,956) для массы и гестацион-ного возраста соответственно). Важным ограничением в применении шкалы ЫТ^ может быть существенного преобладание отрицательной прогностической ценности над положительной предиктивной ценностью по всем анализируемым исходам.
и АиС=0,941 (0,915-0,966) для массы при рождении и гестационного возраста соответственно), формирования окклюзионной гидроцефалии (АиС=0,945 (0,917-0,973) и АиС=0,939 (0,9040,973) для массы при рождении и гестационного возраста соответственно).
Значительным ограничивающим фактором является существенное преобладание отрицательной предиктивной ценности над положительной предиктивной ценностью шкалы в отношении всех исходов. Лишь в отношении развития БЛД как масса при рождении, так и ге-стационный возраст, обладают приемлемой положительной и отрицательной предиктивной ценностью, в отношении остальных исходов отрицательная предиктивная ценность значительно превалирует над положительной. Другими словами, применение оценки по ЫТ^, массы при рождении и гестационного возраста в качестве прогностических инструментов на этапах межгоспитальной транспортировки представляется затруднительным.
Таблица 7
Значение площади под ROC кривой шкалы NTISS для исходов в общей выборке
Исходы AUC Cut-off Чувствительность Специфичность PPV NPV
Смерть 0,823 (0,758-0,888) >17 0,763 0,768 0,192 0,978
Смерть до 7 суток 0,827 (0,752-0,901) >17 0,818 0,755 0,119 0,990
ПHC 0,808 (0,737-0,879) >17 0,700 0,757 0,139 0,978
БЛД 0,810 (0,763-0,856) >15 0,923 0,599 0,231 0,984
ВЖК 1-2 0,647 (0,537-0,756) >16 0,609 0,658 0,070 0,975
ВЖК 3-4 0,847 (0,804-0,889) >16 0,912 0,683 0,156 0,992
ОГ 0,830 (0,757-0,904) >16 1.000 0,659 0,050 1.000
СУВ 0,731 (0,617-0,865) >12 1.000 0,367 0,036 1,000
Примечание: ПНС — поздний неонатальный сепсис; БЛД — бронхолегочная дисплазия; ВЖК — внутрижелу-дочковые кровоизлияния; ОГ — Окклюзионная гидроцефалия; СУС — синдром утечки воздуха.
Таблица 8
Значение площади под ROC-кривой шкалы ЫТ^ для исходов среди выживших
Показатели AUC Cut-off Чувствительность Специфичность PPV NPV
ПНС 0,838 (0,757-0,919) >17 0,737 0,787 0,115 0,988
БЛД 0,813 (0,764-0,862) >15 0,912 0,629 0,230 0,983
ВЖК 1-2 0,674 (0,563-0,784) >16 0,607 0,689 0,082 0,975
ВЖК 3-4 0,848 (0,800-0,896) >16 0,947 0,700 0,106 0,997
ОГ 0,857 (0,789-0,925) >16 1,000 0,689 0,059 1,000
СУВ 0,681 (0,540-0,824) >12 1,000 0,388 0,025 1,000
Примечание: ПНС — поздний неонатальный сепсис; БЛД — бронхолегочная дисплазия; ВЖК — внутрижелу-дочковые кровоизлияния; ОГ — Окклюзионная гидроцефалия; СУС — синдром утечки воздуха.
В таблице 8 приведены значения площади под ROC кривой (AUC), значения Cut-off для оцениваемого параметра, чувствительность, специфичность, положительная предиктивная ценность (PPV), отрицательная предиктивная ценность (NPV).
При анализе количественных исходов в общей выборке выявлена слабая, но достоверная корреляционная связь между оценкой по шкале NTISS и длительностью интенсивной терапии (r=0,431, р<0,0001). Корреляционная связь оценки по NTISS и длительности ИВЛ, нСРАР и госпитализации, будучи достоверной, оказалась еще более слабой, коэффициент корреляции составил менее 0,3 для длительности ИВЛ и нСРАР и 0,364 — для длительности госпитализации. Анализ исходов среди выживших пациентов показал более сильную корреляционную связь оценки по NTISS и длительности интенсивной терапии (r=0,492, p<0,0001) и длительностью госпитализации (r=0,498, p<0,0001). Остальные количественные исходы среди выживших характеризуются слабой корреляционной связью с оценкой по NTISS на этапе осмотра пациента в обратившейся МО (табл. 9).
Таблица 9
Корреляция оценки и количественных исходов
Примечание: нСРАР — nasal continuous positive airway pressure (спонтанное дыхание на фоне постоянного положительного давления в носовых ходах); ИВЛ — искусственная вентиляция легких.
В таблице 9 приведен коэффициент корреляции Спирмена и достоверность корреляционной связи.
ДИСКУССИЯ
В целом в литературе имеется немалое количество работ, оценивающих предиктивные свойства тех или иных угрозометрических инструментов [2, 9]. Однако работы, оценивающие прогностические возможности шкал без рестрикции по массе или гестационному возрасту, немногочисленны. Jalemba Aluvaala и соавт. при анализе 10 статей, выбранных из 3249 работ, описывающих возможность применения неона-тальных шкал терапевтического типа, указали медиану AUC 0,84 (диапазон 0,75-0,96, три исследования) для прогнозирования летального исхода, ранний неблагоприятный исход и поздний неблагоприятный исход прогнозировался с AUC 0,78 и 0,59 соответственно [10]. Приведенные авторами данные хорошо согласуются с нашими результатами как по прогнозированию заболеваемости, так и по прогнозированию летального исхода. Chien и соавт. (2002) показали предиктивную ценность шкалы SNAP-II и оригинальной SNAP в отношении ВЖК и БЛД с AUC 0.73±0.02 и 0.78±0.01 соответственно [11]. Приведенные авторами результаты хорошо корреспондируют с полученными в нашей работе данными. Прогностические показатели для комбинированного исхода заболеваемости и смертности были представлены в работе Eriksson и соавт. Авторы продемонстрировали AUC 0,78 (SE 0,03) для прогнозирования ранних неблагоприятных исходов недоношенных менее 1500 грамм, которые не подвергались межгоспитальной транспортировке (смертность от всех причин или кислородная зависимость, внутрижелу-дочковое кровоизлияние / перивентрикулярная лейкомаляция или ретинопатия недоношенных) [12]. Shah и соавт. сообщили о величине AUC 0,86 для комбинированного исхода среди недоношенных до 32 недели гестации (смертность от всех причин, > 3-й степени IVH, PVL, стадия > 3 ROP, кислородная зависимость или стадия > некроти-зирующего энтероколита) [13]. Mathur NB и соавт. при изучении свойств шкалы TOPS и SNAP II при осуществлении межгоспитальной транспортировки новорожденных выявили, что величина AUC в прогнозировании летального исхода для шкал TOPS и SNAP II составила 0,89 и 0,88 соответственно. Чувствительность, специфичность, положительная и отрицательная предиктивная ценность шкалы TOPS составила 81.6%, 77.39%, 65.3% и 89% соответственно; для шкалы SNAP II — 78.3%, 86.1%, 74.6% и 88.4% соответственно [14]. Полученные результаты близки к указанным в публикации, однако в нашем случае отрицательная предиктивная ценность существенно превалирует над положительной предиктивной ценностью, что указывает на теоретическое пре-
Количественные показатели исходов Коэффициент корреляции р
Длительность интенсивной терапии 0,431 <0,0001
Длительность ИВЛ 0,264 <0,0001
Длительность пСРАР 0,266 <0,0001
Длительность госпитализации 0,364 <0,0001
Длительность интенсивной терапии среди выживших 0,492 <0,0001
Длительность ИВЛ среди выживших 0,249 <0,0001
Длительность нСРАР среди выживших 0,286 <0,0001
Длительность госпитализации среди выживших 0,498 <0,0001
имущество шкал TOPS и SNAP II. Однако обе упомянутые шкалы требуют наличия не только клинических, но и лабораторных данных и относятся к физиологическому типу шкал. Sumer Sutcuoglu и соавт. сообщили о результатах применения шкал SNAP-PE-II, MINT и TREMS при поступлении в отделение после транспортировки 306 новорожденных со средним СГ 33.1 ± 5 недель и массой 2031.2 ± 1018 грамм. AUC для прогнозирования летального исхода при использовании шкал MINT составила 0,92, для шкал SNAP-PE-II и TREMS — 0,84. Чувствительность, специфичность, положительная предиктивная ценность и отрицательная предиктивная ценность составила 96%, 54%, 31% и 98% — для MINT, 87%, 70%, 39%, 96% — для SNAP-PE-II и 82%, 71%, 38%, 94% — для TREMS [15]. Шкалы также схожи по возможности прогнозирования летального исхода со шкалой NTISS, однако полученный нами уровень положительной предиктивной ценности оказывается неприемлемо низким. Pei-Ling Wu и соавт. оценили возможность применения шкалы NTISS в группе новорожденных с массой при рождении менее 1500 грамм в возрасте 24, 48 и 72 часа. Смерть к седьмым суткам жизни прогнозировалась с AUC = 0.913 в 24 часа, 0.955 в 48 часов, и 0.958 в 72 часа жизни. Авторы указывают, что оценка более 28 баллов в возрасте 48 часов обладает большей предиктивной ценностью (с чувствительностью и специфичностью 81.2 и 100.0 соответственно), чем оценка, выполненная в 24 часа жизни. Наилучшей предикторной ценностью шкала обладает при комбинации с гестационным возрастом 48 часов (AUC 0,99). AUC для прогнозирования смерти к седьмым суткам по CRIB II у этой же выборки пациентов составила 0,944 с чувствительностью 86,0% и специфичностью 93,3% [16]. Приведенное в работе значение AUC для NTISS при прогнозировании риска смерти выше, чем полученные нами значения, однако в нашей работе оценка выполнялась в МО с низким уровнем помощи, что потенциально могло способствовать занижению оценки в связи с низкими возможностями МО 1 и 2 уровней. С другой стороны, еще одной возможной причиной различий является тот факт, что нами изучалась цельная выборка без рестрикции по массе или гестационному возрасту, между тем в работе Pei-Ling Wu речь идет о недоношенных новорожденных. В работе Hüseyin Selim Asker и соавт., изучавших предиктивную ценность шкал в группе 1668 недоношенных новорожденных из 5 центров (поступали в ОРИТН в течение 12 часов жизни), AUC для прогнозирования летального исхода при помощи шкалы SNAP-PE-II составил 0.716 с чувствительностью 67% и специфичностью 63% [17], что хуже полученного в нашей работе результата. Mitra Radfar и соавт. при анализе данных выборки 191 новорожденного продемонстрировали AUC = 0.992; 95% CI: 0.98-1 для прогнозирования выживания по шкале SNAP II и AUC = 0.994; 95% CI: 0.984-1 по шкале SNAPPE II. Авторы указали, что прогностическая ценность шкал оказалась выше предиктивной ценности оценки по Апгар на 5 минуте (AUC = 0.711; 95% CI: 0.568-0.855) [18]. K.P. Mansoor и со-авт. оценивали прогностическую ценность шкалы Modified Sick Neonatal Score (MSNS) в отношении летального исхода у новорожденных. Величина AUC составила 0.913 (95% CI: 0.879-0.946) с чувствительностью и специфичностью 80% и 88.8% соответственно [19]. Демонстрируемые в работе
результаты несколько лучше в прогнозировании летального исхода, но нет данных относительного прочих исходов. По данным Dipak Muktan и соавт., оценка по шкале SNAPPE II (оценка тяжести на стационарном этапе без транспортировки) весьма точно прогнозирует госпитальную летальность (AUC): 0.917 (95% CI, 0.854-0.980) с 66.7% положительной и 96.5% отрицательной предиктивной ценностью, что лучше результата исследуемой шкалы. Как и изучаемая шкала, SNAPPE II не прогнозирует длительность интенсивной терапии [20]. Данные, полученные авторами, в целом близки к нашим результатам, однако мы наблюдаем существенно более низкую положительную предиктивную ценность NTISS, что, вероятно, связано с типом самой шкалы. Как и авторы работы, мы не смогли обнаружить клинически значимую взаимосвязь между оценкой по шкале и возможностью прогнозировать длительность интенсивной терапии. Colin J. Crilly и соавт. в обзоре 2020 года указывают на возможность прогнозирования неврологических исходов у новорожденных при помощи оценочных шкал, однако в подавляющемся большинстве работ изучается возможная ценность шкал физиологического типа — CRIB, SNAP, SNAPPE первого и второго поколения. Практически во всех случаях речь в исследованиях идет о недоношенных новорожденных и оцениваются долгосрочные неврологические исходы, изучение которых не входило в перечень наших задач [21]. Авторы сравнили предиктивную ценность шкал (CRIB, CRIB II, SNAP, SNAP II, SNAP-PE, and SNAP-PE II) с массой тела (BW) и гестационным возрастом (GA) для прогнозирования госпитальной смертности в категории новорожденных с низкой массой тела при рождении (ОНМТ) у младенцев (<1500 г) и недоношенных новорожденных (<32 недель гестаци-онного возраста). PubMed, EMBASE и Scopus были источниками данных для исследований, опубликованных до января 2019 года. По результатам кумулятивного анализа 24 исследований, шкала CRIB обладала наилучшим значением площади по ROC кривой (AUC 0,88 (0,86-0,90)) и превосходила по точности гестационный возраст (AUC 0,76 (0,72-0,80)) [22]. Полученные авторами результаты хорошо сопоставимы с нашими данными как по точности прогнозирования летального исхода, так и по соотношению с прогностической ценностью гестационного возраста.
Сравнительно высокая предиктивная ценность шкалы NTISS (AUC>0,8) в отношении клинически значимой заболеваемости (сепсис, БЛД, тяжелые ВЖК) как в общей выборке, так и среди выживших пациентов, вероятно, объясняется природой этой шкалы. Будучи шкалой терапевтического типа, NTISS формируется объемом выполненной и проводимой интенсивной терапии. При этом хорошо известна роль интенсивности и инвазивности терапии в формировании многих патологических состояний в неотложной неона-тологии, в частности, позднего неонатального сепсиса [23, 24] и БЛД [25]. При этом шкала оказывается «отвязанной» от массы при рождении или гестационного возраста, что, с одной стороны, акцентирует внимание в формировании оценки именно на интенсивности терапии, с другой стороны — делает предиктивную модель все же менее точной, чем изолированная оценка на основании массы при рождении или гестационного возраста.
ЗАКЛЮЧЕНИЕ
Таким образом, изучаемая шкала ЫТ^ при использовании в выборке новорожденных детей, оцениваемых на предмет определения показаний и ограничений для выполнения межгоспитальной транспортировки, показала клинически приемлемый уровень точности (АиС>0,8) при прогнозировании госпитальной летальности, 7-дневной летальности, развитию позднего неонатально-го сепсиса, БЛД, тяжелых ВЖК и формированию окклюзионной гидроцефалии. Предиктивная ценность в отношении госпитальной и 7-дневной смерти оказались сопоставимы с точностью прогноза на основании массы при рождении и гестационного возраста. Предиктивная ценность шкалы в отношении заболеваемости, в том числе среди выживших пациентов, уступает по точности
СПИСОК ИСТОЧНИКОВ
прогнозу на основании массы при рождении или гестационного возраста. Длительность интенсивной терапии, длительность ИВЛ и пСРАР, а также продолжительность госпитализации находятся в достоверной, но слабой корреляционной связи с оценкой по ЫТ^ как в общей выборке, так и среди выживших пациентов. Важным ограничением при возможном применении шкалы является ее высокая отрицательная предиктивная ценность при очень низкой положительной предиктивной ценности. Дальнейшие исследования возможностей данной шкалы должны включать подробный анализ действий транспортной бригады в отношении пациентов и исходов при различных оценках по шкале ЫТ^ для анализа перспектив ее применения на этапах межгоспитальной транспортировки.
1. Александрович Ю. С. Гордеев В. И. Оценочные и прогностические шкалы в медицине критических состояний. Изд-во «Сотис». — 2007. — 140 с. ISBN 5-85503-028-8 [Aleksandrovich Yu.S., Gordeev V.I. Evaluation and prognostic scales in critical care medicine. Sankt-Peterburg: Sotis. 2007; l40p (In Russ.)]
2. Morse S., Groer M., Shelton M.M., Maguire D., Ashmeade T. A Systematic Review: The Utility of the Revised Version of the Score for Neonatal Acute Physiology among Critically Ill Neonates. J Perinat Neonatal Nurs. 2015;29(4):315-344. doi:10.1097/JPN.0000000000000135.
3. Gray J.E., Richardson D.K., McCormick M.C., Workman-Daniels K., Goldmann D.A. Neonatal therapeutic intervention scoring system: a therapy-based severity-of-illness index. Pediatrics. 1992;90(4).561-7.
4. Goedhuis I.H., Fetter W.P., van der Werf M., Bos A.P. How sick is the neonatal intensive care patient? Limited prognostic significance of the Neonatal Therapeutic Intervention Scoring System for mortality and for psychomotor development in the first year of life. Ned Tijdschr Geneeskd. 1995;139(22).1137-41.
5. Oygur N., Ongun H., Saka O. Risk prediction using a neonatal therapeutic intervention scoring system in VLBW and ELBW preterm infants. Pediatr Int. 2012;54(4).496-500. doi: 10.1111/j.1442-200X.2012.03576.x.
6. Trevisanuto D., Cavallin F., Loddo C., Brombin L., Lolli E., Doglioni N., Baraldi E.; Servizio Trasporto Emergenza Neonatale STEN Group. Trends in neonatal emergency transport in the last two decades. Eur J Pediatr. 2021;180(2):635-641. doi: 10.1007/s00431-020-03908-w.
7. Garg B., Sharma D., Farahbakhsh N. Assessment of sickness severity of illness in neonates: Review of various neonatal illness scoring systems. The Journal of Maternal-Fetal & Neonatal Medicine. 2018;31(10).1373-1380. doi: 10.1080/14767058.2017.1315665
8. Van Erkel A.R., Pattynama P.M.T. Receiver Operating Characteristic (ROC) analysis: basic principles and applications in radiology. Eur J Radiol 1998;27:88-94. doi: 10.1016/s0720-048x(97)00157-5.
9. Dorling J.S., Field D.J., Manktelow B. Neonatal disease severity scoring systems. Arch Dis Child Fetal Neonatal Ed. 2005;90:F11-F16. doi: 10.1136/adc.2003.048488.
10. Aluvaala J., Collins G.S., Maina M., Berkley J.A. and English M. A systematic review of neonatal treatment intensity scores and their potential application in low-resource setting hospitals for predicting mortality, morbidity and estimating resource use. Systematic Reviews. 2017; 6:248. doi: 10.1186/s13643-017-0649-6
11. Chien L.Y., Whyte R., Thiessen P., Walker R., Brabyn D., Lee S.K. Snap-II predicts severe intraventricular hemorrhage and chronic lung disease in the neonatal intensive care unit. J Perinatol. 2002; 22(1):26-30. doi: 10.1038/sj.jp.7210585.
12. Eriksson M., Bodin L., Finnstrom O., Schollin J. Can severity-of-illness indices for neonatal intensive care predict outcome at 4 years of age? Acta Paediatrica. 2007;91(10), 1093-1100. doi:10.1111/j.1651-2227.2002.tb00105.x
13. Shah P.S., Mirea L., Ng E., Solimano A., Lee S.K.. Association of unit size, resource utilization and occupancy with outcomes of preterm infants. J Perinatol. 2015;35(7):522-9. doi: 10.1038/jp.2015.4.
14. Mathur N.B., Arora D.. Role of TOPS (a simplified assessment of neonatal acute physiology) in predicting mortality in transported neonates. Acta Paediatr. 2007; 96(2):172-175. doi: 10.1111/j.1651-2227.2007.00006.x.
15. Sutcuoglu S., Celik T., Alkan S., Ilhan O., and Ozer E.A. Comparison of Neonatal Transport Scoring Systems and Transport-Related Mortality Score for Predicting Neonatal Mortality Risk. Pediatr Emer Care. 2015;31: 113-116. doi: 10.1097/ PEC.0000000000000350.
16. Wu P.L., Lee W.T., Lee P.L., Chen H.L. Predictive Power of Serial Neonatal Therapeutic Intervention Scoring System Scores for Short-term Mortality in Very-low-birth-weight Infants. Pediatrics and Neonatology. 2015;56,108e113 http://dx.doi. org/10.1016/j.pedneo.2014.06.005 1875-9572
17. Asker H.S., Satar M., Yildizda? H.Y., Mutlu B., Ozyurt B.M., Ipek M.§., Sivasli E., Taviloglu §., gelik Y., Ozcan K., Burgut R. and Unal 1. Evaluation of Score for Neonatal Acute Physiology and Perinatal Extension II and Clinical Risk Index for Babies with additional parameters. Pediatrics International. 2016;58(10), 984-987. doi: 10.1111/ped.12973
18. Radfar M., Hashemieh M., Fallahi M., Masihi R. Utilization of SNAP II and SNAPPE II Scores for Predicting the Mortality Rate Among a Cohort of Iranian Newborns. Arch Iran Med. 2018;21(4):153-157
19. Mansoor K.P., Ravikiran S.R., Kulkarni V., Baliga K., Rao S., Bhat K.G., Baliga B. S., and Kamath N. Modified Sick Neonatal Score (MSNS): A Novel Neonatal Disease Severity Scoring System for Resource-Limited Settings. Critical Care Research and Practice. 2019, 9;2019:9059073.https://doi.org/10.1155/2019/9059073
20. Muktan D., Singh R.R., Bhatta N.K. and Shah D. Neonatal mortality risk assessment using SNAPPE— II score in a neonatal intensive care unit BMC Pediatrics. 2019;19:279 https://doi.org/10.1186/s12887-019-1660-y
21. Crilly C.J., Haneuse S., Litt J. S. Predicting the outcomes of preterm neonates beyond the neonatal intensive care unit: What are we missing? Pediatric Research. 2020; 89(3): p.426-445 doi:10.1038/s41390-020-0968-5
22. McLeod J.S., Menon A., Matusko N., Weiner G.M., Gadepalli S.K., Barks J., Mychaliska1 G.B., Perrone E.E. Comparing mortality risk models in VLBW and preterm infants: systematic review and meta-analysis. J Perinatol. 2020; 40: 695-703 https://doi.org/10.1038/s41372-020-0650-0
23. Verstraete E. H., Mahieu L., De Coen K., Vogelaers D., Blot S. Impact of healthcare-associated sepsis on mortality in critically ill infants. European Journal of Pediatrics,2016;175(7), 943-952. doi:10.1007/s00431-016-2726-6
24. Verstraete E.H., De Coen, K., Vogelaers, D., Blot, S. Risk Factors for Health Care-Associated Sepsis in Critically Ill Neonates Stratified by Birth Weight. The Pediatric Infectious Disease Journal, 2015;34(11): 1180-1186. doi:10.1097/ inf.0000000000000851
25. Wilmott R.W., Deterding R., Li A., Ratjen F., Sly P., Zar H.J., Bush A. [edited by]. Kendig's disorders of the respiratory tract in children. 9 edition. Philadelphia: Elsevier; 2019. 1202 p.
Сведения об авторах
О.П. Ковтун — доктор медицинских наук, профессор, член-корреспондент РАН
Р. Ф. Мухаметшин — кандидат медицинских наук Н. С. Давыдова — доктор медицинских наук, профессор
Information about the authors
O. P. Kovtun — Doctor of Science (Medicine), Professor, corresponding member of the Russian Academy of Sciences R. F. Mukhametshin — MD
N. S. Davidova — Doctor of Science (Medicine), Professor
Авторы заявляют об отсутствии конфликта интересов. The authors declare no conflicts of interests.
Статья поступила в редакцию 03.08.2021; одобрена после рецензирования 18.10.2021; принята к публикации 08.11.2021.
The article was submitted 03.08.2021; approved after reviewing 18.10.2021; accepted for publication 08.11.2021.