CC BY
39
Построение номограммы, прогнозирующей метастатическое поражение лимфатических узлов при раке мочевого пузыря по клиническим данным
Л.В. Мириленко, О.Г. Суконко, А.В. Праворов, А.И. Ролевич, А.С. Мавричев
РНПЦонкологии и медицинской радиологии им. Н.Н. Александрова, Минск, Республика Беларусь
Контакты: Людмила Владимировна Мириленко [email protected]
Цель исследования — построение номограммы, прогнозирующей наличие метастазов в лимфатических узлах (рЫ+) при раке мочевого пузыря (РМП) по клиническим данным.
Материалы и методы. Материалом послужили данные 511 пациентов с диагнозом РМП, которым в 1999—2008 гг. в РНПЦ онкологии и медицинской радиологии была выполнена радикальная цистэктомия. Для прогнозирования вероятности наличия рШ+ по дооперационным данным использованы моновариантные и мультивариантные модели логистической регрессии. Коэффициенты уравнения логистической регрессии использованы для построения номограммы. Точность номограммы оценена индексом кон-кордации и построением калибровочного графика. Выполнена внутренняя валидизация методом бутстрэп с использованием 200 вариантов наборов данных.
Результаты. Разработана номограмма, включающая предикторы: клиническая степень местной распространенности сТ, степень дифференцировки, характер роста опухоли, креатинин. Бутстрэп-скорректированная прогностическая точность разработанной номограммы составила 71,6 %, что на 9,4 % выше точности моновариантной модели, учитывающей только клиническую стадию.
Выводы. Разработанная номограмма позволяет существенно повысить точность предсказания патологической стадии опухоли и может быть использована при отборе пациентов для неоадъювантной терапии.
Ключевые слова: рак мочевого пузыря, радикальная цистэктомия, метастазы, лимфатические узлы, прогноз, номограмма
Development of the nomogram that predicts pathological lymph node involvement in bladder cancer patients based on clinical variables
L.V. Mirylenko, O.G. Sukonko, A.V. Pravorov, A.I. Rolevich, A.S. Mavrichev
N.N. Alexandrov National Cancer Centre of Belarus
Objective: to develop nomogram based on clinical variables, that predicts pathological lymph node involvement (pN+) in bladder cancer patients. Material and methods: We used data of 511 patients with bladder cancer, that have undergone radical cystectomy between 1999 and 2008 at N.N. Alexandrov National Cancer Centre. Mono- and multivariate logistic regression analyses were used forpN+ prediction on preoperative data. Coefficients from logistic regression equation were used to construct the nomogram. Nomogram accuracy was evaluated with concordance index and construction of the calibration plot. Internal validation by bootstrap method with 200 variants of dataset was performed. Results: We developed nomogram, that includes: clinical stage cT, tumor grade, tumor macroscopic appearance, and creatinine level. Boot-strap-correctedprognostic accuracy of nomogram was 71,6%, that was 9,4% better than clinical stage accuracy.
Conclusion: utilization of developed nomogram can significantly improve pathologic tumor stage prediction accuracy that may be used to select patients for neoadjuvant chemotherapy.
Key words: bladder cancer, radical cystectomy, N stage, lymph nodes, prediction, nomogram
Введение
Результаты хирургического лечения больных раком мочевого пузыря (РМП) в первую очередь определяются состоянием регионарных лимфатических узлов (ЛУ) и степенью местной распространенности опухоли. Наличие метастатического поражения ЛУ таза влияет на прогноз наиболее существенно: при локализованном РМП 5-летняя канцерспецифическая выживаемость достигает 63—80 % [1], при РМП с метастазами в ЛУ — от 0 до 38 % [2].
В то же время точное определение состояния регионарных ЛУ до выполнения радикальной операции
является сложной проблемой. Наиболее распространенные методы диагностики регионарных метастазов — рентгеновская компьютерная (КТ) и магнитнорезонансная томография (МРТ) — обладают низкой чувствительностью [3-4].
Низкие диагностические возможности КТ и МРТ связаны с неспособностью диагностировать метастатическое поражение в неувеличенных или незначительно увеличенных тазовых ЛУ, поскольку при использовании методов визуализации дифференциальная диагностика метастатического поражения основывается на размерах ЛУ [5].
Повышение точности определения наличия метастатического поражения регионарных ЛУ (pN+) до радикальной цистэктомии (РЦЭ) может быть достигнуто путем применения математических методов.
Цель настоящего исследования — построение номограммы определения вероятности метастатического поражения регионарных ЛУ у больных РМП до РЦЭ на основе многомерной математической модели, использующей комплекс клинических параметров.
Материалы и методы
Материалом для исследования послужили данные 511 пациентов с диагнозом РМП, которым в отделении онкоурологической патологии РНПЦ онкологии и медицинской радиологии им. Н.Н. Александрова в период с 1999 по 2008 г. были выполнены РЦЭ и тазовая лимфаденэктомия. У всех пациентов диагноз подтвержден морфологически. В исследование включены как больные, у которых опухолевый процесс выявлен впервые, так и обратившиеся по поводу рецидива. Всем пациентам до цистэктомии проводилась стадирующая трансуретральная резекция (ТУР).
Критерии исключения: наличие первично-множественных опухолей, кроме клинически неопределяемого локализованного рака предстательной железы (РПЖ), выявленного после РЦЭ; другие формы РМП, кроме переходно-клеточного и его вариантов; отдаленные метастазы. Из исследования также исключались пациенты, у которых в документации отсутствовали показатели, определенные как потенциальные предикторы.
Статистический анализ. Для прогнозирования вероятности метастатического поражения ЛУ использовались моновариантные и мультивариантные модели логистической регрессии. Предикторами на этапе моновариантного анализа служили все показатели, определенные до РЦЭ. Показатели, имеющие при моновариантном анализе уровень статистической значимости р < 0,1, включены в мультивариантный анализ. Далее к полученной многомерной модели была применена процедура пошагового исключения с целью нахождения информативного варианта с минимальным количеством предикторов. Коэффициенты уравнения логистической регрессии окончательной модели использовались для построения прогностической номограммы.
Точность номограммы оценивалась индексом кон-кордации, который в случае логистической регрессии равен площади под кривой операционных характеристик (AUC). Бутстрэп-скорректированная прогностическая точность рассчитывалась как среднее значение индексов конкордации для 200 наборов данных, полученных путем случайной выборки с возвращением из исходного набора (внутренняя валидизация методом бутстрэп) [6]. Для определения прогностической способности номограммы при разных значениях предска-
занной вероятности построен калибровочный график. Проведена проверка на мультиколлинеарность.
Расчеты выполнены в программном комплексе БРББ 17.0.
Результаты
Характеристика пациентов, вошедших в исследование, представлена в табл. 1. Средний возраст составил 63,6 года (от 32 до 84 лет), медиана 65 лет. Мужчин было 473 (92,6 %), женщин 38 (7,4%). Впервые заболевание диагностировано у 380 (74,4 %) пациентов, 131 (25,6 %) пациенту лечение проведено по поводу рецидива. Патоморфологическая стадия после цистэктомии определена как рТ1 у 53 (10,4 %) пациентов, рТ2 - у 173 (33,8 %), рТ3 - у 145 (28,4 %), рТ4 - у 140 (27,4 %). Метастатическое поражение ЛУ диагности-
Таблица 1. Характеристика пациентов
Показатель Значение %
Пол, n
мужской 473 92,6
женский 38 7,4
Возраст, медиана (квартили), лет 65 (58-70) -
Характер заболевания, n
первичный 380 74,4
рецидивный І3І 25,6
Патоморфологическая pT стадия, n
ТІ 53 І0,4
Т2 І73 33,8
Т3 І45 28,4
Т4 І40 27,4
Патоморфологическая pN стадия, n
pN0 397 77,7
pNl 3І 6,І
pN2 78 І5,3
pN3 5 І,0
pNl-3 ІІ4 22,3
Степень дифференцировки, n
Gi 63 І2,3
G2 20І 39,3
G3 247 48,3
ровано у 114 (22,3 %) пациентов: N1 — у 31 (6,1 %), N2 — у 78 (15,3 %), N3 — у 5 (1,0 %). Степень диффе-ренцировки G1 установлена у 63 (12,3 %) пациентов, G2 — у 201 (39,3 %), G3 — у 247 (48,3 %) больных.
В настоящее время для повышения точности прогнозирования вероятности метастатического поражения ЛУ до РЦЭ наиболее широко применяется номо-
Таблица 3. Лабораторные показатели
Показатель Медиана Нижний и верхний квартили
Эритроциты, 1012/л 4,5 4,0-4,9
Гемоглобин, г/л 133 115-145
Лейкоциты, 10 9/л 8,0 6,2-10,3
Тромбоциты, 109/л 273 216-342
СОЭ, мм/ч 19 12-31
Мочевина, ммоль/л 6,9 5,5-8,5
Общий белок, г/л 72 68-76
Креатинин, мкмоль/л 99 87-112
Лейкоциты в моче 10 2-50
Эритроциты в моче 100 12-100
Белок в моче, г/л 0,46 0,1—0,9
Примечание. Здесь и в табл. 4, 6: СОЭ — скорость оседания эритроцитов.
грамма, разработанная в результате многоцентрового исследования (клиники США, Канады) П. Каракие-вичем и соавт. [7]. Данная номограмма увеличивает точность определения метастатического поражения ЛУ на 2,1 % (с 61,0 до 63,2 %) по сравнению с прогнозированием только по клинической степени местной распространенности опухоли (сТ).
Нами была проведена внешняя валидизация указанной модели на исследуемом массиве. Прогностическая точность составила 63,6 %. При этом прогнозирование рN+ только по сТ (одновариантная модель логистической регрессии) дало бутстрэп-скорректи-рованную прогностическую точность 62,2%. Таким образом, повышение точности определения рN+ составило 1,4 %. Можно сделать вывод: математическая модель, разработанная для условий США и Канады, в нашем случае не дала удовлетворительных результатов, что служит основанием для разработки собственной математической модели.
В отличие от П. Каракиевича и соавт. в нашем исследовании мы проанализировали все имеющиеся до РЦЭ показатели с целью выявления полного состава предикторов, которые позволяют увеличить точность прогнозирования: клинические параметры, данные цистоскопии и диагностической ТУР (табл. 2), лабораторные показатели, как количественные (абсолютные значения) (табл. 3), так и качественные (норма/ не норма) (табл. 4).
Для определения предикторов мультивариантной модели, статистически значимо связанных с наличи-
Таблица 2. Характеристика пациентов по показателям, определенным до цистэктомии
Показатель Значение %
Клиническая стадия, п
Т1 37 7,2
Т2 298 58,3
Т3 84 16,4
Т4 92 18,0
Степень дифференцировки, п
«1 84 16,4
215 42,1
«3 212 41,5
Число опухолей, п
Нет видимой опухоли 5 1,0
Единичная 123 24,1
Множественная 295 57,5
Диффузное поражение 88 17,2
Характер роста опухоли, п
Не определяется 5 1,0
Папиллярная 182 35,6
Солидная 266 52,1
Язвенная или некротическая 58 11,4
Размер опухоли, медиана (квартили), см 5,0 (4,0 — 6,0) -
Уретерогидронефроз, п
Нет 292 57,1
Односторонний 178 34,8
Двусторонний 41 8,0
Дизурия, п
Нет 195 38,2
Есть 316 61,8
Таблица 4. Пациенты с отклонениями в лабораторных показателях
Показатель Число пациентов %
Гемоглобин < 116 г/л 130 25,4
Эритроциты < 3,7х1012/л 72 14,1
СОЭ
> 15 мм/ч 295 57,7
> 30 мм/ч 145 28,4
Лейкоциты > 8,9х109/л 194 36,8
Тромбоциты
< 160х109/л 26 5,1
> 320х109/л 161 31,5
Показатель Число пациентов %
Общий белок < 65 г/л 64 12,5
Мочевина > 8,3 ммоль/л 140 27,4
Креатинин: женщины > 97, мужчины > 115 143 28,0
Белок в моче > 0,5 г/л 229 44,8
Лейкоциты в моче
> 4 в поле зрения 305 59,7
> 99 в поле зрения 121 23,7
Эритроциты в моче > 99 в поле зрения 290 56,8
Таблица 5. Моновариантные модели логистической регрессии, прогнозирующие наличие метастатического поражения ЛУ (клинические показатели)
Показатель Отношение шансов (95 % ДИ) р Прогностическая точность, %
Пол: мужчины/женщины 0,79 (0,37-1,68) 0,538 50,9
Возраст, лет 1,00 (0,97-1,02) 0,832 53,0
> 60 / < 60 1,00 (0,63-1,58) 0,997 50,0
Рецидивный/первичный 1,05 (0,65-1,68) 0,850 50,4
Клиническая сТ < 0,001 62,3
Т2/Т1 1,70 (0,58-5,02) 0,334
Т3/Т1 4,58 (1,48-14,18) 0,008
Т4/Т1 3,80 (1,23-11,72) 0,020
Степень дифференцировки 0,001 60,5
4,66 (1,79-12,16) 0,002
6,24 (2,41-16,16) < 0,001
Число опухолей 0,238 54,5
множественная/единичная 0,82 (0,50-1,35) 0,426
диффузное поражение/единичная 1,30 (0,70-2,41) 0,410
Характер роста опухоли: не папиллярная/папиллярная 3,18 (1,90-5,32) < 0,001 61,7
Размер 1,09 (0,97-1,24) 0,152 50,0
Уретерогидронефроз: есть/нет 1,74 (1,15-2,65) 0,010 56,9
Дизурия: есть/нет 1,52 (0,98-2,38) 0,064 54,8
Примечание. ДИ — доверительный интервал.
Таблица 6. Моновариантные модели логистической регрессии, прогнозирующие наличие метастатического поражения ЛУ (лабораторные показатели)
Показатель Отношение шансов (95 % ДИ) р Прогностическая точность, %
Гемоглобин 0,99 (0,98-1,00) 0,147 55,2
Эритроциты 0,80 (0,59-1,07) 0,135 54,8
СОЭ 1,01 (1,00-1,01) 0,128 58,2
Лейкоциты > 8,9 х 10 9/л 1,46 (0,96-2,22) 0,080 54,5
Тромбоциты 1,00 (1,00-1,00) 0,481 51,8
Общий белок > 65 г/л / <65 г/л 1,28 (0,86-2,49) 0,466 51,3
Мочевина 1,02 (0,95-1,09) 0,544 52,3
Креатинин: женщины > 97, мужчины >115 / < 1,89 (1,22-2,94) 0,005 56,8
Белок в моче > 0,5 г/л / < 0,5 г/л 1,31 (0,86-1,99) 0,207 53,3
Лейкоциты в моче 1,00 (0,99-1,00) 0,516 50,7
Эритроциты в моче (в поле зрения) > 100 / < 100 1,11 (0,73-1,70) 0,621 51,3
Примечание. В таблицу включены варианты кодировки лабораторных показателей, при которой достигается наибольшая прогностическая точность.
Таблица 7. Характеристики мультивариантньа моделей логистической регрессии, прогнозирующих наличие метастатического поражения ЛУ
Показатель Мультивариантная модель общая, отношение шансов (р) Мультивариантная модель сокращенная, отношение шансов (р)
сТ3-4 / сТ1-2 2,38 (0,002) 2,19 (0,001)
Степень дифференцировки (0,007) (0,006)
1,21(0,016) 1,32 (0,012)
1,54 (0,002) 1,80 (0,002)
Характер роста* 2,38 (0,002) 2,37 (0,002)
Уретерогидронефроз: есть/нет 1,20 (0,456) -
Дизурия: есть /нет 1,30 (0,289) -
Лейкоциты > 8,9х10 9/л /< 1,16 (0,533) -
Креатинин > нормы/норма 1,45 (0,133) 1,55 (0,067)
Прогностическая точность модели, % 72,5 71,6
* Солидная, язвенная или некротическая в сравнении с папиллярной.
ем метастатического поражения ЛУ, были построены моновариантные модели логистической регрессии, прогнозирующие наличие рN+ по отдельным показателям (табл. 5, 6). По результатам моновариантного анализа установлено, что статистически значимую связь с метастатическим поражением ЛУ имеют следующие показатели: клиническая степень местной распространенности сТ (р < 0,001), степень диффе-ренцировки (р = 0,001), характер роста опухоли (р < 0,001), уретерогидронефроз (р = 0,010), уровень креатинина в крови (р = 0,005). Наибольшую прогностическую точность имеют сТ (62,3 % для исходного набора данных, 62,2 % — бутстрэп-скорректиро-ванная), характер роста опухоли (61,7 %) и степень дифференцировки, определенная по результатам ТУР (60,5 %).
Далее был проведен мультивариантный анализ (логистическая регрессия). В соответствии со схемой исследования в качестве предикторов в него были включены вышеперечисленные показатели с уровнем статистической значимости р < 0,05 и 2 показателя с 0,05 < р < 0,10: наличие дизурии (р = 0,064) и повышение уровня лейкоцитов крови (р = 0,080). Таким образом, в мультивариантную модель были включены 7 предикторов (табл. 7), что соответствует ограничениям на максимально допустимое количество предикторов модели логистической регрессии с 2 вариантами прогнозируемого исхода [8]. Для получения более экономичной, сокращенной прогностической моде-
0 10 20 30 40 50 60 70 80 90 100
Points
Клиническая
стадия T ti_2
Степень дифференцировки gi
Характер
T3-4
1-2
G2
G3
солидным, язвенный
роста °пух°ли папиллярный Креатинин
> нормы
норма
Общая сумма
Вероятность
pN+
0,05 0,07 0,10 0,15 0,2 0 0,25 0,3 0 0,35 0,40 0,45 0,50
Рис. 1. Номограмма, прогнозирующая pN+ по клиническим данным
0 10 20 30 40 50 60 70 80 90 100
Points
Клиническая стадия T
Степень
дифференцировки
Характер роста опухоли
Креатинин
Общая сумма
к T3 к і -4 к
T1-2 G2
G1 солидный, язвенный G3
папиллярный
> нормы
Вероятность
pN+
0 50 100 150 200 230
> <
0,05 0,07 0,10 0,15 0,2 0 0,25 0,3 0 0,35 0,40 0,45 0,50
Рис. 2. Пример расчета по номограмме
Прогнозируемая вероятность
Рис. 3. Калибровочный график
ли была применена процедура пошагового исключения переменных. В сокращенную модель вошли 4 показателя: клиническая степень местной распространенности сТ, степень дифференцировки, характер роста опухоли и уровень креатинина.
Качество модели оценено с помощью внутренней валидизации, выполненной методом бутстрэп с построением 200 вариантов наборов данных, каждый из которых получен путем «случайной выборки с возвра-
щением» из исходного набора [7, 9-11]. Бутстрэп -скорректированная прогностическая точность, вычисленная как среднее значение индексов конкордации, рассчитанных для каждого набора, составила для полной модели 72,5 %, для сокращенной (результирующей) — 71,6 %.
На основе коэффициентов результирующей регрессионной модели построена номограмма, позволяющая графически рассчитать вероятность наличия у пациента метастатического поражения ЛУ до РЦЭ (рис. 1).
Пример расчета по номограмме (рис. 2). Пациент А., 50 лет. Диагноз: РМП сТ3 (50 баллов). Степень диффе-ренцировки опухоли G1 (0 баллов), характер роста — солидная (55 баллов), уровень креатинина — в пределах нормы (0 баллов). Общая сумма — 105 баллов. Вероятность метастатического поражения ЛУ 13%.
Для расчета также можно воспользоваться калькулятором (см. www.medstat.by/nomogram).
На рис. 3 представлен калибровочный график, определяющий прогностическую способность номограммы при разных значениях предсказанной вероятности.
Обсуждение
Информация о состоянии ЛУ у больных РМП до начала хирургического лечения имеет важное клиническое значение. Показатель 5-летней выживаемости пациентов при РМП с метастазами в ЛУ находится в пределах от 0 до 38 % [2]. Проведение цисплатинсодержащей неоадъювантной химиотерапии способно улучшить выживаемость в общей группе больных мышечно-инвазивным РМП на 5-8 % [12]. Точная дооперационная идентификация пациентов с поражением регионарных ЛУ позволит проводить дооперационную системную химиотерапию более селективно. Несмотря на то что применение неоадъювантной химиотерапии показано большинством клинических рекомендаций, вследствие недостаточной эффективности этого воздействия остается актуальным выделение подгрупп пациентов, для которых такое лечение будет наиболее результативным [13].
Кроме того, РЦЭ является травматичной операцией, с большим количеством послеоперационных осложнений и значительной летальностью [14]. У пациентов с тяжелой конкурирующей патологией, высоким риском летальности при операционном вмешательстве и низкой вероятностью излечения вследствие поражения регионарных ЛУ может быть выбрана альтернативная тактика лечения.
Дооперационная информация о высокой вероятности поражения регионарных ЛУ может дать возможность индивидуально модифицировать хирургическое вмешательство с целью более полной эрадикации опухоли [15]. Практика использования методик расширенной лимфодиссекции у выделенной подгруппы па-
0 50 100 150 200 230
циентов позволит более адекватно соотнести объем хирургического вмешательства с распространенностью опухоли, что, в свою очередь, приведет к снижению травматичности операции у пациентов с благоприятным прогнозом и повышению эффективности лечения у пациентов с неблагоприятным прогнозом.
Повысить точность определения наличия метастатического поражения ЛУ до РЦЭ возможно, используя мультивариантные модели, основанные на комплексе клинических параметров. Так, П. Каракиевич и соавт. [7] разработали мультивариантную регрессионную модель и построили номограмму, повышающую точность прогнозирования рN+ на 2,1% (с 61,0 до 63,1 %). Кроме клинической степени местной распространенности опухоли, номограмма включает степень дифференцировки, определенную до РЦЭ. По мнению П. Каракиевича и соавт. [16], увеличение точности определения стадии заболевания до РЦЭ даже на 2 % имеет очень большое значение.
Однако проведенная нами внешняя валидизация номограммы П. Каракиевича на значительном по объему материале данных 511 пациентов показала недостаточное, на наш взгляд, повышение точности прогнозирования — на 1,4 % (63,6 % по сравнению с 62,2 % при прогнозировании только по клинической степени местной распространенности опухоли). Это явилось основанием для разработки собственной математической модели, ориентированной на условия, отличающиеся от условий США и Канады.
В нашем исследовании мы проанализировали все имеющиеся до РЦЭ показатели с целью выявления полного состава предикторов, которые позволяют
увеличить точность прогнозирования. В результате из 20 с лишним показателей 5 оказались связаны с рN+ статистически значимо при уровне значимости р < 0,05 и еще 2 с 0,05 < р < 0,1. Итого в полную муль-тивариантную модель вошло 7 показателей. Применение процедуры пошагового исключения переменных позволило уменьшить число предикторов до 4. Бутстрэп-скорректированная прогностическая точность результирующей мультивариантной регрессионной модели составила 71,6 %, что на 9,4 % больше, чем при прогнозировании только по клинической степени местной распространенности, и на 8,4 % выше, чем прогностическая точность модели П. Кара-киевича и соавт.
Выводы
• Прогнозирование наличия метастатического поражения ЛУ до РЦЭ только по клинической степени местной распространенности дает бутстрэп-скоррек-тированную прогностическую точность 62,2 %.
• Наличие метастатического поражения ЛУ статистически значимо связано со следующими характеристиками, определенными до РЦЭ: клиническая степень местной распространенности сТ (р < 0,001), степень дифференцировки (р = 0,001), характер роста опухоли (р < 0,001), уретерогидронефроз (р = 0,010), уровень креатинина в крови (р = 0,005).
• Разработанная номограмма, включающая такие показатели, как клиническая степень распространенности сТ, степень дифференцировки, характер роста опухоли, уровень креатинина, повышает точность прогнозирования рШ-3 на 9,4 % (с 62,2 до 71,6 %).
ЛИТЕРАТУРА
1. Schoenberg M. Management of invasive and metastatic bladder cancer. In: Walsh P.C., Retik A.B., Stamey T.A., Vaughan E.D. Jr, editors. Campbell’s Urology, 8th edn. Philadelphia: WB Saunders Co, 2002;
p 2803-17.
2. Liedberg F., Mansson W. Lymph node metastasis in bladder cancer. Eur Urol 2006; 49(1):13-21.
3. Jager G.J., Barentsz J.O., Oosterhof G.O. et al. Pelvic adenopathy in prostatic and urinary bladder carcinoma: MR imaging with a three-dimensional TI-weighted magnetization-prepared- rapid gradient echo sequence. AJR Am J Roentgenol 1996; 167(6):1503-7.
4. Oyen R.H., Van Poppel H.P.,
Ameye F.E. et al. Lymph node staging of localized prostatic carcinoma with CT and CT-guided fine-needle aspiration biopsy: prospective study of 285 patients. Radiology 1994;
190(2):315-22.
5. Barentsz J.O., Engelbrecht M.R.,
Witjes J.A. et al. MR imaging of the male pelvis. Eur Radiol 1999;9(9):1722-36.
6. Bradley E., Tibshirani R.J. Monographs on statistics and applied probability: an introduction to the bootstrap. Boca Raton: Champman and Hall/CRC, 1993.
7. Karakiewicz P., Shariat S., Palapattu G. et al. Precystectomy Nomogram for Prediction of Advanced Bladder Cancer Stage. Eur Urol 2006; 50(6): 1254-62.
8. Harrell F.E. Jr. Regression modeling strategies with applications to linear models, logistic regression, and survival analysis.
New York, NY, Springer Verlag, 2001.
9. Kattan M.W. Nomograms. Introduction. Semin Urol Oncol 2002;20:79-81.
10. Kattan M.W. Comparison of Cox regression with other methods for determining prediction models and nomograms. J Urol 2003;170(6):6-9.
11. Steyerberg E.W., Bleeker S.E., Moll H.A. et al. Internal and external validation of
predictive models: a simulation study of bias and precision in small samples.
J Clin Epidemiol 2003;56(5):441-7.
12. Stenzl A., Cowan N.C., De Santis M. et al. Treatment of muscle-invasive and metastatic bladder cancer: update of the EAU guidelines. Eur Urol 2011 Jun;59(6):1009-18.
13. Niegisch G., Albers P. Which patients benefit the most from neoadjuvant chemotherapy in advanced bladder cancer? Curr Opin Urol 2011;21(5):434-9.
14. Lawrentschuk N., Colombo R.,
Hakenberg O.W. et al. Prevention and management of complications following radical cystectomy for bladder cancer.
Eur Urol 2010;57(6):983-1001.
15. Lerner S.P. The role and extent of pelvic lymphadenectomy in the management of patients with invasive urothelial carcinoma. Curr Treat Options Oncol 2009;10(3-4):267-74.
16. Shariat S., Margulis V., Lotan Y. et al. Nomograms for Bladder Cancer. Eur Urol 2008; 54(1): 41-53.
