CC BY
19
кривая обучения навыкам роботизированном и лапароскопической техники наложения швов в симулированных условиях*
Перевод с английского под редакцией эксперта Ассоциации профессиональных обществ по качеству медицинской помощи и медицинского образования Алексеевой А.Ю.
Leijte E.1, de Blaauw I.1, Van Workum F.2, Botden S.1
1 Отделение детской хирургии Медицинского центра Университета Радбуда, Детская больница Амалии, Неймеген, Нидерланды
2 Хирургическое отделение Медицинского центра Университета Радбуда, Неймеген, Нидерланды
Актуальность. Считается, что по сравнению с традиционными лапароскопическими методами роботизированная хирургия обладает большим потенциалом для применения в таких чувствительных к техническим навыкам сложных областях, как техника малоинвазивного наложения швов. Данное исследование проводилось, для того чтобы выявить различия кривых обучения техникам лапароскопического или роботизированного наложения швов. Методы. Начинающие специалисты выполняли 3 задания по наложению швов с помощью симулятора дополненной реальности ЕoSim или роботизированного симулятора виртуальной реальности РоЬо^Х. Каждый участник выполнял задание по наложению интракорпорального шва, задания по передаче иглы в качающейся плоскости и по передаче иглы при наложении анастомоза. Для завершения курса обучения все задания повторяли до 20 раз или до достижения временного плато. Регистрировали клинически значимые и сопоставимые параметры, касающиеся времени выполнения заданий, совершаемых движений и безопасности выполнения манипуляций. Для сравнения графиков и фаз курсов обучения использовали время наложения интракорпорального шва и метод анализа накопленных сумм. Результаты. 17 участников прошли весь курс обучения с помощью лапароскопической методики, а 30 участников - с помощью роботизированной методики. Медиана времени на завязывание 1-го узла лапароскопическим способом составила 611 уб 251 с на завязывание узла роботизированным способом (р<0,001), а соотношение по фазам обучения - 324 уб 165 с (6-й узел, р <0,001) и 257 уб 149 с (11-й узел, р<0,001) соответственно. Процентная доля состоятельных хирургических узлов в группе применявших лапароскопическую методику была больше, чем в группе роботизированной методики. 1-й узел: 71 уб 60%, 6-й узел: 100 уб 83%, 11-й узел: 100 уб 73%. Медиана оценки параметра «инструмент вне поля зрения» в группе роботизированной методики составила 0% после 4-го повторения. В группе лапароскопической методики величина оценки параметра «инструмент вне поля зрения» между 1-м и 11-м узлом возросла с 3,1 до 3,9% (слева) и с 3,0 до 4,1% (справа) (р>0,05). Заключение. Кривая обучения навыкам малоинвазивной хирургии показывает, что график времени при выполнении задания роботизированным способом короче, чем при использовании лапароскопического способа. Однако при использовании лапароскопического способа удается достичь хороших конечных результатов с быстрым улучшением исхода вмешательства.
Ключевые слова:
обучение лапароскопии, симуляция, обучение роботизированной хирургии, кривая обучения
*Эта статья подлежит распространению в соответствии с международной лицензией 4.0 Creative Commons (http://creativecommons.org/licenses/by/4.0/), которая разрешает неограниченное использование, распространение и воспроизведение на любых носителях при условии надлежащего упоминания авторов и источника оригинальной статьи, ссылки на лицензию Creative Commons и изменений в случае их внесения в оригинальную статью.
robot assisted versus laparoscopic suturing
LEARNING CURvE IN A simulated setting
Leijte E.1, de Blaauw I.1, Van Workum F.2, Botden S.1
1 Department of Pediatric surgery, Radboud University Medical Centre, Amalia Children's Hospital, Nijmegen, The Netherlands
2 department of surgery, radboud University Medical Centre, nijmegen, the netherlands
Background. Compared to conventional laparoscopy, robot assisted surgery is expected to have most potential in difficult areas and demanding technical skills like minimally invasive suturing. This study was performed to identify the differences in the learning curves of laparoscopic versus robot assisted suturing. Method. Novice participants performed three suturing tasks on the EoSim laparoscopic augmented reality simulator or the RobotiX robot assisted virtual reality simulator. Each participant performed an intracorporeal suturing task, a tilted plane needle transfer task and an anastomosis needle transfer task. To complete the learning curve, all tasks were repeated up to twenty repetitions or until a time plateau was reached. Clinically relevant and comparable parameters regarding time, movements and safety were recorded. Intracorporeal suturing time and cumulative sum analysis was used to compare the learning curves and phases.
Results. 17 participants completed the learning curve laparoscopically and 30 robot assisted. Median first knot suturing time was 611 s (s) for laparoscopic versus 251 s for robot assisted (p<0.001), and this was 324 s versus 165 (6th knot, p<0.001) and 257 s and 149 s (eleventh knot, p<0.001) respectively on base of the found learning phases. The percentage of 'adequate surgical knots' was higher in the laparoscopic than in the robot assisted group. First knot: 71% versus 60%, sixth knot: 100% versus 83%, and 11th knot: 100% versus 73%. When assessing the 'instrument out of view' parameter, the robot assisted group scored a median of 0% after repetition four. In the laparoscopic group, the instrument out of view increased from 3.1 to 3.9% (left) and from 3.0 to 4.1% (right) between the first and eleventh knot (p>0.05).
Conclusion. The learning curve of minimally invasive suturing shows a shorter task time curve using robotic assistance compared to the laparoscopic curve. However, laparoscopic outcomes show good end results with rapid outcome improvement.
Leijte E., de blaauw I., van Workum F., et al. robot assisted versus laparoscopic suturing learning curve in a simulated setting. surg endosc (2019). doi: https:// doi.org/10.1007/s00464-019-07263-2
Keywords:
laparoscopy training, simulation, robotics training, learning curve
Постоянно увеличивающаяся скорость разработки и внедрения в практику хирургических инноваций оказывает на хирургов небывалое давление, вынуждая их повышать свой технический уровень овладения подобными навыками [1]. Кривая обучения представляет собой тот объем практических тренировок, который необходим хирургу для достижения компетентности в проведении новой процедуры. Дли-
тельность кривой обучения, необходимая для достижения определенного результата, зависит от того, какие именно конечные результаты будут рассматриваться [2]. Можно ожидать, что в начальной фазе обучения обучающемуся потребуется больше времени для выполнения заданий, общий результат будет несколько хуже, а частота осложнений, вероятно, будет более высокой [1, 3-5]. Навыки, необходимые для вы-
полнения малоинвазивных хирургических вмешательств, сильно отличаются от тех, которые нужны при выполнении хирургических вмешательств открытым способом, а с момента внедрения в практику роботизированной хирургии к первым добавился еще один дополнительный набор технических навыков. Каждой новой хирургической методике и процедуре соответствует свой курс обучения. Более того, возможен даже связанный с необходимостью обучения риск развития тяжелых осложнений [4]. Ожидается, что при использовании методик роботизированной хирургии кривая обучения будет короче, чем с помощью лапароскопических методов, что обусловлено возможностью совершения интуитивных движений в запястье и обеспечением трехмерного визуального обзора [1]. Кроме того, нет стандартизированных методов количественной оценки хирургических навыков, которые определяют уровень профессионализма. Использование одного параметра, например времени выполнения задания, представляет собой слишком упрощенный подход, так как при этом не учитываются осложнения или те результаты, которые зависят от пациента [10]. Поэтому рекомендуется использовать многофакторную оценку, которая будет включать необходимость оценки обратной связи от симулятора с помощью объективных оценочных параметров, в том числе параметров безопасности, что позволит определить качество и прогресс в достижении навыков на основе компетентности и полученных результатов [1, 11-13].
До настоящего времени было проведено лишь несколько исследований, в которых сравнивали графики кривой обучения с использованием лапароскопической и роботизированной методик. Результаты
одного исследования показали, что использование роботизированного способа позволило обучающимся достичь преимуществ по времени, дистанции, плавности и точности выполнения заданий [1]. В ходе другого исследования, где сравнивали результаты наложения 3 швов новичками на модели лабораторного животного (свиньи) с помощью лапароскопической и роботизированной методик, был установлен более высокий уровень функциональности роботизированной методики в целом [6]. При сравнении с лапароскопическим методом разность полученных результатов по времени выполнения заданий, количеству ошибок, повреждений и трудоемкости была статистически значимой. Результаты более позднего исследования свидетельствовали, что при выполнении задания по вырезанию шаблона новички, использующие лапароскопическую методику, совершают больше ошибок, чем те, кто пользовался роботизированным методом. Однако статистически значимых различий по времени выполнения задания при этом не выявлено [7].
В ходе большинства исследований проводили сравнение выполнения заданий, начиная от базовых и заканчивая наложением интракорпоральных швов. Однако, как утверждается, роботизированное наложение швов дает особые преимущества при выполнении сложных хирургических процедур, например, при формировании кишечных анастомозов интракорпорально [8, 9]. Поэтому основное внимание данного исследования сконцентрировано на выполнении таких сложных задач по ушиванию менее опытными хирургами благодаря комплексному потенциалу роботизированной хирургии [9]. Цель данного исследования - с помощью множественных
оценочных параметров определить, позволяет ли использование роботизированной методики в условиях симулятора сократить кривую обучения навыкам наложения сложных швов и уменьшить число сопутствующих повреждений по сравнению с применением традиционной лапароскопической методики.
МЕТОДЫ Участники
Исследование проводили на базе Медицинского центра Университета Радбуда в Неймегене (Нидерланды). К участию в исследовании привлекали обучающихся с базовым пониманием концепции малоинвазивной хирургии (эндоскопической или роботизированной), поэтому набор участников проводили среди обучающихся интернов и клинических ординаторов. Участников набирали на добровольной основе, по объявлению, распределение по группам происходило случайным образом, с учетом доступности симулятора и хирургического опыта участника, без стратификации. Участников, которые уже прошли обучение или имели клинический опыт применения лапароскопических методов, но ранее не работали с роботизированными методиками, распределяли только в группу роботизированной хирургии.
Для проведения данного исследования не требовалось одобрения этического комитета, так как оно проводилось в немедицинских условиях и при добровольном участии.
СИМУЛЯТОРЫ
Лапароскопический симулятор eoSim
Для обучения в группе лапароскопической методики использовали симулятор дополненной реальности eoSim (Eosurgical ltd., Эдинбург, Шотландия, Великобритания) (рис. 1). Этот симулятор был выбран благодаря возможности объективной записи параметров без привлечения виртуальной реальности и, как следствие, реалистичной обратной связи на прилагаемое к инструменту усилие. Симулятор eoSim состоит из валидирован-ного коробочного тренажера с ноутбуком и прилагаемым к нему программным обеспечением, которое позволяет направлять действия обучающегося и отслеживать положение кончиков инструментов (дополненная реальность) [14-17]. Для вы-
Рис. 1. Внешний вид лапароскопического симулятора eoSim
Том 11, №1 2020 И!
полнения всех трех заданий использовали стандартные иглодержатели, которые входят в комплект поставки. Рабочую высоту устройства ес61т регулировали индивидуально под каждого участника, а регулируемое стандартное положение ноутбука подбирали таким образом, чтобы экран находился на уровне глаз. Входящее в комплект поставки программное обеспечение 5игд1гас позволяет отслеживать положение инструментов с помощью цветной маркировки, которая нанесена на наконечники инструментов (синий цвет для левой руки и красный цвет - для правой). С помощью программного обеспечения отслеживали такие параметры, как «время», «дистанция», «рабочее пространство» (средняя дистанция между инструментами) и нахождение «вне экрана» (определения параметров даны в табл. 1). После выполнения каждого задания исследователь определял такие дополнительные показа-
Таблица 1. Определение параметров
тели, как «состоятельность узла» и «отклонение от намеченной цели».
Роботизированный хирургический симулятор Robotix
Роботизированный хирургический симулятор виртуальной реальности RobotiX использовался в группе роботизированной методики в стандартной комплектации (3D-systems Inc., Кливленд, Огайо) (рис. 2) [18-25]. Симулятор состоит из главной консоли для обучающегося и башенного компонента, в состав которого входит прилагаемый компьютер для контроля выполнения задания. Систему можно было отрегулировать по высоте и ширине стереоскопического 3D-экрана, а также подогнать ремни основных контроллеров в соответствии с предпочтениями участника. Прилагаемое программное обеспечение Mentorlearn представляет собой действующую на интернет-ос-
Параметр Определение
Общее время Общее время с момента, когда пользователь начал выполнять задание, до момента завершения задания или выхода пользователя из упражнения, выраженное в секундах
Общая дистанция Дистанция, которую прошли все инструменты, выраженная в метрах
Состоятельность узла Подразумевается хирургический узел, завязанный с наложением двух оборотов, после чего сделаны два одиночных оборота в противоположном направлении
Вне экрана Процентная доля времени, в течение которого указанный инструмент находился вне экрана
Точность вкола Количество проколов иглой в пределах целевой отметки/общее количество проколов иглой
Параметры eoSim
Рабочее пространство Средняя дистанция между инструментами в квадратных метрах
Падения иглы Количество раз, когда пользователь уронил иглу
Параметры RobotiX
Количество движений Общее количество движений инструментов
Неточность проколов Сумма отклонений от каждого прокола иглой до края обозначенной области расстояния вне радиуса цели (в миллиметрах)
Рис. 2. Установка роботизированного симулятора ВР RobotiX
нове программу для управления учебным планом для симулятора, который позволяет создать аккаунт конкретного пользователя, поэтому созданный для данного исследования учебный план можно назначить конкретному пользователю и отслеживать его успехи. При выполнении каждого задания система записывает множество параметров, касающихся таких показателей, как «время», «движение» и «безопасность», которые указаны в табл. 1. В этом исследовании использовали систему РоЬоНХ, так как система виртуальной реальности позволяет проводить обучение вне операционной и без использования дорогостоящей системы йаУта.
Задания
Задания, которые выполняли участники данного исследования, были выбраны с
учетом разных аспектов, необходимых при наложении сложных швов. Задание 1 заключалось в наложении интра-корпоральных швов, причем основной упор делался на наложение швов и завязывание узлов. «Железнодорожный путь» (задание 2) представлял собой задание по непрерывной передаче иглы в качающейся плоскости. Ушивание культи влагалища (задание 3) - задание по передаче иглы в анастомозе при ушивании культи влагалища самофиксирующимися лигатурами. Лапароскопические задания 2 и 3 для симулятора еоБ1т были разработаны исследователями и валидированы во время предыдущего исследования [17]. Конкретное описание заданий приведено в разделе «Результаты» по этому исследованию.
Протокол
После набора все участники заполняли опросник, где сообщали свои демографические данные, указывали опыт хирургической деятельности и давали согласие на участие в исследовании. После этого их инструктировали, как пользоваться симу-лятором еоБ1т или РоЬоНХ. Тех участников, которые работали с симулятором РоЬоНХ, просили не использовать функцию камеры, так как в симуляторе еоБ1т подобная функция отсутствовала. Таким образом, чтобы ознакомиться с системой, участники выполняли 2 базовых вводных задания, после чего могли переходить к многократному выполнению трех заданий по
наложению швов. Участники могли проходить тренировки под руководством одного из исследователей в течение нескольких учебных сеансов, продолжительность каждого не превышала 1 ч, чтобы избежать утомления. Исследователь записывал значения параметров, количество повторений, подсчитывал значения тех параметров, которые не определяло устройство еoSim, например параметр «состоятельность узла».
Курс, обучающий выполнению задания 1, считался завершенным после того как задание было выполнено 20 раз или после того как были получены 3 приблизительно одинаковые оценки качества выполнения задания подряд, что соответствовало фазе плато. Количество повторений было определено по результатам предыдущего исследования, проведенного S.M. Botden и соавт., где курс обучения навыкам лапароскопического наложения швов осваивался за 15 повторений [5]. Учитывая количество повторений, визуальное сходство и сопоставимость результатов, задание 1 было выбрано в качестве основного для определения длительности курса обучения. Задание 2 считалось пройденным после выполнения трех повторений на симуляторе RobotiX (каждое повторение подразумевало передачу иглы 5 раз). На симуляторе еoSim задание 2 считалось пройденным после 15 повторений или после 3 приблизительно одинаковых оценок качества выполнения подряд. Задание с передачей иглы в анастомозе на обоих си-муляторах считалось пройденным после выполнения 3 повторений.
Анализданных
Анализ мощности (В=0,2 и а=0,05) показал, что для достижения разницы в 100 с в конце курса обучения навыкам нало-
жения швов необходимо, чтобы в каждой группе было не меньше 16 участников. Данные из обеих систем извлекали и сортировали в соответствии с идентификационными номерами участников. Затем полученную информацию комбинировали в базах данных с соответствующей информацией, полученной с помощью опросников, используя для этого программу статистической обработки Statistical Package for Social Sciences (SPSS), версия 22 (IBM Corp., Эрмонк, Нью-Йорк). Учитывая асимметричность данных, для расчета значений р использовали непараметрический анализ. Значения р<0,05 считали статистически значимыми. Для дальнейшего анализа длительности графика кривой обучения использовали анализ накопленных сумм (cumulative sum, CUSUM). Метод CUSUM, который мы использовали в данном исследовании, применялся в других исследованиях кривой обучения для изучения фаз обучения в рамках курса. Этот метод позволяет преобразовать исходные данные в промежуточную сумму отклонений данных от их средних значений в группе, что дает исследователю возможность визуализировать данные для определения тенденций, не различимых при использовании других подходов. Важным преимуществом метода анализа CUSUM является возможность идентифицировать слабые и медленные изменения, которые в другом случае были бы не видны при изучении графика кривой обучения навыкам роботизированной хирургии [10, 11]. И наконец, был проведен дополнительный анализ различий между новичками и имевшими опыт лапароскопических вмешательств участниками, которые использовали роботизированную методику; этот анализ позволял определить влияние опыта лапароскопических вмеша-
А
1000
„ 900 ч: 800
X
t 700
0
~ 600
f 500
<и
§- 400
та
1 300
I 200 5 100 0
1400
1200
и 1100
ен 1000
м е 900
р в 800
700
600
UJ 500
400
300
200
100
0
С
CD Г^СОСЭТОт-СМСТЗ- Ю CD СО СП О
Количество повторений
- — Лапароскопическая - Роботизированная
методика методика
j
/ V / i X л i i
л / 1 \ /
тЫт
СЧ1СП ^-Ю СО ю со млею
Количество повторений
---- Лапароскопическая
методика
- Роботизированная
методика
1 0 -1 -2 -3 -4 -5 -6 -7
-(Men ^■inCDt^COC^O^-'Mcn^-inCD t^COCT)Q
"(Men ^-inCD I^COOOT-lMcn^-inCD Г
Количество повторений
95% 90% 85% 80% 75% 70% 65% 60% 55% 50%
: -10 -11 -12
Количество повторений
----Вне экрана слева при лапароскопической методике
.......... Вне экрана справа при лапароскопической методике
- Вне экрана при роботизированной методике
-СЧСП^Ю CD Ю CD Г
Лапароскопическая методика Роботизированная методика Альтернативная роботизированная методика
В
D
Рис. 3. Результаты выполнения задания 1 в курсе обучения навыкам наложения интракорпораль-ных швов в группах лапароскопической и роботизированной методик: А - медиана времени наложения швов в секундах (межквартильный диапазон между 25-м и 75-м перцентилем); В - накопленная сумма времени выполнения заданий (CUSUM времени); С - медиана процентной доли времени, в течение которого инструмент находился вне экрана (межквартильный диапазон между 25-м и 75-м перцентилем); D - накопленная сумма времени, в течение которого инструмент находился вне экрана (вне экрана в рамках CUSUM); Е - общая процентная доля состоятельных узлов
Том 11, №1 2020
15
тельств на результаты освоения курса обучения роботизированным навыкам.
РЕЗУЛЬТАТЫ
Демографические характеристики
Всего в исследовании приняли участие 47 человек, 17 из них прошли курс обучения с помощью лапароскопической методики, 30 - с помощью роботизированной методики. Средний возраст участников составлял 23 года в группе лапароскопической методики и 30 лет в группе роботизированной методики. Соотношение мужчин и женщин составляло 35:65 и 43:57, а количество правшей составляло 94 и 87% в группе лапароскопической методики и в группе роботизированной методики соответственно. В группу лапароскопической методики входили только врачи-интерны, так как участники этой группы не должны были иметь опыта проведения лапароскопических вмешательств. Благодаря наличию опыта проведения лапароскопических вмешательств в группе роботизированной методики в ней было больше участников, что позволило потом провести дополнительный анализ. Поэтому в состав группы роботизированной методики входили 13 врачей-интернов и 17 участников с опытом проведения лапароскопических вмешательств, 13 из них были клиническими ординаторами, а 4 - хирургами-специалистами, но ни у одного из них не было опыта проведения роботизированных вмешательств.
Прогрессия графика кривой обучения
Длительность курса обучения участников в обеих группах определяли на основе задания 1. В группе лапароскопической методики 9 участников завязали по 20 узлов и все участники завязали как
минимум по 14 узлов. В группе роботизированной методики 21 участник прошел полный курс тренировки и все участники завязали как минимум по 19 узлов. Что касается задания 2, два участника из группы лапароскопической методики не смогли завершить последний прогон (повторения 11-15) из-за ограниченного количества времени в рамках исследования. Данные, которые были собраны во время выполнения ими предыдущих повторений, были включены в анализ, чтобы не отклоняться от методики анализа данных всех рандомизированных участников и избежать возможных систематических ошибок. Сходную процедуру использовали и в случае задания 3, которое один участник из группы лапароскопической методики не смог выполнить во всех трех повторениях.
Задание 1. Наложение интракорпоральных швов
Основные результаты реализации курса обучения навыкам наложения интракорпоральных швов показаны на рис. 3. Медиана времени, которое требовалось для выполнения задания 1, в начале реализации курса обучения составляла 611 с в группе лапароскопической методики и 251 с в группе роботизированной методики (р<0,001). Однако в группе лапароскопической методики медиана времени чрезвычайно сильно сократилась: с 611 с во время 1-го повторения до 186 с во время 18-го повторения (сокращение на 70%). В группе роботизированной методики медиана времени сократилась с 251 до 112 с (сокращение на 55%). Значение CUSUM времени достигало максимума во время 5-го и 9-го повторений в группе лапароскопической методики и во время 4-го
и 9-го повторений в группе роботизированной методики. Это свидетельствует о том, что максимальные значения кривой обучения в обеих группах были приблизительно одинаковыми, и их можно разделить на следующие фазы: фаза 1 (лапароскопическая методика - 1-5, роботизированная методика - 1-4), фаза 2 (лапароскопическая методика - 5-9, роботизированная методика - 4-9) и фаза 3 (лапароскопическая методика и роботизированная методика - 10-20). Прямое сравнение медиан времени при использовании лапароскопической и роботизированной методик позволяет получить статистически значимое значение р<0,001 в 1-й (592 с в сравнении с 232 с соответственно), 2-й (352 с в сравнении с 159 с соответственно) и 3-й (240 с в сравнении с 128 с соответственно) фазах. В группе роботизированной методики процентная доля времени вне экрана составила 0,4-0% в 4 повторениях (см. рис. 3С). В группе лапароскопической методики наблюдалась тенденция к возрастанию процентной доли времени вне экрана для обоих инструментов, хотя значения этого параметра у разных участников колебались в очень больших пределах (табл. 2). Результаты анализа С^иМ процентных долей времени вне экрана позволяют построить отрицательный график для участников из группы лапароскопической методики, так как процентная доля времени вне экрана у них достигает максимума во время 10-го повторения (см. рис. 30). Правильность завязывания узлов показана на рис. 3Е. Участники из группы лапароскопической методики постарались показать резкое изменение кривой обучения и получили оценку в 100% в течение 5 повторений. Участники из группы робо-
тизированной методики в начале курса показали меньшую процентную долю в 60%, которая постепенно выросла до 86% за 20 повторений. Также приведены результаты альтернативного анализа, по условиям которого квадратный узел также считался состоятельным, что позволяло скорректировать возможные систематические ошибки виртуальной реальности. При этом кривая обучения резко меняла свое направление и шла выше, чем при первоначальном анализе. Этот график начинается на уровне 70% и достигает 100% во время 7-го повторения.
Задание 2. Передача иглы в качающейся плоскости
Результаты выполнения упражнения по передаче иглы показаны в табл. 3. В группе лапароскопической методики наблюдалось статистически значимое уменьшение времени между повторениями 1-5, 6-10 и 11-15, а время на выполнение задания сократилось с 2043 с во время повторений 1-5 до 557 с во время повторений 11-15 (р<0,001). Однако в группе роботизированной методики наблюдалось только статистически значимое уменьшение времени между повторениями 1-5 и 11-15 (331 уз 307 с, р=0,035). Также в группе лапароскопической методики наблюдались статистически значимые различия между 1-м и 3-м прогоном по параметрам «рабочее пространство» (р=0,031), «правый инструмент вне экрана» (р=0,023) и «падения иглы». По параметру «общая длина траектории» наблюдались статистически значимые различия между прогонами 1 и 2 (р<0,001), прогонами 2 и 3 (р<0,001) и прогонами 1 и 3 (р=0,036), с сокращением траектории инструмента в метрах
на 78%. В группе роботизированной методики не отмечено никакого статистически значимого улучшения ни по одному из остальных параметров.
Задание 3. Передача иглы в анастомозе
При выполнении задания по передаче иглы в анастомозе (результат которого показаны в табл. 4) были отмечены статистически значимые различия по параметрам времени между прогонами 1 и 3 (в группе лапароскопической методики - 1570 уз 833 с, р=0,015, а в группе роботизированной методики - 352 уз 261 с, р=0,006) и времени между прогонами 2 и 3 (в группе лапароскопической методики - 1131 уз 833 с, р=0,002, а в группе роботизированной методики - 311 уз 261 с, р=0,009). В период с прогона 1 по 2-й участники из группы лапароскопической методики смогли статистически значимо улучшить свое рабочее пространство (4,9 уз 4,5 м2, р=0,011). Однако процентная доля времени нахождения инструмента в левой руке вне экрана увеличилась с 1,7 до 7,4% с 1-го по 2-й прогон (р=0,044) и с 1,7 до 7,3% (р=0,044) с 1-го по 3-й прогон. Приблизительно такие же результаты были получены и в отношении процентной доли времени нахождения вне экрана инструмента в правой руке, медиана которой возросла с 1,2 до 2,2 и 2,0% соответственно, без статистически значимых различий. Участники из группы роботизированной методики сумели сократить процентную долю времени вне экрана с 1,1 до 0,7 и 0,9% соответственно, хотя эта разница не имела статистической значимости. При этом отмечено статистически значимое уменьшение длины траектории со 2-го по 3-й прогон как в группе лапароскопической
методики (25 уз с 13 м, р=0,004), так и в группе роботизированной методики (7,4 уз 6,6 м, р=0,026).
Дополнительный анализ в подгруппе имевших опыт лапароскопических вмешательств
В состав группы роботизированной методики входили новички (п=13) и участники, которые имели опыт проведения лапароскопических вмешательств (п=17). Поэтому был проведен дополнительный анализ для выявления различий между подгруппами роботизированной методики. При выполнении задания 1 найдены статистически значимые различия между новичками и имевшими опыт лапароскопических процедур участниками по медиане общего времени наложения швов в фазе 1 (медиана узлов 1-4; 300 уз 182 с, р=0,039), где имевшие опыт лапароскопических вмешательств участники изначально завязывали узлы быстрее. Времени на завязывание узла 2 (медиана 228уз 160 с,р=0,039)и узла 16(медиана 139 уз 97 с, р=0,032) у новичков ушло больше, чем у имевших опыт лапароскопических вмешательств участников. Затем были обнаружены статистически значимые различия по параметру альтернативного состоятельного узла в фазе 1 (88 уз 69%, р=0,046) и фазе 3 (97 уз 86%, р=0,029) в подгруппах новичков и имевших опыт лапароскопических вмешательств соответственно. На рис. 4 показаны CUSUM времени и более плоский график в подгруппе имевших опыт лапароскопических вмешательств. Дополнительный анализ зависимости результатов выполнения задания 2 от наличия опыта не дал статистически значимых различий. При анализе результатов выполнения задания 3 статистически значимые различия между
Таблица 2. Медианы (25-75-й квартиль) значений показателей выполнения задания по наложению швов внутри организма (задание 1) в зависимости от фазы курса обучения
Показатель Фаза 1 Фаза 2 Фаза 3 Значения p
узел 1-5 узел 6-9 узел 10-18 1 в сравнении с 2 1 в сравнении с 3 2 в сравнении с 3
Лапароскопическая методика (n=17)
Время, с 591 (468-820) 352 (255-415) 240 (191-272) 0,001 0,000 0,000
Вне экрана слева, % 4,4 (2,4-5,6) 4,6 (2,5-8,4) 5,6 (3,2-7,3) 0,068 0,113 0,981
Вне экрана справа, % 4,2 (2,9-5,1) 4,0 (1,6-6,5) 6,2 (3,7-7,1) 0,723 0,007 0,025
Состоятельный узел, %* 86 (20) 97 (8) 100 (0) 0,039 0,009 0,163
Роботизированная методика (п=30) Узел 1-4 Узел 5-9 Узел 10-18 Р
Время, с 232 (168-309) 159 (127-233 128 (102-177) 0,000 0,000 0,001
Вне экрана всего, % 1,3 (0,1-6,1) 0,7 (0,1-2,2) 0,4 (0,0-0,8) 0,018 0,001 0,136
Состоятельность узла, % 64 (27 77 (23) 74 (21 0,046 0,085 0,483
Альтернативный состоятельный узел, % 78 (27) 93 (13) 90 (15) 0,001 0,013 0,388
Примечание. Данные в табл. 2-4 представлены в виде медиан оценок качества выполнения задания и диапазонов между 25-м и 75-м перцентилем. Статистические различия рассчитывали с помощью непараметрического критерия (Вилкоксона). 'Использовали средние значения (стандартные отклонения) и парный t-критерий. Значения р<0,05 (выделены жирным шрифтом) считались статистически значимыми.
новичками и имевшими опыт лапароскопических вмешательств были обнаружены только по параметру точности вкола в фазе 2 (86 уз 90%, р=0,026).
Обсуждение
Результаты данного исследования показывают, что при акценте на время наложения швов кривая обучения с использованием роботизированной методики характеризуется более коротким временем выполнения задания в начале. В то же время кривая обучения более пологая по сравнению с кривой обучения с использованием лапароскопической методики. При этом в начале курса обучения с ис-
пользованием лапароскопической методики время наложения шва было больше, а кривая обучения более резко изменяла свое направление по сравнению с наложением швов роботизированным способом. Резко забирающая вверх кривая обучения часто ошибочно воспринимается как соответствующий тому периоду обучения, где его прогресс происходит медленно, однако на самом деле это означает улучшение результатов вследствие обучения [2]. Такие данные указывают на быстрое освоение навыков наложения сложных швов лапароскопическим способом и на большее использование интуитивных навыков с меньшим прогрессом при при-
Таблица 3. Медианы (25-75-й квартиль) значений показателей выполнения задания по передаче иглы в качающейся плоскости (задание 2) в зависимости от прогона (5 швов на каждый прогон)
Показатель Прогон 1: 1-5 Прогон 2: 6-10 Прогон 3: 11-15 Значения р
1 в сравнении с 2 1 в сравнении с 3 2 в сравнении с 3
Лапароскопическая методика (п=17)
Время, с 2043 (1508-3065) 1119 (787-2193 557 (390-1057) 0,019 0,001 0,012
Рабочее пространство, м2 5,9 (3,2-7,8) 2,9 (1,0-6,9) 3,1 (1,5-5,0) 0,049 0,031 0,798
Вне экрана слева, % 32 (21-56) 68 (22-87) 61 (23-77) 0,055 0,191 0,865
Вне экрана справа, % 23 (18-31) 29 (14-41) 28 (21-40) 0,227 0,023 0,112
Точность вкола, % 80 (60-100) 100 (80-100) 100 (80-100) 0,233 0,101 1,00
Падения иглы 2 (0,5-3,0) 1 (0,0-2,5) 0 (0,0-1,0) 0,140 0,003 0,065
Общая длина траектории, м 64 (40-94) 34 (16-45) 14 (7-34) 0,001 0,001 0,036
Роботизированная методика (п=30)
Время, с 331 (253-449) 306 (226-376) 307 (234-366) 0,289 0,035 0,558
Количество движений 551 (434-646) 510 (412-604) 507 (414-600) 0,517 0,299 0,572
Вне экрана всего,% 0,00 (0,00-0,18) 0,00 (0,00-0,11) 0,00 (0,00-0,21) 0,904 0,557 0,715
Точность вкола, % 49 (31-58) 44 (32-51) 43 (36-60) 0,754 0,704 0,382
Неточность проколов 9,5 (5,8-13) 10,5 (6-16) 8,5 (6-17,5) 0,532 0,845 0,737
Общая длина траектории, м 5,9 (4,3-6,9) 5,5 (4,2-7,1) 5,5 (4,1-7,2) 0,673 0,666 0,934
менении метода роботизированной хирургии. Кроме того, показано, что наличие опыта проведения лапароскопических процедур позволяет на начальном этапе сократить время наложения швов роботизированным способом. Хотя различия между начальной фазой и фазой плато при наложении швов лапароскопическим способом были намного более выраженными, при анализе методом С^иМ продолжительность и характеристики этих
фаз были приблизительно одинаковыми (см. рис. 3В). С учетом значительных различий процентных долей «времени» и «нахождения вне экрана» во время выполнения заданий в роботизированном способе тренировки есть преимущества для наложения малоинвазивных сложных швов с точки зрения указанных параметров. Однако подобных преимуществ не удалось обнаружить по параметрам «состоятельность узла» и «точность вкола».
Ранее уже проводились исследования по оценке кривой обучения, однако основное внимание в них было преимущественно сосредоточено на обучении в клинических условиях. В исследовании, которое провели Chandra и соавт., сравнивали кривые обучения с помощью лапароскопической и роботизированной методик в условиях симуляции, где новички использовали только один режим работы симулятора [1]. Результаты этого исследования продемонстрировали, что показатели вре-
Таблица 4. Медианы (25-75-й квартиль) значен задания по передаче иглы в анастомозе
мени обучения постоянно были лучше при использовании роботизированной методики. Показатели времени обучения у новичков, которые использовали роботизированную методику, были следующими: среднее время 215 с на первые 3 узла (225 с в настоящем исследовании) и 193 с на последние 2 узла (134 с в настоящем исследовании) из 10 повторений. В настоящем исследовании показатели времени курса обучения были приблизительно такими же (см. табл. 2), как в исследовании, проведенном Chandra и
ий графика кривой обучения при выполнении
Показатель Прогон 1: Прогон 2: Прогон 3: Значения p
стежки 1-8 стежки 9-16 стежки 17-24 1 в сравнении с 2 1 в сравнении с 3 2 в сравнении с 3
Лапароскопическая методика (n=17)
Время, с 1570 (869-1933) 1131 (963-1284) 833 (683-992 0,109 0,015 0,002
Рабочее пространство, м2 4,9 (4,6-5,9) 4,5 (3,5-5,2) 4,5 (4,0-5,0) 0,011 0,024 0,352
Вне экрана слева, % 1,7 (0,8-4,2) 7,4 (3,9-17,5) 7,3 (3,8-11,9) 0,044 0,044 0,877
Вне экрана справа, % 1,2 (0,5-2,5) 2,2 (0,7-3,8) 2,0 (1,6-3,2) 0,408 0,074 0,379
Точность вкола, % 60 (16-75) 60 (28-84) 63 (50-88) 0,278 0,271 0,421
Общая длина траектории, м 25 (13-39) 25 (20-32) 13 (10-24) 0,836 0,017 0,004
Роботизированная методика (п=30) Прогон 1: стежки 1-10 Прогон 2: стежки 11-20 Прогон 3: стежки 21-30 p
Время, с 352 (267-415) 311 (253-391) 261 (203-352) 0,213 0,006 0,009
Количество движений 609 (484-747) 589 (485-694) 483 (409-621) 0,673 0,028 0,010
Вне экрана всего,% 1,1 (0,2-2,8) 0,7 (0,2-2,6) 0,9 (0,1-4,1) 0,552 0,905 0,417
Точность вкола, % 89 (83-93) 86 (82-93) 89 (82-93) 0,777 0,550 0,210
Общая длина траектории, м 7,9 (6,3-8,6) 7,4 (6,0-8,9) 6,6 (5,7-8,9) 0,902 0,138 0,026
Рис. 4. Дополнительный анализ накопленных сумм времени выполнения задания (CUSUM времени) у новичков и у имевших опыт лапароскопических вмешательств участников группы роботизированной методики
соавт., при существенно более высоком качестве выполнения заданий в группе роботизированной методики по сравнению с группой лапароскопической методики. Это указывает на то, что, несмотря на использование в настоящем исследовании разных режимов работы симуляторов (виртуальная реальность и дополненная реальность), возможность появления систематических ошибок в результатах оценки кривой обучения ограничена. РаззегоШ и соавт. и S.J. Магеак и соавт. [8, 9] независимо друг от друга подтвердили, что, как и в данном исследовании, в первой фазе кривой обучения роботизированная методика позволяет более качественно выполнять задание; они также показали более интуитивный характер работы при выполнении процедур роботизированным способом. Чтобы более точно
оценить благоприятное влияние интуитивных навыков, было бы интересно сравнить курсы обучения навыкам наложения сложных швов с использованием имитирующих запястье лапароскопических 30-инструментов с использованием роботизированных манипуляторов. Это позволило бы определить истинную дополнительную ценность роботизации по сравнению с преимуществами 6 степеней свободы при выполнении подобных сложных задач.
Поскольку в группу роботизированной методики входили участники с опытом выполнения лапароскопических процедур, кривую обучения с помощью роботизированной методики прошли больше участников, чем кривую с использованием лапароскопической методики. Чтобы определить влияние опыта лапароскопических процедур на кривую обу-
чения с помощью роботизированной методики, был проведен дополнительный анализ. По его результатам выявлены некоторые статистически значимые различия. Важным оказалось то, что медиана времени на завязывание первых четырех узлов с помощью роботизированной методики у новичков была существенно больше аналогичного показателя у участников с опытом лапароскопических вмешательств (300 уз 182 с, р=0,039). Это свидетельствует о том, что наличие опыта проведения лапароскопических процедур может оказаться полезным с точки зрения времени выполнения задания в первой фазе кривой обучения. Однако, по-видимому, опыт лапароскопических процедур может отрицательно сказываться на специфических параметрах альтернативного узла. Нечто подобное было продемонстрировано в фазах 1 и 2 задания 1, где новички показали более качественный результат по сравнению с опытными участниками (88 уз 69%, р=0,046 и 97 уз 86%, р=0,029 соответственно).
Стоит отметить, что время наложения шва не является идеальным параметром для оценки точности выполнения процедуры, поэтому в ходе данного исследования оценивали и другие параметры. Параметр безопасности «продолжительность нахождения вне экрана» в группе лапароскопической методики показал эффект изменения, тогда как в группе роботизированной методики по данным параметрам уже был достигнут положительный результат, и их существенного изменения не произошло (см. рис. 3С-Е и табл. 2-4). Однако процентная доля времени вне экрана в группе лапароскопической методики фактически увели-
чивалась по мере повторений при выполнении всех трех заданий. Это может объясняться тем фактом, что устройство РоЬоИХ графически фокусируется на данном аспекте на экране разбора результатов после запуска задания, а также выдает знак ошибки во время выполнения процедуры. Значительную величину процентной доли времени вне экрана в группе лапароскопической методики во время выполнения задания 2 можно объяснить механикой самого задания. Из-за качающейся плоскости рабочая зона находилась вблизи от камеры, результатом чего стали небольшое рабочее пространство и более значительная процентная доля времени вне экрана. Различия процентных долей времени вне экрана справа и слева можно объяснить праворукостью большинства участников исследования. Однако это важный фактор, ограничивающий время нахождения инструмента вне экрана, потому как существует возможность сопутствующего повреждения окружающих органов, особенно в случае с теми клиническими ординаторами и хирургами, которым по-прежнему недостает опыта. При оценке точности завязывания узла (см. рис. 3Е) был отмечен спад кривой обучения во время 8-го и 9-го повторения в группе лапароскопической методики, а также во время 8-го и 15-го повторения в группе роботизированной методики. В ходе реализации курсов обучения данный феномен наблюдается все чаще; объяснить его появление можно усталостью, фрустрацией и тем, что больший акцент делается на времени завязывания узла, а не на его качестве [5]. Результаты предыдущего исследования показали, что уровень
фрустрации при отработке навыков наложения швов с использованием роботизированного симулятора был меньше, чем при применении лапароскопического симулятора, а это указывает на то, что данный факт также может иметь положительное значение для учебного процесса [9].
СИЛЬНЫЕ СТОРОНЫ И ОГРАНИЧЕНИЯ ИССЛЕДОВАНИЯ
Основные сильные стороны этого исследования - рандомизация группы новичков, относительно большое количество участников и использование множества параметров для оценки. Кроме прочего, цель данного исследования заключалась еще и в том, чтобы использовать множественные параметры для оценки профессионального уровня, как описано в недавнем обзоре I. КаззИе и соавт. [10]. Эти параметры можно вывести из точности завязывания узла и точности вкола иглы; параметр безопасности «нахождение вне поля зрения» указывает на риск повреждения окружающих органов и поэтому является индикатором возможных осложнений; также в качестве параметра используется время до завершения процедуры.
Ввиду различий режимов работы симуляторов прямое сравнение полученных результатов было невозможным. В идеальной ситуации сравнение с помощью одного и того же симулятора дало бы определенные преимущества за счет возможности напрямую сопоставить параметры полученных результатов. Кроме фактора самих симуляторов, прямое сопоставление результатов было затруднено еще и потому, что параметры системы виртуальной реальности нельзя
было регулировать. Кроме того, одним из ограничений заранее заданных в си-муляторе виртуальной реальности заданий была невозможность откорректировать их таким образом, чтобы сделать их более похожими на задания в лапароскопическом симуляторе; поэтому именно лапароскопические задания адаптировали так, чтобы они соответствовали заданиям для роботизированного симулятора. Еще одно ограничение симуляции с помощью виртуальной реальности было отмечено при выполнении задания по наложению швов с помощью симулируемых лигатур. В момент завязывания узла отклик системы не всегда был достаточно корректным, например при завязывании система путала двойной оборот лигатуры с одинарным. Итогом этого была высокая вариабельность параметров правильности узла в группе роботизированной методики, что отрицательно сказалось на полученных в ней результатах. Этот же феномен был отмечен и в предыдущих исследованиях с использованием симуляторов виртуальной реальности, однако избежать его в рамках настоящего исследования не представлялось возможным из-за отсутствия роботизированных тренажеров, работающих не на принципах виртуальной реальности [26].
Поскольку хирурги считают хирургический узел и множество квадратных узлов плотными узлами, мы провели второй анализ данного параметра, который также охватывал квадратные узлы, использовавшиеся в группе роботизированной методики (см. рис. 3Е). Результаты второго анализа показали больше сходства с кривой обучения с помощью лапароскопической методики, что позволяет
корректировать возможные систематические ошибки из-за виртуальной реальности. Кроме того, в группе лапароскопической методики правильность узла оценивали по его прочности, а не с помощью объективных оценочных показателей, поэтому полученные результаты не подтверждали правильность метода завязывания узла.
ЗАКЛЮЧЕНИЕ
Результаты данного исследования показывают, что при выработке навыков наложения сложных швов с использованием роботизированной методики кривая обучения имеет более горизонтальную направленность, при этом эффект обучения сравнительно небольшой, так как полученные с помощью этого си-мулятора результаты были достаточно хорошими с самого начала. Кривая обучения в группе лапароскопической методики резко меняет свое направление. Особенно это касается времени наложения шва, которое статистически значимо больше, чем в группе роботизи-
рованной методики, как во всех фазах кривой обучения навыкам наложения швов,так и при выполнении заданий по передаче иглы в качающейся плоскости и в анастомозе. Поэтому можно сделать вывод, что использование роботизированной методики может оказаться более полезным для выполняющих сложные задания по наложению швов хирургов-новичков и позволит им сократить количество возможных при освоении курса осложнений, число которых может быть больше при использовании лапароскопической методики.
Благодарность. Мы хотим поблагодарить компании EoSurgical и Simbionix (3D systems) за предоставление своих си-муляторов для проведения настоящего исследования.
Соответствие этическим стандартам. Раскрытие интересов. Erik Leijte, Ivo De Blaauw, Frans Van Workum, Camiel Rosman и Sanne Botden не имеют конфликтов интересов или финансовых связей, которые необходимо было бы указать.
AMTEPATyPA/REFERENCES
• Chandra V., Nehra D., Parent R., Woo R., Reyes R., Hernandez-Boussard T., et al. A comparison of laparoscopic and robotic assisted suturing performance by experts and novices. Surgery. 2010; 147: 830-9.
• Mazzon G., Sridhar A., Busuttil G., Thompson J., Nathan S., Briggs T., et al. Learning curves for robotic surgery: a review of the recent literature. Curr Urol Rep. 2017; 18: 89.
• Khan R., Plahouras J., Johnston B.C., Scaffidi M.A., Grover S.C., Walsh C.M. Virtual reality simulation training in endoscopy: a Cochrane review and meta-analysis. Endoscopy. 2019; 51 (07): 653-64. doi: https://doi.org/10.1055/a-0894-4400
• Claassen L., van Workum F., Rosman C. Learning curve and postoperative outcomes of minimally invasive esophagectomy. J Thorac Dis. 2019; 11: S777-s785.
• Botden S.M., de Hingh I.H., Jakimowicz J.J. Suturing training in augmented reality: gaining proficiency in suturing skills faster. Surg Endosc. 2009; 23: 2131-37.
• Stefanidis D., Wang F., Korndorffer J.R., Dunne J.B., Scott D.J. Robotic assistance improves intracorporeal suturing performance and safety in the operating room while decreasing operator workload. Surg Endosc. 2010; 24: 377-82.
• Zihni A., Gerull W.D., Cavallo J.A., Ge T., Ray S., Chiu J., et al. Comparison of precision and speed in laparoscopic and robot-assisted surgical task performance. J Surg Res. 2018; 223: 29-33.
• Marecik S.J., Chaudhry V., Jan A., Pearl R.K., Park J.J., Prasad L.M. A comparison of robotic, laparoscopic, and hand-sewn intestinal sutured anastomoses performed by residents. Am J Surg. 2007; 193: 349-55.
Том 11, №1 2020 ^^
Passerotti C.C., Franco F., BissoLi J.C.C., Tiseo B., Oliveira C.M., Buchalla C.A.O., et al. Comparison of the learning curves and frustration Level in performing Laparoscopic and robotic training skills by experts and novices. Int Urol Nephrol. 2015; 47: 1075-84.
Kassite I., Bejan-Angoulvant T., Lardy H., Binet A. A systematic review of the learning curve in robotic surgery: range and heterogeneity. Surg Endosc. 2019; 33: 353-65.
Pernar L.I.M., Robertson F.C., Tavakkoli A., Sheu E.G., Brooks D.C., Smink D.S. An appraisal of the learning curve in robotic general surgery. Surg Endosc. 2017; 31: 4583-96.
Barrie J., Jayne D.G., Wright J., Murray C.J., Collinson F.J., Pavitt S.H. Attaining surgical competency and its implications in surgical clinical trial design: a systematic review of the learning curve in laparoscopic and robot-assisted laparoscopic colorectal cancer surgery. Ann Surg Oncol. 2014; 21: 829-40. Darzi A., Smith S., Taffinder N. Assessing operative skill. Needs to become more objective. BMJ (Clin Res ed). 1999; 318: 887-8.
Retrosi G., Cundy T., Haddad M., Clarke S. Motion analysis-based skills training and assessment in pediatric laparoscopy: construct, concurrent, and content validity for the eoSim simulator. J Laparoendosc Adv Surg Tech A. 2015; 25: 944-50.
Partridge R.W., Hughes M.A., Brennan P.M., Hennessey I.A. Accessible laparoscopic instrument tracking ("InsTrac"): construct validity in a take-home box simulator. J Laparoendosc Adv Surg Tech A. 2014; 24: 578-83.
Hennessey I.A., Hewett P. Construct, concurrent, and content validity of the eoSim laparoscopic simulator. J Laparoendosc Adv Surg Tech A. 2013; 23: 855-60.
Leijte E., Arts E., Witteman B., Jakimowicz J., De Blaauw I., Botden S. Construct, content and face validity of the eoSim laparoscopic simulator on advanced suturing tasks. Surg Endosc. 2019; 33 (11): 3635-43. doi: https://doi.org/10.1007/s00464-018-06652-3
Hovgaard L.H., Andersen S.A.W., Konge L., Dalsgaard T., Larsen C.R. Validity evidence for procedural competency in virtual reality robotic simulation, establishing a credible pass/fail standard for the vaginal cuff closure procedure. Surg Endosc. 2018; 32: 4200-8.
Omar I., Dilley J., Pucher P., Pratt P., Ameen T., Vale J., Darzi A., Mayer E. The robotix simulator: face and content validation using the fundamentals of robotic surgery(FRS)curriculum. J Urol. 2017; 197: e700-e701.
Amirian M.J., Lindner S.M., Trabulsi E.J., Lallas C.D. Surgical suturing training with virtual reality simulation versus dry lab practice: an evaluation of performance improvement, content, and face validity. J Robot Surg. 2014; 8: 329-35.
Hertz A.M., George E.I., Vaccaro C.M., Brand T.C. Head-to-head comparison of three virtual-reality robotic surgery simulators. JSLS. 2018; 22 (e2017): 00081.
Harrison P., Raison N., Abe T., Watkinson W., Dar F., Challacombe B., et al. The validation of a novel robotassisted radical prostatectomy virtual reality module. J Surg Educ. 2018; 75: 758-66. Whittaker G., Aydin A., Raison N., Kum F., Challacombe B., Khan M.S., Dasgupta P., Ahmed K. Validation of the robotiX mentor robotic surgery simulator. J Endourol. 2016; 30: 338-46.
Tanaka A., Graddy C., Simpson K., Perez M., Truong M., Smith R. Robotic surgery simulation validity and usability comparative analysis. Surg Endosc. 2016; 30: 3720-9.
Watkinson W., Raison N., Abe T., Harrison P., Khan S., Van der Poel H., Dasgupta P., Ahmed K. Establishing objective benchmarks in robotic virtual reality simulation at the level of a competent surgeon using the RobotiX mentor simulator. Postgrad Med J. 2018; 94: 270-7.
Botden S.M., Buzink S.N., Schijven M.P., Jakimowicz J.J. Augmented versus virtual reality laparoscopic simulation: what is the difference? A comparison of the ProMIS augmented reality laparoscopic simulator versus LapSim virtual reality laparoscopic simulator. World J Surg. 2007; 31: 764-72.
