CC BY
2
■ ФУНДАМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ И МЕЖДИСЦИПЛИНАРНЫЕ ТЕХНОЛОГИИ
ДЛЯ КОРРЕСПОНДЕНЦИИ
Коновалов Антон Николаевич -кандидат медицинских наук, врач-нейрохирург, старший научный сотрудник лаборатории носимых биосовместимых устройств и бионических протезов ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет);
научный сотрудник ФГАУ НМИЦ нейрохирургии им. акад. Н.Н. Бурденко Минздрава России (Москва, Российская Федерация) E-mail: [email protected] https://orcid.org/0000-0002-0932-4752
Ключевые слова:
нейрохирургия; трепанация; нейронавигация; дополненная реальность; смешанная реальность
Использование нейронавигации методом дополненной реальности: экспериментальное исследование
Артемьев А.А.1, Тимофеева Е.Ю.2, Мудинов Т.С.3, Ерохин И.А.3, Блинова Е.В.3, Гребенев Ф.В.1, 3, Окишев Д.Н.1, Коновалов А.Н.1, 3
1 Федеральное государственное автономное учреждение «Национальный медицинский исследовательский центр нейрохирургии имени академика Н.Н. Бурденко» Министерства здравоохранения Российской Федерации, 125047, Москва, Российская Федерация
2 Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр онкологии имени Н.Н. Блохина» Министерства здравоохранения Российской Федерации, 115522, г. Москва, Российская Федерация
3 Федеральное государственное автономное образовательное учреждение высшего образования Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский Университет), 119991, г. Москва, Российская Федерация
Резюме
Актуальность. Дополненная реальность - технология наложения виртуальной информации и объектов на реальный мир в режиме реального времени. За последнее десятилетие ее внедрение в медицину значительно ускорилось. В нейрохирургии дополненная реальность может применяться в качестве средства предоперационной подготовки, интраоперационной нейронавигации, обучения молодых хирургов.
Цель - изучение результатов выполнения трепанаций при 3 патологических состояниях (менин-гиома крыла клиновидной кости, парасагиттальная менингиома и субдуральное кровоизлияние), воспроизведенных на биологической модели (проспективное исследование). Материал и методы. В эксперименте использовано 9 моделей (головы баранов). Проведена компьютерная томография (КТ) каждой модели, отсегментированы и воспроизведены 3 экспериментальных состояния (по 3 на каждую модель): менингиома крыла клиновидной кости, парасагиттальная менингиома, субдуральное кровоизлияние. Результаты были загружены в очки дополненной реальности Microsoft HoloLens 2, с помощью которых 3 студента провели по 3 трепанации. Результаты. Размер трепанационного окна при доступе к менингиоме крыла составил 16,1+ 0,8 см2. Время, затраченное на выполнение краниотомии, составило 17,2+0,9 мин. Размер лобно-височной трепанации при субдуральной гематоме - 17,3+1,1 см2. Время выполнения этого доступа 18,1+1,2 мин. При доступе к парасагиттальной менингиоме размер трепанации составил 15,8+0,6 см2. Время выполнения доступа 14,3+0,7 мин.
Заключение. Эксперимент показал, что использование дополненной реальности помогает выполнять нейрохирургические доступы оптимального размера в точной проекции патологического очага. Данная система навигации может быть внедрена в клиническую практику.
Финансирование. Статья подготовлена в рамках выполнения плана НИР по гранту РНФ «Внедрение технологий виртуальной и дополненной реальности в нейрохирургическую практику» (№ 23-75-01019). Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Для цитирования: Артемьев А.А., Тимофеева Е.Ю., Мудинов Т.С., Ерохин И.А., Блинова Е.В., Гребенев Ф.В., Окишев Д.Н., Коновалов А.Н. Использование нейронавигации методом дополненной реальности: экспериментальное исследование // Клиническая и экспериментальная хирургия. Журнал имени академика Б.В. Петровского. 2024. Т. 12, № 4. С. 28-34. DOI: https://doi.org/10.33029/2308-1198-2024-12-4-28-34 Статья поступила в редакцию 08.07.2024. Принята в печать 05.11.2024.
The use of neuronavigation using augmented reality: experimental study
Artemyev A.A.1, Timofeeva E.Yu.2, Mudinov T.S.3, Erokhin I.A.3, Blinova E.V.3, Grebenev F.V.1, 3, Okishev D.N.1, Konovalov A.N.1, 3
1 National Medical Research Center of Neurosurgery named after Academician N.N. Burdenko, Ministry of Health of the Russian Federation, 125047, Moscow, Russian Federation
2 National Medical Research Center of Oncology named after N.N. Blokhin, Ministry of Health of the Russian Federation, 115522, Moscow, Russian Federation
3 I.M. Sechenov First Moscow State Medical University, Ministry of Health of the Russian Federation (Sechenov University), 119991, Moscow, Russian Federation
Abstract
Background. Augmented reality is a technology for superimposing virtual information and objects on the real world in real time. Over the past decade, its introduction into medicine has accelerated significantly. In neurosurgery, augmented reality can be used as a means of preoperative preparation, intraoperative neuronavigation, and training of young surgeons.
Aim - to study the results of trepanation in three pathological conditions (meningioma of the sphenoid wing, parasagittal meningioma and subdural hemorrhage) reproduced on a biological model (prospective study).
Material and methods. 9 models (sheep heads) were used in the experiment. CT scan of each model was performed, 3 experimental conditions were segmented and reproduced (three for each model): meningioma of the sphenoid wing, parasagittal meningioma, subdural hemorrhage. The results were uploaded to Microsoft HoloLens 2 augmented reality glasses, with which three students performed three trepanations each.
Results. The size of the trepanation window when accessing the wing meningioma was 16.1+ 0.8 cm2. The time taken to perform a craniotomy was 17.2+0.9 minutes. The size of the frontotemporal trepanation in subdural hematoma was 17.3+1.1 cm2. The execution time of this access was 18.1+1.2 minutes. When accessing parasagittal meningioma, the trepanation size was 15.8+0.6 cm2. The access execution time left 14.3+0.7 minutes.
Conclusion. The experiment showed that the use of augmented reality helps to perform neurosurgical accesses of optimal size in an accurate projection of the pathological focus. This navigation system can be implemented in clinical practice.
Funding. The article was prepared as part of the implementation of the research plan for the grant of the Russian Science Foundation "Implementation of virtual and augmented reality technologies in neurosurgical practice" (No. 23-75-01019). Conflict of interest. The authors declare no conflict of interest.
For citation: Artemyev A.A., Timofeeva E.Yu., Mudinov T.S., Erokhin I.A., Blinova E.V., Grebenev F.V., Okishev D.N., Kono-valov A.N. The use of neuronavigation using augmented reality: experimental study. Clinical and Experimental Surgery. Petrovsky Journal. 2024; 12 (4): 28-34. DOI: https://doi.org/10.33029/2308-1198-2024-12-4-28-34 (in Russian) Received 08.07.2024. Accepted 05.11.2024.
CORRESPONDENCE
Anton N. Konovalov -MD, Neurosurgeon, Senior Researcher at the Laboratory of Wearable Biocompatible Devices and Bionic Prostheses, I.M. Sechenov First Moscow State Medical University, Ministry of Health of the Russian Federation (Sechenov University); Research Fellow, National Medical Research Center of Neurosurgery named after Academician N.N. Burdenko, Ministry of Health of the Russian Federation (Moscow, Russian Federation) E-mail: [email protected] https://orcid.org/0000-0002-0932-4752
Keywords:
neurosurgery; trepanation; neuronavigation; augmented reality; mixed reality
Дополненная реальность (Augmented Reality -AR) - технология наложения виртуальной информации и объектов на реальный мир в режиме реального времени. AR активно внедряется во многие сферы жизни человека, в том числе в медицину. В нейрохирургии AR может применяться в качестве средства нейронавигации, создавая хирургу эффект рентгеновского зрения, благодаря наложению голограмм глубже расположенных структур на кожу и кости.
Существуют работы, демонстрирующие применение AR как на фантомах, так и в клинической практике. Так, S. Skryman и соавт. исследовали применение AR-навигации на фантомах человеческого черепа и мозга при выполнении биопсии головного мозга и постановке наружного вентри-кулярного дренажа [1]. S.Y. Chiou и соавт. также провели постановку наружных вентрикулярных дренажей на фантомах черепа с использованием
AR-навигации и с дополнительной проекцией оптимальных точек входа инструментов и их направлений [2]. M.E. Ivan и соавт. в своем исследовании использовали AR в предоперационной подготовке для визуализации опухолей головного мозга. Практически во всех случаях границы проекции опухолей четко соответствовали данным, полученным во время операции [3]. Однако количество работ, изучающих применение AR-навигации при трепанациях, ограничено.
Цель нашего исследования - изучение результатов выполнения трепанаций при имитации 3 патологических состояний на биологической модели (проспективное исследование).
Материал и методы
Эксперименты проводились в рамках апробации системы нейронавигации на основе допол-
А (А) Б (В)
Рис. 1. Схематическое изображение применения AR-очков Microsoft HoloLens 2 для проекции bD-модели с разметкой патологической области (A). Практическое применение AR-очков во время хирургической симуляции (Б)
Fig. 1. Schematic representation of the use of Microsoft HoloLens 2 AR glasses for projecting a 3D model of the skull with marked pathological area (А). Practical application of AR glasses during a surgical simulation (B)
В (C) Г(D)
Рис. 2. bD-модель черепа барана с контуром созданной патологии: менингиомы крыла основной кости (А). Моделирование выполненной птериональной краниотомии, визуализация прозрачной модели опухоли (фиолетовый цвет) (Б). Проекция bD-модели объемного образования на голову барана через очки дополненной реальности при выполнении хирургических манипуляций (красный цвет) (В). Вид выполненной краниотомии, вскрытие твердой мозговой оболочки (Г)
Fig. 2. 3D model of a sheep skull with the contour of the created pathology: meningioma of the sphenoid wing (A). Simulation of the performed craniotomy, visualization of the transparent tumor model (purple color) (B). Projection of the 3D model of the mass onto the sheep's head through augmented reality glasses during surgical manipulations (red color) (C). View of the completed craniotomy, with the dura mater incision (D)
А(А) Б(В)
В (C) Г(D)
Рис. 3. 3Э-модель черепа барана с контуром созданной патологии: парасагиттальной менингиомы с целью планирования межполушарного доступа (А). Моделирование выполненной межполушарной краниотомии, визуализация модели опухоли (оранжевый цвет) (Б). Проекция 3Э-модели объемного образования на голову барана через очки дополненной реальности при выполнении хирургических манипуляций (зеленый цвет) (В). Вид выполненной межполушарной краниотомии, вскрытие твердой мозговой оболочки (Г)
Fig. 3. 3D model of a sheep skull with the contour of the created pathology: parasagittal meningioma for planning an interhemispheric approach (A). Simulation of the performed interhemispheric craniotomy, visualization of the tumor model (orange color) (B). Projection of the 3D model of the mass onto the sheep's head through augmented reality glasses during surgical manipulations (green color) (C). View of the completed interhemispheric craniotomy, with the dura mater incision (D)
ненной реальности с использованием животных моделей (голова взрослого барана) на базе кафедры топографической анатомии ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет) (Москва, 2024 г.). Необходимость проведения эксперимента именно на бараньих головах обусловлена схожестью анатомии их черепа и интракраниальных структур в сравнении с человеком. Данная модель представляет собой биологический материал, не несет животным страдания и вред. Для эксперимента использовались стандартный нейрохирургический набор для трепанации, AR-очки Microsoft HoloLens 2 и программное обеспечение для нейронавигации. Эксперимент одобрен локальным этическим комитетом Сеченовского Университета.
Было использовано 3 модели. Проведена компьютерная томография (КТ) моделей, с помощью DICOM-просмотрщика компании ООО «Инобитек» отсегментированы и воспроизведены 3 экспериментальных состояния (по 1 на каждую модель): менингиома крыла клиновидной кости, параса-
гиттальная менингиома, субдуральное кровоизлияние. Отсегментированные снимки загружены в AR-очки Microsoft HoloLens 2. Голограммы выводились с использованием приложения VR Render, доступного в Microsoft Store (рис. 1). Во время процедур модели фиксировались скобой для жесткой фиксации «Мейфилд». Производилось наложение виртуального полупрозрачного изображения сегментированных моделей на животную модель по краниометрическим ориентирам головы. Трое студентов провели по 3 трепанации каждой патологии:
1) птериональную трепанацию при менингиоме крыла (рис. 2);
2) парасагиттальную трепанацию при пара-сагиттальной менингиоме (рис. 3);
3) лобно-височную трепанацию (гемикрани-эктомию) при субдуральной гематоме (рис. 4).
Проанализированы величина трепанационного окна, длительность вмешательства, точность навигации, удобство использования AR-системы.
В (C) Г(D)
Рис. 4. bD-модель черепа барана с контуром созданной патологии: субдуральной гематомы левого полушария (А). Моделирование выполненной гемикранэктомии (Б). Проекция BD-модели гематомы на голову барана через очки дополненной реальности при выполнении хирургических манипуляций (красный цвет) (В). Вид выполненной гемикранэктомии, вскрытие твердой мозговой оболочки (Г)
Fig. 4. 3D model of a sheep skull with the contour of the created pathology: subdural hematoma of the left hemisphere (A). Simulation of the performed hemicraniectomy (B). Projection of the 3D model of the hematoma onto the sheep's head through augmented reality glasses during surgical manipulations (red color) (C). View of the completed hemicraniectomy, with the dura mater incision (D)
Результаты
В ходе эксперимента были проведены 9 трепанаций на 3 моделях голов взрослого барана. В результате были получены данные, представленные в табл. 1.
Размер трепанационного окна при доступе к менингиоме крыла составил 16,1+0,8 см2. Время, затраченное на выполнение краниотомии, - 17,2+ 0,9 мин.
Размер лобно-височной трепанации при субдуральной гематоме составил 17,3+1,1 см2. Время выполнения этого доступа 18,1+1,2 мин.
При доступе к парасагиттальной менингиоме размер трепанации составил 15,8+0,6 см2. Время выполнения доступа 14,3+0,7 мин.
Также оценивалась предполагаемая точность навигации, измеряемая как расстояние между цент-
Таблица 1. Результаты выполнения трепанаций
ром реального трепанационного окна и центром виртуальной голограммы, она составила в среднем 2 мм (минимум 0,5 мм, максимум 3 мм).
Все студенты отметили удобство использования ДК-системы, выразившееся в следующем:
• возможность видеть виртуальную голограмму в поле зрения, не отвлекаясь от операционного поля;
• полупрозрачность голограммы, позволяющую видеть анатомические структуры под ней;
• возможность масштабировать и поворачивать голограмму, обеспечивая оптимальный обзор.
В эксперименте при проведении трепанации ДК-навигация позволила выполнить доступ оптимального объема в точной проекции патологического очага. Время на выполнение трепанаций не выходило за рамки средних значений при осу-
Вмешательство Размеры трепанационного окна, см2 Время выполнения трепанации, мин
Менингиома крыла 16,1+0,8 17,2+0,9
Субдуральная гематома 17,3+1,1 18,1+1,2
Парасагиттальная менингиома 15,8+0,6 14,3+0,7
Таблица 2. Сравнение AR-очков
Параметр Microsoft HoloLens 2 Google Glass 3 Xreal Air 2 Rokid Air Google Enterprise Edition 2 Epson Moverio BT-300 Magic Leap 2 Apple Vision Pro
Операционная система Microsoft Android - - Android Android - visionOS
Bluetooth + + + - + + + +
Совместимость с Android, IOS - - + + - - - Нет данных
Беспроводной режим + + + + + + + +
Имеет дистанционное управление - - - - - + Нет данных Нет данных
Управление жестами + - - + + - + +
Количество камер 6 1 - - 1 1 3 8
Мегапиксели (основная камера) 8 5 - - 8 5 12,6 6,5
Отслеживание движения головы и глаз + - - - - + + +
Отслеживание положения + - - - - + + +
Видеозапись 1080х 30 fps 720х 30 fps - - + + 4К +
Динамики (встроенный звук) + Нет данных + + + + + +
Количество микрофонов 5 1 2 2 3 1 4 6
Имеет голосовые команды + + - + + + + +
Объем встроенной памяти, Гб 64 16 - - 32 16 256 256 Гб -1 Тб
Наличие слотов карт памяти - - - - - + - -
Объем оперативной памяти, Гб 4 2 - - 3 2 - -
Имеет USB Type-C + - + + + + + +
Аккумулятор, мАхч Нет данных 570 Нет данных Нет данных 820 2950 Нет данных 3119
Время автономной работы, ч 2-3 6 Нет данных Нет данных 8 6 3,5 2
Масса, г 566 43 72 85 46 70 260 650
Стоимость, руб. 439 000 115 000 44 900 36 900 159 990 83 000 595 000 569 999
ществлении данных доступов без ДР-навигации. Ни один из участников эксперимента не отметил какого-либо дискомфорта от наличия дополнительной гарнитуры. Также все участники быстро освоили управление ДР-очками.
Обсуждение
Преимуществом данного вида навигации является возможность точного представления анатомических структур прямо при выполнении трепанации. Это достигается за счет проекции глубжележа-щих образований. У оператора нет необходимости прибегать к просмотру снимков КТ и магнитно-резонансной томографии для выполнения точного доступа. Также тот факт, что данная система беспроводная, делает ее использование еще более комфортным.
Следует учитывать, что использование Д1^-на-вигации возможно только в случае наличия пред-
операционной КТ или магнитно-резонансной томографии, что в некоторых случаях может приводить к увеличению лучевой нагрузки на пациента при использовании данной технологии в клинической практике. Также необходимо учитывать, что процесс сегментации, выгрузки 30-модели в AR-очки и подготовка их к работе перед вмешательством требуют определенного времени. В нашем случае в среднем временные затраты на выполнение данных этапов составляли 5-6 мин. Дополнительное ограничение применения данной технологии -экономическая доступность AR-очков. На данный момент одними из основных устройств на рынке дополненной реальности являются Microsoft Holo-Lens 2, которые превосходят своих конкурентов по ряду параметров (табл. 2).
В литературе также описан опыт изучения применения AR на биологических и животных моделях. P. Chauvet и соавт. провели эксперимент по резекции псевдоопухолей свиных почек и пока-
зали повышение точности и радикальности операции в группе с использованием А1К [4]. Л.М. 1Каса-С'о и соавт. продемонстрировали снижение дозы ионизирующего излучения на 37% при использовании А1К с С-дугой в сравнении с интраоперационной конусно-лучевой КТ в эксперименте по удалению костных отломков на биологической модели [5]. М. ДСЬаНаИ и соавт. также показали уменьшение границ резекции опухолей печени при использовании А1К на животной модели [б].
Технологии дополненной реальности являются перспективным методом предоперационного планирования, интраоперационной нейронавигации и обучения в нейрохирургии [7-9]. Использование данной технологии потенциально может позволить обходиться без интраоперационной рентгеноскопии [10, 11]. Дополнительно положитель-
ным эффектом может стать уменьшение времени, рентген-нагрузки и повышение точности манипуляций [12]. В настоящее время имеется опыт применения данного метода в различных областях нейрохирургии, подтверждающий эффективность метода [13].
Заключение
Экспериментальное исследование показало, что использование дополненной реальности (А1К) при выполнении трепанаций черепа позволяет выполнять нейрохирургические доступы оптимального размера в точной проекции патологического очага. Данная система навигации не вызывает дискомфорта у оператора и может быть рекомендована для апробации в клинической практике.
■ Литература/References
1. Skyrman S., Lai M., Edström E., Burström G., Förander P., Homan R., et al. Augmented reality navigation for cranial biopsy and external ventricular drain insertion. Neurosurg Focus. 2021; 51 (2): E7.
2. Chiou S.Y., Zhang Z.Y., Liu H.L., Yan J.L., Wei K.C., Chen P.Y. Augmented reality surgical navigation system for external ventricular drain. Healthcare (Basel). 2022; 10 (10): 1815.
3. Ivan M.E., Eichberg D.G., Di L., Shah A.H., Luther E.M., Lu V.M., et al. Augmented reality head-mounted display-based incision planning in cranial neurosurgery: a prospective pilot study. Neurosurg Focus. 2021; 51 (2): E3.
4. Chauvet P., Collins T., Debize C., Novais-Gameiro L., Pereira B., Bartoli A., et al. Augmented reality in a tumor resection model. Surg Endosc. 2018; 32 (3): 1192-201.
5. Racadio J.M., Nachabe R., Homan R., Schierling R., Raca-dio J.M., Babic D. Augmented reality on a C-arm system: a preclinical assessment for percutaneous needle localization. Radiology. 2016; 281 (1): 249-55.
6. Adballah M., Espinel Y., Calvet L., Pereira B., Le Roy B., Bartoli A., et al. Augmented reality in laparoscopic liver resection evaluated on an ex-vivo animal model with pseudo-tumours. Surg Endosc. 2022; 36 (1): 833-43.
7. Olexa J., Trang A., Flessner R., Labib M. Case report: use of novel AR registration system for presurgical planning during vestibular schwannoma resection surgery. Front Surg. 2024; 11: 1304039.
8. Campisi B.M., Costanzo R., Gulino V., Avallone C., Noto M., Bonosi L., et al. The role of augmented reality neuronavigation in transsphenoidal surgery: a systematic review. Brain Sci. 2023; 13 (12): 1695.
9. Gurses M.E., Gökalp E., Gecici N.N., Gungor A., Berker M., Ivan M.E., et al. Creating a neuroanatomy education model with augmented reality and virtual reality simulations of white matter tracts. J Neurosurg. 2024; 141(3): 865-74.
10. Long D.J., Li M., De Ruiter Q.M.B., Hecht R., Li X., Varble N., et al. Comparison of smartphone augmented reality, smartglasses augmented reality, and 3D CBCT-guided fluoroscopy navigation for percutaneous needle insertion: a phantom study. Cardiovasc Intervent Radiol. 2021; 44 (5): 774-81.
11. Schonfeld E., de Lotbiniere-Bassett M., Jansen T., Anthony D., Veeravagu A. Vertebrae segmentation in reduced radiation CT imaging for augmented reality applications. Int J Comput Assist Radiol Surg. 2022; 17 (4): 775-83.
12. Park B.J., Hunt S.J., Nadolski G.J., Gade T.P. Augmented reality improves procedural efficiency and reduces radiation dose for CT-guided lesion targeting: a phantom study using HoloLens 2. Sci Rep. 2020; 10 (1): 18620.
13. Sharma N., Mallela A.N., Khan T., Canton S.P., Kass N.M., Steuer F., et al. Evolution of the meta-neurosurgeon: a systematic review of the current technical capabilities, limitations, and applications of augmented reality in neurosurgery. Surg Neurol Int. 2024; 15: 146.
