CC BY
335
УДК 617-089:004.92
3Р-ВИЗУАЛИЗАЦИЯ ДЛЯ ПЛАНИРОВАНИЯ ОПЕРАЦИЙ И ВЫПОЛНЕНИЯ ХИРУРГИЧЕСКОГО ВМЕШАТЕЛЬСТВА (CAS-ТЕХНОЛОГИИ)
Щаденко С.В.1, Горбачёва А.С.1, Арсланова А.Р.1, Толмачёв И.В.2
1 Нациoнaльный исследовательский Томоши политеxничеcкий университет, г. Томск
2 Сибирский государственный медицинский университет, г. Томск
РЕЗЮМЕ
CAS-технологии (от англ. Computer Assisted Surgery), или автоматизированные операции, представляют собой хирургический подход, а также ряд методов, в которых компьютерные технологии используются для хирургического планирования и направления или для выполнения хирургических процедур. CAS-технологии также известны как компьютерная хирургия, компьютерное вмешательство, изображения управляемой хирургии и хирургической навигации.
CAS-технологии включают в свой состав систему 3Б-визуализации, основанную на использовании медицинских изображений, с формированием компьютерной, анатомической 3D-модели зоны интереса пациента и дальнейшее планирование хирургического вмешательства вместе с выполнением виртуальной операции.
Задачи, которые решались в нашей работе, можно разделить на три части.
1. Сформулировать требования и описать функциональную структуру системы 3D-визуализации для планирования хирургического вмешательства и проведения виртуальной операции.
2. На основе медицинских изображений высокого разрешения реконструировать компьютерную анатомическую модель органа человека.
3. При помощи 3D-принтера создать материальную модель исследуемого органа. В итоге были получены следующие результаты.
1. Сформулированы требования и описана функциональная структура системы 3D-визуализации для планирования хирургического вмешательства и выполнения виртуальной операции.
2. На основе медицинских изображений высокого разрешения реконструирована и оптимизирована компьютерная анатомическая 3D-модель ушной раковины ребенка с синдромом Гольденхара.
3. На основе медицинских изображений высокого разрешения реконструирована комплексная анатомическая 3D-модель беременной женщины и плода.
4. При помощи 3D-принтера создана материальная 3D-модель ушной раковины из ABS-пластика.
КЛЮЧЕВЫЕ СЛОВА: CAS-технологии, медицинское 3D-прототипирование, медицинская 3D-визуализация, виртуальные хирургические операции.
Введение
В XX в., благодаря развитию методов лучевой диагностики и информационных технологий, в медицине были предложены новые подходы к диагностике, визуализации, терапии, хирургии, лечению и реабилитации. Быстрое развитие методов компьютерной графики обеспечило высококачественную 3D-визуализацию анатомических структур пациента.
CAS-технологии (от англ. Computer Assisted Surgery), или автоматизированные операции, пред-
И Толмачёв Иван Владиславович, тел. 8-909-541-9329; e-mail: [email protected]
ставляют собой хирургический подход, а также ряд методов, в которых компьютерные технологии используются для предоперационного планирования, навигации и выполнения хирургического вмешательства. CAS-системы также известны как компьютерная хирургия, компьютерное вмешательство, изображения управляемой хирургии и хирургической навигации [1].
В настоящее время CAS-технологии применяются в таких направлениях хирургии, как ортопедическая хирургия [2], челюстно-лицевая [3], онкохирургия [4, 5].
Системы управления хирургическими операциями по изображениям обычно применяются для помощи
хирургу при позиционировании хирургического инструмента во время операции. При сложной операции хирургу зачастую трудно или даже невозможно непосредственно наблюдать текущее положение и перемещение хирургического инструмента внутри пациента. На дисплейном устройстве система управления операциями по изображениям показывает хирургу положение хирургического инструмента относительно области, в которой выполняется вмешательство. Следовательно, такая система дает хирургу возможность перемещать хирургический инструмент внутри пациента и за пределами прямой видимости без риска поражения жизненно важных частей.
К методам CAS-технологий относятся также 3D-ви-зуализация и моделирование на основе медицинских изображений, виртуальное планирование операции и создание персонифицированных имплантатов пациентов. Данные методы строятся на основе использования технологий компьютерной графики, а также САБ/САБ/САМ-систем [6].
Целью нашей работы является решение следующих задач.
1. Сформулировать требования и описать функциональную структуру системы 3D-визуализации для планирования хирургического вмешательства и проведения виртуальной операции.
2. На основе медицинских изображений высокого разрешения реконструировать компьютерную анатомическую модель органа человека.
3. При помощи 3D-принтера создать материальную модель исследуемого органа.
Материал и методы
Рассмотрим основные этапы, необходимые для реконструкции 3D-модели зоны интереса, с ее даль-
нейшим использованием для диагностики состояния, виртуального планирования операции, а также разработки персонифицированного имплантата. На основе данных этапов будет сформирована функциональная структура разрабатываемой системы 3Б-визуализации для выполнения хирургических вмешательств.
Как показано на рис. 1, в системе можно выделить шесть основных этапов.
На первом этапе происходит формирование набора медицинских изображений для оцифровки зоны интереса пациента. Для этого необходимо большое количество снимков (срезов) объекта с разных ракурсов, для чего используется ряд методов визуализации (модальностей), таких как компьютерная, магнитно-резонансная, позитронно-эмиссионная томография, рентген, ультразвук [7, 8]. Следует отметить, что качество и точность реконструируемой 3D-модели зоны интереса будут напрямую зависеть от качества полученных первичных медицинских изображений, поэтому необходимо уделить максимально пристальное внимание выбору модальности и оборудования, а также составлению корректной процедуры первичного сканирования. Полученный набор 2D-срезов в подавляющем большинстве современных аппаратов для медицинской визуализации сохраняется в формате Б1СОМ [9].
На втором этапе набор полученных 2D -изображений в DICOM-формате подвергается обработке с целью улучшения их качества, а именно для повышения контрастности и четкости, фильтрации шумов и т.д. Для задач улучшения качества первичных медицинских изображений применяются адаптивные фильтры изображений, многоуровневые нелинейные операторы, Фурье-дескрипторы и гибридные фильтры [10].
Л
Диагностика Диагноз
д
\
Виртуальное План
планирование операции д операции
N
ЗО-печать Осязаемая
зоны интереса 30-модель
Рис. 1. Этапы медицинской 3D-визуализации и планирования хирургического вмешательства
После улучшения качества набора 2D-изображе-ний, на третьем этапе, происходит регистрация улучшенных медицинских изображений с целью их приведения к единой системе координат [11, 12] и выполнения сегментации, для формирования точной анатомической компьютерной 3D-модели. В настоящее время разработано большое количество алгоритмов сегментации с применением методов, основанных на использовании локальных порогов и оттенков серого, на гистограммах, пиксельной корреляции, наращивании областей, сжатии, дереве квадрантов, дифференциальных уравнениях в частных производных и многих других [13, 14].
Для проведения медицинской 3D-сегментации существуют специализированные программные пакеты. Один из таких пакетов - Mimics Innovation Suite (MIS)
[15] - разрабатывается бельгийской фирмой Materialise и является проприетарным, коммерческим продуктом. В связи с высокой стоимостью продукта MIS, а также отсутствием возможности внесения изменений в структуру алгоритмов обработки и сегментации, для выполнения задач, связанных с реконструкцией 3D-моделей ушной раковины и плода беременной, было использовано открытое программное обеспечение 3D Slicer
[16].
В результате указанных манипуляций получены 3D-модели в формате STL.
На четвертом этапе, представленном на рис. 1, реконструированная 3D-модель используется хирургом либо вспомогательным персоналом для детального осмотра зоны интереса с целью анализа ее геометрических размеров, расположения органов друг относительно друга, выявления аномалий и отклонений в строении. Для более точной диагностики зон интереса с мелкими органами, например кровеносными сосудами, требуются медицинские изображения высокого пространственного разрешения.
Следует отметить, что кроме диагностики, проводимой человеком, перспективной задачей является разработка методов автоматического сравнения сформированной компьютерной 3D-модели зоны интереса пациента с заранее подготовленными наборами 3D-моделей, соответствующих органам с патологиями и без таковых. В результате подобного сравнения автоматически формируется диагноз пациента, который в дальнейшем может быть верифицирован врачом.
После реконструкции компьютерной 3D-модели и формирования диагноза, на пятом этапе происходит импортирование модели в CAD-систему для предос-
тавления хирургу возможности проведения манипуляций над ней с целью планирования оптимального хирургического вмешательства. При необходимости, если того требует характер травмы или патологии пациента, в CAD-системе по полученной SD-модели зоны интереса возможна разработка идеальной, персонифицированной SD-модели имплантата.
На заключительном этапе компьютерная SD-модель зоны интереса пациента, а при необходимости и модель имплантата, может быть создана с использованием современных систем быстрого прототипирования. Для этого компьютерные модели подвергаются предварительной подготовке, после чего передаются в систему SD-печати.
В настоящее время существует несколько систем 3D-печати, использующих различные материалы. Наибольшее распространение получили системы 3D-прототипирования FDM (Fused Deposition Modeling), использующие термопластик в качестве материала для печати [17]. С помощью технологии FDM получают наглядные 3D-модели органов и зон интереса пациента, направляющих и шаблонов для увеличения точности во время операции. Достаточно интересными являются методы спекания порошков металлов, к ним относятся: выборочное лазерное плавление (SLM -Selective Laser Melting), выборочное лазерное спекание (SLS - Selective Laser Sintering), прямое лазерное спекание металлов (DMLS - Direct Metal Laser Sintering), плавление электронными пучками (EBM -Electron Beam Melting), выборочное температурное спекание (SHS - Selective Heat Sintering) [17]. Перечисленные методы 3D-прототипирования в медицине используются для создания персонифицированных металлических имплантатов в ортопедии, поскольку обладают высокой прочностью.
В настоящей работе для печати 3D-модели ушной раковины использовался 3D-принтер FDM-типа, а в качестве материала - ABS-пластик. Предпечатная оптимизация 3D-модели осуществлялась с помощью программы MeshLab [18].
В системах 3D-визуализации и виртуального планирования операций на основе использования медицинских изображений стоит задача обработки и преобразования медицинских изображений с последующей реконструкцией 3D-изображения и построением 3D-модели. Работа с 3D-изображениями и 3D-моде-лями приводит к необходимости применения систем высокопроизводительных вычислений. С учетом объема исходных данных и круга решаемых задач наиболее оптимальным способом реализации высокопроиз-
водительных вычислений в CAS-системах является использование графической карты с возможностью организации параллельных вычислений на ней. В частности, для выполнения нашей работы, наряду с процессором Intel Core i7-3770K и 16 Гбайт оперативной памяти (DIMM DDR3), использовалась видеокарта NVIDIA GeForce GTX 660 с поддержкой технологии CUDA (Compute Unified Device Architecture) [19].
Результаты
Система 3D-визуализации и планирования операций, соответствующая этапам, приведенным на рис. 1, была использована для решения двух практических задач, первая из которых связана с реконструкцией 3D-модели ушной раковины пациента и ее дальнейшей печатью на 3D-принтере. Вторая задача включала в себя реконструкцию моделей «мать - плод» (на основе МРТ высокого разрешения беременной женщины) для диагностики состояния матери, положения плода и текущего развития плода и его внутренних органов.
Первая задача состояла в изготовлении импланта-та-основы ушной раковины для пациентки в возрасте
6 лет в связи с синдромом Гольденхара [20], одним из проявлений которого является одностороннее отсутствие ушной раковины. На основе МРТ головы пациентки была выделена область имеющейся ушной раковины, после симметричного отображения которой получена 3D-модель отсутствующей ушной раковины. На рис. 2 представлены основные этапы создания компьютерной 3D-модели зоны интереса. После оптимизации, с целью устранения пространственно-геометрических дефектов 3D-модель была напечатана пластиком на 3D-принтере, в результате чего для верификации получен прототип имплантата-основы. Получившийся результат представлен на рис. 3. Данный прототип по своим параметрам (размеру, форме, эстетической привлекательности и шероховатости поверхности (необходима для хорошей адгезии пересаживаемых клеток эпителия)) полностью устраивает пациентку и врачей. Дальнейшей задачей является создание им-плантата-основы из биосовместимого материала, на который в дальнейшем будет пересажены клетки эпителия.
Рис. 2. Создание BD-модели ушной раковины на основе МРТ высокого разрешения: a - сегментация изображения; б - выделение и построение области ушной раковины; в - оптимизация полученной BD-модели
б
а
в
Рис. 3. Пластиковая модель ушной раковины пациентки, распечатанная на 3D-принтере
да (рис. 5). Реконструированные изображения беременной женщины и плода можно использовать:
- для диагностики развития плода и его органов с целью выявления патологий и отклонений;
- в электроимпедансной томографии для построения конечно-элементной модели области живота с последующим присвоением значений электрической проводимости различных слоев при решении прямой и обратной задачи;
- изготовления хирургических фантомов для фе-тальной хирургии, что позволит хирургу перед операцией провести тренировку на фантоме, изготовленном из материала, по свойствам напоминающего ткани человека.
На основе МРТ высокого разрешения были получены ЗБ-модели беременной женщины (рис. 4) и пло-
б
а
в
Рис. 4. Полученная 3D-модель «мать - плод» на основе сегментации МРТ высокого разрешения: а - прозрачность 3D-модели матери равна 0;
б - прозрачность равна 0,5; в - прозрачность равна 0,1
Рис. 5. Полученная 3D-модель плода на основе сегментации МРТ высокого разрешения: а - прозрачность 3D-модели плода равна 0, начальная позиция; б - прозрачность равна 0,5, начальная позиция; в - модель плода, прозрачность 0,5, повернута на 90° от начальной позиции;
г - модель плода, прозрачность 0,5, повернута на 270°
Выводы
1. Сформулированы требования и описана функциональная структура системы 3D-визуализации для планирования хирургического вмешательства и выполнения виртуальной операции.
2. На основе медицинских изображений высокого разрешения реконструирована и оптимизирована компьютерная анатомическая 3D -модель ушной раковины.
3. На основе медицинских изображений высокого разрешения реконструирована комплексная анатомическая 3D-модель беременной женщины и плода.
4. При помощи 3D-принтера создана материальная 3П-модель ушной раковины из ABS-пластика.
Литература
1. Marmulla R., Niederdellmann H. Computer-assisted bone segment navigation // J. Cranio-Maxillofac. Surg. 1998. Dec. V. 26, № 6. P. 347-359.
2. Tang P., Hu L., Du H., Gong M., Zhang L. Novel 3D hexa-pod computer-assisted orthopaedic surgery system for closed diaphyseal fracture reduction // Int. J. Med. Robot. 2012. Mar. V. 8, № 1. P. 17-24.
3. Bell R.B. Computer Planning and Intraoperative Navigation in Cranio-Maxillofacial Surgery // Oral Maxillofac. Surg. Clin. N. Am. 2010. Feb. V. 22, № 1. P. 135-156.
4. Ieguchi M., Hoshi M., Takada J., Hidaka N., Nakamura H. Navigation-assisted Surgery for Bone and Soft Tissue Tumors With Bony Extension // Clin. Orthop. Relat. Res. 2012. Jan. V. 470, № 1. P. 275-283.
5. Wong K.C., Kumta S.M. Computer-assisted Tumor Surgery in Malignant Bone Tumors // Clin. Orthop. Relat. Res. 2013. Mar. V. 471, № 3. P. 750-761.
6.Жук Д.М., Перфильев С.А. CAS-системы - системы автоматизированного проектирования в хирургии // Наука и образование. 2011. Т. 3.
7. Iniewski K. Medical Imaging: Principles, Detectors, and Electronics. John Wiley & Sons, 2009.
8. Bushberg J.T., Seibert J.A., Leidholdt E.M., Boone J.M. The Essential Physics of Medical Imaging. Lippincott Williams
& Wilkins, 2011. 9. Pianykh O.S. Digital Imaging and Communications in Medicine (DICOM): A Practical Introduction and Survival Guide. Springer, 2009.
10. Bankman I. Handbook of Medical Image Processing and Analysis. Academic Press, 2008.
11. El-Baz A.S., Acharya U.R., Mirmehdi M., Suri J.S. Multi Modality State-of-the-Art Medical Image Segmentation and Registration Methodologies // Biomed. Sci. V. 1. Springer, 2011.
12. Hajnal J.V., Hill D.L.G. Medical Image Registration. CRC Press, 2001.
13. Suri J.S., Setarehdan S.K., Singh S. Advanced Algorithmic Approaches to Medical Image Segmentation: State-Of-The-Art Applications in Cardiology, Neurology, Mammography and Pathology. Springer, 2002.
14. Dougherty G. Medical Image Processing: Techniques and Applications. Springer, 2011.
15.Materialise [Офиц. сайт]. URL: http://biomedical.materia-lise.com/mis (дата обращения: 09.03.2014).
16. 3D Slicer [Офиц. сайт]. URL: http://www.slicer.org/ (дата обращения: 10.03.2014).
17. Chua C.K., Leong K.F., Lim C.S. Rapid Prototyping: Principles and Applications. World Scientific, 2010.
18. MeshLab [Офиц. сайт]. URL: http://meshlab.source-forge.net/ (дата обращения: 10.03.2014).
19. Cook S. CUDA Programming: A Developer's Guide to Parallel Computing with GPUs. Newnes, 2013.
20. Nyberg D.A. Diagnostic Imaging of Fetal Anomalies. Lippincott Williams & Wilkins, 2003.
Поступила в редакцию 20.03.2014 г. Утверждена к печати 07.05.2014 г.
Щаденко Сергей Владимирович, НИ ТПУ (г. Томск). Горбачёва Анастасия Сергеевна, НИ ТПУ (г. Томск). Арсланова Алина Рамильевна, НИ ТПУ (г. Томск).
Толмачёв Иван Владиславович (И) - канд. мед. наук, доцент кафедры медицинской и биологической кибернетики СибГМУ (г. Томск). И Толмачёв Иван Владиславович, тел. 8-909-541-9329; e-mail: [email protected]
3D VISUALIZATION FOR SURGICAL MODELING AND SURGICAL PLANING Shchadenko S.V.1, Gorbachyova A.S.1, Arslanova A.R.1, Tolmachyov I.V.2
1 National Research Tomsk Polytechnic University, Tomsk, Russian Federation
2 Siberian State Medical University, Tomsk, Russian Federation
ABSTRACT
CAS technologies represent approaches and methods utilizing the computer technologies for surgical planning, guidance and execution. They provide better visualization of surgical field by precise pre-surgical diagnostics and planning of intervention in virtual reality. Hence, surgeon can foresight the risks during surgery and make an optimal plan. The 3D visualization and surgery planning system is the one of the crucial parts of CAS technologies.
Objectives of our work include:
1) description of the functional structure and properties of the 3D visualization system under development;
2) reconstruction of the computer, anatomical 3D model of human organs based on medical images of the high definition;
3) creation of tangible plastic model of human organ by means of rapid 3D prototyping.
KEY WORDS: CAS technologies, medical 3D prototyping, medical 3D visualization, virtual surgery.
Bulletin of Siberian Medicine, 2014, vol. 13, no. 4, pp. 165-171
References
1. Marmulla R., Niederdellmann H. Computer-assisted bone segment navigation. J. Cranio-Maxillofac. Surg., 1998, Dec., vol. 26, no. 6, pp. 347-359.
2. Tang P., Hu L., Du H., Gong M., Zhang L. Novel 3D hexa-pod computer-assisted orthopaedic surgery system for closed diaphyseal fracture reduction. Int. J. Med. Robot., 2012, Mar., vol. 8, no. 1, pp. 17-24.
3. Bell R.B. Computer Planning and Intraoperative Navigation in Cranio-Maxillofacial Surgery. Oral Maxillofac. Surg. Clin. N. Am., 2010, Feb., vol. 22, no. 1, pp. 135156.
4. Ieguchi M., Hoshi M., Takada J., Hidaka N., Nakamura H. Navigation-assisted Surgery for Bone and Soft Tissue Tumors With Bony Extension. Clin. Orthop. Relat. Res., 2012, Jan., vol. 470, no. 1, pp. 275-283.
5. Wong K.C., Kumta S.M. Computer-assisted Tumor Surgery in Malignant Bone Tumors. Clin. Orthop. Relat. Res., 2013, Mar., vol. 471, no. 3, pp. 750-761.
6. Zhuk D.M., Perfiliyev S.A. CAS sistemy - sistemy avtomatizirovannogo proyektirovaniya v khirurgii [CAS systems - computer-aided design systems in a surgery]. Nauka i obrazovaniye - The Science and Education, 2011, vol. 3.
7. Iniewski K. Medical Imaging: Principles, Detectors, and Electronics. John Wiley & Sons, 2009.
8. Bushberg J.T., Seibert J.A., Leidholdt E.M., Boone J.M. The Essential Physics of Medical Imaging. Lippincott Williams & Wilkins, 2011.
9. Pianykh O.S. Digital Imaging and Communications in Medicine (DICOM): A Practical Introduction and Survival Guide. Springer, 2009.
10. Bankman I. Handbook of Medical Image Processing and Analysis. Academic Press, 2008.
11. El-Baz A.S., Acharya U.R., Mirmehdi M., Suri J.S. Multi Modality State-of-the-Art Medical Image Segmentation and Registration Methodologies. Biomed. Sci., vol. 1. Springer, 2011.
12. Hajnal J.V., Hill D.L.G. Medical Image Registration. CRC Press, 2001.
13. Suri J.S., Setarehdan S.K., Singh S. Advanced Algorithmic Approaches to Medical Image Segmentation: State-Of-The-Art Applications in Cardiology, Neurology, Mammography and Pathology. Springer, 2002.
14. Dougherty G. Medical Image Processing: Techniques and Applications. Springer, 2011.
15. Materialise. Available at: http://biomedical.materiali-se.com/mis (accessed 09 Mar. 2014).
16. 3D Slicer. Available at: http://www.slicer.org/ (accessed 10 Mar. 2014).
17. Chua C.K., Leong K.F., Lim C.S. Rapid Prototyping: Principles and Applications. World Scientific, 2010.
18.MeshLab. Available at: http://meshlab.sourceforge.net/ (accessed 10 Mar. 2014).
19. Cook S. CUDA Programming: A Developer's Guide to Parallel Computing with GPUs. Newnes, 2013.
20. Nyberg D.A. Diagnostic Imaging of Fetal Anomalies. Lippincott Williams & Wilkins, 2003.
Shchadenko Sergey V., National Research Tomsk Polytechnic University, Tomsk, Russian Federation. Gorbachyova Anastasiya S., National Research Tomsk Polytechnic University, Tomsk, Russian Federation. Arslanova Alina R., National Research Tomsk Polytechnic University, Tomsk, Russian Federation. Tolmachyov Ivan V. (H), Siberian State Medical University, Tomsk, Russian Federation.
И Tolmachyov Ivan V., Ph. +7-909-541-9329; e-mail: [email protected]
