CC BY
0Приборы медицинского назначения, контроля среды, веществ, материалов и изделий УДК 615.47:616-072.7
https://doi.org/10.32603/1993-8985-2024-27-1-102-116
Научная статья
Метод визуализации мультиспектральных данных в лапароскопии
Ян Синь 1,1
1,2 Н
2
:СЫпа Scholarship Council (CSC), Пекин, Китай
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ"
им. В. И. Ульянова (Ленина), Санкт-Петербург, Россия
Аннотация
Введение. В настоящее время видеоданные, полученные в узких спектральных диапазонах, активно применяют для повышения эффективности диагностики в различных областях медицины, в частности в лапароскопии. Традиционная лапароскопия использует изображения, полученные в белом свете. Изображения, полученные в видимом диапазоне, хорошо отображают цвет и текстурные особенности тканей. Одновременно с этим на изображениях видимого диапазона врачу трудно отличить область поражения от нормальной ткани вследствие их близости по цвету и текстуре. Существенное повышение эффективности определения пораженных участков обеспечивает использование флуоресцентных изображений, на которых области поражения визуально отличаются от остальных тканей. Основной проблемой при использовании мультиспектральных данных является необходимость одновременного предъявления врачу изображений, полученных в белом свете и свете флуоресценции. В работе предлагается метод синтеза изображения для предъявления врачу на основе данных, полученных в белом свете и свете флуоресценции. Отличительной особенностью метода является использование при синтезе изображения метрики СТЕБЕ 2000, учитывающей свойства зрения человека.
Цель работы. Разработка метода визуализации мультиспектральных данных, обеспечивающего предъявление врачу изображения, включающего данные, полученные в белом свете, и выделенную цветом область пораженных тканей. Материалы и методы. Предложенный метод состоит из следующих шагов: предобработка изображений, полученных в видимом диапазоне и свете флуоресценции; сегментация области поражения на флуоресцентных изображениях; формирование псевдоцветного изображения сегментированной области поражения; слияние псевдоцветного изображения и изображения, полученного в белом свете.
Результаты. Предложенный метод позволяет сформировать изображение, которое включает изображение области операции, полученное в белом свете и выделенную область поражения на основе флуоресцентной информации в ближнем инфракрасном диапазоне. При синтезе изображения учтены свойства зрения человека. Экспериментальное исследование метода было проведено на реальных лапароскопических изображениях. В экспериментах участвовали врачи-эндоскописты, которые являлись экспертами при проведении субъективной оценки предъявляемых изображений. Оценка предъявляемых изображений по методу парных сравнений показала, что большинство врачей предпочли изображение, синтезированное предложенным методом, одновременной визуализации изображений в белом свете и свете флуоресценции. Заключение Разработанный метод обеспечивает формирование изображения с повышенной диагностической ценностью.
Ключевые слова: визуализация мультиспектральных изображений, коррекция контраста изображения, слияние изображения, обработка лапароскопических изображений
Для цитирования: Ян Синь. Метод визуализации мультиспектральных данных в лапароскопии // Изв. вузов России. Радиоэлектроника. 2024. Т. 27, № 1. С. 102-116. doi: 10.32603/1993-8985-2024-27-1-102-116
Конфликт интересов. Автор заявляет об отсутствии конфликта интересов.
Источник финансирования. Исследование проводится при поддержке Государственного комитета по стипендиям КНР (грант № 202009010036).
Статья поступила в редакцию 03.07.2023; принята к публикации после рецензирования 11.01.2024; опубликована онлайн 29.02.2024
102
© Ян Синь, 2024
Я®
Medical Devices, Environment, Substances, Material and Product
Original article
Multispectral Imaging Method in Laparoscopy
Xin Yang12 H
1China Scholarship Council (CSC), Beijing, China 2 Saint Petersburg Electrotechnical University, St Petersburg, Russia
Abstract
Introduction. At present, video data acquired in narrow spectral bands are widely used to improve the efficiency of diagnostics in various medical fields, laparoscopy in particular. Conventional laparoscopy uses images obtained in the white light. Images obtained in the visible range suitably depict the color and textural features of tissues. However, it is difficult for a physician to use visible images for distinguishing between lesion areas and normal tissues, largely due to their proximity in color and texture. The efficiency of lesion detection can be improved using fluorescence images, which clearly differentiate lesion areas from normal tissues. However, the use multispectral data implies the need to present the images obtained both in the white and fluorescence light to the physician. In this paper, we propose an image composition method based on visible and fluorescence images, which facilitates their analysis by physicians. A distinctive feature of the method is the use of CIEDE 2000 metric for image fusion, which takes the properties of human vision into account.
Aim. Development of a method for multispectral data visualization, which provides a physician with an image that combines white light data and a color-highlighted area of lesions.
Materials and methods. The proposed method consists of the following steps: preprocessing of images obtained in visible and fluorescence light; segmentation of the lesion area in the fluorescence images; generation of a pseudo-color image of the segmented lesion area; and fusion of the pseudo-color image with the image obtained in the white light. Results. The proposed method forms an image that includes an image of the operation area obtained in the white light and a separated lesion area based on fluorescence information in the near infrared range. The image composite takes the properties of human vision into account. An experimental study of the method was carried out on actual laparoscopic images, involving endoscopists who were experts in subjective evaluation of video images. The method of paired comparisons was used to evaluated the presented images. The majority of experts preferred the fused image formed by the proposed method to those visualized simultaneously in the white and fluorescence light. Conclusion. The developed method ensures generation of images with an increased diagnostic value.
Keywords: multispectral imaging visualization, image contrast correction, image fusion, laparoscopic image processing
For citation: Xin Yang. Multispectral Imaging Method in Laparoscopy. Journal of the Russian Universities. Radioelectronics. 2024, vol. 27, no. 1, pp. 102-116. doi: 10.32603/1993-8985-2024-27-1-102-116
Conflict of interest. The author declares no conflicts of interest.
Source of funding. The study was realized with the support of the China Scholarship Council (Grant No. 202009010036). Submitted 03.07.2023; accepted 11.01.2024; published online 29.02.2024
Введение. Лапароскоп - это медицинский эндоскоп для внутриполостного обследования и проведения хирургических вмешательств. Традиционный лапароскоп обеспечивает врачу видеоданные, полученные в белом свете (Visible Light - VIS). Эти изображения хорошо визуализируют цвет и текстурные особенности тканей в зоне операции. Одновременно с этим на изображениях, полученных в белом свете, области поражения близки к нормальной ткани как по цвету, так и по текстуре. Обнаружение и
удаление всех пораженных тканей в процессе операции имеют очень важное значение для эффективности дальнейшего лечения пациента. Существенное повышение эффективности определения пораженных участков во время лапароскопической операции обеспечивает использование флуоресцентных изображений.
Индоцианин зеленый (Indocyanine green -ICG) является одним из наиболее часто используемых флуоресцентных красителей в лапароскопической хирургии [1, 2]. Из-за отличий в скорости
поглощения ICG в различных тканях краситель накапливается в опухоли и флуоресцирует. Вызванная флуоресценция может быть зафиксирована датчиком инфракрасного (ИК) диапазона. В этом случае в процессе операции хирург может точно оценить границы опухоли, наблюдая флуоресцентные изображения на мониторе [3, 4]. Полученное ИК-изображение содержит только флуоресцирующую область, отсутствует какая-либо информация об окружающих тканях. Как следствие, флуоресцентные изображения не могут обеспечить полную визуальную картину обследуемой области. Врачу необходимо постоянно переключаться с просмотра изображений в белом свете на просмотр флуоресцентных изображений и обратно. Это затрудняет анализ изображений хирургом и оказывает негативное влияние на проведение операции.
Таким образом, использование изображений только одного типа уступает по эффективности визуализации, которая объединяет особенности разных изображений и позволяет получить изображение большей информативности [5].
В данной статье предлагается метод мульти-спектральной визуализации, объединяющий информацию, полученную в разных спектральных диапазонах. Основные шаги метода: сегментация области поражения на флуоресцентных изображениях; совмещение мультиспектральных изображений; синтез изображения, включающего информацию, полученную в белом свете и в свете флуоресценции, а также учитывающего особенности зрения человека. Область поражения на изображении, полученном в белом свете, выделяется маской, состоящей из искусственных цветов (псевдоцветным изображением). Особенность сформированного псевдоцветного изображения области поражения следующая: цветовой контраст между областями разного цвета на псевдоцветном изображении соответствует яркостному контрасту областей c разным уровнем флуоресценции (яркости) на изображении, полученном в ИК-диапазоне. Цветовой контраст оценивается по метрике CIEDE 2000.
Были проведены экспериментальные исследования предложенного метода на реальных лапароскопических изображениях. Оценка предъявляемых изображений по методу парных сравнений показала, что большинство врачей-эндоскопистов предпочли изображение, синте-
зированное предложенным методом, одновременной визуализации изображений в белом свете и свете флуоресценции.
Метод визуализации. Целью метода муль-тиспектральной визуализации является синтез изображения, включающего информацию, полученную в разных спектральных диапазонах, и учитывающего особенности зрения человека.
Метод состоит из следующих шагов:
- предобработка изображений, полученных в белом свете и свете флуоресценции;
- сегментация области поражения на флуоресцентных изображениях;
- совмещение мультиспектральных изображений;
- формирование псевдоцветного изображения области поражения;
- аддитивное наложение маски на изображение, полученное в белом свете.
Общая схема предлагаемого метода представлена на рис. 1. Далее приведено детальное описание перечисленных этапов.
Предобработка изображений. Из-за сложных условий наблюдения изображения, полу-
Рис. 1. Общая схема визуализации мультиспектральных данных
Fig. 1. General scheme of multispectral imaging
ченные в белом свете, часто имеют низкий контраст и локальную переэкспонированность. Эти артефакты влияют на результаты сегментации и дальнейшую обработку изображения, поэтому необходимо провести предобработку изображения. На этапе предобработки отдельно обрабатывают изображения, полученные в белом свете, и флуоресцентные изображения. Предобработка флуоресцентных изображений включает коррекцию контраста, реализуемую с помощью метода CLAHE (Contrast Limited Adaptive Histogram Equalization) [6]. Предобработка изображений, полученных в белом свете, включает повышение контраста и коррекцию переэкспонированных областей.
Контрастность является одной из главных характеристик изображения и обычно определяет отношение яркости между самыми светлыми и самыми темными частями изображения. Низкоконтрастные изображения содержат меньше визуальной информации, а высококонтрастные - больше. В литературе приведено большое число методов повышения контрастности изображений, среди которых выделяют две основные группы: линейные и нелинейные методы. К нелинейным методам относятся эк-вализация гистограммы, гамма-коррекция и т. п. Среди них наиболее эффективными методами повышения контрастности медицинских изображений считаются CLAHE и LSTNE (Locally Tuned Nonlinear Technique for Color Image Enhancement) [7].
Метод CLAHE реализует адаптивную эква-лизацию яркостной гистограммы изображения с пороговым ограничением контраста. В данном методе изображение делится на блоки и в каждом блоке выполняется эквализация гистограммы для повышения локального контраста и детализации изображения. Метод устраняет проблему усиления фонового шума путем введения ограничения контраста.
Метод LSTNE состоит из трех этапов: адаптивной коррекции яркости, коррекции контраста и восстановления цвета.
На рис. 2 приведены результаты коррекции контраста изображения при использовании методов CLAHE и LSTNE: а - исходные изображения; б - результаты применения алгоритма CLAHE; в - результаты применения алгоритма LSTNE.
Проведем анализ качества лапароскопических изображений, полученных после обработки этими двумя методами.
Методы оценки качества изображения делят на две категории: объективные и субъективные. Субъективная оценка изображения формируется наблюдателем. В зависимости от области применения изображения в качестве наблюдателя обычно выступает либо эксперт, либо необученный наблюдатель. Объективные методы оценки используют математические расчеты для отражения субъективного восприятия человеческого зрения.
В данной статье для оценки качества изображения сначала воспользуемся объективной оценкой.
В качестве объективной оценки эффективности применения обоих методов были использованы пиковое отношение сигнал/шум (peak signal-to-noise ratio - PSNR), контрастность (Contr) и метрика Focus Value.
PSNR - это пиковое отношение сигнал/шум, для изображений рассчитывается как отношение максимального значения яркости в изображении (MAX) к среднеквадратичной ошибке (MSE):
PSNR=10lg
f MAX2 ^ MSE
Среднеквадратичная ошибка определяется как
1
M N
М8Е=—Е £[1 и 1 >-1«. 1 >г.
где М. N - число элементов разложения изображения по горизонтали и вертикали; I и I' -яркость элемента в исходном и обработанном изображении.
Контрастность определяется выражением
Соп* = 1тах -1тп
1max + Imin
где Im
максимальное значение яркости в
изображении; Imin - минимальное значение яркости в изображении.
Focus Value представляет собой отношение трансформант дискретно-косинусного преобразования, соответствующих энергии постоянной составляющей DC (Direct Current) и энергии
а б в
Рис. 2. Результаты при использовании методов CLAHE и LSTNE: а - исходные изображения; б - результаты при использовании метода CLAHE; в - результаты при использовании метода LSTNE Fig. 2. Results using the CLAHE and LSTNE method: a - original images; б - results using the CLAHE method;
в - results using the LSTNE method
остальных составляющих изображения AC (Alternating Current):
Focus Value =
E
AC
E
DC
Z ( K AC)2
( Kdc)2
где Eac - сумма квадратов трансформант AC; Edc - квадрат трансформанты DC; Kac , Kqq -коэффициенты AC и DC соответственно.
Значения PSNR рассчитывают по всему изображению, а значения Contr и Focus Value рассчитывают по фрагментам (блокам) изображения. Изображение разделяется на блоки, для
каждого блока вычисляются значения Contr и Focus Value, а итоговые результаты представляют собой среднее полученных значений.
В табл. 1 сведены результаты оценки качества изображений (рис. 2, б и в) по трем показателям.
Для сравнения результатов применения методов CLAHE и LSTNE была реализована ранговая оценка на основе полученных числовых значений Focus Value, Contr и PSNR. Числовые значения Focus Value, Contr и PSNR (табл. 1) были ранжированы от наименьшего к наибольшему. Им присвоили ранги в соответствии с результатами ранжирования, где 1 -
1
2
3
4
Табл. 1. Оценка качества изображений после обработки методами CLAHE и LSTNE Tab. 1. Results of image quality after CLAHE and LSTNE processing
Исходные изображения Метод обработки Focus Value Contr PSNR
Рис. 2, 1 CLAHE 0.018 0.09 17.48
LSTNE 0.18 0.1 18.42
Рис. 2, 2 CLAHE 0.017 0.07 17.79
LSTNE 0.26 0.08 17.79
Рис. 2, 3 CLAHE 0.02 0.08 16.06
LSTNE 0.29 0.16 16.98
Рис. 2, 4 CLAHE 0.01 0.09 15.37
LSTNE 0.17 0.13 16.67
наименьшее значение ранга, а 8 - наибольшее. Ранговая оценка изображений была получена суммированием трех промежуточных рангов. Результаты представлены в табл. 2. Изображения после обработки методом Ь8ТКЕ имеют более высокую ранговую оценку, чем после обработки методом СЬЛИЕ.
Рассмотрим результаты субъективной оценки эффективности методов СЬЛИЕ и Ь8ТКЕ. Субъективные методы оценки делят на абсолютные и относительные. В данном случае применен относительный метод. Метод состоит из следующих этапов: изображения, обработанные методами СЬЛИЕ и Ь8ТКЕ. одновременно предъявляются наблюдателю, который сравнивает и выставляет свою оценку. Как показано на рис. 3, значение оценки указывает на степень различия между двумя изображениями, причем шкала выбора составляет от -3 до 3 (0 - "нет разницы"; 1 - "немного лучше"; 2 - "лучше"; 3 - "намного лучше"). Значение -3 означает, что левое изображение является лучшим (метод СЬЛИЕ). а значение 3 -
наоборот (Ь8ТКЕ>. Итоговый результат субъективной оценки каждого исходного изображения является средним значением результатов оценки нескольких наблюдателей.
В табл. 3 приведены результаты средних оценок для изображений, приведенных на рис. 2.
Согласно результатам субъективной оценки эксперты предпочли результаты обработки с помощью метода Ь8ТКЕ. В эксперименте участвовали врачи-эндоскописты. Число участников - восемь человек.
-3-2-1 0 1 2
Рис. 3. Методы субъективной оценки Fig. 3. Methods of subjective evaluation
Табл. 2. Результаты баллов для изображений после обработки методами CLAHE и LSTNE Tab. 2. Scoring results for CLAHE and LSTNE images
3
Исходные изображения Метод обработки Focus Value Contr PSNR Ранг
Рис. 2, 1 CLAHE 4 4 5 14
LSTNE 5 6 8 19
Рис. 2, 2 CLAHE 3 1 6 10
LSTNE 7 2 6 15
Рис. 2, 3 CLAHE 2 2 2 6
LSTNE 8 8 4 20
Рис. 2, 4 CLAHE 1 4 1 6
LSTNE 6 7 3 16
Табл. 3. Результаты субъективной оценки Tab. 3. Results of subjective evaluation
Исходные изображения Рис. 2, 1 Рис. 2, 2 Рис. 2, 3 Рис. 2, 4
Результат субъективной оценки 1.4 1.6 1.2 1.6
Как видно, результаты субъективной и объективной оценки согласуются между собой и позволяют сделать вывод о целесообразности использования для коррекции контраста метода LSTNE.
Эффект переэкспонирования возникает из-за отражений от хирургического инструментария или тканей. Переэкспонирование приводит к слишком высокой локальной яркости и потерям деталей, например к нечеткости краев органов, что негативно влияет на действия врача во время операции. Поэтому необходимо выполнить коррекцию переэкспонированных областей.
Метод коррекции переэкспонированных областей состоит из следующих основных шагов:
- обнаружение переэкспонированных областей;
- коррекция яркости и цвета этих областей.
Обнаружение переэкспонированных областей реализуется с помощью порогового ограничения. В [8] используется пороговое ограничение на основе яркости; в [9] дополнительно используется пороговое ограничение для координат цветности в цветовом пространстве CIELАВ; в [10] осуществляется переход в цветовое пространство HSI и формируется порог для яркости и насыщенности.
В [8] элемент изображения считается переэкспонированным, если значение его яркости равно или больше порогового значения. Пороговое значение определяется, как 90 % от диапазона яркости анализируемого изображения.
В [9] рассчитывается степень переэкспонирования Mi для каждого i-го элемента изображения на основе значений его координат Li, ai, bi в цветовом пространстве С1ЕЬАВ:
Mi = 1 {th[5(L- -Lt) + (Ct -C)] +1};
Ci =V a2 + b2,
где 5 - масштабный коэффициент; Lt и Ct -граничные значения области переэкспонирования (M = 0.5). В [9] LT = 80; CT = 40; 5 = 1/60;
108'
Mj имеет диапазон (0, 1). Пиксель считается переэкспонированным, если Mi > 0.5.
В [10] элемент изображения считается переэкспонированным, если он имеет низкое значение насыщенности и высокое значение яркости. В приведенных экспериментах порог был установлен на 0.8 от диапазона яркости изображения и 0.2 от диапазона насыщенности изображения.
В табл. 4 представлены результаты обнаружения переэкспонированных областей на лапароскопических изображениях перечисленными методами. Анализ результатов показывает целесообразность использования метода, формирующего пороговое ограничение для координат яркости и цветности в системе Lab.
Метод коррекции яркости и цветности переэкспонированных областей включает следующие шаги [11]: сначала заполнение переэкспонированной области средним значением яркости пикселей окружающих областей, а затем сглаживание изображения с помощью фильтра Гаусса. Далее сглаженное изображение накладывается на исходное изображение с использованием взвешенного суммирования для получения скорректированного изображения. В табл. 5 показаны результаты коррекции переэкспонированных областей с помощью этого метода. По результатам видно, что небольшие по размеру переэкспонированные зоны улучшены. Для оценки метода коррекции переэкспонированных областей был использован описанный метод субъективной оценки. Здесь наблюдатель оценивает качество исходного изображения в сравнении с обработанным. Диапазон оценок от -3 до 3. Оценка 3 означает, что обработанное изображение лучше, а -3 - что лучше исходное изображение.
Таким образом, для предобработки лапароскопических изображений целесообразно применять нелинейный метод коррекции контраста LTSNE с предварительной коррекцией переэкспонированных областей.
Синтез изображения. Для максимально информативной визуализации области флуорес-
Табл. 4. Результаты обнаружения переэкспонированных областей Tab. 4. Results of overexposed area detection
Таб. 5. Результаты коррекции переэкспонированных областей Tab. 5. Results of overexposed area correction
ценции, сегментированной на ИК-изображении, ее преобразуют в псевдоцветное изображение. Главная особенность формируемого псевдоцветного изображения - это соответствие яркостного контраста между областями с разными уровнями яркости флуоресценции на ИК-изображении цветовому контрасту между этими областями на псевдоцветном изображении.
Сформированное псевдоцветное изображе-
ние области флуоресценции накладывается на изображение, полученное в белом свете. Для синтезированного изображения значения ЯОБ-координат пикселей рассчитывают путем взвешенного суммирования ЯОБ-координат пикселей изображения в белом свете и ЯОБ-коор-динат псевдоцветного изображения.
Пусть изображение Л (изображение в белом свете) и изображение Б (псевдоцветное изоб-
ражение) с одинаковыми размерами М х N. А (/, у),А0 (/, у),Ав 0, у) и Вк(/, у), В0(/, у), Вв (г, у) - значения координат Я, О, В элемента (г, у) изображений А и В соответственно.
Синтезированное изображение Б может быть представлено как
FRO', j) =
FqO', j ) =
FbO', j) =
coeff^R (i, j ) + coeff2BR (i, j),
(i, j) с ROI;
ArO', j),(i, j) £ ROI;
coeff1AG (i, j) + coeff2BG (i, j),
(i, j) с ROI;
AG(i, j),(i, j) £ ROI;
coeff\AB (i, j ) + coeff2BB (i, j), (i, j) с ROI;
Ab (i, j), (i, j) £ ROI,
где coeffi и coeff2 - весовые коэффициенты; ROI - область поражения.
При формировании псевдоцветного изображения должны быть выполнены следующие требования: учтены свойства человеческого зрения и исключены потери информации о яркости флуоресценции в исходном ИК-изображении.
Под учетом свойств зрения понимают следующее. Во флуоресцентной области присутствуют пиксели разной яркости. Яркость и яр-костный перепад между фрагментами флуоресцентной области - это важная для диагностики информация. При замене области флуоресценции, представленной на ИК-изображении в градациях серого, на псевдоцветное изображение необходимо, чтобы визуальный эффект от яркостного перепада соответствовал визуальному эффекту от заменяющего его цветового перепада на псевдоцветном изображении.
Для удовлетворения этого условия был предложен алгоритм создания псевдоцветных изображений на основе метрики цветового различия CIEDE 2000 [12], которая с 2001 г. рекомендована Международной комиссией по освещению (CIE) для расчета цветовых различий. Расчет цветового расстояния согласно CIEDE 2000 максимально соответствует особенностям зрения человека.
Алгоритм формирования псевдоцветного изображения области поражения состоит в сле-
дующем. Сегментируют область флуоресценции на ИК-изображении. Признаком для сегментации является яркость. Зона патологии имеет повышенную яркость по отношению к здоровым тканям. В [13, 14] были предложены методы анализа флуоресцентных изображений, обеспечивающие высокую точность сегментации области поражения. Метод [13] использован в данном исследовании для сегментации области интереса.
Сегментированную область делят на подобласти равной яркости - выполняют кластеризацию изображения. Для решения этой задачи использован алгоритм кластеризации K-средних [15].
Алгоритм K-средних - один из самых распространенных алгоритмов кластеризации, где наиболее важным шагом является определение значения числа кластеров k. Для оценки необходимого при формировании псевдоцветного изображения числа кластеров k применен метод "локтя" [16]. В этом методе для определения числа кластеров k реализуют перебор от 1 до n, для всех значений k вычисляют сумму квадратов расстояний от каждого элемента кластеризации (пикселя) до центра кластера, к которому он принадлежит (сумма квадратов внутрикластерных расстояний - Sum):
n 2
Sum = X X (xi -mk) ,
k=1i cCk
где Ck - k-й кластер; xi - яркость i-го пикселя; mk - яркость, соответствующая центру k-го кластера. По мере увеличения k сумма квадратов внутрикластерных расстояний уменьшается. При этом кривая зависимости суммы квадратов внутрикластерных расстояний Sum от числа кластеров k имеет точку перегиба (точку локтя), в которой происходит резкое замедление скорости уменьшения значения Sum. Значение k, соответствующее точке локтя, принимают как искомое значение числа кластеров k. На рис. 4, б показана зависимость суммы квадратов внутрикластерных расстояний Sum от различного числа кластеров для изображения, приведенного на рис. 4, а. Визуально точка локтя соответствует k = 6.
Для автоматического расчета точки локтя используют производные. Вычисляют производную первого и второго порядка функции
га в
8 2
К н
^ о
& Я
3 й
I &
& 0
£
га
2 3
X
¥ 2.5
Й
& 2 8 2 § 1.5
га
л i и 1
G
| 0.5
о
8 0 К
о
£
0 2 4 6 8 10 12 Число кластеров а б
Рис. 4. Результат метода локтя: а - исходные изображения; б - зависимость суммы квадратов внутрикластерных расстояний от числа кластеров
Fig. 4. Results obtained by the elbow method: a - original images; б - dependence of the sum of squares of intra-cluster distances with the number of clusters
4
14 16 18
10 12 Число кластеров
14 16
« 3
« л
О о
С 2
о Л i 8 1 га
SO
К
о о £ 2
8
10
12
14
16
Число кластеров б
Рис. 5. Результат метода локтя: а - график производной первого порядка; б - график производной второго порядка Fig. 5. Results obtained by the elbow method: a - graph of the first derivative; б - graph of the second derivative
зависимости суммы квадратов внутрикластер-ных расстояний от числа кластеров. Поскольку разница в количестве кластеров равна 1, формула имеет вид
Sum' (k) = Sum (k +1) - Sum (k);
Sum" (k) = Sum (k -1) + Sum (k + 1) - 2Sum (k).
На рис. 5 представлены графики производной первого и второго порядка для зависимости Sum (k), приведенной на рис. 4, б. Производная первого порядка показывает скорость изменения функции. По мере увеличения значения k скорость изменения функции, приведенной на рис. 4, б, продолжает медленно уменьшаться, стремясь к 0. График второй производной (рис. 5, б) имеет колебания около k = 6. Когда наименьшее значение k удовлетворяет условию Sum"(k +1) > Sum"(k), соответствующее зна-
чение k принимают как оптимальное число кластеров. В данном случае k = 6. Видно, что результаты совпадают с оценкой, сделанной визуально по графику (рис. 5, б).
Определив число кластеров, применяют метод k-средних.
После решения задачи кластеризации получают разбиение области флуоресценции на подобласти близкой яркости. На основе этого разбиения формируют псевдоцветное изображение в соответствии со следующим алгоритмом.
1. Переходят в пространство Lab и вычисляют среднее значение яркости Lj для каждой подобласти j, j = 1, 2, ..., K.
2. Вычисляют метрику CIEDE 2000 для оценки контраста между подобластями на основе среднего значения яркости каждой области
5
4
3
2
1
4
6
а
•Ф
-3
-2
-1
0
1
2
3
а б в
Рис. 6. Результаты слияния изображений : а - исходное NIR-изображение; б - результат псевдоцветного изображения;
в - синтезированное изображение
Fig. 6. Results of image fusion: a - original NIR image; б - result of pseudo-color image; в - result of image fusion
dLjj = CIEDE 2000 (LhLj),
j = i +1, i = 1,2,..., K-1
3. Для каждой подобласти выбирается такой цвет, чтобы цветовое расстояние между подобластями i и j с цветами color,- =( Ri Gi ,Бу-) и
colorj =( R jG j ,B j), рассчитанное по метрике
CIEDE 2000 dCij = CIEDE 2000 (colori, color,),
соответствовало вычисленному значению dLjj
между этими подобластями. Это предполагает решение задачи минимизации, сформулированной следующим образом:
K I \2
min X (dLij - dCij ) . colorj ,colorj j=1
Следует отметить, что для больших значений dLjj при определении dCj используют
оценку цветового расстояния CIE76.
На рис. 6 показано псевдоцветное изображение, сформированное предложенным алгоритмом, и результат его наложения на изображение, полученное в белом свете.
В общем случае перед наложением псевдоцветного изображения на изображение, полученное в белом свете, необходимо выполнить их совмещение. Реализуют пространственное преобразование исходных изображений таким образом, чтобы характерные точки, соответствующие на них одному и тому же положению, совпадали. На практике камеры разных спектральных диапазонов закреплены и смещения между ними известны. Это значительно упрощает процедуру совмещения, поэтому в данной статье этот шаг подробно не рассматривается.
Рис. 7. Метод субъективной оценки для оценки синтезированного изображения
Fig. 7. Subjective evaluation method for evaluating the synthesized image
Результаты экспериментального исследования. В экспериментальном исследовании были использованы реальные лапароскопические изображения и проведена их оценка экспертами - восьмью врачами-эндоскопистами. В проведенных экспериментах эксперты сравнивали одновременно предъявленные флуоресцентные изображения и изображения, полученные в белом свете, и синтезированные изображения. Вид теста представлен на рис. 7. Использована шкала -3, 3 для оценки качества изображения и точности локализации поражения. Оценка 3 означает, что синтезированное изображение лучше, а -3 - лучше исходные изображения.
Результаты, полученные на каждом шаге при использовании предложенного метода визуализации представлены на рис. 8. На рис. 8, а, б показаны исходные изображения. На рис. 8, в, г показаны результаты после предобработки флуоресцентных изображений и изображений, получен-
д
Рис. 8. Пошаговые результаты при использовании метода: а - исходное VIS-изображение; б - исходное NIR-изображение; в - результат предобработки VIS-изображения; г - результат сегментации NIR-изображения (ROI); д - синтезированное изображение; е - результат псевдоцветного изображения
Fig. 8. Step-by-step results when using the method: a - original VIS image; б - original NIR image; в - result of VIS image preprocessing; г - result of NIR image segmentation (ROI); д - result of fusion image; е - result of pseudo-color image
ных в белом свете. На рис. 8, е показан результат сегментации области поражения. Рис. 8, д демонстрирует синтезированное изображение.
В табл. 6 представлены результаты обработки и экспертная оценка.
При субъективной оценке по рис. 8, а, б, д итоговый средний результат составляет 2.8. Эта оценка подтверждает эффективность предложенного метода.
Заключение. Разработан метод визуализации мультиспектральных данных, объединяющий изображения, полученные в белом свете и свете флуоресценции. Основой метода является сегментация области флуоресценции на ИК-изображении и формирование на ее основе псевдоцветного изображения, учитывающего особенности зрения человека. Формирование
псевдоцветного изображения области поражения выполнено с учетом метрики С1ЕБЕ 2000. Дополнительно в рамках проведенных исследований была оценена эффективность применения современных методов коррекции яркост-ной и контрастной характеристик для повышения визуального качества изображений, полученных в белом свете. Согласно полученным данным наиболее результативным является метод Ь8ТКЕ с предварительной коррекцией переэкспонированных областей.
Синтезированные предложенным методом изображения были предъявлены врачам-эндоскопистам для экспертной оценки. Выполненное по методу попарного сравнения исследование показало, что большинство врачей-эндоскопистов предпочли изображение, синте-
б
а
е
зированное предложенным методом, одновре- свете и свете флуоресценции. Средняя оценка менной визуализации изображений в белом предпочтения составляет 2.6.
Список литературы
Табл. 6. Результаты при использовании метода Tab. 6. Results obtained using the proposed method
1. Determination of the surgical margin in laparoscopic liver resections using infrared indocyanine green fluorescence / T. Aoki, M. Murakami, T. Koizumi, K. Matsuda, A. Fujimori, T. Kusano, Y Enami, S. Goto, M. Watanabe, K. Otsuka // Langenbeck's Archives of Surgery. 2018. Vol. 403. P. 671-680. doi: 10.1007/s00423-018-1685-y
2. The clinical use of indocyanine green as a near-infrared fluorescent contrast agent for image-guided oncologic surgery / B. E. Schaafsma, S. Mieog, M. Hutteman, J. R. van der Vorst, P. J. K. Kuppen, C. W. G. M. Lowik, J. V Frangioni, C. J. H. van de Velde, A. L. Vahrmeijer // J. of Surgical Oncology. 2011. Vol. 104, iss. 3. P. 323-332. doi: 10.1002/jso.21943
3. Clinical applications of indocyanine green (ICG) enhanced fluorescence in laparoscopic surgery / L. Boni,
G. David, A. Mangano, G. Dionigi, S. Rausei, S. Spampatti, E. Cassinotti, A. Fingerhut // Surgical endoscopy. 2015. Vol. 29. P. 2046-2055. doi: 10.1007/s00464-014-3895-x
4. Real-time navigation for liver surgery using projection mapping with indocyanine green fluorescence: development of the novel medical imaging projection system / H. Nishino, E. Hatano, S. Seo, T. Nitta, T. Saito, M. Nakamura, K. Hattori, M. Takatani,
H. Fuji, K. Taura, S. Uemoto // Annals of surgery. 2018. Vol. 267, № 6. P. 1134-1140. doi: 10.1097/SLA.0000000000002172
5. The role of indocyanine green fluoroscopy for intraoperative bile duct visualization during laparo-scopic cholecystectomy: an observational cohort study
in 70 patients / P. C. Ambe, J. Plambeck, V Fernandez-Jesberg, K. Zarras // Patient Safety in Surgery. 2019. Vol. 13. P. 1-7. doi: 10.1186/s13037-019-0182-8
6. Salem N., Malik H., Shams A. Medical image enhancement based on histogram algorithms // Procedia Computer Science. 2019. Vol. 163. P. 300-311. doi: 10.1016/j.procs.2019.12.112
7. Arigela S., Asari V. K. A locally tuned nonlinear technique for color image enhancement // WSEAS Transactions on Signal Processing. 2008. Vol. 4, iss. 8. P. 514-519.
8. Automatic segmentation and inpainting of specular highlights for endoscopic imaging / M. Arnold, A. Ghosh, S. Ameling, G. Lacey // EURASIP J. on Image and Video Processing. 2010. Vol. 2010. P. 1-12. doi: 10.1155/2010/814319
9. Correcting over-exposure in photographs / D. Guo, Y. Cheng, S. Zhuo, T. Sim // IEEE Computer Society Conf. on Computer Vision and Pattern Recognition. San Francisco, USA, 13-18 June 2010. IEEE, 2010. P. 515-521. doi: 10.1109/CVPR.2010.5540170
10. A new human perception-based over-exposure detection method for color images / Y-J. Yoon, K.-Y Byun, D.-H. Lee, S.-W. Jung, S.-J. Ko // Sensors. 2014. Vol. 14, iss. 9. P. 17159-17173. doi: 10.3390/s140917159
11. Automatic segmentation and inpainting of specular highlights for endoscopic imaging / M. Arnold, A. Ghosh, S. Ameling, L. Gerard // EURASIP Journal on Image and Video Processing. 2010. Vol. 2010. P. 1-12. doi: 10.1155/2010/814319
12. Luo M. R., Cui G., Rigg B. The development of the CIE 2000 colour-difference formula: CIEDE2000 // Color Research & Application. 2001. Vol. 26, iss. 5. P. 340-350. doi: 10.1002/col.1049
13. Обухова Н. А., Синь Ян. Автоматический метод сегментации флуоресцентных изображений, полученных в ближнем инфракрасном диапазоне // Изв. вузов России. Радиоэлектроника. 2022. Т. 25, № 6. С. 40-49. doi: 10.32603/1993-8985-202225-6-40-49
14. Обухова Н. А., Мотыко А. А. Автоматический метод анализа мультиспектральных кольпоско-
пических изображений для телевизионной системы диагностики рака шейки матки // Изв. вузов России. Радиоэлектроника. 2015. № 6. P. 24-33.
15. Sinaga K. P., Miin-Shen Yang. Unsupervised K-means clustering algorithm // IEEE access. 2020. Vol. 8. P. 80716-80727. doi: 10.1109/ACCESS.2020.2988796
16. Integration K-means clustering method and elbow method for identification of the best customer profile cluster / M. A. Syakur, B. K. Khotimah, E. M. Rochman, B. D. Satoto // IOP conf. series: materials science and engineering. 2018. Vol. 336. Art. 012017. doi: 10.1088/1757-899X/336/1/012017
Информация об авторе
Ян Синь - магистр по направлению "Радиотехника" (2020), аспирантка кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина), обучающаяся в China Scholarship Council (CSC) Министерства образования Китая. Автор трех научных публикаций. Сфера научных интересов - цифровая обработка изображений. Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Профессора Попова, д. 5 Ф, Санкт-Петербург, 197022, Россия E-mail: [email protected]
References
1. Aoki T., Murakami M., Koizumi T., Matsuda K., Fujimori A., Kusano T., Enami y, Goto S., Watanabe M., Otsuka K. Determination of the Surgical Margin in Laparoscopic Liver Resections Using Infrared Indocyanine Green Fluorescence. Langenbeck's Archives of Surgery. 2018, vol. 403, pp. 671-680. doi: 10.1007/s00423-018-1685-y
2. Schaafsma B. E., Mieog S., Hutteman M., van der Vorst J. R., Kuppen P. J. K., Lowik C. W. G. M., Frangioni J. V, van de Velde C. J. H., Vahrmeijer A. L. The Clinical Use of Indocyanine Green as a Near-Infrared Fluorescent Contrast Agent for Image-Guided Oncologic Surgery. J. of Surgical Oncology. 2011, vol. 104, iss. 3, pp. 323-332. doi: 10.1002/jso.21943
3. Boni L., David G., Mangano A., Dionigi G., Rausei S., Spampatti S., Cassinotti E., Fingerhut A. Clinical Applications of Indocyanine Green (ICG) Enhanced Fluorescence in Laparoscopic Surgery. Surgical Endoscopy. 2015, vol. 29, pp. 2046-2055. doi: 10.1007/s00464-014-3895-x
4. Nishino H., Hatano E., Seo S., Nitta T., Saito T., Nakamura M., Hattori K., Takatani M., Fuji H., Taura K., Uemoto S. Real-Time Navigation for Liver Surgery Using Projection Mapping with Indocyanine Green Fluorescence: Development of the Novel Medical Imaging Projection System. Annals of surgery. 2018, vol. 267, no. 6, pp. 1134-1140. doi: 10.1097/SLA.0000000000002172
5. Ambe P. C., Plambeck J., Fernandez-Jesberg V., Zarras K. The Role of Indocyanine Green Fluoroscopy for Intraoperative Bile Duct Visualization during Lapa-roscopic Cholecystectomy: an Observational Cohort Study in 70 Patients. Patient Safety in Surgery. 2019, vol. 13, pp. 1-7. doi: 10.1186/s13037-019-0182-8
6. Salem N., Malik H., Shams A. Medical Image Enhancement Based on Histogram Algorithms. Proce-
dia Computer Science. 2019, vol. 163, pp. 300-311. doi: 10.1016/j.procs.2019.12.112
7. Arigela S., Asari V. K. A Locally Tuned Nonlinear Technique for Color Image Enhancement. WSEAS Transactions on Signal Processing. 2008, vol. 4, iss. 8, pp. 514-519.
8. Arnold M., Ghosh A., Ameling S., Lacey G. Automatic segmentation and inpainting of specular highlights for endoscopic imaging. EURASIP J. on Image and Video Processing. 2010, vol. 2010, pp. 1-12. doi: 10.1155/2010/814319
9. Guo D., Cheng Y., Zhuo S., Sim T. Correcting Over-Exposure in Photographs. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition. San Francisco, USA, 13-18 June 2010. IEEE, 2010, pp. 515-521. doi: 10.1109/CVPR.2010.5540170
10. Yoon y-J., Byun K.-Y., Lee D.-H., Jung S.-W., Ko S.-J. A New Human Perception-Based Over-Exposure Detection Method for Color Images. Sensors. 2014, vol. 14, iss. 9, pp. 17159-17173. doi: 10.3390/s140917159
11. Arnold M., Ghosh A., Ameling S., Gerard L. Automatic Segmentation and Inpainting of Specular Highlights for Endoscopic Imaging. EURASIP J. on Image and Video Processing. 2010, vol. 2010, pp. 112. doi: 10.1155/2010/814319
12. Luo M. R., Cui G., Rigg B. The Development of the CIE 2000 Colour-Difference Formula: CIEDE2000. Color Research & Application. 2001, vol. 26, iss. 5, pp. 340-350. doi: 10.1002/col.1049
13. Obukhova N. A., Yang X. Automatic Method for Segmentation of Fluorescent Images Obtained in the Near-Infrared Region. J. of the Russian Universities. Radioelectronics. 2022, vol. 25, no. 6, pp. 40-49. doi: 10.32603/1993-8985-2022-25-6-40-49 (In Russ.)
14. Obukhova N. A., Motyko A. A. Automatic Method of Colposcopic Multi-Spectral Images Analysis for Television Systems Diagnostics of Cervical Cancer. J. of the Russian Universities. Radioelectronics. 2015, no. 6, pp. 24-33. (In Russ.)
15. Sinaga K. P., Miin-Shen Yang. Unsupervised K-Means Clustering Algorithm. IEEE Access. 2020,
vol. 8, pp. 80716-80727. doi: 10.1109/ACCESS.2020. 2988796
16. Syakur M. A., Khotimah B. K., Rochman E. M., Satoto B. D. Integration K-Means Clustering Method and Elbow Method for Identification of the Best Customer Profile Cluster. IOP Conf. Series: Materials Science And Engineering. 2018, vol. 336, art. 012017. doi: 10.1088/1757-899X/336/1/012017
Information about the author
Xin Yang, Master in Radio Engineering (2020), Postgraduate Student of the Department of Television and Video Equipment of Saint Petersburg Electrotechnical University. Postgraduate student of Education Ministry China Scholarship Council (CSC). The author of 3 scientific publications. Area of expertise:digital image processing. Address: Saint Petersburg Electrotechnical University, 5 F, Professor Popov St., St Petersburg 197002, Russia E-mail: [email protected]
