CC BY
33
Заключение
Решение поставленной задачи приводит к существенному уменьшению влияния различных источников субъективных ошибок на процесс диагностики. В рассматриваемой СППР (см. рисунок) [1] реализовано около 10 видов операций, ранее представляемых в виде эвристик. Благодаря им значительно снизилось число субъективных факторов, влияющих на достоверность диагностического решения.
|Л и т е р а т у р а |
1. Локтюхин В. Н., Черепнин А. А. Поддержка принятия решений на основе нейронечеткой технологии при диа-
гностике заболеваний желудочно-кишечного тракта // Биотехносфера. 2009. № 2. С. 20-23.
2. Локтюхин В.Н., Михеев А.А., Мельник О.В. и др. Ней-робионический подход к построению медико-измерительных систем // Биомедицинская радиоэлектроника. 2009. № 7. С. 62-68.
3. Абрамова Н. А. Логический подход к анализу достоверности идентификации // Проблемы управления. 2005. № 5. С. 77-82.
4. Анфилатов В. С., Емельянов А. А., Кукушкин А. А. Системный анализ в управлении. М.: Финансы и статистика, 2002. 332 с.
5. Большая советская энциклопедия. Т. 1-30. М.: Сов. энциклопедия, 1969-1978. Т. 27. 1977. С. 194.
6. Попечителев Е. П. Методы медико-биологических исследований. Системные аспекты: Учеб. пос. Житомир: ЖИТИ, 1997. 186 с.
УДК 616-73.788:519.673:004.942
Я. С. Пеккер, канд. техн. наук, профессор, К. С. Бразовский, канд. мед. наук, А. В. Фокин, канд. техн. наук,
Национальный исследовательский Томский политехнический университет
Применение высокопроизводительных параллельных вычислений для решения задач электроимпедансной томографии
Ключевые слова: электроимпедансная томография, высокопроизводительные вычисления
В статье представлен программный комплекс для параллельного решения вычислительных задач, которые возникают при реконструкции элек-троимпедансных изображений. Приведена структура специализированного программного комплекса и результаты тестовых испытаний.
Введение
Электроимпедансная томография (ЭИТ) — относительно новый метод визуализации внутренней структуры биологических объектов, основанный на измерении пассивных электрических свойств живых тканей [1]. Среди известных методов томографической визуализации ЭИТ занимает особое место, обусловленное специфическими особенностями
получаемых изображений: электроимпедансные изображения имеют низкое пространственное разрешение, но высокую чувствительность к содержанию электролитов в тканях. Аппаратура для получения изображений ЭИТ имеет небольшие габариты, невысокую стоимость и может применяться в условиях ургентной медицины, в палатах интенсивной терапии, а также во время хирургических операций. Однако для реконструкции электроимпеданс-ных изображений необходимо применять сложные вычислительные методы, которые требуют разработки специализированных алгоритмов решения основных задач ЭИТ. В настоящее время остаются актуальными следующие задачи электроимпедансной визуализации:
• создание адекватных математических моделей исследуемых органов и систем;
• разработка эффективных алгоритмов реконструкции трехмерных изображений;
21
Медицинские компьтерные технологии
• накопление клинического материала для создания атласа электроимпедансных изображений.
Одно из самых существенных ограничений, которое препятствует широкому внедрению ЭИТ в клиническую практику, — очень большой объем вычислений, который необходим для получения сколько-нибудь информативных изображений. Особенно остро проблема нехватки вычислительных ресурсов возникает при решении задач трехмерной реконструкции, которые представляют наибольший интерес для клинического применения. Возможный способ достижения высокой производительности вычислений при небольших финансовых затратах заключается в организации вычислительного кластера. Такой подход хорошо зарекомендовал себя при решении различных задач биоинформатики и биоинженерии, однако пока не нашел широкого применения в ЭИТ. Известны отдельные публикации [2, 3] о реализации параллельных алгоритмов для реконструкции электроимпедансных изображений, их авторы отмечают высокую эффективность использования недорогих вычислительных узлов и существенный рост производительности.
Мы провели детальный анализ возможности распараллеливания математических задач ЭИТ и разработали специализированную структуру, ориентированную на решение специфических задач трехмерной реконструкции электроимпедансных изображений. Цель работы состояла в разработке эффективной параллельной среды для решения задач электроимпеданс-ной томографии с учетом специфических особенностей кластерного решения.
Формулировка проблемы
Различают две типичные задачи ЭИТ:
• нахождение разности электрических потенциалов на поверхности биологического объекта при заданном распределении удельной проводимости о и конфигурации зондирующего тока I (прямая задача);
• реконструкция неизвестного распределения проводимости о(х, у, г) при заданной конфигурации зондирующего тока и значениях разности потенциалов на поверхности биологического объекта (обратная задача).
Обе задачи решаются исключительно численными методами из-за сложной формы поверхности большинства биологических объектов и неоднородного распределения проводимости. Решение прямой задачи, как правило, проводится на основе метода конечных элементов (МКЭ) [4], в результате исходная задача эллиптического уравнения в частных производных сводится к многократному решению разреженной системы линейных уравнений с различными правыми частями.
Математическая формулировка прямой задачи ЭИТ [5] заключается в решении уравнений электромагнитного поля в статическом приближении (1):
V(а(х, у, z)Уф);
Кл = фэл + RC а (х У'z) ^;
h.i = J а(х' у, z)^dS*i; (1)
Э.1
Е h.i = о
г
где V — оператор Лапласа; ф — потенциал электрического поля; о(х, у, z) — распределение удельной проводимости в изучаемом биообъекте; Vg i — потенциал электрического поля на ¿-м электроде площадью S3_ f; Rc — контактное сопротивление электродов; 1Э г — ток, протекающий через ¿-й электрод; п — нормаль к поверхности в месте расположения электрода.
В состав исходных данных для решения задачи входят математическая модель исследуемой области (мы используем конечно-элементную модель с элементами в виде тетраэдров), размер и расположение электродов на поверхности исследуемой области, а также конфигурация зондирующего тока. Для получения однозначного решения требуется, чтобы суммарное значение тока, подаваемого на биообъект, было равно нулю, а один из электродов имел известный потенциал, например нулевой. В результате применения метода конечных элементов исходная задача сводится к системе линейных алгебраических уравнений с положительно определенной симметричной матрицей. В процессе решения прямой задачи, когда имеется заданное распределение проводимости, необходимо найти распределение потенциала электрического поля при различных токовых конфигурациях.
Обратная задача ЭИТ сводится к нахождению неизвестного пространственного распределения удельной электрической проводимости по результатам измерения электрического напряжения на поверхности биологического объекта (2).
а(х, у, г) = F^V; min 0,5 |F(а) - V\ = 0,5 (F(а) - V)T (F(а) - V),
где а(х, у, z) — распределение удельной проводимости в изучаемом биообъекте; V— измеренные значения электрического напряжения на поверхностных электродах; F(g) — решение прямой задачи (1) при некотором распределении удельной проводимости а(х, у, z). Практически решение обратной задачи сводится к итеративной минимизации разницы между измеренными и вычисленными значениями электрического напряжения в точках фиксации электродов. Реконструированное электроимпедансное изображение представляет собой трехмерное пространственное распределение удельной проводимости внутри биологического объекта.
Решение обратной задачи возможно на основе различных методов оптимизации (Ньютона, Ньютона—
Гаусса, сопряженных градиентов, генетического алгоритма, нейронных сетей [6] и т. д.). Вне зависимости от применяемого метода для достижения хорошего результата реконструкции требуется многократное решение серии прямых задач при различных распределениях удельной проводимости а(х, у, z).
Таким образом, для решения задач ЭИТ ключевым вычислительным компонентом является нахождение разности электрических потенциалов на поверхности биообъекта при различных конфигурациях зондирующего тока и распределениях проводимости. Эффективность, точность и быстродействие всего программного комплекса будет определяться качеством реализации алгоритма решения прямой задачи.
Результаты работы
Для уменьшения затрат времени на решение прямой задачи можно задействовать несколько способов:
• применение оптимизированных алгоритмов и оптимизирующих компиляторов с учетом архитектуры конкретного процессора, на котором решается задача;
• использование специализированных аппаратных ускорителей (GPU, Graphics Processing Unit, технологии CUDA (www.nvidia.com), ATI Stream (ati.amd.com), Direct Computing (Microsoft) и др.
• организацию вычислений на кластере из персональных компьютеров на основе одного из стандартов распределенных вычислений (например, Message Passing Protocol, MPI).
У каждого способа есть свои преимущества и недостатки, поэтому выбирать его нужно с учетом целей и задач организации вычислений (табл. 1). Важным параметром является стоимость вычислений, поскольку основным достоинством ЭИТ является невысокая цена. Следует предусмотреть возможность переноса программ на различные платформы
Таблица 1 Сравнение различныхспособов
уменьшения времени счета
Критерий Алгоритм + Аппаратный ускоритель Кластер
GPU
Сложность разра- Высокая Средняя Средняя
ботки и освоения
Стоимость Низкая Средняя Средняя
Переносимость Низкая Низкая Высокая
Стоимость содер- Нулевая Низкая Средняя
жания и обслужи-
вания
Универсальность Нулевая Высокая Высокая
с минимальными затратами. Кроме того, приходится принимать во внимание организационные аспекты проведения научных исследований в области ЭИТ. Например, в вузе, как правило, уже имеются компьютерные классы на базе архитектуры х86, объединенные в компьютерную сеть. В данном случае кластер будет решением с нулевой стоимостью при условии использования распространяемого по бесплатной лицензии программного обеспечения. Несмотря на впечатляющие результаты суперкомпьютеров на базе Nvidia GPU Tesla, такое решение очень специфично и не позволит использовать разработанные программные средства в других системах для параллельных вычислений. Еще одна особенность, которую мы приняли во внимание при выборе способа организации параллельных вычислений, — это внедрение результатов в учебный процесс на кафедре медицинской и биологической кибернетики Сибирского государственного медицинского университета. Проанализировав несколько вариантов [7], мы пришли к выводу, что в наших условиях оптимальным способом организации параллельных вычислений будет кластер на базе учебных компьютеров с архитектурой х86. В настоящее время такие клас-
Рис. 1 \ Архитектура параллельного программного обеспечения для решения прямой задачи ЭИТ
2!
Медицинские компьтерные технологии
Рис. 2 | Распределение ресурсов кластера при решении обратной задачи
теры известны как Beowulf (www.beowulf.org), и для них характерны следующие особенности:
• разная аппаратура узлов;
• сетевое соединение FastEthernet или Gigabit-Ethernet;
• использование узлов не только для организации кластера.
Разумеется, такая структура не позволяет достичь предельных величин производительности, однако с учетом нулевой стоимости и минимальных затрат на содержание собственно кластера данное решение представляется оптимальным для вычислительной сети отдельной кафедры или исследовательского отдела. Представленный подход позволяет успешно разрабатывать и отлаживать параллельные программы, выполнять достаточно сложные и объемные вычисления. Если масштабность задачи превышает возможности кластера, то имеющийся код легко адаптируется к специализированным суперкомпьютерным системам (например, «СКИФ»).
Естественный параллелизм в решении прямой задачи ЭИТ может быть реализован путем распределения по отдельным узлам программ, которые вычисляют распределение потенциала для небольшого количества (не более 10) токовых конфигураций. Такое решение для кластеров Beowulf имеет ряд преимуществ, обусловленных невысокой скоростью межузлового взаимодействия. Если классический вариант параллельного решения системы линейных уравнений предполагает интенсивный обмен между узлами, то предложенное нами решение в минимальной степени нагружает коммуникационный уровень организации кластера. Архитектура специализированного программного обеспечения представлена на рис. 1.
Кластер состоит из 30 персональных компьютеров на базе процессоров Pentium IV с тактовой частотой 2,8 ГГц с оперативным запоминающим устройством 512,0 Мб. Коммуникационная среда Fast
Ethernet со скоростью передачи данных 100 Мб/с. Программное обеспечение разработано на языке Free Pascal с использованием библиотеки MPICH2. Для параллельного решения системы линейных алгебраических уравнений (СЛАУ) использовалась библиотека SCALAPACK (http://www.netlib.org/scalapack/). На рис. 2 представлена подробная схема распределения задач по вычислительным узлам для 21 электрода, которые формируют 180 независимых токовых конфигураций.
Мы провели сравнительное исследование последовательной и параллельной реализаций вычислений. Исходные данные представлены конечно-элементной моделью из 98 242 узлов и более 300 тыс. элементов, система линейных уравнений имеет разреженную структуру и содержит около 500 тыс. ненулевых элементов. В табл. 2 приведены крите-
Таблица 2 Сравнительные характеристики последовательной и параллельной
реализаций реконструкции ЭИТ изображения
Реализация
Критерий сравнения последовательная параллельная
Подготовка исходных данных, с 3,5 3,5
Передача данных подзадачам, с 0 16,0
Решение системы линейных уравнений (прямая задача), с 2160,0 108,0
Передача результатов решения прямой задачи, с 0 5,0
Вычисление погрешности, коррекция решения, с 94,0 94,0
Формирование итогового изображения, с 130,0 14,5
Общее время вычислений, с 2387,5 241,0
Заключение
Математическая формулировка основных задач электроимпедансной визуализации позволяет эффективно распараллеливать вычисления и применять недорогие кластерные решения, базирующиеся на доступных компьютерах и коммуникационной среде. При этом сложность программной реализации возрастает незначительно, что дает возможность широко использовать предложенное решение как в научных, так и в образовательных целях для подготовки медицинских специалистов, владеющих навыками решения задач на высокопроизводительных компьютерах с параллельной архитектурой.
| Л и т е р а т у р а |
Таблица 3 Сравнение эффективности вычисления двух реализаций параллельного решения прямой задачи электроимпедансной томографии
Параметр Решение всех СЛАУ для всех токовых конфигураций
параллельное последовательное
Загрузка, %:
центрального процессора 80 100
коммуникационнои среды 100 30
Задержки передачи пакетов
по сети, мкс 10-30 1-3
Время вычислений для
16 токовых конфигураций, с 140 15
рии сравнения и результаты. При параллельной реализации удалось снизить время вычисления почти в десять раз.
Кроме того, сравнивалась эффективность разных реализаций параллельных вычислений в нашем кластере. Результаты исследования представлены в табл. 3. Невысокая эффективность параллельного решения системы линейных алгебраических уравнений обусловлена неоптимальностью сетевой коммуникационной среды, нет существенного выигрыша, если сопоставлять его с последовательной реализацией, по сравнению с одним вычислительным узлом прирост производительности составил не более 20 %. Значительное увеличение эффективности может быть достигнуто за счет проблемно-ориентированного распараллеливания задачи (один электрод — один вычислительный узел). При этом резко снижается нагрузка на коммуникационную среду, которая является «слабым местом» кластеров на основе сетей общего назначения. Специфические вычислительные особенности задач ЭИТ позволяют эффективно использовать недорогие кластерные решения для моделирования и реконструкции изображений.
1. Barber D. С., Brown В. Н. Applied potential tomography // Journal of Physics E: Scientific Instruments. 1984. Vol. 17. P. 723-733.
2. Rolnik V. P., Seleghim P. Jr. A specialized genetic algorithm for the electrical impedance tomography of two-phase flows // Journal of the Brazilian Society of Mechanical Sciences and Engineering. 2006. Vol. 28, N 4. P. 378-390.
3. Fritschy J., Horesh L., Holder D. S. et al. Using the GRID to improve the computation speed of Electrical Impedance Tomography (EIT) reconstruction algorithms // Physiological Measurements / Institute of Physics. 2005. Vol. 26, N 2. P. 209-262.
4. Vauhkonen P. J., Vauhkonen M., Savolainen T. et al. Three-dimensional electrical impedance tomography based on the complete electrode model // IEEE Transactions on Biomedical Engineering. 1999. Vol. 46, N 9. P. 1150-1160.
5. Пеккер Я. С., Бразовский К. С., Усов В. Ю. и др. Электроимпедансная томография. Томск: Изд-во науч.-техн. литературы, 2004. С. 190.
6. Корженевский А. В. Использование искусственных нейронных сетей для решения обратных задач электроимпедансной и магнитоиндукционной томографии // Журнал радиоэлектроники. 2001. № 11. Режим доступа: http://jre.cplire.ru/ jre/dec01/index_e.html. Дата обращения: 01.09.2010.
7. Сбитнев Ю. Практическое руководство по параллельным вычислениям: Сайт. Режим доступа: http://cluster.linux-ekb.info. Дата обращения: 01.09.2010.
