CC BY
30
2
Приборостроение, метрология и информационно-измерительные приборы и системы
УДК 57.087, 004.771
Е. А. Агапова, Д. А. Добролюбова, А. В. Самородов
Телемедицинская система для удаленных online-консультаиий в области микроскопии биомедицинских препаратов
Ключевые слова: телемедицинская система, автоматизированный микроскоп, удаленное управление, биомедицинский препарат.
Keywords: telemedicine system, automatized microscope, remote control, biomedical specimen.
Рассмотрено современное состояние телемедицинских систем для удаленных консультаций в области микроскопии биомедицинских препаратов. Предложена классификация телемедицинских систем по типу организации консультации. Разработана структура системы, обеспечивающая удаленное управление автоматизированным микроскопом и отличающаяся возможностью проведения телеконсультаций в условиях низкой скорости интернета. Выполнена практическая реализация экспериментального образца телемедицинской системы и проведено исследование веб-приложения для удаленного управления микроскопом.
Введение
По данным Международного союза по борьбе с раком (International Union Against Cancer) от 10 до 20 % случаев морфологической диагностики опухолей требуют так называемого второго мнения [1]. Для получения консультации необходимо обеспечить эксперту-консультанту возможность просмотра всего исследуемого образца. Традиционно для получения удаленной консультации выполняется доставка биомедицинских препаратов эксперту. Однако такой способ сопряжен с временными затратами и риском утери препарата, поэтому в последние двадцать лет в связи с активным развитием информационных технологий и элементной базы для систем цифровой микроскопии (СЦМ) стали появляться телемедицинские системы для удаленных консультаций в этой области. Проведенные к настоящему времени сравнительные исследования точности постановки диагноза с использованием различных биомедицинских препаратов не выявили статистически значимых отличий результатов
теледиагностики от результатов традиционных визуальных исследований под микроскопом [2]. Эти исследования позволили сформировать доказательную базу возможности применения телемедицинских систем на практике.
Технические решения для удаленных исследований биомедицинских препаратов можно классифицировать на две группы по типу организации консультации: online- и offline-системы.
Первой разработанной и наиболее простой реализацией offline-системы является регистрация изображений отдельных полей зрения с последующей пересылкой изображений эксперту. При таком подходе возникает риск неправильного выбора области препарата для исследования и теряется информация о пространственном расположении биологических структур. Преимуществом такого подхода являются минимальные требования к СЦМ: достаточно микроскопа с цифровой камерой.
Современные СЦМ обеспечивают возможность регистрации всей площади препарата с созданием виртуального слайда. Виртуальные слайды загружаются в базу данных, расположенную на сервере, доступ к которым обеспечивается через интернет для зарегистрированных экспертов. Ресурс может быть как общедоступным (чаще всего подобные решения используются для образовательных целей), так и защищенным системой авторизации от несанкционированного доступа. В настоящее время разработаны специализированные сайты и сервисы для телеконсультаций и обучения патологов, в том числе российские (см., например, обзор в статье [3]), создано значительное число образцов СЦМ, обеспечивающих возможность формирования и передачи виртуальных слайдов [4, 5].
Основными недостатками телемедицинских систем для offline-консультаций являются высокая стоимость аппаратного обеспечения и высокая чувствительность к качеству сканируемого препарата,
приводящая к значительной доле некачественных виртуальных слайдов, формируемых при рутинном использовании этих систем [6, 7]. Также предъявляются повышенные требования к скорости интернета для обеспечения возможности загрузки в базу данных, находящуюся на удаленном сервере, виртуальных слайдов объемом от 500 мегабайт до нескольких гигабайт.
Технические решения, основанные на online-подходе к организации телеконсультаций, предоставляют возможность эксперту самостоятельно управлять процессом исследования биомедицинского препарата. Системы для удаленных online-консультаций целесообразно использовать в лабораториях с малым и средним потоками анализов в силу высокой оперативности подобных консультаций и невысокой стоимости аппаратного обеспечения по сравнению с СЦМ для создания виртуальных слайдов. Для создания соответствующей телемедицинской системы могут быть использованы имеющиеся в лаборатории микроскопы, доос-нащенные цифровой камерой и (или) комплектом автоматизации [3].
Основной проблемой рутинного использования систем для удаленных online-консультаций является обеспечение гибкости телемедицинской системы и возможности ее применения в условиях относительно низкой скорости интернета. Одним из подходов к построению подобных систем является обеспечение формирования и передачи эксперту виртуального слайда с низким разрешением для выбора им областей интереса на биомедицинском препарате, которые затем автоматически сканируются с требуемым разрешением [8]. Развитием этого подхода является создание систем, обеспечивающих полностью интерактивное удаленное управление микроскопом и передачу эксперту изображений с цифровой камеры микроскопа в реальном режиме времени.
В настоящей статье представлены результаты разработки телемедицинской системы для online-консультаций в области микроскопии биомедицинских препаратов, доступной для широкого внедрения и обеспечивающей возможность работы при низкой скорости интернета.
Общая структура телемедицинской системы для online-консультаций
Концепция телемедицинской системы предполагает предварительное объединение информации о лабораториях, запрашивающих консультации, и консультационных центрах, организованных на базе федеральных лечебно-профилактических учреждений (ЛПУ) и профильных центров с квалифицированным персоналом, в единую базу данных, хранящуюся на сервере (рис. 1). Взаимодействие между лабораторией и экспертом осуществляется через специальное веб-приложение, размещенное на сервере, и выполняющее следующие функции:
• осуществление доступа к базе данных лабораторий и экспертов для зарегистрированных пользователей;
• установление контакта с экспертом (лабораторией) посредством закрытого чата или электронной почты;
• широковещательная рассылка уведомлений экспертам при необходимости экстренной консультации;
• в случае договоренности об удаленной консультации отправка эксперту так называемого приглашения с разрешением удаленного управления микроскопом.
На рис. 2 представлена общая структура телемедицинской системы для удаленных online-консультаций в области микроскопии биомедицинских препаратов. Со стороны лаборатории телемедицинская система включает биологический микроскоп-тринокуляр с комплектом автоматизации перемещений предметного стола, обеспечивающим три степени свободы 1, блок управления перемещением предметного стола 2, цифровую камеру с оптическим адаптером 3. Цифровая камера и блок управления подключаются к персональному компьютеру 4, на котором устанавливается серверное программное обеспечение и публикуется веб-приложение для работы с микроскопом. Приглашение, отправляемое эксперту, с разрешением удаленного управления микроскопом является ссылкой на это веб-приложение. Таким образом, эксперт напрямую подключается к сайту лаборато-
биотехносфера
I № Б(48)/2016
Рис. 2
Общая структура телемедицинской системы для online-консультаций в области микроскопии биомедицинских препаратов
рии, что позволяет обеспечить максимальную скорость передачи команд управления и трансляции видеопотока изображений.
Структура представленной телемедицинской системы такова, что установки специализированного программного обеспечения на рабочее место эксперта не требуется, поэтому эксперт для оказания консультаций может использовать смартфон, планшет или персональный компьютер с доступом в интернет.
Заключение с результатами исследования формируется автоматически после заполнения экспертом специальной формы на странице веб-приложения для управления микроскопом. Дополнительные требования к защите персональных данных пациента при функционировании телемедицинской системы не предъявляются, так как в ней осуществляется обмен обезличенной информацией.
Разработка веб-приложения
для удаленного управления микроскопом
Веб-приложение должно обеспечивать выполнение следующих функций:
• получение изображений с цифровой камеры микроскопа и трансляция изображений эксперту в реальном режиме времени;
• прием команд на перемещение предметного стола микроскопа от эксперта, преобразование команд в управляющие сигналы и их отправка блоку управления в реальном режиме времени;
• реализация настройки соотношения скорости видеотрансляции и качества изображения для адаптации системы к скорости интернет-соединения путем установки наилучшего качества изображения (без сжатия) при исследовании выбранной области интереса биомедицинского препарата и
максимальной скорости видеотрансляции при навигации по препарату;
• возможность автоматического уменьшения транслируемой области изображения в зависимости от разрешения экрана на устройстве эксперта.
Структурная схема веб-приложения представлена на рис. 3. Веб-приложение было реализовано по шаблону проектирования Model-View-Controller (MVC). Концепция шаблона заключается в разделении приложения на три компонента, отвечающих за следующие функции: взаимодействие с пользователем (View — интерфейс веб-приложения), управление данными (Model — библиотеки для взаимодействия с цифровой камерой и блоком управления, модуль формирования заключения), взаимодействие Model и View (Controller). Для реализации веб-приложения по шаблону MVC был выбран framework ASP.Net MVC. Таким образом, контроллеры и модели разрабатывались на языке C#, представления — на языке HTML с применением механизма визуализации Razor. Такой синтаксис позволяет серверу динамически создавать разметку HTML при обращении к нему клиента. При разработке интерфейса веб-приложения использовались библиотеки JavaScript, а также технология AJAX.
Управление цифровой камерой реализовано при помощи библиотеки с открытым кодом AForge.Net. Для публикации веб-приложения выбрано серверное программное обеспечение Internet Information Services (Microsoft).
Веб-приложение реализовано в виде сайта с несколькими страницами:
• «Домашняя страница» — содержит приветствие и минимально необходимую информацию для начала работы с сайтом;
• «Микроскоп» — страница для управления микроскопом в online-режиме;
• «Заключение» — страница с формой для формирования заключения эксперта;
Приборостроение, метрология и информационно-измерительные приборы и системы
Классы для обеспечения взаимодействия с блоком управления перемещениями
Классы для формирования заключения эксперта
Веб-приложения для удаленного управления микроскопом
Интерфейс веб-приложения
Удаленный ПК эксперта
Браузер
Рис. 3 \ Структурная схема веб-приложения для удаленного управления микроскопом
• «О сайте» — содержит в кратком виде руководство пользователя;
• «Контакты» — контактные данные лаборатории и (или) ЛПУ, к которому относится лаборатория.
Элементы управления, реализующие функциональность веб-приложения, размещены на странице «Микроскоп», эскиз этой страницы представлен на рис. 4.
Время начала и завершения трансляции изображения выбирает эксперт (кнопка «Трансляция/Стоп»). Навигация по изображению реализована при помощи подхода Drag-and-Drop, т. е.
для просмотра нового поля зрения достаточно «перетащить» мышью изображение в требуемом направлении. Такое действие приведет к автоматическому определению необходимого перемещения предметного стола микроскопа, после чего веб-приложением будет отправлен соответствующий сигнал блоку управления. Поиск сфокусированного изображения осуществляется при помощи двух кнопок, реализующих перемещение предметного стола микроскопа по вертикальной оси. Также страница «Микроскоп» содержит элементы управления параметрами передачи изображения: качество изображения и частота кадров. Эти эле-
Кнопки Слайдер выбора к°- Слайдер выбора Меню выбора
фокусировки эффициента сжатия частоты кадров страницы сайта
. изображения .
Granat TekpatHoCoay / --1-
\ / | Домашняя страница Микроскоп О сайте Контакты
Микроскоп
Выбор драйвера цифровой камеры
Кнопка включения (выключения) трансляции
Область трансляции изображения с камеры
Рис. 4 \ Эскизы страниц «Микроскоп» веб-приложения для удаленного управления микроскопом
биотехносфера
| № Б(48)/201Б
Таблица | Результаты исследования времени отклика элементов интерфейса веб-приложения
Местоположение клиента Расстояние между клиентом и сервером, км Среднее время отклика элементов интерфейса, с
при первом обращении при повторном обращении
Серверный ПК (клиент и сервер на одном компьютере) 0 0,39 0,10
Соседний кабинет (одна локальная сеть) 0,1 0,48 0,11
В рамках города 1,0-10 0,55 0,32
Германия, г. Эрланген 1,5-103 2,40 1,29
менты интерфейса были введены для исследования работы веб-приложения. В дальнейшем параметры качества и частоты кадров будут определяться для двух режимов работы телемедицинской системы: режим навигации и режим исследования области интереса — исходя из скорости интернет-соединения и разрешения экрана на устройстве эксперта. Для управления качеством изображений использовались методы JPEG-сжатия с потерями. Входным значением является качество получаемого изображения в процентах. Этот параметр привязан к слайдеру «качество изображения» с шагом 10 %, крайнее правое положение соответствует максимально возможному разрешению используемой цифровой камеры. Слайдер «частота кадров» в крайнем правом положении соответствует максимально возможной для такой цифровой камеры частоте кадров. По мере переключения слайдера влево пользователю транслируется каждый второй, каждый третий и т. д. кадр.
Экспериментальное исследование веб-приложения для удаленного управления микроскопом
Экспериментальные исследования разработанного веб-приложения для удаленного управления микроскопом осуществлялись как из локальной сети, так и через интернет. В качестве технических средств экспериментального образца телемедицинской системы для online-консультаций использовался автоматизированный комплекс микроскопии «Гранат», разработанный ранее [3]. Комплекс был физически размещен в МГТУ им. Н. Э. Баумана (Москва).
Задержка отклика элементов интерфейса веб-приложения исследовалась с помощью встроенных функций «Инструменты разработчика» в браузере Opera 32.0. Результаты исследований экспериментального образца приведены в таблице.
Задержка при первом обращении вызвана компиляцией приложения на сервере. При повторных запросах задержки не возникает, так как используется ранее скомпилированный файл. Полученные данные подтверждают возможность осуществления телеконсультаций с использова-
нием разработанного веб-приложения и технических средств даже на значительном физическом удалении эксперта от управляемого им микроскопа.
Выводы
По типу организации консультации телемедицинские системы для удаленных исследований биомедицинских препаратов подразделяются на системы для online- и offline-консультаций. В лабораториях с малым и средним потоками анализов целесообразно использовать системы для online-консультаций в силу их потенциально высокой оперативности и относительно невысокой стоимости аппаратного обеспечения.
Телемедицинская система для удаленных online-консультаций в области микроскопии биомедицинских препаратов должна включать микроскоп с комплектом автоматизации перемещений предметного стола, блок управления перемещением предметного стола, цифровую камеру с оптическим адаптером, персональный компьютер, сервер для публикации веб-приложения, веб-приложение для удаленного управления микроскопом и трансляции изображений эксперту, персональный компьютер (возможно, планшет или смартфон) с выходом в интернет для эксперта.
Веб-приложение для удаленного управления микроскопом является основным связующим звеном между экспертом и лабораторией, в которой установлен автоматизированный микроскоп. Оно должно обеспечивать прием команд на перемещение предметного стола микроскопа от эксперта, преобразование их в управляющие сигналы для блока управления перемещениями, а также трансляцию эксперту изображений в реальном режиме времени и ввод заключения эксперта в специальную форму на сайте веб-приложения. Предложенная структура и функционал веб-приложения позволяют удаленно осуществлять интерактивную навигацию по препарату самим экспертом.
Гибкость системы в зависимости от скорости интернет-соединения обеспечивается введением двух режимов работы веб-приложения: режима навигации и режима исследования области интереса.
Приборостроение, метрология и информационно-измерительные приборы и системы
В режиме навигации выполняется автоматический подбор оптимального соотношения скорости трансляции и уровня сжатия изображения в зависимости от скорости установленного соединения между лабораторией и экспертом, в режиме исследования области интереса осуществляется трансляция изображений с максимальным разрешением при снижении частоты их передачи с учетом параметров монитора эксперта.
Выполненные исследования экспериментального образца показали возможность практического использования телемедицинской системы для удаленных опНпе-консультаций в области микроскопии биомедицинских препаратов, обеспечивающей интерактивное удаленное управление микроскопом и передачу эксперту изображений с цифровой камеры микроскопа в реальном режиме времени.
Литература
1. Dietel M., Nguyen-Dobinsky T. N., Hufnagl P. The UICC telepathology consultation center: a global approach to improving consultation for pathologists in cancer diagnosis // Cancer. 2000. Vol. 89. P. 187-191.
2. Collins B. T. Telepathology in cytopathology: challenges and opportunities // Acta Cytologica. 2013. Vol. 57. P. 221-232.
3. Самородов А. В., Косоруков А. Е., Самородова О. А. [и др.]. Автоматизация оптического микроскопа с использованием штатного предметного стола // Инженер. вестн. 2016. № 5. С. 508-515. URL: http://engsi.ru/doc/842850.html
4. Farahani N., Parwani A., Pantanowitz L. Whole slide imaging in pathology: advantages, limitations, and emerging perspectives // Pathology and Laboratory Medicine International. 2015. Vol. 7. P. 23-33.
5. Медовый В. С., Пятницкий А. М., Соколинский Б. З. Инновационный проект «Разработка комплекса автоматизированной микроскопии, его облачного функционала, интернет ресурса лабораторной телемедицины для медицинских анализов биоматериалов (МЕКОС-Ц3)» // Инноватика и экспертиза: науч. тр. 2012. Вып. 2 (9). С. 50-64.
6. Ghaznavi F., Evans A., Madabhushi A., Feldman M. Digital imaging in pathology: whole-slide imaging and beyond // Annual Review of Pathology-mechanisms of Disease. 2013. Vol. 8. P. 331-359.
7. Feldman M. D. Whole slide imaging in pathology: what is holding us back? // Pathology and Laboratory Medicine International. 2015. Vol. 7. P. 35-38.
8. Никитаев В., Проничев А., Комаров В., Белопольский В. Формирование панорамных изображений. Применение в телемедицинских комплексах онкологической диагностики // Электроника: наука, технология, бизнес. 2009. № 5. С. 96-99.
(Г
л
,0 ;-Яь оо^оосоо:' УЩ цумции^!*;-:
Г. А. Кухарев, Е. И. Каменская Ю. Н. Матвеев, Н. Л. Щеголева
МЕТОДЫ ОБРАБОТКИ И РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ ЛИЦ В ЗАДАЧАХ БИОМЕТРИИ
ê
(НИКЛ^
АО «Издательство "ПОЛИТЕХНИКА"» предлагает:
МЕТОДЫ ОБРАБОТКИ И РАСПОЗНАВАНИЯ
ИЗОБРАЖЕНИЙ ЛИЦ В ЗАДАЧАХ БИОМЕТРИИ
Г. А. Кухарев, Е. И. Каменская, Ю. Н. Матвеев, Н. Л. Щеголева
ISBN 978-5-7325-1028-7
Объем 388 с., цветная вклейка
Формат 60x90 1/i6
Книга содержит целый комплекс вопросов обработки изображений лиц в задачах биометрии: получение исходных данных из реальных сцен, методы анализа и предобработки изображений лиц, процедуры извлечения признаков, алгоритмы функционирования и структуры систем распознавания, а также модели компьютерных экспериментов. Содержит много тестовых примеров для известных баз изображений лиц, а также практические рекомендации на каждом этапе реализации процесса распознавания человека по его лицу. Обсуждаются вопросы применения лицевой биометрии в криминалистике, а также для защиты информации. Наиболее часто применяемые и сложные для реализации алгоритмы обработки представлены в форме векторно-матричных процедур, непосредственно реализуемых на языке программирования МатЛаб.
Книга предназначена для студентов, аспирантов и инженеров, интересующихся внедрением биометрических технологий, в том числе в современные системы распознавания людей по их лицам.
Для приобретения книги по издательской цене обращайтесь в отдел реализации: тел.: (812) 312-44-95, 710-62-73; факс: (812) 312-53-90.
E-mail: [email protected], [email protected], через сайт: http//www.polytechnics.ru Возможна отправка книг «Книга — почтой».
Книги рассылаются покупателям в России наложенным платежом (без задатка).
Почтовые расходы составляют 40 % и выше от стоимости заказанных Вами книг.
J/
биотехносфера
j № Б(48)/201Б
