CC BY
103
УДК 519.6 Вестник СПбГУ. Сер. 10. 2016. Вып. 2
И. А. Купеева1, К. И. Разнатовский2, Р. А. Раводин2, В. В. Карелин 3, В. М. Буре3, М. В. Гусаров4
ОЦЕНКА ЭФФЕКТИВНОСТИ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ ВРАЧЕБНЫХ РЕШЕНИЙ1
1 Департамент медицинского образования и кадровой политики в здравоохранении Министерства здравоохранения, Российская Федерация, 127994, Москва, Рахмановский пер., 3
2 Северо-Западный государственный медицинский университет имени И. И. Мечникова, Российская Федерация, 191015, Санкт-Петербург, Кирочная ул., 41
3 Санкт-Петербургский государственный университет, Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7—9
4 СПб ГБУЗ КВД № 1, Российская Федерация, 199406, Санкт-Петербург, Наличная ул., 19
В статье рассматривается разработанная авторами интеллектуальная система поддержки принятия врачебных решений (ИСППВР) по дерматовенерологии, получившая наименование "Logoderm". Данная система имеет модульное строение и способна осуществлять автоматизированный анализ вносимых врачом симптомов дерматологических заболеваний (модуль диагностика) и проводить телемедицинские консультации с выбранным экспертом в диагностически сложных случаях. Внедрение интеллектуальной системы поддержки принятия врачебных решений в практическую медицину может дать значительный экономический эффект, поскольку избавит пациентов от необходимости осуществлять дорогостоящие перелеты из городов и населенных пунктов страны в небольшое количество крупных городов, в которых находятся ведущие медицинские центры по данной области медицины. В статье с помощью статистического анализа проведено обоснование работоспособности и эффективности разработанной системы. Показана возможность ее практического использования. Библиогр. 8 назв. Табл. 1.
Ключевые слова: телемедицинские консультации, диагностика, дерматологические заболевания, критерий релевантности.
I. A. Kupeeva1 , K. I. Raznatovskiy2, R. A. Ravodin2, V. V. Karelin2, V. M. Bure2, M. V. Gusarov4
EFFICIENCY ASSESSMENT OF CLINICAL DECISION SUPPORT SYSTEM
1 Department of Medical education and personnel politics in health care of Ministry of Health, 3, Rahmanovskij per., Moscow, 127994, Russian Federation
2 Mechnikov North Western State Medical University, 41, Kirochnaja ul., St. Petersburg, 191015, Russian Federation
3 St. Petersburg State University, 7—9, Universitetskaya nab., St. Petersburg, 199034, Russian Federation
4 St. Petersburg State financed health institution dermatovenerologic dispensary N1, 19, Nalichnaja ul., St. Petersburg, 199406, Russian Federation
In the article the authors developed an intelligent decision support system for medical solutions (ISPPVR) on dermatology, received the name "Logoderm". This system has a modular
Купеева Ирина Александровна — заместитель начальника; [email protected] Разнатовский Константин Игоревич — доктор медицинских наук; [email protected] Раводин Роман Анатольевич — кандидат медицинских наук; [email protected]
Kupeeva Irina Aleksandrovna — deputy chief; [email protected]
Raznatovskiy Constantine Igorevich — doctor of medical sciences; [email protected] Ravodin Roman Anatolevich — associate professor; [email protected]
1 Работа выполнена при финансовой поддержке Российского фонда фундаментальных иссле-
дований (грант № 14-01-31521 мол-а) и Санкт-Петербургского государственного университета (НИР,
проект № 9.38.205.2014).
© Санкт-Петербургский государственный университет, 2016
structure and is able to perform an automated analysis of dermatologic diseases' symptoms. The introduction of intelligent decision support system for medical solutions to practical medicine can provide significant economic benefits, as it will relieve patients from having to carry out costly flights from the cities and towns of the country to the small number of large cities, in which there are the leading medical centers from that medical field. The article with the help of statistical analysis conducted study of the efficiency of the developed system. The possibility of the practical using of this system is proved. Refs 8. Table 1.
Keywords: Web graph, site, hyperlink, hyperlinked structure, statistical dependence.
Введение. Политика государства в области здравоохранения в настоящее время направлена на совершенствование системы оказания медицинской помощи населению России, повышение ее доступности и качества. Она предусматривает развитие и внедрение в повседневную деятельность рядовых медицинских учреждений современных ресурсосберегающих информационных и телекоммуникационных технологий. Внедрение данных технологий в РФ регламентировано приказом Минздрав-соцразвития №364 от 28 апреля 2011 г. «Об утверждении концепции создания единой государственной информационной системы в сфере здравоохранения». Этот документ предусматривает создание системы «справочно-информационной поддержки принятия врачебных решений, в том числе посредством предоставления оперативного доступа к полной и достоверной информации о здоровье пациента, внедрения автоматизированных процедур проверки соответствия выбранного лечения стандартам оказания медицинской помощи, проверки соответствия назначенных лекарственных средств имеющимся противопоказаниям; получения врачебных консультаций лицами, не имеющими возможности посещения медицинских организаций» [1]. В рамках развития данной концепции мы разработали интеллектуальную систему поддержки принятия врачебных решений (ИСППВР) по дерматовенерологии, получившую наименование "Logoderm" [2]. Данная система имеет модульное строение и способна осуществлять автоматизированный анализ вносимых врачом симптомов дерматологических заболеваний (модуль диагностика) и проводить телемедицинские консультации с выбранным экспертом в диагностически сложных случаях (модуль консультации). При разработке ИСППВР "Logoderm" использована лицензионная версия программы 1С-Битрикс: Управление сайтом. Система выполнена как онлайн-приложение в виде динамически генерируемых html-страниц, доступных в сети Интернет под доменным именем logoderm.ru. Цель работы: оценить эффективность разработанной интеллектуальной системы поддержки принятия врачебных решений.
Материалы и методы. Для оценки эффективности телемедицинских консультаций предложены различные подходы. Авторы работы [3] рассматривают следующую классификацию индикаторов эффективности телемедицины: клинические (клиническая эффективность, удовлетворение пациента, диагностическая точность и стоимость) и неклинические (технические и организационные). А. В. Владзимир-ский [4] также предлагает клинические и неклинические методы оценки телемедицины. К клиническим он относит методы оценки деятельности лечебного учрежде-
Карелин Владимир Витальевич — кандидат физико-математических наук, доцент; vlkarelin@ mail.ru
Буре Владимир Мансурович — доктор технических наук, профессор; [email protected]
Гусаров Михаил Вячеславович — заместитель главного врача; [email protected]
Karelin Vladimir Vitalievich — candidate of physical and mathematical sciences, associate professor; [email protected]
Bure Vladimir Mansurovich — doctor of technical sciences, professor; [email protected]
Gusarov Mikhail Vyacheslavovich — deputy chief; [email protected]
ния, методы оценки врачебной (лечебно-диагностической) деятельности и исходов лечения, методы оценки диагностической деятельности и методы оценки моральной эффективности; к неклиническим — методы оценки экономической эффективности, методы математического моделирования, методы исследования психологического статуса, методы оценки технологической эффективности, методы оценки организационной эффективности [4]. Наиболее простой способ оценки клинической эффективности телемедицинских консультаций — процент совпадения диагнозов эксперта и практикующего врача. В некоторых источниках для оценки телемедицинских консультаций используется термин «релевантность», который обозначает соответствие ответа удаленного консультанта (эксперта) информационно-медицинским потребностям (запросам) практикующего врача [5]. Для объективной оценки релевантности телемедицинской консультации мы использовали опросник, который включает 8 вопросов с несколькими вариантами ответов (см. таблицу) [6].
Практикующий врач, обращающийся за телеконсультацией, для оценки ее качества отвечал на представленные вопросы, каждый ответ оценивался от 1 до 3 баллов. Сумма баллов в пределах 18-24 указывала на высокую, 13-17 — среднюю, а 8-12 — низкую релевантность проведенной телемедицинской консультации. С помощью данного показателя можно определить качество не только отдельной телеконсультации, но и оценить релевантность телемедицинской системы в целом по критерию релевантности (Кв18у8), который находится по принципу расчета коэффициента полезного действия за произвольный период времени:
Яв18у8 = ТКгел/ТК,
где ТКге1 — количество телеконсультаций заданной релевантности (высокой и/или средней); ТК — общее количество проведенных телеконсультаций. Соответственно, чем ближе критерий Яв18у8 к единице, тем более эффективна данная телемедицинская система. Для оценки экономической эффективности телемедицинских консультаций наиболее часто определяют себестоимость телеконсультации. На себестоимость влияют цена консультации местного врача, цена консультации эксперта, издержки услуг связи (Интернет), зарплата инженерно-технического персонала [7]. Для расчета себестоимости телемедицинской консультации мы использовали формулу стоимости простой медицинской услуги [6]
С = Ср + С к = Бт + я2 + М +1 + О + Р,
в которой Ср — прямые расходы, С к — косвенные расходы, Бт — расходы на оплату труда, Hz — начисления на оплату труда, М — стоимость расходных материалов (перевязочных средств, медикаментов), I — износ мягкого инвентаря, О — износ оборудования, Р — прочие расходы.
Результаты и их обсуждение. Для определения клинической эффективности разработанной телемедицинской системы мы сотрудничали с ГБУЗ КВД № 1 Ва-силеостровского района Санкт-Петербурга и дерматологическим отделением ГБУЗ ГП №60 Поликлинического отделения №67 г. Павловска (Санкт-Петербург). В соответствии с планом нашей работы практикующие врачи-дерматовенерологи этих лечебных учреждений проводили первичное обследование пациентов, устанавливали предварительный диагноз, а затем вводили симптомы заболеваний в диагностический модуль ИСППВР, получая перечень вероятных диагнозов, далее по данным результатам диагностики проводили телемедицинскую консультацию с экспертом
Опросник для определения релевантности телеконсультации (по [6])
Вопрос Ответ, балл
1. Срочность телемедицинской консультации, последняя проведена: ранее оговоренных/необходимых сроков в оговоренные/необходимые сроки позже оговоренного/необходимого срока в сроки полной потери актуальности 3 3 2 1
2. Соответствие ответов: полное соответствие ответов поставленным вопросам частичное соответствие ответов поставленным вопросам, нечеткость формулировок и рекомендаций несоответствие ответов поставленным вопросам 3 2 1
3. Наличие дополнительной информации по теме телемедицинской консультации (текстов, статей, ссылок на публикации и ресурсы Интернета и др.): да нет 3 1
4. Влияние телемедицинских консультаций на лечебно-диагностическую программу: полностью принята тактика консультанта/существенное изменение тактики коррекция отдельных этапов подтверждение программы отказ от рекомендаций удаленного эксперта 3 2 2 1
5. Запрос дополнительных диагностических данных: не было запроса (использовались диагностические методы, доступные практикующему врачу) методы, доступные практикующему врачу с вложением значительных затрат (труд, финансы) методы, недоступные практикующему врачу 3 2 1
6. Консультантом (экспертом) предложено: одна программа лечебно-диагностических действий несколько программ лечебно-диагностических действий изложены предпосылки к формированию программ 3 2 1
7. Проводился консилиум (несколько дистанционных консультантов): да нет 3
1
8. Была ли транспортировка пациента в лечебное учреждение или очный вызов консультанта после проведенной телемедицинской консультации: да нет 1 3
в режиме "store and forward" (отсроченной консультации). Для постановки окончательного диагноза все пациенты впоследствии были осмотрены врачами-экспертами, в роли которых выступали главный дерматовенеролог Санкт-Петербурга профессор К. И. Разнатовский и доцент кафедры дерматовенерологии СЗГМУ им. И. И. Мечникова Р. А. Раводин. Для оценки клинической эффективности системы в исследование включались только те случаи, где окончательный диагноз был установлен экспертами. Всего были обследованы 129 пациентов — 66 женщин и 63 мужчины в возрасте от 9 до 90 лет (средний возраст 45 лет — у женщин и 38 лет — у мужчин). Для оценки клинической эффективности ИСППВР мы анализировали процент (частоту) соответствия окончательного диагноза, установленного при очной консультации врача-эксперта, и диагноза практикующего врача, первых трех заключений диагностического модуля ИСППВР "Logoderm", а также телемедицинского заключения. Для практикующего врача количество правильных диагнозов составило 67% при
95%-ном доверительном интервале от 58.7 до 75.1%; для системы "Logoderm" — 78% при 95%-ном доверительном интервале от 69.9 до 86.3%, а для эксперта (телемедицинская консультация) было на уровне 96% при 95%-ном доверительном интервале от 92.7 до 99.4%. На основании проведенных расчетов можно говорить о наличии статистически значимых различий в частоте постановки правильного диагноза между практикующими врачами, ИСППВР и телемедицинской консультацией эксперта. При этом процент правильных диагнозов для практикующего врача оказался существенно меньше, чем для ИСППВР, а для эксперта (телемедицинская консультация) существенно выше, чем для системы "Logoderm".
Рассмотрим совместное функционирование практикующего врача и ИСППВР "Logoderm". При расчетах будем считать, что их совместное функционирование позволяет врачу выбрать правильный диагноз в случае расхождения диагнозов врача и системы, тогда объединим оба столбца следующим образом: оставим только те ситуации, когда врач и система действовали параллельно. Поставим 1, если хотя бы один из них установил правильный диагноз, 0 будет соответствовать ситуации, когда оба (и врач, и система) поставили неправильный диагноз. При совместной работе практикующего врача и системы процент постановки правильного диагноза вырос до 92.7, а соответствующий 95%-ный доверительный интервал для вероятности правильного диагноза для врача и системы оказался в пределах от 87.5 до 97.9%. Таким образом, есть основания утверждать о наличии значимых различий между всеми вычисленными частотами. Как видим, совместная деятельность практикующего врача и системы оказалась очень успешной, вероятность постановки правильного диагноза уступает лишь телемедицинской консультации врача-эксперта и превосходит как вероятность практикующего врача, так и отдельно функционирующей системы. Как оказалось, вероятность правильного диагноза врача-эксперта (телемедицинская консультация) попадает в доверительный интервал для объединенной диагностирующей системы врача и "Logoderm", т. е. качество работы объединенной системы (практикующего врача и диагностического модуля ИСППВР) оказалось очень высоким и приближающимся к качеству работы телемедицинской консультации врача-эксперта. Для оценки каждой отдельно взятой телеконсультации мы использовали релевантность, а для всей телемедицинской системы — критерий релевантности. Все проведенные телемедицинские консультации варьировали в диапазоне от 16 до 24 (средняя релевантность 20.2), что свидетельствует об их высокой и средней релевантности, т. е. их качество, как минимум, удовлетворяло запросам практикующих врачей. Критерий релевантности Яв18у8 = 1, что свидетельствует о высокой эффективности разработанной нами телемедицинской системы. Проанализировав литературные источники, мы пришли к выводу, что экономическая эффективность телеконсультации определяется главным образом отсутствием транспортных и накладных расходов пациентов, связанных с приездом и проживанием в другом городе [6-8]. В этой связи была проведена серия из десяти телемедицинских консультаций с врачами из ОблКВД г. Липецка. При расчете себестоимости дерматологических консультаций сравнивали вариант очного консультирования экспертом с выездом пациентов в Санкт-Петербург и вариант консультирования с использованием телемедицинских технологий без выезда и проживания пациентов в Санкт-Петербурге. Поскольку отчисления в социальные фонды, амортизация оборудования, износ инвентаря и стоимость расходных материалов, как и общеучрежденческие расходы, сопоставимы (сильно не отличаются друг от друга в обоих случаях), то их не учитывали. Себестоимость консультации для первой альтернативы (с выездом пациентов в Санкт-Петербург):
1. Первичный прием больного врачом кожно-венерологического диспансера — 287 р. (по тарифу ОМС из расчета на одного взрослого пациента).
2. Стоимость консультации эксперта (доктора медицинских наук, профессора, главного специалиста Санкт-Петербурга) — 2500 р.
3. Стоимость проезда до Санкт-Петербурга и обратно и проживания в городе в течение суток (1525 + 1525 + 1500) = 4550 р.
4. Итого стоимость очной консультации составляет 7337 р.
Себестоимость телемедицинской консультации для второй альтернативы (без выезда в Санкт-Петербург):
1. Первичный прием больного врачом кожно-венерологического диспансера — 287 р. (по тарифу ОМС из расчета на одного взрослого пациента).
2. Стоимость работы инженерно-технического персонала из расчета на одного пациента — 20 р.
3. Создание базы зрительных образов (фото высыпаний, фото «анализов») — 10 р.
4. Внесение клинических симптомов, присутствующих у пациента, в модуль «диагностика» ИСППВР и пересылка результатов (с учетом ввода дополнительной информации) посредством Интернета для проведения телемедицинской консультации — 20 р.
5. Стоимость консультации эксперта (доктора медицинских наук, профессора, главного специалиста Санкт-Петербурга) — 2500 р.
6. Итого стоимость телемедицинской консультации составляет 2837 р.
Общая стоимость 10 телемедицинских консультаций для ОблКВД г. Липецка составила 28 370 р., тогда как стоимость очного консультирования возросла бы до 73 370 р. Различия в стоимости телеконсультации и очного консультирования отличаются в 2.6 раза.
Заключение. Впервые разработана интеллектуальная система поддержки принятия врачебных решений, предусматривающая следующий алгоритм оказания помощи дерматовенерологическим больным: практикующий врач — диагностический модуль ИСППВР — телемедицинская консультция врача-эксперта.
Клиническая эффективность диагностического модуля ИСППВР составила 78% и превосходила клиническую эффективность практикующего врача — 67%, уступая клинической эффективности телемедицинской консультации — 96%. Все различия статистически значимы.
Совместная работа практикующего врача и диагностического модуля ИСППВР позволяет повысить клиническую эффективность до 92.7%, приближая ее к результатам телемедицинской консультации врача-эксперта, при этом различия между ними статистически незначимы.
Критерий релевантности телемедицинской системы Яв18у8 = 1, что свидетельствует о высокой удовлетворенности практикующих врачей результатами проведенных телеконсультаций.
Телемедицинская консультация, значимо не отличаясь от очного консультирования экспертом-дерматовенерологом, по клинической эффективности оказалась в 2.6 раза дешевле, что позволяет рекомендовать ее для широкого клинического использования в рамках разработанной ИСППВР.
Литература
1. Приказ Минздравсоцразвития России от 28 апреля 2011 г. № 364 «Об утверждении концепции создания единой государственной информационной системы в сфере здравоохранения». [Элек-
трон. ресурс] URL: http://www.rosminzdrav.ru/documents/7200-prikaz-minzdravsotsrazvitiya-rossii-364 -ot-28-aprelya-2011-g (дата обращения: 12.01.2016).
2. Свидетельство о государственной регистрации программы для ЭВМ № 2014615574 от 28 мая 2014 г. [Электрон. ресурс] URL: http://www1.fips.ru/Archive/EVM/2014/2014.06.20/Index.htm (дата обращения: 12.01.2016).
3 Aoki N., Johnson-Throop K. A., Turley J. P. Outcomes and methods in telemedicine evaluation // Telemed. J. E. Health. 2003. Vol. 9, N 4. P. 393-401.
4. Владзимирский А. В. Методы исследования эффективности телемедицины // Укр. журн. телемед. мед. телемат. 2005. Т. 3, № 1. C. 104.
5. Владзимирский А. В., Челноков А. Н. Релевантность телемедицинской консультации // Укр. журн. телемед. мед. телемат. 2006. Т. 4, № 1. C. 99-100.
6. Владзимирский А. В. Оценка эффективности телемедицины. Донецк: ООО «Цифровая типография», 2007. 63 с.
7. Камаев И. А., Леванов В. М., Сергеев Д. В. Телемедицина: клинические, организационные, правовые, технологические, экономические аспекты. Нижний Новгород: Изд-во Нижнегород. мед. академии, 2001. 100 с.
8. Решетник Д. А., Барбинов В. В., Литвинова Е. В. Телемедицина в дерматологии. Туапсе: ОАО «Туапсинская типография», 2005. 160 с.
References
1. Prikaz Minzdravsotsrazvitiya Rossii ot 28 aprelya 2011 g. no. 364 "Ob utverzhdenii kontseptsii sozdaniya edinoy gosudarstvennoy informatsionnoy sistemyi v sfere zdravoohraneniya" [Order of the Health Ministry of Russia dated April 28, 2011 no. 364 "On approval of the concept of creating a single state information system in the health sector"]. Available at: http://www.rosminzdrav.ru/documents/ 7200-prikaz-minzdravsotsrazvitiya-rossii-364-ot-28-aprelya-2011-g (accessed: 12.01.2016). (In Russian)
2. Svidetelstvo o gosudarstvennoy registratsii programmy dlya EVM no. 2014615574 ot 28 maya 2014 g. [Certificate of state registration of the computer program no. 2014615574 on May 28, 2014]. Available at: http://www1.fips.ru/Archive/EVM/2014/2014.06.20/Index.htm (accessed: 12.01.2016). (In Russian)
3. Aoki N., Johnson-Throop K. A., Turley J. P. Outcomes and methods in telemedicine evaluation. Telemed. J. E. Health, 2003. vol. 9, no. 4, pp. 393-401.
4. Vladzimirskiy A. V. Metodyi issledovaniya effektivnosti telemeditsiny [Methods of study of the effectiveness of telemedicine]. Ukr. zhurn. telemed. med. telemat., 2005, vol. 3, no. 1, p. 104. (In Russian)
5. Vladzimirskiy A. V., Chelnokov A. N. Relevantnost telemeditsinskoy konsultatsii [Relevance of telemedicine consultation]. Ukr. zhurn. telemed. med. telemat., 2006, vol. 4, no. 1, p. 99-100. (In Russian)
6. Vladzimirskiy A. V. Otsenka effektivnosti telemeditsinyi [Evaluation of the effectiveness of telemedicine]. Donetsk, OOO "Tsifrovaya tipografiya", 2007, 63 p. (In Russian)
7. Kamaev I. A., Levanov V. M., Sergeev D. V. Telemeditsina: klinicheskie, organizatsionnyie, pravovyie, tehnologicheskie, ekonomicheskie aspekty [Telemedicine: clinical, organizational, legal, technological and economic aspects]. Nizhniy Novgorod, Nizhniy Novgorod med. academy Publ., 2001, 100 p. (In Russian)
8. Reshetnik D. A., Barbinov V. V., Litvinova E. V. Telemeditsina v dermatologii [Telemedicine in dermatology]. Tuapse, OAO "Tuapsinskaya tipografiya", 2005, 160 p. (In Russian)
Статья поступила в редакцию 10 ноября 2015 г. Статья принята к печати 25 февраля 2016 г.
