CC BY
14
DOI: 10.26347/1607-2502201807-08055-059
СТАНДАРТИЗОВАННАЯ ОЦЕНКА ЧУВСТВИТЕЛЬНОСТИ ДИАГНОСТИЧЕСКИХ ГИПОТЕЗ ПРИ ПЕРВИЧНОМ ОСМОТРЕ В ВОПРОСНИКЕ СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА MEDICASE
Цель исследования. Оценка валидности решающих правил для диагностических гипотез в системе искусственного интеллекта MeDiCase.
Материалы и методы. Проведен опрос 150 врачей Московского городского научного общества терапевтов. Врачи оценивали решающие правила по заданной шкале. Результаты. Анализ 100 анкет продемонстрировал высокую вероятность диагностических гипотез в 69% решающих правил (степень вероятности выше 70%). В 30% решающих правил вероятность оценена как средняя (выше 55%), в 1% — как низкая. Заключение. Показано, что решающие правила позволяют выявлять заболевания с высокой степенью вероятности.
Ключевые слова: MeDiCase, чувствительность, валидация вопросника, искусственный интеллект
Авторы заявляют об отсутствии возможных конфликтов интересов.
А.П. Воробьев1, А.Б. Зыкова2, М.П. Воробьев3, Л.С. Краснова1
1 ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Минздрава России (Сеченовский Университет), Москва, Россия
2 МОО «Общество фармакоэкономических исследований», Москва, Россия
3 МТП Ньюдиамед, Москва, Россия
STANDARDIZED ASSESSMENT OF THE SENSITIVITY OF DIAGNOSTIC HYPOTHESES DURING A PRIMARY EXAMINATION USING THE QUESTIONNAIRE OF THE MEDICASE ARTIFICIAL INTELLIGENCE SYSTEM
The aim of the study. Assessment of the validity of decisive rules for diagnostic hypotheses using the MeDiCase artificial intelligence system.
Materials and methods. 150 physicians of the Moscow City Scientific Society of Primary Care Physicians were interviewed. These physicians assessed the decisive rules on a given scale. Results. The analysis of 100 questionnaires demonstrated a high probability of diagnostic hypotheses in 69% of the decisive rules (the probability level was above 70%). In 30% of the decisive rules the probability was estimated as average (above 55%), in 1% it was estimated as low. Conclusion. In this way, the decisive rules make it possible to identify diseases with a high degree of probability.
Keywords: MeDiCase, sensitivity, questionnaire validation, artificial intelligence Authors declare lack of the possible conflicts of interests.
A.P Vorobiev1, A.B. Zykova2, M.P Vorobiev3, L.S. Krasnova1
1 Federal State Autonomous Educational Institution
of Higher Education «I.M. Sechenov First Moscow State Medical University» of the Ministry of Health of the Russian Federation (Sechenov University), Moscow, Russia
2 Interregional Public Organization «Society for Pharmacoeconomics Research», Moscow, Russia
3 Medical and Technology Company «Newdiamed», Moscow, Russia
Начиная с 2014 г., разрабатывается и внедряется в практическое здравоохранение система искусственного интеллекта MeDiCase [1]. В настоящее время вопросы телемедицины в здравоохранении регулируются как законодательно [2], нормативно [3], так и государственной системой стандартизации [4].
Программа MeDiCase фиксирует анамнез и жалобы с применением автоматизированных опросников. Применяется ручной ввод показаний приборов: артериальное давление, уровень глю-
козы в крови экспресс методом, температура тела, частота сердечных сокращений, напряжение кислорода в крови [5].
Вопросы в программе имеют закрытый тип (ответами является либо «да», либо «нет»). Вопросы составлены по принципу древа решений, и имеется список основных вопросов. Каждый ответ на основной вопрос может активировать ветвь дополнительных уточняющих вопросов (до 4 порядков). После завершения ветви дополнительных вопросов система возвращается к
следующему основному вопросу. Данная модель проведения опроса базируется на принципах дедукции, когда сформированная первичная диагностическая гипотеза не исключает других вопросов, что позволяет получить полные данные о симптомах заболевания.
Респонденты давали информированное согласие на участие в исследовании в электронном и письменном виде, а также согласие на обработку персональных данных.
Компонент системы искусственного интеллекта МеБЮа8е «Первичное обследование» начинает опрос с ввода объективных данных (артериальное давление, глюкоза крови, напряжение кислорода в крови, температура тела), затем проводится фиксация жалоб и анамнеза. В случае отклонения от нормальных значений результатов измерения артериального давления система требует проведения повторных изменений после опроса и ввода полученных уточненных данных.
Результат опроса отправляется на сервер, где проводится его автоматический анализ по заранее установленным алгоритмам. Сформированные диагностические гипотезы с описанием передаются через сеть Интернет врачу в медицинскую организацию для принятия решения о необходимости очного визита к врачу.
Автоматизированный опросник раздела «Первичный прием» МеБЮа8е содержит 760 вопросов, 623 решающих правила, 294 диагностических гипотез. Однако точность диагностических гипотез требует подтверждения. В связи с этим сформулирована цель исследования: выполнить оценку вероятности диагностических гипотез в системе МеБЮа8е путем опроса экспертов.
Для реализации цели последовательно были решены следующие задачи:
1. Разработать анкету для проведения вопроса.
2. Выделить фокус-группу экспертов для опроса.
3. Провести опрос экспертов.
4. Проанализировать результаты опроса.
МАТЕРИАЛЫ И МЕТОДЫ
Проведено анкетирование 150 врачей, являющихся членами Московского городского научного общества терапевтов (МГНОТ). Анкеты раздавались респондентам в период с октября по ноябрь 2017 г. на четырех заседаниях МГНОТ.
Для оценки вероятности диагностических гипотез с описанием симптомов, используемых в системе MeDiCase, разработана анкета-опросник для врачей. Анкета предполагала оценку респондентами каждой диагностической гипотезы и описания симптомов, которые являлись основой для формирования гипотезы (решающего правила), по следующей шкале:
А — абсолютная степень вероятности — 85—100% (всегда есть 10—15% ошибки)
Б — высокая степень вероятности — 70—84% (довольно высокая, но не абсолютная вероятность)
В — средняя степень вероятности — 55—69% (вероятность есть, но она не высока)
Г — низкая степень вероятности — 40—54% (пятьдесят на пятьдесят)
Д — крайне низкая степень вероятности — менее 39% (скорее не вероятно).
В анкете эти вероятности отмечались для каждого описания диагностической гипотезы (в среднем на 1 диагностическую гипотезу приходится по 2,1 решающих правил — описаний). Врачу предлагалось поставить галочку в соответствующем поле против описания гипотезы.
Один из разделов включал вопросы, уточняющие характеристику самого респондента (возраст, место работы).
Данные из анкет вносились в таблицу Excel. По каждой диагностической гипотезе с описанием вычислялась средневзвешенная оценка по формуле:
Вероятность = A s na + Б s пБ + В s пВ + Г s пГ +
+ Д s тД/пА + пБ + пВ + пГ + пД,
где:
А = 92,5% (медиана в интервале 85—100%); Б = 77% (медиана в интервале 70—84%); В = 62% (медиана в интервале 55—69%); Г = 47% (медиана в интервале 40—54%); Д = 20% (медиана в интервале 0—39%).
Методы статистической обработки результатов не применялись.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Из 150 распространенных анкет возвращено заполненными — 101, обработано — 100. Среди опрошенных в возрасте от 25 до 78 лет (47,3 ± 13,5 лет), преобладали женщины (85%), мужчины составили 15%. Доля врачей, работающих в поликлиниках, составила 59%, стационарах — 28%, ВУЗах и научно-исследовательских институтах — 13%.
По результатам анкетирования рассчитана вероятность диагностических гипотез. Среднее
значение вероятности (валидности) решающие правила для диагностической гипотезы составило 73,77% (±7,17%). В группе А оказалось 10% решающих правил, в группе Б — 59%, в группе В — 30%, в группе Г — 1% и в группе Д — 0%. Диагноз, попавший в группу Г (низкая вероятность), касался малознакомого врачам диагноза «гипотиреоз». Таким образом, почти 3/4 решающих правил по диагностическим гипотезам по данным опроса врачей имеют высокую степень вероятности.
Полученные результаты по трем основным группам заболеваний приведены в таблицах 1—3.
В табл. 1 обращает на себя внимание, что диагноз «стенокардия» врачи готовы ставить по за-грудинным болям при физической нагрузке (85% вероятности), а также в случае, если боли проходят после приема нитроглицерина (91% вероятности). Боли за грудиной, возникающие при выходе из теплого помещения на холод, по мнению врачей, позволяют говорить о 79% вероятности стенокардии. В то же время быстро самостоятельно проходящие боли за грудиной, по мнению врачей, имеют 52% вероятности диагноза «стенокардия».
Группа бронхолегочных заболеваний более сложна для врачей МГНОТ для диагностики по результатам опроса. Показано, что наиболее вероятно наличие бронхообструктивного синдрома при бронхоспазме, возникающем от запахов (67% вероятности). Врачи не доверяют словам пациента, и вероятность наличия бронхиальной астмы при условии, что со слов пациента данный диагноз ставился ранее, оценивалась лишь в 60%. Нужно отметить, что это косвенно совпадает с результатами опроса пациентов. Так, при наличии клинических проявлений бронхообструк-тивного синдрома почти 10% опрошенных, диагноз «бронхиальная астма» ранее не ставился. Очевидна низкая настороженность врачей в отношении бронхиальной астмы.
Постоянный кашель с мокротой свидетельствует, по мнению респондентов, о 77% вероятности диагноза «хроническая обструктивная болезнь легких». Однако, как и при бронхиальной астме, врачи, видимо, часто не ставят этот диагноз.
Классическое описание сахарного диабета в виде решающих правил не вызывает большого доверия у врачей. Так, анамнестические данные
Таблица 1
Вероятность диагностических гипотез и решающих правил по группе сердечно-сосудистых заболеваний (выдержка)
Диагностическая гипотеза Правило Вероятность, %
Стенокардия Загрудинные боли при физической нагрузке Загрудинные боли, быстро проходящие самостоятельно 85 52
Острый коронарный синдром Ночные боли в области сердца 65
Кардиалгия нервно-мышечного генеза Незагрудинные боли появляются при поворотах или наклонах туловища, дыхании 83
Артериальная гипертония Ставился диагноз «гипертоническая болезнь» Неоднократно отмечалось повышение артериального давления 61 80
Пароксизмаль-ная тахикардия Внезапные приступы сердцебиения с ритмичным пульсом 88
Мерцательная аритмия фибрилляция предсердий Внезапные приступы сердцебиения с частотой пульса более 140 ударов в мин 76
Синусовая бради-кардия, слабость синусового узла или Л-У блокада Бывает редкий пульс 75
Сердечная недостаточность Слабость, утомляемость, постоянные или часто возникающие отеки ног Слабость, утомляемость, одышка при нагрузке 77 79
Таблица 2
Вероятность диагностических гипотез и решающих правил по группе бронхолегочных заболеваний (выдержка)
Диагности- Вероят-
ческая Правило ность,
гипотеза %
Бронхообст- Ставился диагноз «бронхи- 60
руктивный альная астма»
синдром Бронхоспазм при простудах 64
Хроническая Ранее обнаруживали хрони- 61
обструктив- ческую обструктивную бо-
ная болезнь лезнь легких, но количество
легких мокроты неизменно
Кашель по утрам с мокротой 68
Таблица 3
Вероятность диагностических гипотез и решающих правил по группе
со слов пациента о повышении уровня сахара в крови позволяют говорить лишь о 55% вероятности диагноза «сахарный диабет», считают врачи. Также респонденты не склонны доверять самостоятельным единичным измерениям сахара в крови: уровень глюкозы в крови выше 6,5 ммоль/л позволит говорить лишь о 54% вероятности диагноза «сахарный диабет», что, по-видимому, справедливо. Поскольку самостоятельное измерение могло быть проведено с нарушениями технологии. Следует повторить исследование в лабораторных условиях с определением уровня гликированного гемоглобина и гликемического профиля. Комбинация немотивированного похудания с зудом в промежности позволяет говорить о 61% вероятности диагноза «сахарный диабет». Обращает на себя внимание, что описание симптомов также влияет на оценку вероятности. Так, описание симптомов «диагноз «сахарный диабет» не ставился, есть постоянная жажда и учащенное мочеиспускание» имеет лишь 61% вероятности, в то время как описание «диагноз «сахарный диабет» не ставился, есть постоянная жажда и полиурия» — 69% вероятности. Наличие постоянной жажды и немотивированное похудание позволяет говорить о 70% вероятности диагноза «сахарный диабет».
Следует отметить, что никто и никогда не оценивал чувствительность данных опроса отдель-
но от лабораторных и инструментальных методов исследований. Данная работа проводится впервые. Очевидно, что на оценки врачей влияют не только их личный опыт, но и знания, полученные в процессе обучения. В связи с этим результаты данной работы носят предварительный и субъективный характер. Очевидно, необходима верификация диагноза с применением параклинических методик.
Вместе с тем используемый вопросник основан на научных методах выявления знаний врачей и сам по себе является отражением обобщенного профессионального опыта. В ходе его создания использовались существующие клинические рекомендации, шкалы оценки синдромов.
Безусловно, полученные результаты требуют более тщательного изучения в условиях реальной практики. Впрочем, организовать подобные широкомасштабные исследования непросто.
ЗАКЛЮЧЕНИЕ
Результаты проведенного опроса врачей показали высокую степень валидности решающих правил для всех диагностических гипотез: в группе с высокой степенью вероятности оказалось 69% решающих правил, в группе с низкой вероятностью решающих правил не было.
ЛИТЕРАТУРА
1. Воробьев П.А., Воробьев А.П., Воробьев М.П., Краснова Л.С., Копошилова О.С., Везикова Н.Н., Барыше-ва О.Ю. Электронное здравоохранение: проект MeDiCase для помощи пожилым жителям удаленных поселков Республики Карелия (часть 1). Проблемы стандартизации в здравоохранении. 2016; 7-8: 47—57.
2. Федеральный закон от 21.11.2011 № 323-ФЗ «Об основах охраны здоровья граждан в Российской Федерации». Доступно по: http://www.consultant.ru/document/ cons_doc_LAW_121895/. Ссылка активна 04.06.2018.
3. Приказ Министерства здравоохранения Российской Федерации от 30.11.2017 № 965н «Об утверждении порядка организации и оказания медицинской помощи с применением телемедицинских технологий» (Зарегистрировано в Минюсте России 09.01.2018 N49577). Доступно по: http://www.consultant.ru/document/ cons_doc_LAW_287515/. Ссылка активна 04.06.2018.
4. Приказ Федерального агентства по техническому регулированию и метрологии от 03.10.2017 № 1300-ст «Об утверждении национального стандарта». Доступно по: http://rulaws.ru/acts/Prikaz-Rosstandarta-ot-03.10.2017-N-1300-st/. Ссылка активна 04.06.2018.
5. Vorobiev P.A., Vorobiev A.P., Vorobiev M.P., Krasnova L.S., Koposhilova O.S., Vezikova N.N., Barysheva O.Iu. ELEC-
Диагностическая гипотеза Правило Вероятность, %
Инсулиноза-висимый сахарный диабет Диагностирован сахарный диабет, получает инсулин 85
Инсулиноне-зависимый сахарный диабет Диагностирован сахарный диабет, не получает инсулин 63
Возможно сахарный диабет Диагноз «сахарный диабет» не ставился, глюкоза крови выше 6,5 ммоль/л 54
Диагноз «сахарный диабет» не ставился, немотивированное похудание, зуд в промежности 61
TRONIC HEALTHCARE: MeDiCase® project to help elderly dwellers of remote Karelia settlements (Part 2). Health care standardization problems. 2017; 9-10: 78—88.
Поступила 05.06.2018 Принята к опубликованию 10.06.2018
REFERENCES
1. Vorobiev P.A., Vorobiev A.P., Vorobiev M.P., Krasnova L.S., Koposhilova O.S., Vezikova N.N., Barysheva O.Yu. Ele-ktronnoe zdravookhranenie: proekt MeDiCase dlya pomo-shchi pozhilym zhitelyam udalennykh poselkov Respubliki Kareliya (chast 1) [ELECTRONIC HEALTHCARE: The MeDiCase® Project to Help Elderly Residents of Remote Settlements of the Republic of Karelia (Part 1)] Problemy standartizatsii v zdravookhranenii [Healthcare Standardization Problems]. 2016; 7-8: 47—57. (In Russian).
2. Federalny zakon ot 21.11.2011 № 323-FZ «Ob osnovakh okhrany zdorovya grazhdan v Rossiyskoy Federatsii» [Federal Law No. 323-®3 dated 21/11/2011 «On Basics of Health Protection of the Citizens in the Russian Federation»]. Available at: http://www.consultant.ru/document/ cons_doc_LAW_121895/. Accessed on June 4, 2018. (In Russian).
3. Prikaz Ministerstva zdravookhraneniya Rossiyskoy Feder-atsii ot 30.11.2017 № 965n «Ob utverzhdenii poryadka or-ganizatsii i okazaniya meditsinskoy pomoshchi s
primeneniem telemeditsinskikh tekhnologiy» (Zaregistri-rovano v Minyuste Rossii 09.01.2018 N49577) [Order of the Ministry of Health of the Russian Federation No. 965h dated 30/11/2017 «On Approval of the Procedure for Organizing and Providing Medical Care using Telemedicine Technologies» (Registered with the Ministry of Justice of the Russian Federation on January 9, 2018. Registration No. 49577)]. Available at: http://www.consultant.ru/docu-ment/cons_doc_LAW_287515/. Accessed on June 4, 2018. (In Russian).
4. Prikaz Federalnogo agentstva po tekhnicheskomu reguli-rovaniyu i metrologii ot 03.10.2017 № 1300-st «Ob utverzhdenii natsionalnogo standarta» [Order of the Federal Agency for Technical Regulation and Metrology No. 1300-ct dated 03/10/2017 «On Approval of the National Standard»]. Available at: http://rulaws.ru/acts/Prikaz-Ros-standarta-ot-03.10.2017-N-1300-st/. Accessed on June 4, 2018. (In Russian).
5. Vorobiev P.A., Vorobiev A.P., Vorobiev M.P., Krasnova L.S., Koposhilova O.S., Vezikova N.N., Barysheva O.Yu. Ele-ktronnoe zdravookhranenie: proekt MeDiCase dlya pomo-shchi pozhilym zhitelyam udalennykh poselkov Respubliki Kareliya (chast 2) [ELECTRONIC HEALTHCARE: The MeDiCase® Project to Help Elderly Residents of Remote Settlements of the Republic of Karelia (Part 2)] Problemy standartizatsii v zdravookhranenii [Healthcare Standardization Problems]. 2017; 9-10: 78—88. (In Russian).
Received on 05.06.2018 Accepted for publication on 10.06.2018
Сведения об авторах:
Воробьев Андрей Павлович — аспирант ФГАОУ ВО ПМГМУ им. И.М. Сеченова Минздрава России (Сеченовский Универ -ситет). 119991, Москва, ул. Большая Пироговская, дом 2, стр. 4. E-mail: [email protected]
Зыкова Анна Борисовна — исследователь, МОО «Общество фармакоэкономических исследований». E-mail: [email protected]
Воробьев Михаил Павлович — исполнительный директор МТП Ньюдиамед. 119048 Москва Хамовнический вал. E-mail: [email protected]
Краснова Любовь Сергеевна — канд. мед. наук, доцент кафедры гематологии и гериатрии ИПО ФГАОУ ВО ПМГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет). 119991, Москва, ул. Большая Пироговская, дом 2, стр. 4. E-mail: [email protected]
About the authors:
Vorobiev Andrey P. — postgraduate student of the Federal State Autonomous Educational Institution of Higher Education «I.M. Sechenov First Moscow State Medical University» of the Ministry of Health of the Russian Federation (Sechenov University). 119991, Moscow, 2 Bolshaya Pirogovskaya St., Bldg. 4. E-mail: [email protected].
Zykova Anna B. — Researcher, Interregional Public Organization «Society for Pharmacoeconomics Research». E-mail: [email protected].
Vorobiev Mikhail P. — Executive Director of the Medical and Technology Company «Newdiamed». 119048, Moscow, Khamovnichesky Val. E-mail: [email protected].
Krasnova Lyubov S. — Candidate of Medical Sciences, Associate Professor of the Department of Hematology and Geriatrics of the Institute of Postgraduate Education of the Federal State Autonomous Educational Institution of Higher Education «I.M. Sechenov First Moscow State Medical University of the Ministry of Health of the Russian Federation» (Sechenov University). 119991, Moscow, 2 Bolshaya Pirogovskaya St., Bldg. 4. E-mail: [email protected].
