CC BY
24
Карпов О.Э., Силаева Н.А., Никуличев А.А. и др.
ВНЕДРЕНИЕ СЕРВИСА КОНТРОЛЯ КАЧЕСТВА И БЕЗОПАСНОСТИ МЕДИЦИНСКОЙ ДЕЯТЕЛЬНОСТИ НА БАЗЕ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В МНОГОПРОФИЛЬНОМ МЕДИЦИНСКОМ УЧРЕЖДЕНИИ
ВНЕДРЕНИЕ СЕРВИСА КОНТРОЛЯ КАЧЕСТВА И БЕЗОПАСНОСТИ МЕДИЦИНСКОЙ ДЕЯТЕЛЬНОСТИ НА БАЗЕ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В МНОГОПРОФИЛЬНОМ МЕДИЦИНСКОМ УЧРЕЖДЕНИИ
Карпов О.Э.1, Силаева Н.А.* 1, Никуличев А.А.1, Савчук Т.А.1, ЭО!: 10.25881/ВРМ1ЖС.2020.48Ж016
Алихашкина Т.В.1, Субботин С.А.1, Можарова В.А.2, Кобец С.Ю.2, Астапов А.А.2, Ларченко И.И.2
1 ФГБУ «Национальный медико-хирургический Центр имени Н.И. Пирогова» Минздрава России, Москва
2 ООО «Доконлолл», Москва
Резюме. В статье рассматривается внедрение технологий искусственного интеллекта в практику крупных многопрофильных консультационно-диагностических центров (КДЦ) для контроля качества и безопасности медицинской деятельности на примере создания сервиса контроля качества медицинской документации (ККМД) ФГБУ «НМЦХ им. Н.И. Пирогова» Минздрава России (Пироговский Центр). С технологической точки зрения рассмотрены лидирующие в рассматриваемой предметной области алгоритмы машинного обучения и проведено их сравнение. С методической точки зрения выделены ключевые аспекты использования программного решения и предлагаются целевые процессы его внедрения и эксплуатации. Приведены практические результаты работы сервиса ККМД на реальных данных.
Ключевые слова: медицинская документация, машинное обучение, клинико-экспертная работа, методика внедрения.
IMPLEMENTATION OF MEDICAL DOCUMENTATION QUALITY CONTROL SERVICE BASED ON ARTIFICIAL INTELLIGENCE TECHNOLOGIES IN A MULTIDISCIPLINARY MEDICAL INSTITUTION
Karpov O.E.1, Silaeva N.A.* 1, Nikulichev A.A.1, Savchuk T.A.1, Alihashkina N.V.1, Subbotin S.A.1, Mozharova V.A.2, Kobets S.Y.2, Astapov A.A.2, Larchenko I.I.2
1 Pirogov National Medical and Surgical Center, Moscow
2 Doconcall LLC, Moscow
Abstract. The article discusses the implementation of artificial intelligence technologies to control the quality and safety of medical activities in the practice of large multidisciplinary consultation and diagnostic centers using the example of control medical documentation quality service (CMDQ) of „National Medical and Surgical Center named after N.I. Pirogov". From a technological point of view, leading appropriate machine learning algorithms are considered and compared. From a methodological point of view, key aspects of software solution usage are highlighted and target processes for its implementation and operation are proposed. The practical results of the CMDQ service on real data are presented.
Keywords: medical documentation, machine learning, clinical expert work, implementation methodology.
Введение
Непрерывная клинико-экспертная работа (КЭР) - один из основных способов повышения качества и безопасности медицинской деятельности в организациях здравоохранения. Рассматриваемый в статье контроль качества медицинской документации является одним из важных направлений КЭР. Основные требования к оформлению документации медицинских организаций, оказывающих медицинскую помощь в амбулаторных условиях, установлены Приказами Минздрава СССР от 04.10.1980 № 1030 и Минздрава России от 15.12.2014 № 834н [1; 2].
Качество оформления медицинской документации отражает качество оказания медицинской помощи в клинике, а в условиях формирования интегрированной электронной медицинской карты и реестра электронных медицинских документов Единой государственной информационной системы в сфере здравоохранения будет влиять на принятие врачебных решений на всем клиническом пути пациента [3]. Минздрав России предусмотрел не только жесткие сроки представления медицинской
* e-mail: nmhc@mail.ru
документации в регистры ЕГИСЗ, но и инициирует введение административной ответственности за нарушение установленного порядка [4].
Контроль качества оказания медицинской помощи, включающий ККМД, со стороны главных врачей КДЦ, их заместителей по КЭР и заведующих отделениями во многом строится на постоянном мониторинге протоколов осмотра пациента врачом-специалистом на амбулаторном приеме (далее - также протоколы амбулаторного приема), что в условиях интенсивного потока пациентов требует поддержки со стороны цифровых технологий. Объемы оказания медицинской помощи в КДЦ - амбулаторных подразделениях Пироговского Центра - весьма значительны (см. Таблицу 1). В этих условиях выявление типичных дефектов ведения документации для целевой работы с врачами-специалистами становится крайне важной задачей, которую сложно решить без информационного и методического обеспечения.
Для внедрения цифровых инноваций в практику КЭР был предложен сервис, который, используя технологии искусственного интеллекта, сможет ранжировать
Табл. 1. Количество амбулаторных приемов (осмотров, консультаций) в КДЦ Пироговского Центра за 2019 год. Профилактические и пред-рейсовые осмотры не включены
месяц КДЦ «Измайловский» КДЦ «Арбатский» всего
первичные повторные первичные повторные
Январь 7 995 3 705 8 819 5 837 26 356
Февраль 8 910 4 568 9 258 7 705 30 441
Март 9 077 5 053 9 468 8 646 32 244
Апрель 9 670 5 508 9 303 9 035 33 516
Май 7 596 4 489 7 346 6 917 26 348
Июнь 7 324 4 368 7 159 6 910 25 761
Июль 8 579 4 837 7 878 7 166 28 460
Август 7 887 4 562 7 164 6 901 26 514
Сентябрь 8 136 4 497 7 064 6 413 26 110
Октябрь 9 717 5 549 8 444 8 092 31 802
Ноябрь 9 152 5 189 7 902 8 308 30 551
Декабрь 9 020 5 566 7 495 8 854 30 935
Итого: 103063 57 891 97 300 90 784 349 038
протоколы амбулаторного приема по их качеству, понимаемому как вероятность того, что конкретный протокол будет дефектован при экспертизе. Чтобы использовать результаты анализа для повышения квалификации врачей, необходимо также находить наиболее распространенные ошибки. Для этого классификация по типу «дефектован / не дефектован» является недостаточной, и сервис ККМД должен формировать количественные оценки по формализованным наборам критериев.
При качественном автоматическом ранжировании эксперты (сотрудники, проводящие клинико-эксперт-ную работу) смогут выявлять и впоследствии устранять типичные ошибки ведения медицинской документации каждым из врачей, существенно сократив объемы выборочных проверок за счет того, что в первую очередь будут рассматриваться протоколы, содержащие, по оценке сервиса ККМД, большее количество дефектов.
Сквозные цифровые технологии для клинико-экспертной работы
Учитывая, что протоколы осмотра пациента врачом-специалистом на амбулаторном приеме относительно слабо формализованы и содержат большие объемы вводимой врачами текстовой информации, подобные задачи относятся к категории анализа текстов на естественном языке (natural language processing - NLP). Это одна из самых сложных, но в то же время и проработанных областей применения технологий искусственного интеллекта. В мире и России существует опыт построения NLP решений для разных предметных областей, например:
- определение тональности отзывов (Sentiment analysis);
- машинный перевод (Machine translation);
- выделение именованных сущностей из текстов (Named entity recognition) и др.
Как же разрабатываются алгоритмы для технологий искусственного интеллекта, и как оценивается качество их
работы применительно к рассматриваемой предметной области? Для этого необходимо:
- формализовать критерии оценки протоколов и метрики оценки качества работы сервиса ККМД;
- подготовить обучающую выборку - набор протоколов амбулаторного приема, для которого эксперты по каждому из критериев выставляют оценки и который используется в процессе машинного обучения;
- подготовить тестовую выборку - набор протоколов, для которого оценки также выставляются экспертами, но который используется исключительно для сравнения результата автоматического ранжирования с целевыми значениями;
- итерационно используя обучающую и тестовую выборки, сформировать модель ранжирования протоколов.
Созданная модель для практического применения должна быть интегрирована в сервис, обеспечивающий различные технологии загрузки протоколов, рабочие места экспертов и других категорий конечных пользователей, разделение прав доступа, формирование отчетности. Важно, чтобы сервис ККМД позволял проводить постоянное дополнительное обучение используемой модели на проверяемых экспертами данных.
В настоящее время существует значительное количество конкурирующих технологий искусственного интеллекта, которые показывают разную эффективность и производительность на разных типах задач. Для проверки возможности и эффективности использования технологий искусственного интеллекта для ККМД были рассмотрены как техники машинного обучения в форме ансамбля отдельных предсказывающих моделей - градиентный бустинг, так и архитектуры машинного обучения, основанные на нейросетевых методах:
- рекуррентные нейронные сети с долговременной и кратковременной памятью (Long short term memory) [5]. Идея этого класса моделей заключается в возможности учитывать контекст слов, что помогает выстраивать более длинные связи между словами;
- сверточные нейронные сети (Convolutional neural networks - CNN) [6] - модель машинного обучения, ориентированная на выделение значимых словосочетаний;
- одна из самых современных архитектур - универсальная языковая модель тонкой настройки (Universal language model fine-tuning - ULMFIT) [7]. Из ее достоинств следует отметить возможность предобучения на больших объемах неразмеченных данных.
Для оценки качества полученных алгоритмов использовались следующие показатели:
- площадь под кривой ошибок (Receiver operating characteristic - area under the curve, ROC AUC) - общепризнанная метрика качества классификации, в случае идеального разбиения множества протоколов амбулаторного приема на классы «дефектованный» и «недефектованный» ее значение принимает максимальную величину, равную 1;
Карпов О.Э., Силаева Н.А., Никуличев А.А. и др.
ВНЕДРЕНИЕ СЕРВИСА КОНТРОЛЯ КАЧЕСТВА И БЕЗОПАСНОСТИ МЕДИЦИНСКОЙ ДЕЯТЕЛЬНОСТИ НА БАЗЕ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В МНОГОПРОФИЛЬНОМ МЕДИЦИНСКОМ УЧРЕЖДЕНИИ
- нормализованный дисконтированный совокупный прирост (Normalized discounted cumulative gain - NDCG) - распространенная метрика качества ранжирования, учитывает порядок объектов и их позицию в списке, в случае идеального построения списка по заданному критерию (в рассматриваемом случае - перечня протоколов амбулаторного приема по вероятности дефектования) ее значение принимает максимальную величину, равную 1.
Результаты построения и применения моделей к протоколам амбулаторного приема и их сравнение с данными контрольной выборки приведены в Таблице 2. Полученные значения показателей качества классификации являются хорошими, ранжирования - удовлетворительными. Таким образом, было показано, что при наличии обучающей выборки объемом в несколько тысяч протоколов сервис ККМД может обеспечить ранжирование медицинской документации с качеством, обеспечивающим повышение уровня КЭР в целом.
Таким образом показано, что в рамках проекта архитектура CNN по совокупности критериев обеспечивает лучшие результаты, особенно в части времени на обучение. Как следствие, используемый сервис ККМД построен именно на сверточных нейронных сетях. В связи с тем, что работы не закончены, в Таблицу [Б] не включены результаты экспериментов с моделями машинного обучения, основанными на архитектуре ULMFIT, однако их качество уже на текущем этапе сопоставимо с качеством алгоритмов, использующих архитектуру CNN. Возможно, что сервис ККМД в среднесрочной перспективе будет переведен на новую архитектуру.
Внедрение и использование сервиса в КДЦ Пироговского Центра
Внедрение цифровой системы ККМД в практику деятельности крупной многопрофильной клиники оказалось сложной проектной задачей. Некоторые методические решения были определены только в ходе опытной эксплуатации, и потребовали поддержки со стороны разработчиков сервиса. Рассмотрим целевое состояние процессов запуска и эксплуатации сервиса ККМД, отразив историю проекта.
Начальный этап машинного обучения вне зависимости от предметной области заключается в формализации объекта анализа и формировании обучающей выборки. Для ККМД были определены критерии оценки, приведенные в Таблице 3. Необходимо обратить внимание, что результаты диагностических исследований рассматриваются не как самостоятельные документы, а как часть информации протокола амбулаторного приема.
Для внедрения были выбраны специальности, по которым осуществляется максимальное количество однотипных приемов:
- терапия;
- педиатрия;
- акушерство и гинекология.
Табл. 2. Результаты использования моделей при использовании разных архитектур. Обучающая выборка - 11000 протоколов амбулаторного приема
Архитектура показатель Градиентный бустинг Рекуррентные нейронные сети Сверточные нейронные сети
ROC AUC 0,81 0,78 0,82
NDCG 0,70 0,62 0,69
Время обучения, часов 30 8 0,5
Табл. 3. Используемые при ККМД критерии оценки осмотра пациента врачом-специалистом на амбулаторном приеме и их весовые коэффициенты
№ Критерий* (правильность, полнота, качество описания) Весовой коэффициент
1 жалобы 1
2 анамнез заболевания 1
3 аллергологический анамнез 1
4 эпидемиологический анамнез 1
5 анамнез жизни 1
6 посистемный осмотр 5
7 основной диагноз 25
8 сопутствующие диагнозы 5
9 лабораторные исследования 5
10 инструментальные исследования 5
11 консультации специалистов 5
12 выбор лекарственных средств 25
13 выбор лекарственных форм и дозировок 10
14 курс лечения 5
15 режим питания, двигательный режим, дата повторного осмотра 5
Примечание: * - наименования критериев для разных специальностей в сервисе ККМД могут уточняться.
В ходе проекта к ним добавилась оториноларингология, но для данной специальности в настоящее время продолжается этап формирования обучающей выборки. Использование именно этих специальностей определяется большим количеством приемов и высокой однородностью формируемой медицинской документации.
После целого ряда усовершенствований пользовательского интерфейса сервиса ККМД рабочее место для выполнения главной функции - оценки протокола амбулаторного приема выглядит следующим образом (Рис. 1).
Информация из медицинской информационной системы Пироговского Центра передается в сервис ККМД в обезличенном виде, дополнительная структуризация данных не проводится. Протокол оценивается экспертом отдельно по каждому из критериев с использованием цветовых индикаторов (зеленый - без замечаний, желтый - дефекты незначительны, красный - значительные дефекты оформления медицинской документации), что обеспечивает высокую эргономичность пользователь-
= Протокол № 210000025860159
АК дата приема Пол 2019-06-29 Женский Протокол амбулаторного приема 0 Дефектовать
Код услуги: 001 -52 * Причины дефектования > /
Наименование услуги: Прием (осмотр, консультация) врача-оториноларинголога # Общий комментарий >
повторный Жалобы О •
Дата рождения: 1986-11 -01 * Анамнез текущего заболевания о о
Диагноз документа: и35.0 Хронический тонзиллит ТАФ1, стихающее обострение и31.2 Хронический фарингит, стихающее обострение. * Аллергологический анамнез о о
Вазомоторный ринит, с аллергическим компонентом? Эпидемиологический анамнез о о
Сопутствующий диагноз: и31.2 J01.SE1] * Анамнез жизни о о
Жалобы: на першение в горле, на частые боли в горле, немотивированную слабость. Повышение температуры тела, головную боль отрицает. * Осмотр ЛОР органов о о
Анамнез заболевания: Считает себя больной в течение длительного периода времени, когда отметила жалобы -На боль в горле, в анамнезе ангины, синусит. Отит отрицает. Усиление в\у жалоб, около 1,5 недели, после переохлаждения, самостоятельно доритрицин. На приеме ЛОР врача 25.06.2019 курс лечения, дообследование. * Основной диагноз о о
Сопутствующие диагнозы о о
Лабораторные исследования о о
Наблюдается инфекционистом КДЦ Арбатский - по вирусной инфекции, Инструментальные исследования о о
хроническое течение. Консультации профильных специалистов о о
Осмотрена аллергологом - и30.4 Аллергический ринит неуточненный Лекарственные средства о о
Рис. 1. Структура и основные элементы формы проверки протокола амбулаторного приема.
ского интерфейса. При указании на наличие дефектов обязательным является требование обосновать снижение оценки (Рис. 2).
Это можно сделать, выбрав предопределенную причину и (или) указав свою в поле «Комментарий». Типовые причины изменения оценок определены для всех критериев и используются для анализа качества ведения протоколов амбулаторного приема и последующей адресной работы с врачами. При дефектовании протокола амбулаторного приема в целом также требуется указать причины.
После умножения оценок на весовые коэффициенты и их суммирования формируется итоговая экспертная оценка протокола. Максимальное значение равно 100 баллам, дефектованному протоколу присваивается 0 баллов. Для обеспечения сопоставления автоматическая оценка сервиса также приводится в диапазон 0 - 100 баллов, при этом «0» в интерфейсе сервиса ККМД означает, что протокол не прошел автоматической проверки.
Все проверки накапливаются в сервисе для проведения дальнейшего анализа и продолжения машинного обучения на новых данных (Рис. 3).
Причина снижения оценки О
Аллергологический анамнез: Собраны частично. Аллергологический анамнез: Не собраны.
Комментарий
Сохранить
Рис. 2. Форма обоснования снижения оценки.
Для каждого проверенного протокола возможен просмотр оценок, причин их снижения, комментариев эксперта, а также печать «Карты внутреннего контроля качества и безопасности медицинской деятельности».
Отдельный интерфейс предназначен для контроля перекрестных проверок (Рис. 4).
Карпов О.Э., Силаева Н.А., Никуличев А.А. и др.
ВНЕДРЕНИЕ СЕРВИСА КОНТРОЛЯ КАЧЕСТВА И БЕЗОПАСНОСТИ МЕДИЦИНСКОЙ ДЕЯТЕЛЬНОСТИ НА БАЗЕ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В МНОГОПРОФИЛЬНОМ МЕДИЦИНСКОМ УЧРЕЖДЕНИИ
= История проверок
Q Поиск по тексту в протоколе
№ ID приёма Дата проверки Клиника Специальность Дефектовано Оценка системы Комментарий Оценка
1 210000028353091 20.12.2019 КДЦ Арбацкий Отоларинголог нет 0 - 94
2 210000028151414 20.12.2019 КДЦ Арбацкий Отоларинголог нет 0 - 95
3 210000028459931 19.12.2019 КДЦ Измайловский Гинеколог нет 73 - 66
4 210000028459931 19.12.2019 КДЦ Измайловский Гинеколог нет 71 - 97
5 210000028092604 19.12.2019 КДЦ Измайловский Гинеколог Рис. 3. Основные элементы представления перечня проверок сервиса ККМД. нет 75 - 82
Сравнение результатов проверки Q Поиск по тексту в протоколе
№ ID приёма Клиника Специальность Проверяющий 1 Проверяющий 2 Оценка 1 Оценка 2 Разница оценки Дата проверки 1 Дата проверки 2
1 2100000270703 73 КДЦ Арбатский Терапевт 85 72 13 02.10.2019 17.10.2019
2 2100000272564 97 КДЦ Арбатский Терапевт 87 72 15 06.10.2019 07.10.2019
3 2100000264694 55 КДЦ Арбатский Терапевт 69 0 69 31.10.2019 23.10.2019
4 2100000264694 55 КДЦ Арбатский Терапевт 0 0 0 29.10.2019 23.10.2019
5 2100000264694 КДЦ Арбатский Терапевт 55
69
69
31.10.2019 29.10.2019
Рис. 4. Основные элементы представления перечня перекрестных проверок сервиса ККМД.
Анализ результатов ККМД
Сервис ККМД предоставляет целый ряд инструментов для анализа ведения протоколов амбулаторного приема. Основными из них являются:
- поиск и фильтрация записей (перечень применяемых фильтров приведен на рисунке 5);
- статистика по врачам и экспертам в разделе «Аналитика» (Рис. 6), нажатие на пиктограмму > позволяет сразу перейти к протоколам);
- использование встроенных отчетов раздела «Расширенная аналитика». Отчетные формы данного раздела «Расширенная аналитика» формируется с помощью генератора отчетов Microsoft PowerBI. Примеры приведены на рисунках 7, 8.
Приведенные возможности закрывают основные информационные потребности экспертов как в части оперативной работы с протоколами амбулаторного приема, так и в определении направлений работы с
Фильтры
Ю приема Дата приема -1-1- -1-1- х □
Специальность ^
Автоматическая оценка от 0 до 100 • •
Клиника
Ручная оценка от 0 до 100
Дата поступления в систему -1-1- -1-1- х □
Статус ^ Разница оценок врача юо и системы
Дата проверки -1-1- -1-1- х □ •
Применить
Рис. 5. Система фильтров представления «Загруженные протоколы».
врачами-специалистами для повышения качества оформления документации и оказания медицинской помощи в целом.
= Аналитика Статистика По врачам По экспертам
Ю врача Клиника Специальность Ср,оценка системы Ср. ручная оценка
210000000 014822 ИДЦ Измайловский Отоларинголог - 75 >
210000000014838 ДКДЦ Педиатр 81 96 >
210000000014850 ДКДЦ Педиатр 54 78 >
210000000014897 КДЦ Измайловский Терапевт 89 77 >
210000000014905 КДЦ Арбатский Терапевт 48 61 >
Рис. 6. Основные элементы представления «Аналитика» сервиса ККМД.
Дата загрузки Таблица с результатами ручной проверки протоколов по клиникам в разрезе по неделям
□ 2019 »□Июль »□Август »□Сентябрь »□Октябрь Название клиники @eval uated_date_year КДЦ Арбатски проверено экспертами клиники дефектных протоколов средняя оценка экспертов КДЦ Измайло проверено экспертами клиники ский дефектных протоколов средняя оценка экспертов Всего проверено экспертами клиники дефектных протоколов средняя оценка экспертов
2019 299 11 82,91 171 6 82,19 470 17 82,65
Ноябрь 145 2 86,77 06 3 84,17 241 5 85,74
»□Ноябрь 04.11.19 6 85,46 6 72,82 12 79,14
»D Декабрь 11.11.19 9 72,97 13 88,89 22 82,38
18.11.19 12 1 78,55 23 1 81,98 35 2 80,80
25.11.19 118 1 88,73 54 2 85,23 172 3 87,63
Декабрь 159 9 79,59 75 3 79,65 234 12 79,61
25.11.19 11 1 80,10 3 86,49 14 1 81,47
02.12.19 95 5 83,11 19 2 70,84 114 7 81,07
09.12.19 5 90,63 17 1 72,86 22 1 76,90
16.12.19 36 3 70,66 26 1 83,63 62 4 76,10
23.12.19 17 78,04 12 87,14 29 81,80
Всего 299 11 82,91 171 6 82,19 470 17 82,65
Клиника Динамика средней оценки ручной проверки протоколов по клиникам
□ Выбрать все □ КДЦ ■ КДЦ Арбатский ■ КДЦ Измайловский 95 90,6 СИ1 88,9 m7 855 Д. 865 87,1 яя . /\ /Д-Л 831 шУ • КДЦ Арбатский \/ \/ • КДЦ Измайловский / 78,6 У те
Специальность 7П 4 73 v
■ Выбрать все ■ Гинеколог ■ Отоларинголог ■ Терапевт
О) О) CTS СТЭ С7Э стэ стз стэ стэ ; -г-" -г-' -г-' т—" | Т-" csi cvi c\i C\i ' Ноябрь Неделя проверки Декабрь
55 • Терапевт
СЛ СП СП СП ; СП О) СП СП
Т-1 1-: • СМ СМ СМ
3 ^ со ю см ' LO . СМ ä S £
Ноябрь Неделя проверки Декабрь
Рис. 7. Пример расширенной аналитики сервиса ККМД по результатам проверок.
Дата загрузки ■ Критерии проверки
Таблица с результатами автоматической проверки по критериям
□ 2019 »□ Июль »□Август »И Сентябрь »□ Октябрь »D Ноябрь D Декабрь
| Выбрать все
| Аллергологический анамнез | Анамнез жизни, в т. ч. информац, | Анамнез текущего заболевания,, | Выбор лекарственных средств /.. I Выбор лекарственных форм и до, I Гинекологический анамнез (род.. I Жалобы
I Инструментальные исследования I Консультации профильных спец.. I Курс лечения
I Лабораторные исследования I Осмотр
I Осмотр гинекологический, осмо., I Основной диагноз I Оформления листка нетрудоспос
пате КДЦ Арбатский кдц Измайловский Всего
Оформления листка нетрудоспособности 87,96 83,61 86,11
Сроки нетрудоспособности 88,02 83,49 86,10
Аллергологический анамнез 77,64 31,41 79,23
Оценка трудоспособности 82,23 75,07 79,19
Экспертный анамнез 82,63 71,63 77,96
Гинекологический анамнез (роды, выкидыши, аборты), в том числе дата начала последних тепэ^менопауза 79,04 72,64 76,32
Инструментальные исследования 71,83 74,62 73,01
Жалобы 70,90 75,84 72,93
Лабораторные исследования 70,60 73,82 71,96
Эпидемиологический анамнез 66,24 78,86 71,56
Консультации профильных специалистов 68,76 74,21 71,06
Осмотр гинекологический, осмотр молочным желез (при первичном осмотре; при наличии жалоб), включая проведение инструментальных исследований, 71,76 67,29 69,86
Всего 63,01 65,74 64,17
Рис. 8. Пример расширенной аналитики сервиса ККМД по критериям оценки.
Карпов О.Э., Силаева Н.А., Никуличев А.А. и др.
ВНЕДРЕНИЕ СЕРВИСА КОНТРОЛЯ КАЧЕСТВА И БЕЗОПАСНОСТИ МЕДИЦИНСКОЙ ДЕЯТЕЛЬНОСТИ НА БАЗЕ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В МНОГОПРОФИЛЬНОМ МЕДИЦИНСКОМ УЧРЕЖДЕНИИ
Администрирование сервиса ККМД и технические аспекты эксплуатации
Вся информация о пациентах и врачах Пироговского Центра хранится и обрабатывается в обезличенном виде. Взаимодействие между оператором сервиса и медицинским учреждением организовано по защищенному каналу связи, созданному с применением аппаратных средств криптографической защиты информации, которые используют шифрование по ГОСТ 28147-89 и имеют действующие сертификаты соответствия ФСБ России и ФСТЭК России. Все данные сервиса ККМД хранятся на территории Российской Федерации.
Администрирование сервиса производится сотрудниками Пироговского Центра и включает в себя следующие действия:
- регистрация пользователей сервиса ККМД;
- регистрация КДЦ, специальностей, критериев оценки с назначением их весовых коэффициентов и возможных причин снижения оценки по каждому из них и протоколу в целом;
- назначение прав доступа пользователям по уровням (стажер / эксперт / главный врач, заместитель главного врача, пользователь может быть отнесен только к одному уровню), специальностям и КДЦ (возможен множественный выбор);
- настройка интерфейсов проверки протоколов;
- назначение эталонных проверок (см. ниже).
Передача протоколов амбулаторного приема в сервис ККМД в настоящее время производится в режиме обмена файлами, но уже реализован механизм интеграции с медицинской информационной системой Пироговского Центра с использованием программных интерфейсов сервиса. В этом режиме, который будет приниматься в эксплуатацию в начале 2020 года, предусмотрена не только отправка протокола в сервис ККМД непосредственно из карточки амбулаторного приема и (или) перечня медицинских документов, но и немедленное получение результатов автоматического оценивания по каждому из критериев.
Методика ввода в эксплуатацию сервиса ККМД
Внедрение и первые месяцы эксплуатации сервиса ККМД не сводились только к изучению возможностей программного решения и совершенствованию его пользовательских интерфейсов. В ходе проекта Пироговский Центр сформировал методические наработки, повышающие эффективность внедрения и результативность использования сервиса, которые могут быть полезны как широкому кругу медицинских учреждений, так и региональным системам здравоохранения.
Главный вывод - еще до начала работ по внедрению программных решений необходимо максимальное внимание уделять обеспечению единообразия оценок. Разработчики предусмотрели наличие перекрестных проверок при эксплуатации сервиса ККМД, но для Пироговского Центра - крупного многопрофильного учреждения с территориально распределенными КДЦ - этого оказалось не-
достаточно. Отсутствие единообразия в оценках, которые эксперты на начальном этапе проекта давали протоколам, не только снижало эффективность машинного обучения, но и препятствовало созданию обратной связи с врачами по результатам оценки. Для решения проблемы помимо проведения административных мероприятий был предложен сценарий так называемой «стажировки» пользователей перед регулярным использованием сервиса. Технологически стажировка была реализована следующими доработками функциональных возможностей:
- создания новой выделенной роли пользователя сервиса ККМД - «стажер»;
- введения понятия «эталонная проверка», которая подразумевает обсужденный и согласованный ключевыми экспертами и руководителями набор оценок разнородных протоколов амбулаторного приема
- эталонные проверки должны относиться не столько к качественным протоколам, сколько демонстрировать обнаружение всех видов дефектов оформления медицинской документации;
- ограничение предъявляемых стажерам протоколов
- они проверяют только те, для которых определены эталонные проверки;
- исключения оценок стажеров из обучающей выборки и отчетности сервиса;
- создание специального раздела сервиса ККМД «Сравнение результатов проверки стажеров» для наглядной оценки прогресса.
После того, как стажер проверил доступный ему набор протоколов, руководители КДЦ, ознакомившись с результатами, могут допустить его к регулярной работе в сервисе, тогда его роль меняется на «эксперт». Предлагаемый подход позволяет эффективно расширять перечень пользователей сервиса ККМД с минимизацией снижения единообразия оценок.
Использование сервиса ККМД постепенно входит в регулярную деятельность экспертов и руководства КДЦ Пироговского Центра. Сложившаяся практика (в т.ч. целевые сценарии для проекта ввода сервиса ККМД в эксплуатацию) будет отражена в регламенте, который зафиксирует последовательность действий пользователей, относящихся к различным группам (ролям). Основными регламентируемыми процессами станут:
- включение в сервис ККМД нового пользователя, исключение пользователя из сервиса, изменение ролей пользователей;
- добавление новой специальности для проверки в рамках сервиса ККМД;
- внесение изменений в методику оценки медицинской документации;
- регулярное использование сервиса ККМД;
- формирование отчетности.
Заключение
По мнению экспертов Пироговского Центра, ввод сервиса ККМД в эксплуатацию привел к повышению
70 65 _ 60_ 55 _ 50 _ 45 _ 40 _
Средняя оценка протоколов амбулаторного приема, баллы
май июн. июл. авг. сен. окт. ноя. дек. янв. фев. мар. апр. 2018 2018 2018 2018 2018 2018 2018 2018 2019 2019 2019 2019
Рис. 9. Результаты использования сервиса ККМД (терапия, внешняя оценка).
качества ведения протоколов амбулаторного приема. Это подтверждается оценкой внешних экспертов, привлеченных разработчиком программного решения (Рис. 9). После начала работ по внедрению системы средняя оценка выросла более чем на 10% без учета сезонного фактора.
Требования Минздрава России и страховых фондов и компаний, потребности экспертов КЭР, технологические возможности медицинской информационной системы Пироговского Центра и сервиса ККМД, результаты его эксплуатации сформировали следующий перечень направления дальнейшего развития
- на краткосрочную перспективу:
— расширение перечня специальностей, для ККМД которых используется сервис;
— максимально тесная интеграция решений КЭР в используемую медицинскую информационную систему;
- на среднесрочную перспективу - переход от рассмотрения изолированного протокола амбулаторного приема к обращению - законченному случаю лечения заболевания в амбулаторных условиях, включающему лечебно-диагностические и реабилитационные мероприятия;
- на долгосрочную перспективу (задача-максимум)
— использование сервиса не только в КДЦ, но и в стационаре Пироговского Центра.
Авторы заявляют об отсутствии конфликта интересов (The authors declare no conflict of interest).
ЛИТЕРАТУРА/REFERENCES
1. Приказ Министерства здравоохранения Союза Советских Социалистических Республик от 04.10.1980 № 1030 «Об утверждении форм первичной медицинской документации учреждений здравоохранения». [Order of the Ministry of Health of the Union of Soviet Socialist Republics No. 1030 "On approval of the forms of primary medical documentation of healthcare institutions" dated April 10, 1980. (In Russ).] Доступно по: https://minzdravao.ru/sites/default/files/prikaz_1030.pdf. Ссылка активна на 06.02.2020.
2. Приказ Министерства здравоохранения Российской Федерации от 15.12.2014 № 834н «Об утверждении унифицированных форм медицинской документации, используемых в медицинских организациях, оказывающих медицинскую помощь в амбулаторных условиях, и порядков по их заполнению».
3. [Order of the Ministry of Health of the Russian Federation No. 834n "On approval of unified forms of medical documentation used in medical organizations providing medical care on an outpatient basis, and procedures for filling them out" dated December 15, 2014. (In Russ).] Доступно по: https://www.rosminzdrav.ru/documents/83-37-prikaz-ministerstva-zdravoohraneniya. Ссылка активна на 06.02.2020.
4. Положение о единой государственной информационной системе в сфере здравоохранения, утвержденное Постановлением Правительства Российской Федерации № 555 от 05.05.2018 г. [Regulation on the unified state information system
in the field of healthcare, approved by the Decree of the Government of the Russian Federation No. 555 dated May 05, 2018. (In Russ).] Доступно по: http://publication. pravo.gov.ru/Document/View/0001201805070034. Ссылка активна на 06.02.2020.
5. Проект федерального закона «О внесении изменений в Кодекс Российской Федерации об административных правонарушениях». [Federal Law Draft "On Amendments to the Code of the Russian Federation on Administrative Offenses". (In Russ).] Доступно по: https://regulation.gov.ru/projects#npa=97645. Ссылка активна на 06.02.2020.
6. Hochreiter S, Schmidhuber J. Long short-term memory. Neural Comput. 1997;9(-8):1735-1780. doi: 10.1162/neco.1997.9.8.1735.
7. LeCun Y, Boser B, Denker JS, et al. Backpropagation applied to handwritten zip code recognition. Neural Comput. 1989;1(4):541—551. doi: 10.1162/neco.19-89.1.4.541.
8. Howard J, Ruder S. Universal language model fine-tuning for text classification. In: Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics; 2018 Jul 15-20; Melbourne, Australia. Melbourne: Association for Computational Linguistics; 2018. P. 328-339.
