CC BY
71
ОРГАНИЗАЦИЯ И РЕГУЛЯЦИЯ ВЗАИМОДЕЙСТВИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА С ВРАЧОМ И ПАЦИЕНТОМ
Карпов О.Э., Пензин О.В., Веселова О.В.* ЭС!: m2588VBPNMSC.2020.73.34.027
ФГБУ «Национальный медико-хирургический Центр имени НИ. Пирогова» Минздрава России, Москва
Резюме. Повсеместно проходящая цифровая трансформация здравоохранения приводит к появлению и внедрению решений, использующих технологии искусственного интеллекта. Это приносит много пользы, но приводит к новым специфическим проблемам во взаимоотношениях врачей, пациентов и регуляторов.
Рассматриваются предлагаемые международными структурами, консультантами и практиками подходы к их решению, и делается вывод, что драйвером внедрения искусственного интеллекта в отрасли является наличие значительных объемов качественных медицинских данных.
Предлагается поддержать предложения части российских регуляторов по деперсонализации, децентрализации и дерегуляции медицинских данных, накапливаемых научными и клиническими центрами, для ускорения создания умных и этичных систем поддержки принятия врачебных решений.
Ключевые слова: искусственный интеллект, медицина, системы поддержки принятия врачебных решений, данные рутинной клинической практики, медицинские данные.
ORGANIZATION AND REGULATION OF ARTIFICIAL INTELLIGENCE WITH A DOCTOR AND A PATIENT INTERACTION
Karpov O.E., Penzin O.V., Veselova O.V.*
Pirogov National Medical and Surgical Center, Moscow
Abstract. The ubiquitous digital transformation of healthcare leads to the development and implementation of solutions using artificial intelligence technologies. This brings many benefits, but introduces new and specific problems in the relationship between doctors, patients, and regulators.
Approaches to their solution proposed by international bodies, consultants and practitioners are considered. It is concluded that the driver of the introduction of artificial intelligence in the industry is the presence of high-quality big medical data.
It is proposed to support the proposals of some Russian regulators on depersonalization, decentralization and deregulation of medical data accumulated by scientific and clinical centers to accelerate the creation of smart and ethical medical decision support systems.
Keywords: artificial intelligence, medicine, medical decision support systems, real-world data, RWD, medical data.
Актуальность проблемы
Национальные системы здравоохранения во многих странах мира, вероятно, достигли пределов своего экстенсивного роста. Дисбалансы в системах здравоохранения будут усугубляться в связи со старением населения в развитых странах и его увеличением с последующим старением в развивающихся странах.
В таких условиях представляются интересными возможности по повышению производительности и перестроению труда медицинских работников с использованием современных информационных и цифровых технологий [1]. Процессы информатизации и последующей цифровой трансформации уже затронули ряд «классических» областей экономики: промышленность, транспорт, розничная торговля, финансы. Организаторы здравоохранения и медицинские профессиональные сообщества ведут обсуждения новых возможностей для цифровой трансформации медицины и здравоохранения [2; 3].
Учитывая обширность и разнородность знаний в предметной области, высокую когнитивную нагрузку на старший медицинский персонал и необходимость принимать решения в сжатых временных рамках формируется потребность в реализации систем поддержки принятия врачебных решений (СППВР, Clinical decision support systems, CDSS) на базе технологий искусственного интеллекта (ИИ, Artificial intelligence, AI).
На рисунке 1 приведена «Карта [производителей решений с использованием технологий] ИИ в России»
* e-mail: veselovaov@pirogov-center.ru
[4], на которой голубым выделены компании, разрабатывающие решения по применению искусственного интеллекта в медицине — по количеству компаний-разработчиков ИИ (44) здравоохранение не уступает другим областям экономики. Однако, в ней отсутствуют явные лидеры по выручке на российском рынке, которые отмечены в других областях кругами большей площади (на диаграмме диаметр каждого круга пропорционален выручке, или равен минимальному значению, если выручка равна нулю).
Существует множество определений искусственного интеллекта. ЮНЕСКО предлагает его более гуманитарный вариант: в большинстве случаев имеются в виду программы (машины), «способные имитировать определенные функции человеческого интеллекта, включая такие его свойства, как восприятие, обучаемость и логическое мышление, а также способности к решению задач, языковому взаимодействию и даже художественному творчеству»
[5]. В то время как определение из федерального закона от 24 апреля 2020 года 123-ФЗ несет более технический и исчерпывающий характер: «Искусственный интеллект — комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Комплекс технологических решений включает в себя информацион-
Карпов О.Э., Пензин О.В., Веселова О.В.
ОРГАНИЗАЦИЯ И РЕГУЛЯЦИЯ ВЗАИМОДЕЙСТВИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА С ВРАЧОМ И ПАЦИЕНТОМ
Форсайт 1- —
1С бнтрихс
just Ai и тс к
Catana г ь
)j I mi I..™™
ЦКТ Цифра
..Ь-
„и^угадиг . .:. ......
kipocF0™ TV
CPS lib Sienum
IBS--Я
EFSOLw. ......."
л seal lab'™"""
Li IT О О"'" - СЯ5П011
Adept ik
J Af Datana optiats
Крмбрум
Inleksys
V|Roobo
Lexybot
Urbica
БАБ
Eastwlnd
Roobo Systech
---------- ITDT
AT coniuliing
Vlabs
Vision labs
— ABBYY 3DiVi E""*
■— Dato "I
ExpasoftVerme
ТРИ К
lubbles Скнмойр
У
Р!>Нян
-т л.
Sunityaljf,iC<jube4 ''Я Promobot ■
Conomy Lexpro
вист гругп
Гиакии
w ^ ^V
Sotiohub I»» &mf j).ito ML
Яндекс
¿r^uiit»
я Tiiwotim __
Ukit
EQgflU lA,
■""-™1 Prombot
""■■Ч1Ш1,,, Sarafan
, -lUbs
Case .praleff ill.
jijuKiw: RaZOOM
■^L Aflatun
QlMfft
Mivax
»■-ь.—— Seldon
tat lc
Aldata -----j
ffall.Ru Group NAUMEN
FreshDoc
15Э
иосоЕ(£е!$и5
Элвис
DBrain ЦРТ
HeuEus
Uncat5"'11»
YVi„„u. AvitO S'ldQa'
" "Avitn.
Jet ti
buat«»»!
ЩVocalize
Avito «-fl^
rapaHTSoic^
I Xsud
ПЯАррг ^^
iselook
Ukit'
"'f—П
Veime
ABBYV
Cora
RoactAI^ г""*"
Axxon ■«•«*«
Aperso
^AntMH^ Kvirt Ч^Г
IJ -ЯЙь iVoice ШЖ
ibciafcop '«Qk 9 Ak ^H ..*. »i>
» Mivai*"1"fpra. j w Ш
t-er%01ca ШГ1РТ J^B
ittt..l( "в,,,™
Eyemove № e—j
L1IW11» » ЗЯ hkmr. ™>Я» Vliellubs
—^ei
. , Tangeat
Fin do ЖЖ? (Entensys Glagol.Voxi.Ai
; nfoW.lt :H Veeffoute
tQnsec
Alytlti
Adiiver
Youscan'ava,,®s
iT" RTB HO««
Ny.eom
iUiU-rJJiT
Biosoft
Celsus onUnt
Genotek
Aitarget Reia^egniento
:
Cezufiiy RoadAR Sarafan
owox
Promt Just AI
/ ^ j: :: .
т:
* .....4 *
ЦР |i, Id
[oruiii™ чирп 1 11 'МТС ПАП
Gene t it r, Unim 1 |ГтоЯИ^И| й-
• ■■ Яндекс 0KAe цктиыс
Legist i« ReesJi
Au t Dpi ir
Киберис
huatqiil
Doctoi'-Atlas Ooctis
MHPDOC+
Erotian
Inteto
NAUME
.1
JMrbot
Количество по категориям: финансы: 16 Бизнес-аналитика: Робототехника: 16 Логистика: 7 Реклама: 27
Анализ данных: 43
Кибербезопасность:
Медицина и здравоохранение: 44
Розничная торговля: 13
Обработка естественного языка: 45
Юридические услуги: 26 Компьютерное зрение: 57 Интернет вещей: 9 Распознование речи: 7
Промышленность: 10
Рис. 1. Карта компаний и проектов, развивающих технологии ИИ в России версия 1.17, источник: http://airussia.online/#titul.
но-коммуникационную инфраструктуру..., программное
Решения различного уровня зрелости с использова-
обеспечение (в том числе в котором используются методы нием технологий искусственного интеллекта в настоящий машинного обучения), процессы и сервисы по обработке момент существуют для многих областей медицины,
данных и поиску решений» [6].
организации здравоохранения и фармацевтики [1-3; 7]:
- анализ и интерпретация диагностических изображений и видеозаписей;
- обработка естественного языка в медицинских документах и записях пациентов, поддержание диалога с помощью чат-ботов;
- распознавание речи и создание голосовых интерфейсов;
- проведение дифференциальной диагностики и помощь в установлении диагноза, поддержка врача при лечении ко- и мультиморбидных пациентов;
- прогнозирование осложнений, ответа на терапию, тяжести заболевания;
- проведение неинтервенционных исследований на данных рутинной клинической практики (Real World Data, RWD) для получения совокупности доказательств рутинной клинической практики (Real World Evidence, RWE) и оценки медицинских технологий;
- анализ и снижение размерности «омиксных» данных (геномных, экзомных, протеомных и т.п.)
- обработка и анализ сигналов с оборудования функциональной диагностики и носимых устройств;
- моделирование и управление популяционным здоровьем, контроль эпидемиологической обстановки;
- репозиционирование существующих лекарственных препаратов, моделирование новых действующих веществ, проведение части исследований in silico.
Организация и регуляция взаимодействия искусственного интеллекта с врачом и пациентом
В рамках работы 70-ой генеральной ассамблеи Всемирной медицинской ассоциации (World Medical Association, WMA, ВМА) в 2019 году была принята декларация «WMA statement on augmented intelligence in medical care», предлагающая использование решений на базе ИИ в качестве помощи человеку (дополненного / расширенного / усиленного интеллекта, augmented intelligence), не исключая врача из процесса принятия решения и оставляя за ним решающее мнение [7].
Использование данного термина в декларации ВМА, является отсылкой к классическому труду по кибернетике Д. Энгельбарта «Augmenting Human Intellect: A Conceptual Framework», опубликованном в 1962 году (Рис. 2), в котором «под усилением возможностей подразумевается совокупность следующих пунктов: ускоренное и улучшенное осмысление, возможность достигать полезного уровня понимания в ситуации, которая ранее была слишком сложна, принятие лучших решений с большей скоростью, а также возможность поиска решений для задач, которые раньше казались неразрешимыми» [8].
ВМА выступает за примат отношений между пациентом и врачом при разработке и внедрении систем искусственного интеллекта [7]. Отечественные исследователи биомедицинской этики также отмечают важность коммуникации между врачом и пациентом даже в случае применения интеллектуальных СППВР — только врач на текущий момент может провести личную консультацию
AUGMENTING HUMAN INTELLECT: A CONCEPTUAL FRAMEWORK
OIÍKTOH Of INfO*fcWTtOM SdEHCd Alfc <C»:t OiNCe Ûf SCIENTIFIC HESEaHCH
WASHINGTON ÎS. P.C.
contract Af <tttm
Лт D, c, BqdWf
STANFORD KÏSEARCH INSTITUTE
MENLO PAUK, CALIFORNIA
Рис. 2. Классика кибернетики—Д. Энгельбарт «Augmenting Human Intellect: A Conceptual Framework» (1962 год).
больного, в процессе которой сможет оценить психоэмоциональный и когнитивный статусы пациента, обсудить возможные альтернативы в диагностике и лечении, добиться понимания со стороны пациента и приверженности терапии [9].
Согласно рекомендациям ВМА именно врач, при наличии такой необходимости, должен доносить до пациента информацию и рекомендации от интеллектуальных систем [7]. На него же в соответствии с законодательством Российской Федерации возложена ответственность за нарушение прав в сфере охраны здоровья, причинение вреда жизни и (или) здоровью при оказании гражданам медицинской помощи — статья 98 323-ф3 «Об основах охраны здоровья граждан в Российской Федерации».
Также следует принять во внимание, что медицинские информационные системы (МИС), использующие ИИ для интерпретации медицинских данных с результатом, влияющим на клинические решения, будут однозначно классифицированы как медицинские изделия согласно критериям информационного письма Росздравнадзора от 13.02.2020 № 02И-297/20 [10] с последующей необходимостью их регистрации в установленном порядке согласно классу риска их применения [11], определенному по рекомендациям Евразийской экономической комиссии (ЕЭК) [12] и Международного форума регуляторов медицинских изделий (International Medical Device Regulators Forum, IMDRF) [13]. Соответственно врач-пользователь становится субъектом обращения медицинских изделий с обязанностями по мониторингу их безопасности и ответственности за его выполнение согласно статье 96 323-ф3.
Карпов О.Э., Пензин О.В., Веселова О.В.
ОРГАНИЗАЦИЯ И РЕГУЛЯЦИЯ ВЗАИМОДЕЙСТВИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА С ВРАЧОМ И ПАЦИЕНТОМ
Сходных взглядов на организацию взаимодействия между пациентом, врачом и ИИ придерживаются и аналитики рынка цифровых технологий. Так, в отчете о состоянии рынка медицинских информационных систем, выполненном в 2014 году по заказу норвежского министерства здравоохранения исследовательской и консалтинговой компанией Gartner, [14] выделено пять поколений МИС, с описанием их функциональных возможностей и временем появления на рынке — сводные данные представлены в таблице 1.
Помимо организационных и правовых условий разработка и эксплуатация систем искусственного интеллекта требует также решения ряда этических вопросов. Их разработкой занимаются различные профессиональные медицинские сообщества, среди которых особенно выделяются объединения специалистов по лучевой диагностике, столкнувшиеся с технологиями ИИ раньше других врачебных специальностей.
Активное обсуждение принципов применения ИИ в медицине идет среди профессиональных сообществ радиологов из Европы и Северной Америки, в которых выделяют группы требований (к данным, к алгоритмам, к практике применения) и разделение сфер ответственности между разработчиками и эксплуатантами решений, использующих ИИ [15]. Также свой набор этических принципов отношении ИИ опубликовал Королевский Австралийский и Новозеландский Колледж Радиологов (The Royal Australian and New Zealand College of Radiologists, RANZCR), регулирующих внедрение искусственного интеллекта (ИИ) в медицине, особенно в отношении клинической радиологии и радиационной онкологии [16]:
1. Безопасность (Safety). Первым и главным соображением при разработке, внедрении или использовании ИИ-решений должна быть безопасность пациентов и качество медицинской помощи, а также доказательная база, подтверждающая это.
2. Избегание смещений (Avoidance of bias). Данные, на которых основаны системы ИИ-решения, должны быть репрезентативными для целевой популяции пациентов, на которой используется система или инструмент и особая осторожность должна быть проявлена при применении инструмента ИИ, обученного на общей популяции, к группам коренных народов или меньшинств.
3. Прозрачность и объяснимость (Transparency and explainability). ИИ-решения могут давать результаты, которые трудно интерпретировать или воспроизвести. При использовании ИИ в своей практике врач должен быть способен интерпретировать, как было принято решение и взвешивать потенциал для предвзятости.
4. Конфиденциальность и защита данных (Privacy and protection of data). Медицинские данные относятся к числу наиболее конфиденциальных данных человека, они должны храниться надежно и в соответствии с
Табл. 1. Поколения медицинских информационных систем по Gartner. Дата появление на рынке МИС пятого поколения еще не определена (публикация 2014 г.)
Поколение МИС
Первое
Второе
Третье
Четвертое
Пятое
Годы
активного
развития
1990-1999
1995-2005
2005 -
настоящее
время
2015
- настоящее время
Появление первых образцов ожидается после 2020г.
Описание
Сборщик (The Collector)
Документатор (The Documenter)
Помощник (The Helper)
Коллега (The Colleague)
Наставник (The Mentor)
Функциональные возможности
Разрозненные учетные системы для ведения первичных данных, с возможностью получения консолидированной отчетности; строго учетные данные, без детальной клинической информации
Более продвинутые системы ведения медицинских записей, поддерживающие электронную медицинскую карту пациента с текстовой клинической информацией, без дополнительной помощи в принятии врачебных решений
Расширение возможностей отслеживания клинических данных с помощью СППВР, использующих механизмы логических правил,стандартизированные под профиль пациента протоколы ведения и клинические рекомендации, основанные на принципах доказательной медицины
Все возможности третьего поколения МИС с расширением модальностей обрабатываемых клинических данных, пригодных для обучения ИИ и использования СППВР на базе многомерного анализа, предиктивной аналитики и прогнозирования состояния конкретного пациента, влияющие на решения врача-пользователя. Этому уровню соответствуют наиболее современные на текущий момент МИС, уже использующие решения с ИИ
Характеристики поколения еще окончательно не определены, но обсуждается возможность формирования планов диагностики и лечения пациентов средствами искусственного интеллекта, с последующей оценкой и использованием их врачами
соответствующими законами и передовой практикой. Если данные передаются или иным образом используются для исследований ИИ, они должны быть деидентифицированы таким образом, чтобы личность пациента не могла быть восстановлена. Принятие решений по диагностике и лечению врачом (Decision-making on diagnosis and treatment). Инструменты ИИ должны использоваться в качестве помощи медицинскому работнику, решения о лечении рекомендуются врачом в консультации с пациентом в соответствии с передовой практикой и научно обоснованным уходом за пациентом.
6. Ответственность за принятые решения (Liability for decisions made). Бремя ответственности разделяется при условии обеспечения медицинской помощи соответствующим требованиями качества.
7. Применение общечеловеческих ценностей (Application of human values). Общечеловеческие гуманитарные ценности и личные установки пациента должны всегда учитываться. Предоставляемая медицинская помощь должна быть ориентированной на пациента.
8. Институты управления (Governance). Государственное регулирование должно контролировать все этапы жизненного цикла ИИ. Комитеты по управлению, которым поручено контролировать внедрение инструментов искусственного интеллекта и обеспечивать соблюдение этических принципов и стандартов, должны иметь подготовленных представителей пациентских сообществ и практикующих клиницистов в качестве членов.
Доступность медицинских данных для создания систем искусственного интеллекта
Реализация искусственного интеллекта посредством использования алгоритмов машинного обучения требует наличия достаточного количества единообразно закодированных качественных деперсонифицированных (обезличенных) медицинских данных для обучения и валидации моделей [17]. Именно поэтому заметная активность представителей лучевой диагностики в вопросах по этическим аспектам искусственного интеллекта, объясняется наличием достаточно зрелых ИИ-решений, готовых к опытной эксплуатации. Их появление именно в анализе радиологических изображений можно объяснить двумя факторами: появление библиотек для анализа изображений с открытым исходным кодом и наличие достаточного количества стандартизированных с помощью зрелого стандарта DICOM (Digital Imaging and Communications in Medicine).
В условиях ограниченного доступа исследователей к качественным данным решения на базе ИИ не могут охватить все специфические популяции, возникает ситуация, когда алгоритм обучения модели технически не может учесть данные очень редкого нетипичного пациента и построит модель без его учета, оптимизируя параметры для достижения целевого уровня качества по преобладающим типичным наблюдениям.
На практике это означает непреднамеренную дискриминацию всех подобных нетипичных пациентов — модели, обученные без их учета, будут нерелевантными для них, что в лучшем случае скажется на снижение качества их, а в плохом сценарии может приводить и совсем к случайным результатам. От подобных смещений моделей (Algorithmic bias) могут пострадать представители национальных меньшинств или, например, пациенты с редкими заболеваниями. Лучшим способом исправить такое смещение алгоритма, использующегося в медицинском ИИ-решении, будет его дообучение на достаточной
выборке данных схожих нетипичных субъектов, собранной и введенной специально для исправления подобных искажений.
Подобные программы под названием «суверенитет данных» (Data Sovereignty), есть у коренных народов США (https://usindigenousdata.org/) и Австралии (https://www. maiamnayriwingara.org/). К сожалению, пока опубликованы только программные статьи о данных проектах [18] — результатов практического анализа данных в этих популяциях обнаружить не удалось.
В то же время существуют примеры и удачных, реализованных решений, так группа корейских исследователей [19], подозревая потенциальную нерелевантность результатов западных исследований рутинной клинический практики для корейской популяции, организовала конвертацию накопленных в национальном формате данных о 1,13 миллионе субъектов в свободно распространяемую (open source) модель данных Observational Medical Outcomes Partnership — Common Data Model (OMOP-CDM), для сравнения с результатами иностранных исследований. Исследователям удалось конвертировать 99,1% данных.
Кроме этого модель данных OMOP-CDM используется в открытом международном проекте Observational Health Data Sciences and Informatics (OHDSI), поддерживающим коллаборации для исследования данных рутинной клинической практики и позволяющим исследователям получать огромные выборки вплоть до 250 миллионов пациентов в исследовании, посвященном тактикам ведения пациентов с распространёнными, социально значимыми заболеваниями: сахарным диабетом второго типа, гипертонической болезнью и депрессией [20] — медицинские данные хранились и распределено обрабатывались в 11 источниках из 4 разных стран (США, Великобритания, Южная Корея, Япония).
Заключение
Национальные системы здравоохранения нуждаются в решениях на базе искусственного интеллекта для повышения эффективности труда медицинских работников в условиях ограниченных бюджетов здравоохранения и неблагоприятной демографической динамики.
ИИ-решения не смогут вытеснить живых врачей, но при своем дальнейшем развитии ИИ сможет стать для них внимательным, квалифицированным и пунктуальным «коллегой-ассистентом», чтобы убрать часть рутинной нагрузки с докторов, непосредственно работающих с пациентами и их данными.
В России основным препятствием для развития технологий ИИ на сегодняшний день является нехватка качественных, одинаково структурированных, объемных и биологически разнообразных наборов данных для обучения. Деперсонализация медицинских данных, децентрализация хранения и дерегуляция их использования в исследовательских целях (хотя бы в объеме предложений Минэкономразвития о «Об экспериментальных правовых
Карпов О.Э., Пензин О.В., Веселова О.В.
ОРГАНИЗАЦИЯ И РЕГУЛЯЦИЯ ВЗАИМОДЕЙСТВИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА С ВРАЧОМ И ПАЦИЕНТОМ
режимах в сфере цифровых инноваций в Российской Федерации» [21]) могут стать основой для создания сети научно-исследовательских и медицинских центров, обладающих структурированными базами обезличенных данных о пациентах различных профилей, возрастов, этнической принадлежности — подходящими как для выполнения научно-исследовательских работ, так и для обучения систем искусственного интеллекта в медицине.
Авторы заявляют об отсутствии конфликта интересов (The authors declare no conflict of interest).
ЛИТЕРАТУРА/REFERENCES
1. Willie MM, Nkomo P. Digital transformation in healthcare — South Africa context. World Medical Journal. 2020;66(1):34-38.
2. Noorbakhsh-Sabet N, Zand R, Zhang Y, Abedi V. Artificial intelligence transforms the future of health care. Am J Med. 2019;132(7):795-801. Doi: 10.1016/j.amjmed.20-19.01.017.
3. Miller DD, Brown EW. Artificial intelligence in medical practice: the question to the answer? Am J Med. 2018;131(2):129-133. Doi: 10.1016/j.amjmed.2017.10.035.
4. Карта искусственного интеллекта России v1.17. АйПи Лаборатория, ООО, 2020. [Map of artificial intelligence of Russia v1.17. IP Laboratory, LLC. (In Russ).] Available at: http://airussia.online/#titul Доступ от 28.07.2020.
5. Предварительное исследование технических и правовых аспектов целесообразности принятия нормативного документа по этике искусственного интеллекта. ЮНЕСКО. Материалы конференции. Париж, 2019. 34 с. [Preliminary study on the technical and legal aspects relating to the desirability of a standard-setting instrument on the ethics of artificial intelligence. UNESCO Executive Board Conference Proceedings. Paris; 2019. 34 p. (In Russ).] Available at: https://unesdoc.unesco. org/ark:/48223/pf0000367422_rus. Доступ от 20.07.2020.
6. Федеральный закон № 123-Ф3 от 24 апреля 2020 г. «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации — городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона
«О персональных данных». [Federal Law No. 123 "O provedenii eksperimenta po ustanovleniyu spetsial'nogo regulirovaniya v tselyakh sozdaniya neobkhodimykh uslovii dlya razrabotki i vnedreniya tekhnologii iskusstvennogo intellekta v sub'ekte Rossiiskoi Federatsii — gorode federal'nogo znacheniya Moskve i vnesenii izmenenii v stafi 6 i 10 Federal'nogo zakona "O personal'nykh dannykh" dated April 24, 2020. (In Russ).]
7. WMA statement on augmented intelligence in medical care. Adopted by the 70th World Medical Association General Assembly. Tbilisi, Georgia; 2019 [cited 2020 Jul 20]. Available at: https://www.wma.net/policies-post/wma-statement-on-augmented-intelligence-in-medical-care/.
8. Engelbart DC. Augmenting Human Intellect: a conceptual framework. Summary Report AFOSR-3233. Menlo Park: Stanford Research Institute; 1962.
9. Чучалин А.Г., Черешнев В.А., Мишланов В.Ю., и др. Биоэтика, искусственный интеллект и медицинская диагностика. — Пермь, 2019. C. 174-175. [Chuchalin AG, Chereshnev VA, Mishlanov VYu, et al. Bioethics, artificial intelligence and medical diagnostics. Perm; 2019. P. 174-175. (In Russ).]
10. Информационное письмо Росздравнадзора от 13.02.2020 № 02И-297/20. [Information letter of Roszdravnadzor No. 02I-297/20 dated February 13, 2020. (In Russ).]
11. Столбов А.П. О классификации рисков применения медицинского программного обеспечения в евразийском экономическом союзе // Врач и информационные технологии. — 2019. — №3. — С. 22-31. [Stolbov AP. About the classification of risks of application of the medical software in the Eurasian economic union. Information technologies for the Physician. 2019;(3):22-31. (In Russ).]
12. Правила классификации медицинских изделий в зависимости от потенциального риска применения. Решение Коллегии Евразийской экономической комиссии от 22.12.2015 № 173. [Rules for the classification of medical devices depending on the potential risk of use. Decision of the Board of the Eurasian Economic Commission No. 173 dated December 22, 2015. (In Russ).]
13. International Medical Device Regulators Forum. IMDRF/SaMD WG(PD1)/N41R3: 2016 Software as a Medical Device: Clinical Evaluation, 2017 [cited 2020 Jul 20]. Available at: http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-170921-samd-n41-clinical-evaluation_1.pdf.
14. Gartner survey of EHR suppliers and systems in the Norwegian market. Version 1.0. Gartner, Inc. Commissioned by the Ministry of Health and Care Services. 2014. p. 9-11 [cited 2020 Jul 20]. Available at: https://www.regjeringen.no/contentasse-ts/355890dd2872413b838066702dcdad88/gartner_survey_ehr_suppliers_syste-ms_norwegian_market.pdf.
15. Geis JR, Brady A, Wu CC, et al. Ethics of artificial intelligence in radiology: summary of the joint European and North American multisociety statement. Insights Imaging. 2019;10(1):101. Doi: 10.1186/s13244-019-0785-8.
16. The Royal Australian and New Zealand College of Radiologists. RANZCR proposes ethical guidelines for AI. Draft [cited 2020 Jul 20]. Available at: https://www.ranzcr. com/our-work/advocacy/position-statements-and-submissions/ranzcr-ethical-princi-ples-for-ai-in-medicine-consultation.
17. Карпов О.Э., Субботин С.А., Шишканов Д.В. Использование медицинских данных для создания систем поддержки принятия врачебных решений // Врач и информационные технологии. — 2019. — №2. — С. 11-18. [Karpov OE, Subbotin SA, Shishkanov DV. Medical data usage to create medical decision support systems. Information technologies for the Physician. 2019;(2):11-18. (In Russ).]
18. Walker J, Lovett R, Kukutai Е, et al. Indigenous health data and the path to healing. Lancet. 2017;390(10107):2022-2023. Doi: 10.1016/S0140-6736(17)32755-1.
19. You SC, Lee S, Cho SY, et al. Conversion of National Health Insurance Service-National Sample Cohort (NHIS-NSC) Database into Observational Medical Outcomes Partnership-Common Data Model (OMOP-CDM). Stud Health Technol Inform. 2017;-245:467-470.
20. Hripcsak G, Ryan PB, Duke JD, et al. Characterizing treatment pathways at scale using the OHDSI network. Proc Natl Acad Sci U S A. 2016;113(27):7329-7336. Doi: 10.1073/pnas.1510502113
21. Законопроект «О внесении изменений в отдельные законодательные акты Российской Федерации в связи с принятием Федерального закона «Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации». [Draft Law "O vnesenii izmenenii v otdel'nye zakonodatel'nye akty Rossiiskoi Federatsii v svyazi s prinyatiem Federal'nogo zakona "Ob eksperimental'nykh pravovykh rezhimakh v sfere tsifrovykh innovatsii v Rossiiskoi Federatsii". (In Russ).] Available at: https://regulation.gov.ru/projects#npa=106119. Доступ от 20.07.2020.
