CC BY
32
Е.И.ШУЛЬМАН,
к.б.н., начальник отдела информационных систем,
Г.З.РОТ,
к.м.н., главный врач, академик РАМТН, заслуженный врач РФ,
Некоммерческая организация «Фонд развития и оказания специализированной медицинской помощи «Мед-санчасть-168», г.Новосибирск
ЭКОНОМИЧЕСКАЯ ЭФФЕКТИВНОСТЬ КЛИНИЧЕСКОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ НОВОГО ПОКОЛЕНИЯ
В статье дается описание влияния клинической информационной системы (КИС) нового поколения на экономическую эффективность лечебно-диагностических процессов. Приводятся примеры количественных оценок таких влияний и механизмы их осуществления. На основе проведенного анализа сформулированы дополнительные требования к системам нового поколения, реализация которых позволит получить доказательства экономической эффективности КИС
в больницах различного статуса.
+-'-
© Е.И.Шульман, Г.З.Рот, 2004 г.
В последнее время увеличивается количество зарубежных публикаций, описывающих положительный опыт использования в больницах клинических информационных систем (КИС) нового поколения. Однако для широкого внедрения таких систем необходимо преодолеть существенное препятствие, выражающееся в их чрезвычайно высокой стоимости.
Например, стоимость создания и внедрения системы компьютерного заказа назначений, представляющей собой подсистему КИС, в академической 730-коечной клинике США оценена в 1,9 млн. долларов [1]. Стоимость приобретения и внедрения аналогичной по составу функций коммерческой системы для 500-коеч-ной больницы может составлять около 8 миллионов долларов [2]. Это связано с высокой сложностью и большой длительностью разработки и внедрения КИС и, несмотря на быстрое развитие информационных технологий, нет оснований ожидать в ближайшем будущем принципиальных изменений в лучшую сторону. Для российских больниц стоимость владения КИС может быть примерно в 100 раз меньше [3], но и сумма, эквивалентная десяткам тысяч долларов, является непреодолимым барьером.
В таких условиях особую значимость приобретает вопрос о том, привносит ли внедрение КИС в деятельность больницы механизмы, которые способны обеспечить возврат на инвестиции.
В последние годы опубликованы данные о весьма значительной экономической эффективности использования современных КИС [1, 4]. Очевидно, что работа по всесторонней оценке этой информации представляет собой важную ступень на пути преодоления указанного выше препятствия. Цель данной статьи состоит в описании влияний и их механизмов, обусловливающих экономические эффекты, возникающие при использовании в больницах КИС нового поколения.
ХАРАКТЕРИСТИКИ КИС НОВОГО ПОКОЛЕНИЯ
В настоящее время нет устоявшегося определения КИС нового поколения. Анализ использования зарубежных КИС с точки зрения их свойств, определяющих экономическую эффективность, приводит к выделению трех принципиальных характеристик, позволяющих отнести ту или иную клиническую информационную систему к системам нового поколения:
♦ наличие ряда интегрированных в систему механизмов поддержки принятия врачебных решений (МППВР);
♦ наличие ряда интегрированных в систему подсистем: компьютерного заказа назначений, лабораторной, диагностической, фармацевтической;
♦ использование интернет-технологий.
Первая характеристика оказывает непосредственное влияние на лечебно-диагностические процессы и поэтому играет существенную роль в оценке экономической эффективности КИС. Важность второй обусловлена тем, что взаимодействие перечисленных подсистем дает возможность широкого использования МППВР на всех этапах лечения и диагностики. Третья характеристика, обеспечивая уменьшение совокупной стоимости владения системой и ряд других важ-
ных свойств, в большей степени отражает возможности современных информационных технологий, поэтому ее рассмотрение остается за рамками данной статьи.
МЕХАНИЗМЫ ЭКОНОМИЧЕСКОЙ ЭФФЕКТИВНОСТИ КИС
Измерение величины суммарного экономического эффекта, получаемого в результате внедрения информационной системы на предприятии любой сферы деятельности, является сложной многоплановой задачей [5, 6]. Это положение, естественно, относится и к КИС. Трудности в количественной оценке такого эффекта обусловлены тем, что внедрение системы затрагивает и изменяет многие клинические и организационные процессы, протекающие в лечебном учреждении. Положение усугубляется слабой формализуемостью и высокой степенью сложности решаемых в больницах задач [7], противоречивостью интересов участников лечебно-диагностических процессов [8].
На рис.1 показана обобщенная схема влияний на эффективность функционирования больницы, возникающих при использовании КИС. Кроме непосредственного повышения экономической эффективности функционирования больницы (уменьшения затрат) под влиянием факторов, описанных ниже, использование КИС приводит к повышению и клинической, и организационной эффективности. В свою очередь изменения клинической и организационной эффективности отражаются на экономической эффективности.
В дополнение к этим эффектам на схеме показано такое влияние повышения организационной эффективности, которое непосредственно приводит к повышению клинической эффективности (стрелка D). В совокупности эти влияния, возникающие при использовании КИС, обусловливают повышение уровня качества лечения пациентов при меньших затратах на обеспечение клинических процессов (рис.2).
>
Рис. 1. Схема влияний, возникающих при использования КИС, на эффективность функционирования больницы
(стрелки показывают направления влияний, буква рядом со стрелкой - условное обозначение влияния)
Рис.2. Направления вклада различных факторов использования КИС, приведенных на рис.1, на уровни качества лечения и затрат на обеспечение клинических процессов
В табл.1-3 приведены примеры процессов, на которые оказывает непосредственное влияние использование КИС нового поколения; обозначены механизмы в составе КИС, ответственные за такое влияние; указаны результаты, к которым приводят изменения этих процессов. В последнем столбце этих таблиц даны количественные оценки эффектов, описанные в литературных источниках.
В табл.1 столбец «Результат» отражает непосредственно экономические эффекты, возникающие под действием факторов, связанных с использованием КИС, а в табл. 2 и 3 этот столбец отражает клинические и организационные эффекты, соответственно. Очевидно, что результаты, приведенные в этом столбце, обусловливают либо косвенный экономический эффект (например, умень-
шение периода времени до начала коррекции состояния пациента может привести к сокращению длительности лечения, к уменьшению числа осложнений), либо непосредственный (например, уменьшение затрат на приобретение медикаментов). На рис.1 эти влияния обозначены стрелками Е и Р
Повышение организационной эффективности является следствием работы таких механизмов КИС, которые обеспечивают:
♦ значительное повышение оперативности контроля хода лечебно-диагностических процессов за счет облегчения и ускорения доступа к информации, полноты, доступной для анализа информации;
♦ автоматизацию анализа качества лечения в архивных историях болезни в различных разрезах;
Таблица 1
Непосредственное влияние использования КИС на экономическую эффективность
(стрелка С на рис. 1)
Процесс Механизм влияния КИС на эффективность процесса Результат Величина — источник
Назначение избыточных обследований Использование стандартов обследования и МППВР Уменьшение затрат на обследование пациентов 13% -[9]
Создание реестров для страховых компаний и статистических отчетов Автоматическое формирование в КИС Уменьшение затрат на оплату труда операторов 50% *
Назначение неэффективных препаратов и сочетаний Использование стандартов лечения и МППВР Уменьшение затрат на медикаментозное лечение пациентов 2% **
Внешняя экспертиза качества историй болезни Компьютерная технология ведения историй болезни Уменьшение штрафных санкций со стороны ФОМС 95% *
* по нашим оценкам (неопубликованные данные). **Г. Ковальская, «Медицинская газета», 2003, № 45. С.14.
Таблица 2
Влияние использования КИС на клиническую эффективность (стрелка В на рис. 1)
Процесс Механизм влияния КИС на эффективность процесса Результат Величина -источник
Выявление критических показателей обследований МППВР Ускорение начала коррекции состояния в 3 раза -[10]
Анализ врачом результатов обследований Мгновенный доступ к результатам обследования Ускорение начала лечения 25-43 % -[11]
Назначение препаратов и сочетаний, приводящих к побочным реакциям Использование стандартов лечения и МППВР Уменьшение числа неблагоприятных побочных реакций 55% -[12]
Назначение препаратов с ошибочными дозами, кратностью, путем введения или длительностью курса Использование стандартов лечения и МППВР Уменьшение числа ошибочных назначений 81% -[13]
>
>
Таблица 3
Влияние использования КИС на организационную эффективность (стрелка А на рис. 1)
Процесс Механизм влияния КИС на эффективность процесса Результат Величина -источник
Документирование лечебно-диагностического процесса Компьютерная технология ведения историй болезни Уменьшение затрат времени персонала на документирование 33% -[14]
Диагностический процесс Информатизация работы лабораторно-диагностической службы Уменьшение необоснованных повторных обследований 70% -[15]
Распределение и учет медикаментов Персонификация распределения и учета медикаментов Уменьшение затрат на приобретение медикаментов 18 % -[16, 17]
Формирование заказа для приобретения медикаментов Автоматизация оценки потребности в медикаментах Уменьшение складских запасов медикаментов 15% *
* по нашим оценкам (неопубликованные данные).
Таблица 4
Влияние повышения организационной эффективности, связанного с использованием КИС, на клиническую эффективность (стрелка Р на рис. 1)
Процесс Механизмы влияния КИС на эффективность процесса Результат
Оперативный контроль лечебно-диагностического процесса Формирование сигнальных списков и сводок Повышение уровня качества лечения отдельных пациентов
Ретроспективный анализ лечебно-диагностического процесса Автоматизация формирования отчетов для выявления слабых звеньев в процессе Повышение уровня качества лечения в больнице в целом
Организация лечебного процесса Механизмы повышения обеспеченности медикаментами Повышение эффективности лекарственной терапии
♦ облегчение внедрения и поддержания стандартов лечения и обследования.
Влияние использования КИС на клиническую эффективность проявляется на всех этапах диагностики и лечения и обусловлено информатизацией работы медицинского персонала. Это влияние приводит к повышению качества лечения пациентов, величина которого в значительной степени зависит от мощности механизмов поддержки принятия врачебных решений, используемых в системе. Именно эти механизмы играют основную роль в информировании врача о возникновении различных неблагоприятных ситуаций и позволяют избежать их.
Кроме прямого влияния на экономическую эффективность, повышение организационной эффективности приводит и к повышению клинической эффективности работы больницы (стрелка Р на рис.1). Примеры такого влияния приведены в
табл.4. Как и непосредственное повышение клинической эффективности, эти влияния обусловливают повышение качества лечения пациентов.
Анализируя таблицы, можно отметить как разнообразие механизмов, посредством которых КИС оказывает влияние на протекающие в больнице процессы, так и подверженность различных клинических процессов влиянию одного и того же механизма.
Например, использование стандартов лечения, предполагающее назначение препаратов пациенту путем выбора одной из существующих в системе стандартных схем лечения, приводит не только к уменьшению затрат на медикаментозное лечение, так как в схемах исключены неэффективные препараты и их сочетания (непосредственный экономический эффект), но и к уменьшению числа неблагоприятных побочных реакций (клинический эффект).
гчш
www.idmz.ru кЛ
№7, 2004
СООТНОШЕНИЕ ЗАТРАТЫ -КАЧЕСТВО ЛЕЧЕНИЯ
Буквально в последние два года за рубежом опубликован ряд статей, посвященных оценке соотношения «затраты - эффективность», при использовании информационных систем врачами общей практики [18-21].
В больницах, во-первых, КИС используются значительно реже и поэтому накоплено меньше данных для таких оценок и, во-вторых, анализ этого соотношения является намного более сложным из-за большого разнообразия организационных и клинических процессов.
Вследствие этого, количественные оценки эффективности КИС в больнице, относящиеся к различным лечебно-диагностическим процессам, указанным в табл.1-4, не удается свести к интегральному показателю.
На рис.2. показано схематическое изображение вклада различных факторов использования КИС, приведенных на рис.1 (стрелки А - Н), в уровни качества лечения и затрат на обеспечение клинических процессов. Сразу после внедрения КИС в больнице соотношение уровня качества лечения и затрат за предшествующий период (например, 12 месяцев) представлено исходной точкой (Х1, У1). Ежегодная совокупная стоимость владения системой с учетом затрат на приобретение и внедрение КИС (исходя из предстоящего десятилетнего срока использования в больнице) не превосходит 1% от суммарных затрат больницы [3] и поэтому расходы на КИС существенно не смещают исходную точку.
Влияния, приводящие к повышению клинической эффективности (В и Р), при отсутствии других эффектов могли бы переместить это соотношение в точку (Х1, У2), что соответствует более высокому уровню качества лечения по сравнению с исходной точкой при неизменных затратах. С другой стороны, влияния С, Е и F при отсутствии других эффектов переместили бы это соотношение в точку (Х2, У1), соответствующую меньшим затратам при неизменном качестве лечения. Совмест-
ное действие всех перечисленных факторов так же, как действие фактора А и сочетания пары факторов G и Н, приводит к одновременному смещению соотношения уровня качества и затрат из исходной точки в обоих направлениях Х1 ® Х2 и У1 ® У2, соответствующих повышению уровня качества лечения при уменьшении затрат. Очевидно, что на практике вместо уменьшения затрат происходит оптимизация(рационализация)расходования средств, обеспечивающая повышение качества лечения пациентов при затратах на него, соответствующих исходной точке.
МППВР И РАЗВИТИЕ КИС
Значительная роль в повышении эффективности процессов, как видно из таблиц, принадлежит механизмам поддержки принятия врачебных решений, наличие которых в системе, как указывалось выше, является важнейшей характеристикой КИС нового поколения.
Такие механизмы, используя данные, относящиеся к конкретному пациенту (например, вес тела, непереносимость тех или иных препаратов, значения лабораторных показателей), и справочную информацию, предупреждают врача о возможных неблагоприятных реакциях, подают ему сигнал при обнаружении критических значений лабораторных показателей, не допускают назначения препаратов с заведомо ошибочными дозами, кратностью и т.д. За счет применения именно таких механизмов достигается наибольший экономический эффект при использовании зарубежных КИС [9, 10, 12, 13, 15].
Развитие медицины, основанной на доказательствах, приводит к появлению новых, более мощных механизмов поддержки принятия врачебных решений. Это означает, что с течением времени в составе КИС должны увеличиваться число и мощность МППВР, что возможно только при условии непрерывного развития системы. Очевидно, такое развитие требует затрат, увеличивающих совокупную стоимость владения системой, но, как следует из сказанного выше, будет приводить
>
>
к дальнейшему повышению экономической эффективности системы. Это дает основания для отображения на рис.1 обратной связи «Повышение экономической эффективности» - «Развитие КИС» (стрелка G). Действие такой обратной связи приводит к запуску и поддержанию динамического процесса использования в больнице все более совершенной КИС (стрелка Н). Постоянное совершенствование системы для увеличения ее экономической и клинической эффективности является настолько важным, что позволяет нам добавить к числу принципиальных характеристик КИС нового поколения возможность развития системы в направлении наращивания МППВР.
ИСТОЧНИК ИНФОРМАЦИИ ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ КИС
Легко предположить, что при рассмотрении обобщенной схемы, изображенной на рис.1, и информации о механизмах и результатах влияния использования современной КИС на протекающие в больнице процессы, приведенной в табл.1—4, может возникнуть вопрос о реальности практического получения всего комплекса указанных эффектов в нашей стране. Очевидно, что для ответа на этот вопрос необходимо иметь данные об эксплуатации такой системы в ряде больниц в течение длительного времени. К сожалению, в настоящее момент время нет убедительных доказательств получения этих эффектов в результате внедрения КИС в российских больницах.
Однако работа по их накоплению началась в 2003 г. и ведется с использованием клинической информационной системы «ДОКА+», созданной коллективом разработчиков и врачей на базе Фонда «Медсанчасть-168».
Многолетний опыт создания, внедрения и сопровождения клинических информационных систем, а также результаты анализа зарубежных разработок, привели к тому, что на этапе проектирования КИС «ДОКА+» были предусмотрены такие свойства, которые при ее внедрении в
больницах различного статуса позволяют накопить необходимые доказательства. Это обусловлено ее оснащенностью перечисленными в табл.1-4 механизмами влияния на эффективность процессов, протекающих в больнице. Кроме этого, система обладает возможностями фиксации показателей, служащих основой для расчета оценок влияния ее использования на лечебно-диагностические процессы.
По нашему мнению, наличие таких возможностей в КИС должно стать еще одной принципиальной характеристикой системы нового поколения. Именно КИС будет служить источником структурированной информации, необходимой для оценки и анализа ее эффективности.
ПЕРСОНИФИЦИРОВАННОЕ РАСПРЕДЕЛЕНИЕ И УЧЕТ МЕДИКАМЕНТОВ
В условиях российских больниц важное значение в достижении экономической эффективности принадлежит организации персонифицированного распределения и учета медикаментов (табл.3). В ряде публикаций утверждается, что такой учет приводит к уменьшению затрат больницы на медикаменты в размере от 18 до 30% в денежном выражении [16, 17]. Современные клинические информационные системы, снабженные подсистемами заказа назначений, включают в себя механизмы, обеспечивающие персонифицированное распределение и учет медикаментов без необходимости ввода в компьютеры информации о медикаментозных назначениях из рукописных листов назначений.
Для того, чтобы в больнице началось применение персонифицированного распределения и учета медикаментов, необходимо приложить определенные организационные усилия, так как при этом существенно изменяются процедуры заказа и получения в отделениях медикаментов из аптечного склада. Это дает основание отнести уменьшение затрат на приобретение медикаментов, вследствие использования их персонифицированного распре-
гчш
www.idmz.nu ЬЛ
№7, 2004
деления и учета, к организационным результатам, несмотря на то, что получаемый эффект измеряется в денежном выражении и его величина является весьма значительной. Расчеты показывают, что только за счет этого эффекта в 180-коечной больнице приобретение и внедрение КИС «ДОКА+» окупается примерно за полтора года [17].
Персонифицированный учет позволяет оптимизировать процесс формирования заказа для приобретения медикаментов. Если заказ медикаментов делается из расчета на длительный период времени, то при оценке потребности в медикаментах на предстоящий период важной возможностью является автоматическое формирование списка препаратов и количества их стандартов, израсходованных за произвольный предшествующий период времени. Автоматизация оценки потребности в медикаментах - один из механизмов КИС, приводящий к повышению уровня обеспеченности пациентов медикаментами и к уменьшению складских запасов.
СОЦИАЛЬНЫЕ ФАКТОРЫ
В рамках одной статьи невозможно перечислить, а тем более проанализировать все составляющие влияний, возникающих при использовании в больнице КИС, отраженных в схематическом виде на рис.1. Вот только несколько дополнительных примеров влияния использования КИС на лечебно-диагностические процессы:
♦ облегчается работа и возрастает роль участия в этих процессах врачей - клинических фармакологов;
♦ врачи лабораторной службы получают полноценный доступ к историям болезни (не только в отделениях, но и в архиве);
♦ медицинские сестры освобождаются от необходимости доставки историй болезни в диагностические кабинеты;
♦ облегчается и ускоряется подготовка документов для телемедицинских консультаций.
Несмотря на всю важность таких факторов и механизмов экономической эффективности КИС
нового поколения, нельзя не учитывать огромную социальную составляющую, которую несет в себе внедрение в больнице такой системы. Существует ряд факторов, влияние которых трудно выразить осязаемой, с точки зрения оценивания эффективности КИС, величиной, как это сделано в последнем столбце табл.1-3. Основным инструментом для их измерения служит проведение опросов, однако именно они могут давать значительный вклад в оценку деятельности любой организации [6]. В обзоре [5] отмечается, что такие факторы при оценке влияния информационных технологий на функционирование организаций часто вообще игнорируются, что приводит к заниженным оценкам успешности инвестиций в эти технологии.
Выделим два таких фактора, возникающих в больнице при эксплуатации КИС.
Первый фактор - значительно повышается безопасность пациентов. Это обусловлено работой ряда механизмов поддержки принятия врачебных решений, используемых в современных КИС [22]. Как показано в табл.2, число неблагоприятных побочных реакций, возникающих при назначении несочетаемых препаратов, уменьшается на 55% [12]. Очевидно, что, кроме клинических и экономических эффектов, это приводит и к эффекту, выражающемуся в избавлении пациентов от страданий, вызываемых такими реакциями.
Второй фактор - существенное уменьшение затрат времени медицинского персонала на работу, не связанную непосредственно с лечебно-диагностическим процессом. Уменьшение затрат времени возникает не только при документировании клинического процесса и составлении отчетов и сводок, но и при поисках необходимой информации (как в историях болезни, так и в руководствах, справочниках и т.д.), при взаимодействии с другими сотрудниками для сообщения или передачи важной информации о пациентах, наличии медикаментов и т.п. Это обусловливает повышение удовлетворенности персонала своей работой. Возможно, требуются дополнительные организационные усилия, но вышесказанное должно озна-
>
>
чать освобождение времени персонала на работу с пациентами. А это в свою очередь приводит к повышению удовлетворенности пациентов процессом и результатом лечения.
Таким образом, несмотря на всю важность именно экономической эффективности использования в больнице КИС, нельзя не учитывать ее влияние на социальные аспекты лечения. В конечном итоге интегральная эффективность КИС зависит не только от свойств и механизмов, реализованных в системе, но и от интенсивности ее использования персоналом больницы [7] и в значительной мере от возможностей ее непрерывного развития.
ЗАКЛЮЧЕНИЕ
В ряде зарубежных исследований получены оценки различных влияний КИС нового поколения на экономическую и клиническую эффективность функционирования больниц, показывающие
целесообразность и важность их использования. Последовательное развитие МППВР после внедрения системы позволяет увеличивать влияние КИС на лечебно-диагностические процессы.
Для получения всего комплекса таких оценок в условиях российских больниц различного статуса необходимо использование современной тиражируемой КИС, обладающей рядом новых характеристик. К их числу должны быть отнесены требования, во-первых, развития системы в направлении наращивания мощности МППВР и, во-вторых, накопления информации о влиянии КИС на уровень качества лечения и экономическую эффективность клинических процессов. Когда будет показано, что оценки суммарного экономического эффекта от использования тиражируемой КИС за один или два года в целом ряде больниц сравнимы со стоимостью ее приобретения и внедрения, можно будет ожидать начала массового внедрения такой системы.
ЛИТЕРАТУРА
1. Kaushal R., Bates D.W. Information technology and medical safety: what is the benefit?// Quality and Safety in Health Care, 2002. - V. 11. - Р.261-265.
2. Computerized physician order entry: costs, benefits and challenges - A case study approach.
- First Consulting Group, Long Beach, CA, 2003. - 49 p.
3. Букарев М.Г., Волкова Н.В., Городецкая В.Ф. и др. Медицинская информационная система в ЦРБ: неопределенное будущее или реальность?//Здравоохранение. - 2002.
- № 1. - С. 155-158.
4. Miller R.H., Sim I. Physicians' use of electronic medical records: barriers and solutions. Health Affairs. - 2004. - V. 23. - № 2. Р. 116-126.
5. Mahmood M.A., Mann G.J. Special issue: impact of information technology investment on organizational performance//J.of Management Information System, 2000. - V. 16.
- № 4. - Р. 3-10.
6. Remenyi D. The elusive nature of delivering benefits from IT investment//Electronic J. of Information Systems Evaluation. - 2000. - V. 3. - № 1.
7. Bergamaschi W, Ongaro E. Evaluating the organizational impact of ICT for the development of the information system in hospitals//Electronic J. of Information Systems Evaluation. -2002. - V. 5. - № 2.
8. Тавровский В.М. Лечебно-диагностический процесс: теория, алгоритмы, автоматизация. - Тюмень, СофтДизайн, 1997. - 320 с.
9. Tierney W.M., Miller M.E., McDonald C.J. The effect on test ordering of informing physicians of the charges for outpatient diagnostic tests//N. Eng. J. Med., 1990. - V. 322.
- Р. 1499-1504.
10. Teich J.M.,Glaser J.P., Beckley R.F. et all. Toward cost-effective, quality care: the Brigham integrated computing system/Second Annual Proceedings CPR Recognition Symposium, 1996.
- Р. 3-34.
11. Mekhjian H.S., Kumar R.R., Kuehn L. et all. Immediate benefits realized following implementation of physician order entry at an Academic Medical Center//JAMIA. - 2002. -V. 9. - Р. 529-539.
12. Bates D.W., Leape L.L., Cullen D.J. et all. Effect of computerized physician order entry and a team intervention on prevention of serious medication error//JAMA. - 1998. - V. 280. -P. 1311-1316.
13. Bates D.W., Teich J.M., Lee J. et all. The impact of computerized physician order entry on medication error prevention//JAMIA. - 1998. - V. 5. - P. 554-562.
14. Almeida F. The future of computers: overcoming barriers to physician adoption and use. San Francisco Medicine, 1999. - V. 72. - № 5.
15. Bates D. W., Kuperman J. L., Rittenberg E. et all. A randomized trial of a computer-based intervention to reduce utilization of redundant laboratory tests//Am. J. Med., 1999.
- V. 106. - P. 144-150.
16. Агаджанян В.В, Устьянцева В.М., Солнышко С.В. и др. Опыт внедрения персонифицированного обеспечения лекарственными средствами в многопрофильной больнице// Здравоохранение. -2002. - № 10. - С.23-26.
17. Сигарев В.А., Татиевский В.В., Яворская А.Г. и др. Персонифицированный учет медикаментов и клиническая информационная система/Тезисы Всероссийской конференции «Информационные технологии в медицине - 2004». - М., 2004. - С.107-109.
18. Wang S.J., Middleton B., Prosser L.A. et all. A cost-benefit analysis of electronic medical records in primary care//Am. J. Med. - 2003, V. 114. - № 5. P. 397-403.
19. Corley S.T. Electronic prescribing: a review of costs and benefits//Top Health Inf. Manage.
- 2003. V. 24. - № 1. P. 29-38.
20. Schmitt K.F., Wofford D.A. Financial analysis projects clear returns from electronic medical records//Healthc. Financ. Manage. - 2002. - V. 56. - № 1. - C. 52-57.
21. Agrawal A. Return on investment analysis for a computer-based patient record in the outpatient clinic setting. J. Assoc. Acad. Minor. Phys. 2002, V. 13. - № 3. C. 61-65.
22. Глазатов М.В., Микшин А.Г., Пшеничников Д.Ю. и др. Значение информационных технологий в повышении безопасности пациентов и эффективности лечения//Врач и информационные технологии. - 2004. - № 1. - C. 22-26.
