Руководство AMEE № 25. Оценка результатов обучения компетентного и мыслящего практикующего врача Текст научной статьи по специальности «Науки об образовании»

ДЛЯ КОРРЕСПОНДЕНЦИИ

James M. Shumway —

Associate Dean for Medical Education and

Professor of Internal Medicine and Pediatrics

Office of Medical Education,

West Virginia University, School of Medicine,

Morgantown 26506, USA

E-mail: [email protected]

Дж.М. Шамвэй1, Р.М. Харден2

Руководство АМЕЕ № 25. Оценка результатов обучения компетентного и мыслящего практикующего врача

J.M. Shumway1, R.M. Harden2- 3

AMEE Guide N 25. The assessment of learning

outcomes for the competent and reflective physician

1 West Virginia University School of Medicine, USА

2 International Virtual Medical School (IVIMEDS)

3 University of Dundee, UK

Two important features of contemporary medical education are recognised. The first is an emphasis on assessment as a tool to ensure quality in training programmes, to motivate students and to direct what they learn. The second is a move to outcome-based education where the learning outcomes are defined and decisions about the curriculum are based on these. These two trends are closely related. If teachers are to do a better job of assessing their students, they need an understanding of the assessment process, an appreciation of the learning outcomes to be assessed and recognition of the most appropriate tools to assess each outcome. Assessment tools selected should be valid, reliable, practical and have an appropriate impact on student learning. The preferred assessment tool will vary with the outcome to be assessed. It is likely to be some form of written test, a performance test such as an OS CE in which the student's competence can be tested in a simulated situation, and a test of the student's behaviour over time in clinical practice, based on tutors' reports and students' portfolios.

An assessment profile can be produced for each student which highlights the learning outcomes the student has achieved at the required standard and other outcomes where this is not the case.

For educational as well as economic reasons, there should be collaboration across the continuum of education in test development as it relates to the assessment of learning outcomes and in the implementation of a competency-based approach to assessment.

1 Медицинская школа университета Западной Вирджинии, США

2 Международная виртуальная медицинская школа (IVIMEDS)

3 Университет Данди, Великобритания

Можно выделить две важные особенности современного медицинского образования. Первая — это акцент на оценке как на инструменте для обеспечения качества в рамках учебных программ, инструменте для мотивации учащихся и контроля процесса обучения. Вторая — это переход к образованию, основанному на результатах, в рамках которого определяется эффективность обучения, а на ее основе принимаются решения об учебной программе. И эти тенденции тесно связаны между собой. Если преподаватели должны лучше выполнять свою работу по оцениванию успеваемости учащихся, им необходимо иметь представление о процессе оценки, оценке нужных результатов обучения и выявлении наиболее подходящих инструментов для оценки каждого результата обучения. Выбранные инструменты оценки должны быть адекватными, надежными, практичными и оказывать соответствующее влияние на процесс обучения. Выбор инструмента оценки будет зависеть от показателя, подлежащего оценке. Это может быть какая-либо форма письменного теста, теста на оценку успеваемости, например, объективный структурированный клинический экзамен, посредством которого можно проверить успеваемость учащегося в рамках моделируемой ситуации, а также проверка поведения учащегося в рамках его клинической практики на протяжении определенного времени, основанная на отчетах преподавателей и портфолио учащихся.

Оценка с помощью портфолио может проводиться для каждого учащегося, она иллюстрирует достижения по определенным показателям, которых ему удалось достичь в соответствии с требуемыми стандартами, а также другим показателям, к которым не применяются стандарты.

Важность оценки

Оценка играет важную роль в процессе медицинского образования, жизни студентов медицинских вузов, а также общества, так как она позволяет удостовериться в компетентности врачей, оказывающих помощь населению. Структура программ обучения медицинских работников строится вокруг основных этапов оценки учащихся. Например, учащиеся медицинских вузов в США должны пройти несколько этапов оценки между окончанием медицинской школы и получением лицензии на осуществление медицинской деятельности. Именно оценка зачастую влияет на формирование учебного плана медицинских школ, а учащиеся измеряют свой прогресс в освоении учебного плана посредством сдачи экзаменов. Оценка является движущей силой, заставляющей студентов учиться. Обществу необходима уверенность в том, что врачи, окончившие медицинские вузы и программы обучения в ординатуре, являются компетентными специалистами и могут гуманно и искусно заниматься своей профессией. Медицинский вуз несет ответственность за формирование компетенций, а органы аккредитации вузов отвечают за подтверждение того, что образовательные программы в медицинских школах действительно могут выполнить то, что они обещают. Оценка имеет принципиальное значение, поскольку она является главным индикатором для публичной отчетности.

Генеральный медицинский совет (GMC) несет ответственность за обеспечение соответствия выпускников медицинских школ Великобритании требованиям к прохождению интернатуры. В 1993 г. совет опубликовал свои рекомендации, касающиеся медицинского образования [19]. Последние рекомендации [20] делают

акцент на результатах обучения и оценке этих результатов. «В соответствии с действующей теорией образования и результатами современных исследований мы приняли модель, основанную на результатах обучения. Она устанавливает, какие результаты должны быть достигнуты и оценены по окончанию обучения с точки зрения полученных знаний, навыков и поведения» [39]. В табл. 1 содержится краткое описание этих рекомендаций, а также их взаимосвязь с процессом оценки.

В Соединенных Штатах Координационный комитет по медицинскому образованию (LCME) является органом по аккредитации медицинских школ на территории Северной Америки (США и Канады). Медицинские школы в Северной Америке традиционно аккредитуют на основе качества элементов, которые составляют образовательную программу (например, преподавательский состав, научные исследования, оборудование, курсы и стажировки).

В ходе аккредитации рассматриваются 4 основные вопроса:

• каковы цели,

• чему на самом деле научились учащиеся,

• каковы свидетельства эффективности

обучения,

• что нужно изменить.

LCME ввел стандарты, делающие акцент на оценке результатов [33]. В ходе оценки, основанной на результатах успеваемости, определяются цели образовательной программы и результаты обучения, а также оцениваются результаты их достижения. В настоящее время медицинские школы Северной Америки обязаны документировать результаты обучения с учетом своих организационных целей и миссий. Стандарты LCME, относящиеся к оценке этих результатов обучения, представлены в табл. 2.

Таблица 1. Рекомендации Генерального медицинского совета (GMC, Великобритания), относящиеся к оценке успеваемости и компетенций учащихся [20]

Принципы оценки

Методы оценки должны поддерживать стратегию, описанную в учебной программе, и давать возможность учащимся доказать, что они добились необходимых результатов освоения учебной программы. Это означает, что оценка должна позволять учащимся продемонстрировать широту и глубину своих знаний, а также продемонстрировать свои способности. Профессиональные взгляды и поведение также должны подвергаться оценке. Медицинские школы должны использовать ряд методов оценки, подходящих для проверки результатов освоения учебной программы. Медицинские школы должны определить наиболее подходящую схему оценки степени освоения учебной программы. В то же время применяемые методы должны соответствовать передовым практикам в области оценки, и медицинские школы должны представить доказательства того, что выбранные методы обоснованы и надежны и что у них выстроены процессы установки стандартов и принятия решений об успеваемости учащихся.

Когда учащиеся приближаются к окончанию обучения, их знания, навыки, взгляды и поведение должны оцениваться с точки зрения их пригодности для работы в качестве интернов. Процедуры оценки

Методы оценки должны быть открытыми и честными, а также должны соблюдать соответствующие стандарты. Медицинские школы должны убедиться в том, что:

a есть четкое указание на то, как метод оценки воздействует на результаты освоения учебной программы; б есть четкое указание на то, как индивидуальные оценки и экзамены участвуют в общей оценке результатов освоения учебной программы;

в при разработке процесса индивидуальной оценки есть четкое указание на то, как были достигнуты целевые

результаты освоения учебной программы; г у учащихся есть четкие указания на то, что от них ожидается в ходе какого бы то ни было экзамена или оценки; д экзаменаторы проходят подготовку, чтобы выполнять свою роль и последовательно применять критерии оценки,

принятые в медицинской школе; е у экзаменаторов есть четкие руководящие принципы для выставления оценок, указывающие, как должен оцениваться тот или иной уровень успеваемости в отношении целевых результатов обучения; ж используются системы определения проходного балла;

з привлекаются внешние экзаменаторы для наблюдения за соблюдением стандартов оценки.

Таблица 2. Стандарты Координационного комитета по медицинскому образованию (LCME, США и Канада), связанные с оценкой результатов обучения [33]

Медицинские школы должны оценивать эффективность образовательной программы, документируя достижения своих учащихся и выпускников при помощи проверяемых и согласованных способов, иллюстрирующих, в какой мере достигнуты организационные и программные цели.

Медицинские школы должны использовать ряд мер для оценки качества программ, таких как данные об успеваемости/достижениях учащихся, зачисление в ординатуру, последипломная деятельность и лицензирование, а также только возникающие меры, которые могут оказаться обоснованными.

Результаты таких оценок должны использоваться для определения того, насколько хорошо школы выполняют свои задачи, а также для оценки необходимости усовершенствования программы.

Школы также должны оценивать успеваемость своих учащихся и выпускников в рамках национальных стандартов.

Оценка компетентного и мыслящего практикующего врача, основанная на результатах обучения

Оценка является неотъемлемым компонентом образования. Образование, основанное на оценке результатов обучения, и оценка успеваемости — это тесно связан-

ные парадигмы [16]. Образование, основанное на оценке результатов обучения, предполагает использование образовательного подхода, в рамках которого решения об учебной программе и оценках диктуются результатами обучения, которых должны достигать учащиеся [25, 26]. При таком подходе продукт (результаты обучения)

определяет процесс (методические подходы и возможности обучения). Это заметно отличается от предыдущих образовательных подходов, которые опирались на исходные данные. Определив образовательную программу, эти подходы принимали какие бы то ни было результаты процесса. Предполагалось, что более хороший процесс приведет к лучшим результатам. Если рассматривать обучение, основанное на оценке результатов, соглашение о предопределенных результатах обучения определяет процессы, используемые для их достижения. Проще говоря, обучение, основанное на оценке результатов, предъявляет два основных требования:

• ожидаемые результаты обучения первоначально согласовываются, а затем сообщаются всем участникам образовательного процесса (учащимся, преподавателям, работодателям, общественности и т. д.);

• результаты обучения определяют содержание учебных программ, методы преподавания и оценки.

Все решения, касающиеся учебной программы, основываются на достижении желаемых результатов обучения.

Бен-Давид Фридман утверждала, что образовательные программы, основанные на оценке результатов обучения, сталкиваются с необходимостью разработки нетрадиционных методов преподавания и оценки, которые смогли бы охватить как процесс обучения, так и оценку успеваемости в отношении широкого спектра умений [16]. Чем точнее определены результаты обучения, тем эффективнее можно спланировать и осуществить процесс оценки.

Разработкой подходов к обучению, основанному на оценке результатов, занимались несколько исследовательских групп в разных странах [29]. В США Кассебаум

и соавт. [32] рассмотрели отчеты об аккредитации медицинских школ и обнаружили, что только небольшой процент школ ставил перед собой продуманные организационные цели, на которые ориентировались их образовательные программы. Было отмечено, что органы аккредитации скорее всего выявили недостатки в процессе управления учебным планом в отношении школ, в которых отсутствовали организационные цели. Ассоциация американских медицинских колледжей (ААМС) сформировала консультативную группу, задача которой — рекомендовать руководящие принципы для медицинских школ США, касающихся целей медицинского образования. Проект, касающийся целей обучения в медицинских школах (М80Р), определил признаки хорошего врача, основываясь на ожиданиях общественности. Они были сгруппированы в 4 категории:

• врачи должны быть альтруистами;

• врачи должны владеть всей необходимой информацией;

• врачи должны владеть всеми необходимыми навыками;

• врачи должны добросовестно исполнять свои обязанности [1]. Некоторые медицинские школы

в США разработали собственные компетенции. Брауновский университет в Провиденсе, штат Род-Айленд, США, представил список из 9 способностей [43, 44]. Аналогично в Канаде группа врачей создала перечень основных компетенций и ролей в рамках своей профессии. Рабочая группа по социальным потребностям в рамках проекта CanMEDS—2000 выявила 7 ролей врачей-специалистов:

1) медицинский эксперт;

2) коммуникатор;

3) участник коллективной работы;

4) руководитель;

5) защитник здоровья;

6) исследователь;

7) профессионал [8].

В рамках каждой категории был определен целый ряд конкретных признаков или задач. Аккредитационный совет по последипломному медицинскому образованию (ACGME) в США также определил результаты обучения при подготовке врачей [2]. Международный институт медицинского образования (11МЕ) представил единое решение международного масштаба, касающееся результатов обучения, или минимальные необходимые требования по окончании медицинской школы [30].

Все 5 медицинских школ Шотландии, приняли ту же структуру образования, основанную на оценке результатов [42]. Она основана на модели, состоящей из 3 окружностей, разработанной для классификации результатов обучения в Медицинской школе при Университете Дан-ди [25, 26] (рис. 1).

Модель основана на 3 основных аспектах компетенций врача общего профиля. Внутренняя окружность описывает, что может делать врач. Сюда входят клинические навыки, навыки проведения процедур, навыки проведения исследований, управленческие навыки, навыки пропаганды здорового образа жизни, коммуникативные навыки и навыки об-

работки информации. Средняя окружность отражает отношение врача к освоению навыков с учетом своих знаний и понимания, этических/правовых принципов, клинического обоснования и способностей принимать решения. Внешняя окружность отражает развитие личностных качеств врача. Эти характеристики включают понимание ролей врачей в обществе и их личностного развития в течение всей жизни. Эта же модель использовалась в Испании и Швеции, а также в целях подготовки врачей-ассистентов и специалистов в Великобритании.

Результаты обучения, упоминаемые различными органами образования, во многом похожи и охватывают схожие совокупности компетенций и способностей. Для целей данного руководства мы использовали 12 показателей эффективности обучения, определенных в модели, изображенной на рис. 1.

Цель настоящего руководства

Многие ученые, занимающиеся изучением процесса оценки, внесли свой вклад в описание подходов к оценке и инструментов оценки, упоминающихся в данном руководстве. Тем не менее применению данных подходов к оценке в работе с конкретными

Что может делать врач (7 показателей)

Как врач относится к своей практике (3 показателя) Врач как профессионал (2 показателя)

Рис. 1. Структура образования, основанная на оценке результатов

результатами медицинского образования пока уделяется мало внимания [3, 41].

Критический анализ практики, касающейся оценки учащихся, должен осуществляться в контексте постоянно изменяющихся ожиданий относительно результатов обучения студентов. С течением времени акценты сместились с приобретения знаний и их фактического воспроизведения на более широкий охват результатов обучения, таких как способность к решению проблем, оценочные суждения, коммуникативные навыки, личные взгляды и профессионализм. Тем не менее до настоящего времени эти изменения в учебной программе в полной мере так и не были отражены в процессе оценки.

В Соединенных Штатах вопросы с несколькими вариантами ответов по-прежнему играют важную роль в качестве инструмента оценки, особенно в течение первых лет освоения учебной программы. Такие подходы, как объективный структурированный клинический экзамен (ОСКЭ) и работа со специально обученными людьми, имитирующими пациентов (симулированные, стандартизированные пациенты), помогают оценить клинические и технические навыки будущих медиков, но в процессе обучения слишком мало внимания уделяется оценке взглядов, профессионального поведения и прочих подобных характеристик врачей. Такие несоответствия между выбором инструментов оценки и ожидаемыми результатами обучения не связаны с отсутствием соответствующих инструментов оценки. В настоящее время у экзаменаторов достаточно инструментов оценки.

Набор инструментов, доступный экзаменаторам, включает традиционные подходы (например, письменные вопросы),

подходы, внедренные за последние несколько десятилетий (например, ОСКЭ), а также новые технологии в области оценки — портфолио.

При разработке и реализации программы по оценке учащихся экзаменаторы должны быть осведомлены об ожидаемых результатах обучения и методах, которые они могут использовать. Они также должны иметь представление о процессе оценки, чтобы выбрать соответствующий метод (или методы) и применить его/их на практике. Важно понимать, как нужно использовать новые инструменты оценки, знать их сильные и слабые стороны, а также учитывать возможность их применения в различных учебных условиях.

Данное руководство описывает подходы к оценке каждой определенной компетенции учащихся или стажеров (обучающихся). Предложения, приведенные в данном руководстве, будут полезны для любых школ и учреждений, стремящихся к использованию эффективных подходов к оценке качества медицинского образования, основанных на проверке компетенций, с соответствующей необходимостью оценки ожидаемых результатов обучения.

Данное руководство рассматривает различные аспекты процесса оценки (рис. 2). В руководстве описан процесс того, как преподаватели могут усовершенствовать процесс оценки знаний учащихся при помощи оценки полного спектра результатов обучения, посредством использования соответствующих инструментов и благодаря пониманию процесса оценки.

Улучшенное понимание процесса оценки

Инструменты оценки могут быть описаны в соответствии с определенными предусмотренными критериями, основы-

Рис. 2. Модель оценки, рассматривающая различные аспекты

вающимися на фактических данных и получившими признание профессионалов в этой области. Наиболее часто упоминаемые критерии включают:

1) обоснованность;

2) надежность результатов;

3) воздействие на учащегося и образовательную программу;

4) целесообразность и рентабельность.

Обоснованность

Обоснованность использования инструмента оценки обозначает степень измерения инструментом того, что он должен измерять [5, 21, 38]. Это связано с выявлением факторов, которые могут влиять на оценку учащегося. К примеру, необходимо помнить, что во многих случаях тест не может измерить необходимые показатели эффективности обучения. К сожалению, «золотой стандарт», на который стоит равняться

при анализе обоснованности выбора инструмента оценки, зачастую недостижим. Что касается инструментов оценки, обоснованность касается определенного измерения в определенной ситуации и с участием определенной группы лиц. Другими словами, это не инструмент или подход, который чем-то обоснован, а обоснованные баллы и оценки [3]. Объект измерения зависит как от содержания оценки, так и от любой характеристики метода [48].

Обоснованность можно разделить на 3 основных категории: обоснованность содержания, обоснованность критериев и обоснованность структуры. Обоснованность содержания определяется посредством обзора инструментов оценки и степени, в которой она измеряет то, что должна измерять. Обоснованность критериев относится к сравнению результатов, например, теста и уже известного критерия предполагаемой успеваемости. Обоснованность структуры относится к сбору косвенной

информации, подтверждающей использование инструмента по назначению. Например, обоснованность структуры подтверждается, если инструмент позволяет выделять различные уровни обучаемых [51]. Существует простой способ, позволяющий запомнить концепцию обоснованности: представьте себе мишень, которая используется при игре в дартс и стрельбе из лука. Степень точности, которую в конечном итоге иллюстрируют элементы на центральной области мишени, означает степень обоснованности измерения.

Надежность результатов

Надежность результатов испытания представляет последовательность, обобща-емость или воспроизводимость теста. Этот аспект отражает степень аналогичности результатов испытания в случае, если бы учащимся пришлось проходить его повторно. Надежность результатов обозначает степень последовательного измерения явления в течение определенного времени [5, 21, 38]. Если испытание повторяют через какое-то время, новые результаты испытания должны быть аналогичны предыдущим, полученным при использовании этого же инструмента и в рамках той же группы учащихся [3]. Это называется стабильностью результатов испытаний или устойчивостью результатов повторного испытания. Другим подходом к оценке надежности результатов является подготовка двух форм испытания и сравнение результатов. Это называется надежностью результатов при эквивалентных или альтернативных формах испытания. Достижение внутренней непротиворечивости представляет наиболее часто практикуемый подход к достижению надежности результатов. Этот подход позволяет оценить

степень, в которой оценки учащегося в двух или более частях испытания согласуются друг с другом [5]. Надежность расщепленных результатов испытания представляет наиболее простой подход к измерению внутренней непротиворечивости.

Надежность результатов, как правило, измеряется как коэффициент корреляции, где значение 1,0 — это полная корреляция, а 0 — ее отсутствие. Если значение >0,7, инструмент можно считать надежным, хотя некоторые стремятся получить значение >0,8. Межэкспертная надежность результатов определят уровень согласия между различными независимыми оценщиками одного и того же испытуемого [51]. Инструмент вряд ли будет надежным, если лишь небольшое количество элементов выборки демонстрирует предполагаемое поведение. Поэтому надежность — это вопрос адекватного отбора содержимого. Надежность также зависит от времени, потраченного на организацию испытания [49]. Повторимся: при оценке степени надежности помните о мишени. Если результаты оценки сконцентрированы примерно в одном месте, как дротики на мишени, можно сказать, что оценка надежна, даже если результаты оценки концентрируются не в центре мишени.

Воздействие на процесс обучения

Очень часто игнорируется такая важная характеристика оценки, как воздействие на учащегося, и особенно это касается медицинского образования. Как говорится в старой пословице, касающейся медицинского образования: «Результаты экзаменов формируют учебную программу». Используя экзамены определенного типа, можно проанализировать, как студенты изучают

информацию, т. е. как они учатся. Важность и частота экзаменов также влияют на среду обучения студента. Ответы учащихся на вопросы в ходе экзаменов могут основываться на запоминании, изучении в последний момент, концентрировании на представлении о правильном ответе или на мошенничестве. Ван-дер-Влейтен [49] подчеркнул, что преподаватели медицинских дисциплин должны уделять этим характеристикам больше внимания, чем уделяется в настоящее время. Он же описал по крайней мере 4 способа влияния оценки на процесс обучения [48]. Оценка оказывает влияние на процесс обучения через:

• содержание;

• структуру или формат;

• то, о чем просят (например, предоставляемая информация);

• частоту, время и количество повторных испытаний.

Целесообразность и рентабельность

Целесообразность использования инструмента оценки может зависеть от имеющихся ресурсов и опыта, а также от его стоимости. Стоимость является важной характеристикой инструмента оценки, особенно если он должен быть утвержден для широкого использования в медицинской школе. Стоимость инструментов оценки сложно определить, и об этом было много написано [15]. Расчет стоимости еще более сложен, чем оценка расходов, связанных с введением конкретного подхода. Стоимость должна включать стоимость запуска и использования постоянных ресурсов, необходимых для разработки и реализации процесса. Стоимость оценки следует рассматривать в связи со степенью полезности для преподавания и обучения. Ван-дер-Влейтен [48]

утверждал, что инвестиции в достойные методы оценки инвестируют в процесс преподавания и обучения. То, что изначально воспринимается как ресурсоемкие подходы к оценке, зачастую возможно на практике, и при учете общей выгоды они будут оправдывать эти затраты.

Эти 4 фактора: обоснованность, надежность результатов, воздействие на обучение и целесообразность с учетом стоимости — должны приниматься во внимание при выборе инструментов оценки различных результатов обучения.

Использование соответствующих инструментов оценки

В литературе описаны многочисленные инструменты оценки, которые должны занять определенное место в перечне инструментов экзаменатора для различных методов оценки. В данном руководстве представлен лишь краткий обзор этих методов. Детальное рассмотрение или критический анализ каждого инструмента оценки выходит за рамки данного руководства. Инструменты можно разделить на 5 категорий: письменная оценка, оценка клинических или практических навыков, наблюдение, оценка портфолио и других документов, свидетельствующих об успеваемости, а также взаимная оценка учащихся и самооценка. Примеры для каждой категории приведены в табл. 3. Краткое описание каждого подхода приведено ниже.

Письменная оценка

Описание

Наверняка читатели знакомы с методом проведения письменных экзаменов

и оценок. Эта форма оценки чаще всего используется в медицинском образовании. Эссе и короткие ответы на вопросы раньше были характерной особенностью экзаменов. Однако в последние три десятилетия появилась общая тенденция к использованию более объективных вопросов или вопросов с несколькими вариантами ответов (MCQ). MCQ могут представлять 1 из 5 типов вопросов, когда после утверждения представлены отвлекающие элементы — дистракторы, призванные не позволить учащемуся просто вспомнить или применить фактическую информацию. На экзаменах в Великобритании использовалось большое количество альтернативных тестовых заданий («правда—неправда»), после которых шли 5 утверждений, и каждое из них могло оказаться истинным или ложным. В заданиях на установление соответствия 4 и больше элементов нужно было согласовать с одним элементом из расширенного списка опций (например, соответствующие исследования или тип лечения). Несмотря на повышенное внимание к проверке успеваемости, формат вопросов с несколькими

вариантами ответов по-прежнему играет важную роль при промежуточной и итоговой оценке знаний. Наметилась тенденция использования MCQ в контексте сценариев работы с пациентами. Видоизмененные открытые вопросы и проблемы ведения пациентов (РМР) обеспечивают потенциальные преимущества, но они сейчас менее популярны из-за трудностей, связанных с постановкой вопроса, оценкой ответа и стандартизацией.

Тесты на проверку успеваемости первоначально были разработаны в Медицинской школе при Университете Маастрихта около 20 лет назад. Это тесты на всестороннюю оценку знаний в формате MCQ, который отражает знания учащегося в рамках всей программы медицинского образования. Набор тестов был разработан таким образом, чтобы из-за глубины, широты и полноты заданий учащиеся не могли подготовиться к экзамену, зазубрив или просто запомнив материал. Этот тест проводят 4 раза в год в течение всех лет обучения, он состоит примерно из 250 пунктов. Каждый раз готовят новый тест с большим количеством пунктов. Как и следовало

Таблица 3. Категории инструментов оценки с примерами для каждой категории

Категория оценки Типичные инструменты

Письменная оценка Эссе; короткие ответы на вопросы; вопросы на дополнение информации; вопросы с несколькими вариантами ответов (MCQ); вопросы на определение соответствия (EMI); видоизмененные открытые вопросы (MEQ); проблемы ведения пациентов (PMP); тест на проверку успеваемости; отчет о диссертации

Оценка клинических/практи- Продолжительные случаи; практический экзамен; промежуточная проверка знаний; ческих навыков объективный структурированный клинический экзамен (OSCE); объективный структурированный практический экзамен (OSPE); объективная структурированная экзаменационная ведомость (OSLER); групповой объективный структурированный клинический экзамен (GOSCE)

Наблюдение Отчеты преподавателей; контрольные списки; шкала оценок; отчеты о состоянии здоровья пациентов

Портфолио и другие свиде- Журналы; портфолио; журналы процедур тельства успеваемости

Взаимная оценка учащихся и самооценка Отчеты учащихся об успеваемости друг друга; отчет о собственной успеваемости

ожидать, учащиеся в течение первых лет обучения показывают значительно более низкий уровень успеваемости, чем учащиеся старших курсов. В других центрах были получены результаты, демонстрирующие, что ответы на открытые вопросы представляют более уместный способ проверки базовых знаний, который может быть объективно оценен. Был описан тест на проверку успеваемости с использованием подобных форм вопросов [17, 18]. Письменные методы оценки сегодня не обязательно используют бумагу и карандаш, они могут проводиться при помощи компьютера. Использование этого метода оценки предоставляет ряд преимуществ и удобств в использовании, подсчете баллов и оценке степени освоения учащимися необходимого содержимого учебной программы, в том числе адаптацию теста потребностям каждого учащегося — так называемое адаптивное тестирование [24]. Если учащиеся медицинских школ сдают экзамены на получение медицинской лицензии на компьютерах, как это делается в США, им должна предоставляться возможность попрактиковаться в этом.

Сильные и слабые стороны

Письменные экзамены, в частности MCQ, традиционно демонстрируют высокую степень надежности. Они удобны в использовании, но на разработку материалов для них уходит много времени. Они считаются объективными, поскольку экзаменаторы не делают никаких отдельных выводов о качестве ответа учащегося. MCQ, составляемые на основе шаблона теста, могут охватить большую область знаний весьма действенно и эффективно. Параллельные формы письменных экзаменов могут быть разработаны с использо-

ванием эквивалентного содержимого, аналогичного качества и психометрических характеристик [10]. Чрезмерная зависимость от формата вопросов с несколькими вариантами ответов, используемых для измерения степени восстановления знаний в памяти вместо обучения более высокого уровня, привела к некоторому разочарованию в этом подходе. Критики использования вопросов с несколькими вариантами ответов предположили, что поскольку такие вопросы позволяют проверить отдельные знания и поскольку они предназначены для выявления того, что знает или не знает учащийся, как правило, в этом случае проверяется знание тривиальных фактов или поверхностное знание предмета, а не глубокое понимание. Возможность получить из MCQ какие-либо подсказки также подвергалась критике, но исследования не выявили в этом серьезной проблемы.

Воздействие на процесс обучения

Использование письменной оценки знаний, в частности MCQ, значительно влияет на то, как студенты учатся, и то, что они учат. Проще говоря, студенты учатся, чтобы пройти тест. Это может иметь непредсказуемые негативные последствия при их обучении ведению пациентов, а также в сфере компетентности и внимательности к пациентам. Письменные экзамены находятся в «сердце скрытой учебной программы» [48]. Учащиеся будут готовиться к сдаче теста, а не пытаться изучить информацию как единое целое. Но разве можно обвинять их в том, что они хотят повысить свои шансы на успех при сдаче теста? Воздействие письменных экзаменов на учащихся непредсказуемо и может иметь непредвиденные последствия [48].

Использование письменных тестов влияет и на преподавателей. Обучение зачастую строится вокруг того, чтобы предоставить учащимся информацию о том, что они должны выучить для успешного прохождения экзаменов, и уплотняется к сроку проведения экзамена.

Целесообразность и стоимость

Планирование и составление экзаменов, в основе которых лежат MCQ, весьма затратно, если делать все должным образом. Тем не менее одни и те же MCQ могут использоваться в различных учреждениях, поэтому проведение экзаменов и их проверка в широких масштабах менее дорогостоящи, чем другие подходы к оценке.

Оценка клинических и практических компетенций

Описание

Экзамен с множественными станциями, или объективный структурированный клинический экзамен (ОСКЭ), представляет подход к оценке, в основном используемый для измерения клинической компетентности [28]. Комплексная проверка позволяет оценить отдельные виды деятельности, которые моделируют различные аспекты клинической компетентности. Все учащиеся проходят одинаковые испытания, результаты которых затем оцениваются. Учащиеся последовательно переходят от испытания к испытанию в соответствии с расписанием. Испытания ОСКЭ предназначены для измерения предварительно определенных клинических компетенций. В ходе ОСКЭ могут быть использованы специально обученные

пациенты, имитирующие наличие у них определенных заболеваний (ВРз), а также реальные пациенты или симуляторы [11]. К тому же практические испытания в ходе ОСКЭ могут оценивать интерпретации и навыки, не касающиеся работы с пациентами, а также технические навыки.

ОСКЭ — это больше, чем комплексный экзамен. В сущности это проверка клинических или практических компетенций, в процессе которой рассматриваются аспекты клинических компетенций для определения уровня клинических навыков и способностей, связанных с возможностью осуществлять медицинскую практику. ОСКЭ позволяет оценить успеваемость и демонстрирует, что учащиеся могут сделать, а не то, что они знают, как при более традиционных методах оценки. В то время как термин ОСКЭ относится к классу экзаменов, которые используют несколько практических испытаний для проверки успеваемости, в литературе все чаще встречается ОСПЭ (объективный структурированный практический экзамен). OSPRE (объективный структурированный экзамен для оценки успеваемости) используется для итоговой оценки знаний и умений сотрудников полиции в Великобритании. Все экзамены, по сути, имеют сходные характеристики, и некоторые из них представляют вариации оригинального ОСКЭ, измененного в соответствии с конкретными целями.

В связи с важностью оценки клинических компетенций учащихся в процесс медицинского образования были введены симулированные пациенты, симуляторы и тренажеры. Письменные экзамены и наблюдения давали недостаточно корректные результаты, поскольку они не могли точно оценить навыки, необходимые в клинических условиях. Для оценки компетенции бу-

дущего врача в клинических условиях необходимы учащийся, пациент и экзаменатор. Чтобы точно оценить знания учащегося, пациент и экзаменатор должны сохранять постоянство в оценке всех оцениваемых учащихся. В литературе описана разница между тем, что подразумевается под словами «симулированный» и «стандартизированный» пациент. Симулированный пациент — это человек, который изображает реального пациента. Стандартизированный пациент — это пациент, актер или другой человек, который прошел обучение, чтобы иметь возможность реалистично и последовательно вести себя во время встречи с клиническим специалистом, и который в соответствии с определенными критериями должен играть роль пациента с определенными заболеваниями. Очень часто термины «симулированный» и «стандартизированный» используются как взаимозаменяемые и обозначаются аббревиатурой СП (SP - simulated, standartized patient). Участие симулированных или стандартизированных пациентов полезно при сборе анамнеза и освоении навыков физического обследования. В США и Канаде около 80% медицинских школ используют СП в рамках своих медицинских образовательных программ [12], и на сегодняшний момент у нас достаточно информации о том, как эффективно использовать СП в ходе ОСКЭ [4]. СП использовали в оценке как в контексте официальных экзаменов, таких как ОСКЭ, так и в ходе повседневной практики для оценки успеваемости учащегося или врача в обычной практике. Гортер и со-авт. [22] описали, как, например, инкогнито внедрить СП в поликлиники, где работают специалисты в области ревматологии.

Симуляции представляют собой попытку сымитировать реальный клинический сценарий или ситуацию с максимальным

приближением к реальности. Использование симуляций в медицинском образовании широко распространено в рамках встреч с пациентами, при использовании компьютеров или при участии актеров. Областями, где использование симуляций особенно полезно, являются обучение и оценка учащихся по сбору анамнеза и физикальным диагностическим навыкам как в первые, так и в последующие годы учебы в вузе. Симуляции также часто используются в области хирургии и анестезиологии, для оценки компетентности в сфере клинических обоснований, ведения пациентов, анализа состояния пациента и выполнения клинических процедур. В настоящее время в оценке широко используются симуляции диагностических процедур с использованием симуляторов, таких как Харви — симулятор кардиологического пациента [31].

Виртуальная реальность предоставляет новейшую возможность имитировать общение с пациентом, а это крайне привлекательный подход.

Сильные и слабые стороны

ОСКЭ предлагает множество преимуществ в качестве практичного, надежного и действенного инструмента для оценки клинической компетентности. Норман [37] предположил, что «объективный структурированный клинический экзамен с его многочисленными образцами работ сегодня доминирует в сфере оценки успеваемости». Как правило, чем больше практических испытаний в рамках ОСКЭ, тем выше степень надежности его результатов и обоснованности содержания. Было установлено, что внедрение ОСКЭ, состоящего из 20 практических испытаний, позволяет в результате добиться минимальной необходи-

мой степени надежности [3, 47]. Высокая степень надежности результатов достигается при использовании чек-листов, а также в ходе практических испытаний с участием СП [12]. В ходе исследования, касающегося использования ОСКЭ, Аккредитацион-ный совет по последипломному медицинскому образованию (ACGME) обнаружил корреляцию от 0,59 до 0,71 между результатами OSCE и предаттестационных экзаменов при сдаче аттестационных испытаний на педиатрическом факультете [9]. Учитывая достаточное количество практических испытаний, ОСКЭ может считаться надежным инструментом проверки знаний с умеренно высокой степенью надежности.

Проберт и соавт. [39] обнаружили, что успеваемость учащихся при сдаче традиционного клинического выпускного экзамена не является достоверным индикатором их рейтинга как врачей-ассистентов. В противоположность этому была отмечена положительная взаимосвязь между успеваемостью учащихся на последнем году обучения при сдаче ОСКЭ и их рейтингом как врачей-ассистентов.

Преимуществом использования симуляций для целей оценки является то, что процедуры, которые обычно сложно оценить, могут быть оценены с высокой точностью без риска для учащегося или пациента. При использовании симуляций обратная связь учащемуся может предоставляться немедленно, чтобы он мог реагировать на эту информацию и корректировать свое поведение. При обзоре литературы Ван-дер-Влейтен и Суонсон [47] обнаружили, что при участии нескольких СП существовала очень небольшая погрешность измерения в том случае, если СП были обучены играть одну и ту же роль пациента. Ву и соавт. [50] обнаружили, что СП очень хорошо исполняли свои роли

и были последовательны при заполнении чек-листов. Было доказано, что надежность СП приемлема при должной подготовке и стандартизации [46].

При оценке клинической компетентности учащихся каждый подход имеет свои преимущества. Не нужно ограничиваться одним подходом к оценке. Участие реальных пациентов, симулированных или стандартизированных пациентов, симуляторов и тренажеров может стать оптимальным подходом в зависимости от уровня оценки конкретного навыка и контекста, в котором он в настоящее время оценивается.

Воздействие на процесс обучения

Прохождение учащимися ОСКЭ оказывает положительное воздействие на процесс обучения. Одним из очевидных преимуществ является то, что внимание учащихся сосредоточено на приобретении клинических навыков. Знания учащихся испытывают в условиях, которые помогут наиболее точно оценить их навыки и компетенции, необходимые во время практической деятельности. Природа ОСКЭ заключается в отборе примеров и имитации процесса обследования и лечения пациента. ОСКЭ обеспечивает высокую достоверность и хорошую обратную связь при текущей оценке знаний учащегося. Было установлено, что участие в ОСКЭ улучшает степень владения компетенцией при прохождении последующих практических испытаний, а также улучшает качество учебного опыта испытуемых [9]. В то же время ОСКЭ потенциально может оказывать негативное воздействие на процесс обучения, так как предполагает прохождение нескольких практических испытаний, иллюстрирующих уровень компетенций в области клинической ме-

дицины. При этом существует опасность того, что учащийся может подготовиться к экзамену посредством отнесения навыков к некоторым категориям, полностью не отслеживая связь между ними.

Участие СП, использование симуляций и манекенов позволяют оценить практические и клинические компетенции в виде формальной оценки знаний и сосредоточить внимание учащегося на этих компетенциях.

Целесообразность и стоимость

Стоимость реализации ОСКЭ значительно варьируется в разных медицинских центрах. Основными статьями расходов являются время и ресурсы, необходимые для проведения ОСКЭ. Сложно точно определить ориентировочную стоимость экзамена, поскольку она изменяется от 7 до 54 долларов США на одного учащегося, сдающего одно практическое испытание, и составляет примерно 496 долларов США на одного учащегося, сдающего ОСКЭ [9]. В статьи расходов входит плата за участие СП, использование необходимых помещений, время, потраченное на организационную подготовку, а также время экзаменаторов. В то же время эти расходы актуальны лишь для некоторых стран, в частности для США, для других стран зачастую характерны только минимальные издержки, так как СП зачастую предоставляют свои услуги бесплатно, и за использование помещений для проведения экзаменов плата не взимается. Если ОСКЭ проводится в пределах учреждения или медицинской школы, расходы на персонал и помещения могут отсутствовать. Если ОСКЭ проводится в специальном помещении, оборудованном для этой цели, затраты могут оказаться весьма существенными. Затраты

на подготовку и планирование экзамена также могут быть значительными. Обеспечение безопасности во время экзамена — еще один потенциально затратный пункт.

Подбор, обучение, планирование участия СП для некоторых центров может стать самым дорогостоящим и самым нестабильным аспектом, влияющим на общую стоимость участия СП. Первоначальные и постоянные затраты на программу участия СП могут показаться чрезмерными, и это зачастую отпугивает учреждения от инвестирования в такую деятельность. Подходы варьируются от программы к программе. Подбор СП также весьма трудоемок. Было подсчитано, что время, необходимое для подготовки СП, колеблется от 1 до 15 ч, в зависимости от имитируемой клинической ситуации. Расходы также могут варьироваться в зависимости от того, кого привлекают к участию: непрофессионалов, актеров или добровольцев.

Наблюдение

Описание

Проверенный временем и часто используемый метод оценки знаний учащихся медицинских вузов — это наблюдение за учащимся, осуществляемое преподавателями клинических дисциплин в ходе менторства. В Соединенных Штатах это преобладающий метод, используемый для оценки успеваемости учащихся в течение третьего и четвертого года стажировки. Не так давно метод наблюдения стал популярен и для первых двух лет стажировки.

Преподаватели обычно фиксируют оценку учащихся в чек-листе или по рейтинговой шкале. Учащегося можно оценить по каждому ожидаемому результату

обучения, например, его коммуникативных навыков и клинического поведения. Может быть зафиксирована глобальная оценка общей компетенции учащегося. Что касается практических процедур, преподаватели могут просто «проверить», была ли выполнена процедура. Особенно полезно, если экзаменатор прокомментирует свою оценку.

Сильные и слабые стороны

Один самых важных вопросов при оценке учащихся преподавателями — отсутствие надежности оценок преподавателей. Это может быть связано с тем, что преподаватели недостаточно контактировали с учащимся, чтобы принять обоснованное решение о его способностях. Степень непротиворечивости оценок может быть повышена за счет обучения сотрудников. Результаты оценки могут быть неточными из-за различных стандартов, применяемых необученными экзаменаторами, которые не хотят включать в свою оценку граничные значения рейтинговых шкал и не умеют различать категории на оценочной шкале. Оценки за приобретение знаний при этом кажутся более надежными, чем оценки за навыки межличностного общения или коммуникативные навыки [3].

Помимо оценки учащихся в ходе менторства, успеваемость и способности учащихся также могли подвергаться оценке сотрудников в других ситуациях, например, во время семинаров или сессий по проблемно-ориентированному обучению.

Воздействие на процесс обучения

Если успеваемость учащегося по показателям эффективности обучения,

не оцененная при помощи других инструментов, оценивается в течение определенного периода времени, внимание учащегося направлено на эти показатели, которые в противном случае могли игнорироваться. Такие оценки могут быть хорошим источником обратной связи для учащихся. Если оценочные шкалы используются для целей итоговой оценки, существует опасность того, что учащиеся будут стараться скрыть свои слабости и недостатки, не показывая их преподавателю, мог бы помочь их преодолеть.

Целесообразность и стоимость

Не следует недооценивать время и усилия преподавателей, необходимые для оценки учащихся. Суть в том, что хорошая практика выставления оценок требует от сотрудников уделять этому время, проходить обучение и формировать мотивацию.

Портфолио и другие свидетельства эффективности обучения

Описание

Портфолио представляет собой совокупность материалов, предоставленных профессионалом или учащимся, подтверждающим личные достижения и отражающим эти достижения. Обучение, ориентированное на оценку методом портфолио, можно определить как «совокупность доказательств факта обучения, как правило, объединенных некоторыми согласованными целями или согласованным перечнем учебных мероприятий» [45]. Портфолио содержит материалы, собранные учащимся в течение опреде-

ленного периода и включающие критический обзор и анализ учащимся учебного материала. Портфолио могут содержать все, что угодно. Ниже приведены типичные элементы портфолио: критические случаи и события, журнал или дневник размышлений, учебные пособия и учебные планы, клинический опыт, материалы для подготовки к экзаменам, записанные консультации, проверки и проектные работы, критические обзоры статей и материалы по управлению [45]. Портфолио, используемые для оценки (текущей или итоговой), прежде всего, должны быть написаны так, чтобы их можно было проверить. Необходимо с самого начала четко и ясно оговорить вопросы публичного и частного рассмотрения портфолио. Учащийся должен иметь возможность контролировать, кто имеет доступ и может изучить его портфолио, так как оно содержит персональные данные. Оценка портфолио концентрируется на том, продемонстрировал ли учащийся в портфолио достигнутые результаты обучения. Портфолио очень полезны для документирования факта достижения желаемых результатов обучения [14, 17, 18].

Журналы, как и портфолио, документируют учебный опыт учащегося. Тем не менее они, как правило, более ограничены по масштабу, чем портфолио, и ориентированы на данные, собранные в конкретной области или виде деятельности. Как правило, журналы не содержат размышлений преподавателя. Было задокументировано по меньшей мере 3 вида журналов: процедурный, операционный и журнал клинических случаев [3]. Процедурные журналы фиксируют количество и время проведения каких-либо процедур учащимся. Операционные журналы практически аналогичны процедурным

с той лишь разницей, что фиксируют, что и когда было сделано. Журналы клинических случаев фиксируют, какие пациенты были осмотрены в течение данного периода времени и какими заболеваниями они страдали.

Сильные и слабые стороны

Портфолио являются ценным инструментом, достойным включения в набор инструментов экзаменаторов, поскольку они могут оценить такие результаты обучения, как критическое мышление и самооценку, которые нелегко оценить с помощью других инструментов. Они также фиксируют результаты успеваемости учащегося в течение определенного периода времени, а не в конкретный момент времени. Надежность использования портфолио связана со способностью экзаменаторов согласовать стандарты и критерии содержания и оценки портфолио. Их надежность усиливается трехсторонними доказательствами эффективности обучения, взятыми из различных источников [17, 18]. Обоснованность использования портфолио будет определяться степенью, в которой они точно документируют учебный опыт, являющийся индикатором степени соответствия желаемым результатам обучения.

Журналы, в отличие от портфолио, ограничены в этом плане. Они просто включают записи о том, что было что-то выполнено. Они не документируют качество и степень владения компетенцией. В литературе представлено очень мало информации, касающейся того, насколько точно учащиеся заполняют журналы [3]. В отношении использования журналов невозможно получить данные об обоснованности и надежности результатов.

Воздействие на процесс обучения

Оценка с помощью портфолио оказывает положительное влияние на образовательную среду, потому что позволяет документировать то, что было сделано учащимся, а также дает ему возможность высказать свои мысли о том, чего он добился. Для портфолио учащемуся необходимо собрать достаточно много разрозненной информации в одно целое, чтобы проиллюстрировать динамику своих достижений. Портфолио аккумулирует все, что сделал учащийся. Это история его развития, и при соответствующем отношении портфолио в значительной степени может способствовать формированию позитивного взгляда учащегося на обучение.

Учащиеся зачастую считают ведение журналов скучным или монотонным занятием. Однако с точки зрения наставника оно может проиллюстрировать, что было или не было выполнено учащимся. Если учащийся просмотрит документированный список задач, содержащихся в журнале, он увидит, что уже сделал, а что ему еще только предстоит.

Целесообразность и стоимость

Конечно, эти подходы к оценке требуют времени сотрудников и ресурсов. При оценке портфолио возникают собственные расходы, связанные с этим, особенно если дело касается внешней проверки и оценки порт-фолио. Существуют также расходы, связанные с разработкой электронных портфолио или журналов. Эти инвестиции в ресурсы можно оправдать, но только в свете ценной накопленной информации о способностях учащегося и его компетентности в области медицинской практики.

Взаимная оценка учащихся и самооценка

Описание

Взаимная оценка учащихся и самооценка фокусируют внимание на важном факторе в оценке: кто должен осуществлять оценку? Большинство методов оценки разработано сотрудниками кафедр, которые, естественно, берут на себя ответственность за оценку учащихся. Тем не менее очень важную информацию об учащемся можно получить от его согруппников или от него самого, если попросить рассказать, что он может делать и насколько комфортно себя чувствует при выполнении задач.

Взаимная оценка учащихся и самооценка может иметь менее важное значение, чем оценка обученных экзаменаторов из числа преподавателей кафедры. Это связано с тем, что взаимная оценка и самооценка используются в сочетании с оценками преподавателей и других квалифицированных специалистов здравоохранения. Могут также использоваться чек-листы и рейтинговые шкалы. У учащихся есть преимущество, поскольку они наблюдают друг за другом при решении задач и осуществлении процедур, которые изучаются в реальных клинических условиях (например, врачи-стажеры с большей вероятностью, чем лечащий врач, будут наблюдать за успеваемостью своих одногруппников). Одногруппники могут быть более объективными в своих оценках, чем преподаватели, поскольку они чаще наблюдают своих товарищей в действии. В частности взаимные оценки учащихся использовали в области оценки поведения и коммуникативных навыков студентов-медиков. Вот как звучит один из вопросов, касающихся студентов-медиков: «Будет ли учащийся

стремиться что-то узнать, если он этого не знает, и обратится ли он за помощью?». Другими словами, учащийся должен оценить свои знания и принять соответствующие меры. Возможно, использование самооценки поможет понять, как оценить эту важную характеристику стремления к непрерывному обучению и анализу собственных способностей.

Сильные и слабые стороны

Исследования показали, что взаимные оценки учащихся в значительной степени коррелируют с оценками преподавателей, касающимися того же поведения и навыков [23]. Самооценка в умеренной степени коррелирует с оценками квалифицированного экзаменатора. Сообщается, что средние оценки в ходе самостоятельной оценки, как правило, ниже (более критическая оценка), чем те, которые были получены от квалифицированных экзаменаторов [13]. Одна из трудностей использования методик взаимной оценки учащихся и самооценки — обучение оценщиков. Было отмечено, что предоставление критериев оценки способствует повышению их надежности. Критерий оценки представляет стандартный или ожидаемый уровень успеваемости и сопровождается примером, который помогает оценивающему стандартизировать свою оценку и сравнить ее с другими. Отчеты об использовании взаимной оценки учащихся и самооценки показывают, что такой подход к оценке практически не используется в медицинском образовании. В основном этот подход использовался для оценки коммуникативных навыков в малых группах и в других подобных условиях обучения, например, в ходе проблемно-ориентированного обучения [15]. Использование взаимной оценки учащихся и самооценки

представляет область, требующую дальнейшего изучения и развития.

Воздействие на процесс обучения

Использование взаимной оценки учащихся и самооценки может оказать глубокое воздействие на образовательную программу. Положительной стороной является способность учащихся воспринимать и оценивать экзамены, особенно в клинических дисциплинах, а также развитие у учащихся навыков самооценки. Негативная сторона при плохой реализации — использование таких инструментов оценки может вызвать недоверие, подозрительность и соперничество между учащимися, что отрицательно скажется на процессе медицинского образования. Сложно предсказать результаты широкомасштабного использования таких подходов. Какими они будут: положительными или отрицательными? Само учреждение образования и климат доверия и принятия изменений, сформированный в нем, должны определить конечный результат.

Целесообразность и стоимость

Основные расходы и затраты времени уходят на инструктирование учащихся, чтобы они смогли выступать в качестве надежных и точных оценщиков.

Оценка всех показателей эффективности обучения

Краткий обзор

В зависимости от роста профессиональной аутентичности Миллер [35] предложил использовать пирамиду обучения, в основе которой лежит познание учащего-

ся, которое затем переходит к концентрированию внимания на своем поведении. Ван-дер-Влейтен [45] связывал иерархию подходов к оценке повышенной аутентичности с пирамидой Миллера. Эта модель полезна при оценке, поскольку на каждом уровне пирамиды можно применять различные инструменты оценки.

На рис. 3 изображена пирамида Миллера, каждому из 4 уровней соответствует одна или несколько методик оценки, описанных выше. Письменная оценка — это основной инструмент оценки на уровнях

«знает» и «знает, как», клиническая оценка и ОСКЭ используются на уровнях «показывает, как», а наблюдения, портфолио и ведение журналов — на уровне «делает».

Оценка и результаты обучения

Ниже рассмотрены инструменты оценки в зависимости от их уместности в качестве инструментов для измерения достижений учащимися различных результатов обучения. Описаны 12 показателей эффек-

' Делает

Наблюдение, портфолио, журналы, взаимная оценка учащихся

'Показывает, как

Оценка клинических и практических навыков, например, OСКЭ

Знает, как

Письменная оценка

Знает

Письменная оценка

Рис. 3. Пирамида методов оценки эффективности обучения

Делает

Показывает, как

Взгляды/моральные принципы, процесс принятия решений, роль врача, личностное развитие

Клинические навыки, практические процедуры, пропаганда здорового образа жизни, информационный обмен, обработка информации

Знает, как

Обследование, ведение пациента

Знает

^Медицинские науки

Рис. 4. 12 показателей эффективности обучения, подобранных для целей оценки различных уровней пирамиды Миллера

тивности обучения, а также представлены комментарии, касающиеся их оценки.

В табл. 4 перечислены наиболее подходящие методы оценки для каждого из 12 показателей эффективности. В большей или меньшей степени все методы могут быть использованы для оценки каждого показателя. Методы перечислены в том порядке, в котором авторы оценивают их относительную важность для каждого показателя эффективности, начиная с самого важного или полезного инструмента для каждого учебного результата.

Наличие определенных знаний подразумевается при оценке каждого показателя эффективности обучения, например, знаний о клинической теории, о ведении пациентов, об этических принципах,

по организации здравоохранения и совместной работе. Таким образом, инструменты, используемые для оценки знаний, подходят для оценки всех 12 результатов. Что касается технических навыков учащегося, о которых свидетельствуют показатели с первого по седьмой, оценка должна включать демонстрацию соответствующего навыка. Именно поэтому методы оценки клинических и практических навыков имеют важное значение. Взгляды учащегося, его способность принимать решения и его профессионализм наиболее эффективно демонстрируются посредством использования инструментов, предназначенных для оценки эффективности обучения студента или врача на практике в клинических условиях. 4 уровня пирами-

Что врач умеет делать Как врач относится к своей практике

показатели эффективности обучения методы оценки показатели эффективности обучения методы оценки

1 Клинические навыки ОСКЭ, наблюдение, журналы, 8 Принципы социальных, Письменный экзамен, порт-письменный экзамен фундаментальных фолио, наблюдение, ОСКЭ и клинических наук

2 Практические процедуры ОСКЭ, портфолио и журналы, наблюдение, письменный экзамен 9 Взгляды, моральные принципы и юридические обязанности Наблюдение, портфолио, ОСКЭ, взаимная оценка учащихся/самооценка, письменный экзамен

3 Обследование паци- Письменный экзамен, ОСКЭ, ента наблюдение, портфолио 10 Принятие решений, Портфолио, наблюдение, клиническое обо- письменная оценка, ОСКЭ,

4 Ведение пациента Письменный экзамен, ОСКЭ, наблюдение, портфолио снование и оценочные взаимная оценка учащих-суждения ся/самооценка

5 Укрепление здоровья и профилактика заболеваний ОСКЭ, портфолио, наблюдение, письменная оценка Врач как профессионал

6 Коммуникативные ОСКЭ, наблюдение, взаимная навыки оценка учащихся/самооценка, Показатели эффективности обучения Методы оценки

портфолио 11 Роль врача как профессионала Наблюдение, взаимная оценка учащихся/самооценка, портфолио, ОСКЭ, письменная оценка

7 Управление инфор- Навыки, портфолио, ОСКЭ, мацией наблюдение, письменный экзамен

12 Профессиональное развитие Портфолио, наблюдение, взаимная оценка учащихся/самооценка, ОСКЭ, письменная оценка

Таблица 4. Рекомендуемые методы оценки 12 показателей эффективности обучения компетентного и мыслящего врача (методы перечислены в порядке важности для каждого показателя эффективности обучения)

ды Миллера соотносятся со всеми 12 показателями эффективности обучения (см. рис. 4), именно в этом заключается ее преимущество для процесса оценки.

Оценка технических компетенций «Что умеет делать врач»

Показатель эффективности обучения 1: Клиническая компетентность

Врач должен уметь составить полную и подробную историю болезни пациента, провести соответствующее обследование, интерпретировать результаты и разработать план действий для описания проблемы и постановки диагноза.

Чтобы иметь возможность оценить клинические навыки учащегося, например, запись истории болезни пациента или осмотр пациента, нужно, чтобы учащиеся продемонстрировали необходимый клинический навык. Они должны показать, как они записывают историю болезни пациента в зависимости от случая, как интерпретируют результаты и разрабатывают план действий для постановки окончательного диагноза. Клинические экзамены, в частности ОСКЭ, подходят для этой цели — они могут предоставить достаточно информации, на основании которой можно оценить компетенции учащегося.

В то же время в некоторых случаях информацию о достижениях учащихся в отношении показателей эффективности можно получить из отчетов наблюдателей, например, от наставника, или из записей учащегося в дневнике или журнале, предоставляемом как часть портфолио. Некоторые преподаватели предпочитают игнорировать такие дополнительные источники информации о клинических

навыках учащихся из-за потенциальной ненадежности данных или высокой стоимости их сбора и анализа.

Показатель эффективности обучения 2: Компетентность при осуществлении практических процедур

Врач должен уметь провести ряд диагностических и лечебных процедур. Как правило, проведение этих процедур включает использование медицинских инструментов или изделий, например, наложение швов или катетеризация.

Компетентность при осуществлении некоторых процедур можно оценить так же, как и клинические навыки, т. е. при помощи практического испытания, например, ОСКЭ. К сожалению, этот способ применим не для всех процедур. Успеваемость учащегося, зафиксированная в отношении выполнения требуемой процедуры на практике, подтвержденная одним из преподавателей, может стать важной частью портфолио или журнала учащегося, которые будут оцениваться экзаменаторами. Информация о компетентности учащегося в ходе выполнения практических процедур также может быть получена от наставников учащегося.

Показатель эффективности обучения 3: Компетентность при обследовании пациента

Врач должен уметь организовать обследования пациента и интерпретировать результаты различных методов исследования. Исследования проводятся при участии пациента или на образцах жидкостей или тканей, взятых у пациента. Исследования, как правило, проводятся квалифицированными сотрудниками, например, биохимиком в клинической лаборатории или рентгенологом, но в некоторых случаях могут проводиться самим врачом.

Инструменты письменной оценки могут использоваться для предоставления

учащимся возможности продемонстрировать свои знания в области обследования пациентов, а также свои умения в соответствующих случаях интерпретировать результаты обследования пациентов. Учащиеся могут продемонстрировать эти навыки в рамках ОСКЭ. Их компетентность в течение определенного периода времени может оцениваться клиническими руководителями в ходе менторства, а также при оценке портфолио.

Показатель эффективности обучения 4: Компетентность при ведении пациентов

Врач может назначить пациенту соответствующее лечение и перенаправить пациента к соответствующему специалисту для дальнейшего лечения. Эта компетенция включает такие мероприятия, как операции и лекарственная терапия, а также неотложную помощь и реабилитацию в контексте ведения пациентов.

Используя комбинированный подход к оценке с применением письменной оценки, ОСКЭ, наблюдения и портфолио, экзаменатор может оценить, насколько успешно учащийся использует знания и грамотно применяет их при ведении пациента. Подходы, включающие косвенную (письменную) и прямую (ОСКЭ) оценку, должны применяться совместно для корректной оценки способностей учащегося.

Показатель эффективности обучения 5: Укрепление здоровья и профилактика заболеваний

Врач должен уметь распознавать угрозы для здоровья отдельных лиц или общества. Врач должен уметь применять, если это необходимо, основные принципы профилактики заболеваний и укрепления здоровья.

Оценка способности учащегося практиковать медицину в рамках обслуживания населения и заниматься профилакти-

кой заболеваний и пропагандой здорового образа жизни требует применения инструментов оценки во всех трех областях: оценка когнитивных качеств, освоенных навыков и эмоциональной составляющей. Оценка должна осуществляться либо в моделируемой, либо в учебной обстановке из-за необходимости оценивания более сложного процесса, охватывающего в широкой перспективе принципы здравоохранения и способы укрепления здоровья. ОСКЭ и портфолио особенно полезны при оценке такого показателя эффективности. Знания, лежащие в основе пропаганды здорового образа жизни и профилактики заболеваний, а также способы их применения можно оценить с помощью письменных экзаменов.

Показатель эффективности обучения 6: Коммуникативная компетентность

Врач должен владеть различными коммуникативными навыками, включая навыки письменного и устного общения, личного общения и общения по телефону. Врач должен эффективно взаимодействовать с пациентами, родственниками пациентов, коллегами и общественностью.

В прошлом оценка коммуникативных навыков не привлекала достаточного внимания. Сегодня несомненно, что коммуникативные навыки имеют решающее значение для ведения пациентов. Лечение пациента можно оценить по умению врача четко и аккуратно общаться с другими специалистами и медицинским персоналом, а также с пациентами и их родственниками. Коммуникативные навыки лучше всего оценивать в реальных условиях или в смоделированной ситуации, требующей ухода за пациентом. Коммуникативные навыки могут оцениваться непрерывно, в ходе освоения учебной программы, с первых лет обучения в медицинском вузе, а также

в рамках динамики их освоения. Оценка коммуникативных навыков является чувствительной областью из-за личного характера коммуникативных навыков учащихся, различных стилей общения, фона и т. д. Такая оценка очень сильно влияет на среду обучения, не следует недооценивать это. При оценке коммуникативных навыков необходимо тщательное планирование, чтобы не прерывать или не вмешиваться во взаимоотношения врача с пациентом. Оценка коммуникативных навыков должна занимать важное место в списке оцениваемых компетенций в любом медицинском вузе. Хорошие показатели в рамках этой компетенции могут многое сказать о потенциальном успехе учащихся и об их способности стать компетентными и неравнодушными врачами. ОСКЭ, наблюдение, взаимная оценка учащихся и оценка портфолио эффективно используются для оценки различных аспектов коммуникативных навыков.

Показатель эффективности обучения 7: Компетентность в сфере обработки и поиска информации

Врач должен быть компетентен в поиске, фиксировании и анализе информации и использовать для этого ряд инструментов, в том числе компьютер.

Должна оцениваться способность учащихся искать, фиксироввать и анализировать информацию, полученную из различных источников, включая информационно-технологические ресурсы. Этот показатель эффективности обучения может оценивать сам учащийся, документируя свой опыт в портфолио или демонстрируя свои навыки в ходе сдачи ОСКЭ. Компетенцию учащегося также можно оценить посредством наблюдения в течение некоторого времени.

Оценка интеллектуальной, эмоциональной, аналитической и творческой компетенций:

«Как врач относится к своей практике»

Показатель эффективности обучения 8: Понимание фундаментальных и клинических наук

Врачи должны знать основы фундаментальных, клинических и социальных наук, лежащих в основе медицинской практики. Это гарантирует, что они не только компетентны в овладении клиническими навыками, описанными в пунктах 1—7, но и понимают, что они делают и почему они это делают. Этот показатель демонстрирует понимание психосоциальных аспектов медицины.

Оценка степени понимания фундаментальных и клинических наук в значительной степени сосредоточена в когнитивной области. Классический подход к оценке наук в медицине предполагает использование письменных тестов. Портфолио и журналы также полезны — с их помощью учащиеся могут показать, что они знают, и применить эти свои знания работе с пациентами.

Показатель эффективности обучения 9: Соответствующее отношение, понимание принятых норм поведения и юридических обязанностей

Врачи должны демонстрировать соответствующее отношение, этическое поведение и правовые подходы к медицинской практике. В частности вопросы, связанные с информированным согласием, конфиденциальностью и медицинской практикой в мультикультурном обществе.

Оценка отношения к медицинской практике, понимания принятых норм поведения и юридических обязанностей

является относительно новой областью оценки в рамках медицинского образования. Тем не менее в настоящее время она признается в качестве ключевого аспекта компетенции будущего врача. «Медицинские школы должны быть так же довольны тем, что каждый их учащийся достиг необходимого уровня этической компетентности, как и клинической компетентностью своих выпускников» [52]. Оценка отношений, понимания принятых норм поведения и юридических обязанностей занимает одну из верхних строчек в пирамиде обучения и лучше всего демонстрируется в реальной обстановке при ведении пациентов. Иными словами, эти показатели лучше всего сможет оценить один из сотрудников, наблюдающий за поведением учащегося в течение некоторого времени. Взаимная оценка учащихся и порт-фолио также могут стать эффективными инструментами для оценки этой компетенции. Оценка при помощи письменных испытаний, компьютерных симуляций и ОСКЭ может использоваться в качестве второстепенного способа оценки отношений, понимания принятых норм поведения и юридических обязанностей в моделируемой или учебной ситуации. Использование нескольких инструментов оценки и наблюдения имеет первостепенное значение при анализе этой непростой компетенции.

Необходимо очень внимательно и аккуратно оценивать поведение учащегося на практике, чтобы своей оценкой не повредить ему. Учащиеся могут неосознанно изменить свое поведение из-за страха подвергнуться критике. Также нужно быть очень деликатным при осуществлении обратной связи — в вопросах этики учащиеся могут быть более чувствительны к критике.

Показатель эффективности обучения 10: Принятие соответствующих решений, клиническое обоснование и оценочные суждения

В своей практике врачи должны использовать клиническую оценку и доказательную медицину. Они должны уметь применять методы исследования и статистические методы, справляться с неопределенностью и двусмысленностью. В одних случаях деятельность врача требует мгновенного распознавания проблемы, реагирования и действий без размышлений, а в других — тщательного анализа, обдуманных решений и действий, основанных на опыте и доказательствах. Этот показатель эффективности обучения также распознает творческие способности при решении проблем, которые могут иметь большое значение в медицинской практике.

Решение проблем представляет собой познавательную активность более высокого порядка, чем приобретение теоретической базы знаний. Оценка этого показателя должна происходить в ситуации, где развертывается процесс решения проблем, и это оправданно. Навыки принятия решений и умение делать клинические обоснования сложно поддаются оценке, потому что для их оценки нет общих или универсальных подходов. Это связано с несколькими факторами, но самым заметным из них является то, что методы оценки умения делать клинические обоснования зависят от случая. Другими словами, в зависимости от природы проблемы к процессу принятия решений применяются различные подходы. Судя по всему, разница между начинающим и продвинутыми врачами, касающаяся их навыков делать клинические обоснования, объясняется сценариями проблем, которые развивались

в течение времени и основывались на накопленном опыте. Оценку навыков клинического обоснования со стороны студента-медика лучше всего рассматривать как процесс мышления и демонстрации накопленных доказательств. Решение проблем, связанных с ведением пациентов (PMP), использовавшееся в начале 1970-х гг., с трудом поддавалось оценке; сложно также было определить точный путь принятия решения, которому следовал учащийся. Вопросы на определение соответствия (EMI) позволяют оценить аспект владения знаниями при принятии клинических решений и узнать, как учащиеся используют свои знания в определенном контексте. Мышление учащихся удобно анализировать и оценивать с помощью портфолио. Учащиеся демонстрируют, что они могут размышлять над тем, чего они достигли, изучать и объяснять свои подходы к решению проблем в каждом конкретном случае. Навыки принятия решений также можно оценить в ходе ОСКЭ. Подход к оценке, называемый опросником для определения диагностического мышления [6], был специально разработан для оценки способностей учащихся решать проблемы.

Оценка личностных компетенций врача как профессионала

Показатель эффективности обучения 11: Врачи должны уметь оценивать (понимать) роль медика в сфере здравоохранения

Врачи должны понимать, как работает система здравоохранения, в рамках которой они осуществляют свою медицинскую практику, а также осознавать роли других специалистов в этой системе. Они должны уметь оценивать роль медика в качестве

врача, учителя, руководителя и исследователя. У будущего врача должно быть желание внести свой, пусть даже скромный, вклад в проведение исследований и создать доказательную базу для медицинской практики. Этот показатель эффективности обучения также иллюстрирует наличие навыков управления и ответственности за процесс обучения у многих врачей.

Многие из этих компетенций лучше всего оцениваются через прямое или косвенное наблюдения за учащимся или врачом с помощью методов наблюдения, оценки, составления отчетов или портфо-лио. ОСКЭ позволяет оценить результаты обучения в смоделированной ситуации. Например, команда медработников, состоящая из врачей и медсестер, может оцениваться как команда при сдаче группового ОСКЭ. Когнитивные способности могут оцениваться с помощью письменных тестов.

Показатель эффективности обучения 12: У врачей должна быть склонность к личностному развитию

Врач должен уметь оценить собственную работу, учиться самостоятельно и брать на себя ответственность за свое личностное и профессиональное развитие, в том числе за личностное развитие в области здравоохранения и карьерное развитие. Это важный показатель эффективности обучения.

Оценивать его, конечно, очень нелегко. Одно из важных врача — способность осознавать личные пределы и возможности. Этот навык лучше всего наблюдать непосредственно, его может оценивать в период клинической фазы получения медицинского образования клинический наставник. В конечном итоге лучшую оценку собственному профессионализму может дать сам учащийся или его одногруппники. Другим подходом, дающим представление об уров-

не профессионализма и самостоятельности, является портфолио, с помощью которого учащийся может продемонстрировать собственные размышления о накопленном опыте и достижениях за время получения медицинского образования.

Обсуждение и выводы

Развитие в медицинских учебных заведениях соответствующих подходов к оценке, подкрепляемых соответствующей философией, несколько отстает от темпа изменений, произошедших в других аспектах учебной программы. Последствия этого могут быть очень серьезными. Внедрение новой учебной программы без изменения подхода к оценке изменит ситуацию лишь незначительно или не изменит вовсе. Оценке знаний и принципам, лежащим в основе учебной программы, необходимо уделять пристальное внимание [7, 15]. Преподаватели и сотрудники каждого учреждения должны уделять время разработке целостной философии оценки и принимать участие в программе развития персонала. Участие в процессе оценивания и обеспечение того, чтобы учащиеся достигли требуемых результатов обучения, представляет важную задачу медицинского преподавателя [27].

Данное руководство описывает, что необходимо искать в каждом конкретном инструменте оценки, представляет широкий спектр инструментов оценки для требуемого диапазона результатов обучения. В руководстве подчеркивается переход от оценки знаний и технической компетентности к оценке более сложных результатов обучения, таких как взаимоотношения врача с пациентом, коллегами, обществом, работа в команде, профессионализм. Письменные

оценки, ОСКЭ, оценки при участии СП, симуляции, наблюдение, контрольные списки и оценочные шкалы, портфолио и журналы учета, а также взаимная оценка учащихся и самостоятельная оценка — все эти методы заслуживают внимания. Понимать, как они дополняют друг друга в процессе оценивания необходимых компетенций, так же важно, как иметь представление об особенностях каждого из них.

Едва ли при помощи одного инструмента оценки можно оценить все результаты обучения. Как правило, следует делать акцент на разработке шаблонов тестовых заданий, чтобы сделать выборку тех результатов обучения, которые должны быть оценены. Необходимо подобрать подходы к оценке, которые действительно будут работать. За последнее время были разработаны и внедрены новые инструменты оценки, они могут использоваться для оценивания целого спектра результатов обучения. Традиционные инструменты оценки, такие как тестовые задания MCQ, которыми пользовались в течение многих десятилетий, до сих пор доминируют в процессе оценивания. Вероятнее всего, в будущем мы увидим переход от выбора правильного варианта (как в MCQ) к тестам с конструированием ответа. Будет также происходить переход к оценке тех результатов обучения, которые в настоящее время не рассматриваются. Образовательным учреждениям необходим базовый набор методов оценки, которые будут приносить достойные результаты. Базовый набор инструментов оценки должен состоять из письменной оценки, например, состоящей из открытых вопросов (CRQ) и/или вопросов на определение соответствия и оценки компетенций, например, при помощи ОСКЭ. Наконец некоторые инструменты позволяют оценивать учащихся в течение определен-

ного периода времени и помогают выявить критическое мышление и самооценку учащегося. Для этих целей можно использовать портфолио. Этот базовый набор методов оценки не является исчерпывающим, поэтому образовательным учреждениям предлагается разрабатывать дополнительные стратегии оценки, отвечающие их уникальным и особым потребностям.

Необходимо справедливо оценивать, что учащиеся делают на практике и как они применяют свои знания в области фундаментальных и клинических наук при ведении пациентов. Многие школы перешли к оценке компетентности в моделируемых ситуациях, но немногие сделали акцент на оценке успеваемости в клинической практике через прямые наблюдения или косвенные показатели, например, портфолио.

Качественные подходы к оценке пока недостаточно используются в медицинском образовании. Их применение нередко ошибочно ассоциируется с субъективной оценкой. В литературе изложены принципы качественной оценки [34, 36]. Они дают экзаменатору возможность прочувствовать среду и условия, в которых происходили обучение и практика. Это позволяет ему лучше понять не только то, что студенты знают или не знают, но и то, что они делают с этими знаниями в реальных условиях, где от учащегося требуется применить свои знания, отношение и навыки. Для качественной оценки используются 3 основных принципа: трехсторонняя оценка, частая и непрерывная оценка и подготовка экзаменаторов. Трехсторонняя оценка означает измерение одного и того же аспекта с разных углов или позиций с использованием различных стратегий оценки. Другими словами, они «с 3-х сторон рассматривают» измеряемое явление. Кушинг [12] описал трехсторон-

нюю оценку как средство, с помощью которого данные получают из различных источников и согласовывают, что подтверждает обоснованность и надежность полученных результатов оценки. Из-за сложности оценки высокуровневого применения знаний, отношений и навыков ухода за пациентами необходимо использовать различные методы оценки.

Второй принцип заключается в том, что оценка должна быть непрерывной и частой. Нельзя оценивать способности и характеристики учащегося только в одной плоскости в определенный момент времени. Такие методы оценки крайне ненадежны, а их обоснованность ставится под сомнение. Поскольку приобретенные знания используются в клинических условиях, в реальной медицинской практике, их применение все больше зависит от конкретной ситуации. Чтобы адекватно оценить компетенции учащихся, необходимо оценивать их перманентно. Предварительные оценки помогают учащемуся оценить свой уровень овладения навыками и наметить план по совершенствованию своих знаний. Учащиеся развиваются и меняются в ходе получения любого нового опыта. То, что истинная оценка их компетентности отражена в итоговой оценке, только кажется логичным.

Третий принцип основан на том, что экзаменаторы должны быть о буче -ны, особенно это касается клинических ситуаций. Чтобы преподаватели смогли оценить способности учащихся, их нужно научить этому. Конкретный пример — достижение межэкспертного согласия о стандартах и баллах в оценочной шкале. Практика доказательной оценки означает, что используемые инструменты оценки и применение этих инструментов будет давать обоснованные и надежные результаты. Необходимость обучения персонала и пре-

подавателей кафедры лежит в основе способности достижения желаемых стандартов.

Мы упоминали необходимость оценки каждого показателя эффективности обучения и выбора наиболее подходящего инструмента оценки для конкретной цели. В то время как оценить каждую компетенцию или показатель эффективности обучения необходимо, конечная цель заключается в выявлении сильных и слабых сторон компетенций учащегося. И результаты этой оценки могут быть представлены в виде профиля учащегося, в котором показан его уровень владения каждой компетенцией. На рис. 5 представлен возможный вид профиля учащегося. В приведенном примере учащийся достигает необходимого стандарта владения всеми показателями эффективности обучения, за исключением тех, которые относятся к отношению и профессионализму. Составление такого профиля учащегося может быть очень полезно для директора по образованию, учащегося и разработчиков учебных программ.

В ответ на возрастающие требования общественности брать на себя большую ответственность за образование врачей, необходимо быстрыми темпами развивать и разрабатывать учебные программы, осно-

ванные на компетентности, и использовать такие способы оценки учащихся, которые смогут действительно показать, способны ли они быть практикующими врачами. Чтобы научиться лучше оценивать учащихся, необходимо представлять процесс оценивания и знать доступные инструменты оценки и принципы их использования, оценивая весь спектр показателей эффективности обучения. Данная модель оценки результатов обучения должна применяться на различных этапах получения медицинского образования, начиная с вузовской программы медицинского образования и заканчивая программами последипломного образования и непрерывного профессионального развития. Необходимо проводить больше исследований, касающихся оценки профессиональной компетентности и использования полученных данных для достижения желаемых изменений поведения учащихся. У нас есть возможность применять эти методы на практике в рамках полного цикла медицинского образования, чтобы значительно улучшить свои действия, оказать влияние на будущее медицинской практики и гарантировать общественности компетентность наших врачей. В конце концов мы сможем воспитать компетентного и мыслящего врача.

Достижение

Минимальный требуемый стандарт

1 2 3 4 5 6 7 8 9 10 11 12 Показатель эффективности обучения

Рис. 5. Профиль учащегося

Сведения об авторах

Джеймс М. Шамвэй, заместитель декана медицинского факультата, профессор в области внутренней медицины и педиатрии в Медицинской школе Университета Западной Вирджинии, США

Рональд М. Харден, руководитель образовательных программ Виртуальной международной медицинской школы (IVIMEDS) и образования при Университете Данди и бывший руководитель Центра медицинского образования, преподаватель и декан в Университет Данди, Великобритания

.HTepaTypa/References

1. AAMC. Report I: Learning Objectives for Medical Student Education: Medical Schools Objectives Project, January. Medical Schools Objectives. Washington: AAMC, 1998.

2. ACGME. Accreditation Council for Graduate Medical Education, 2003. URL: www.acgme.org

3. ACGME & ABMS. Toolbox of Assessment Methods. A Product of the Joint Initiative. Accreditation Council for Graduate Medical Education (ACGME) Outcomes Project. American Board of Medical Specialties (ABMS). Version 1.1, September 2000. Copyright 2000 Accreditation Council for Graduate Medical Education and American Board of Medical Specialties, 2000.

4. Adamo G. Simulated and standardized patients in OSCEs achievements and challenges 1992—2003. Med Teach. 2003; Vol. 5 (3): 262-70.

5. Atkinson R.L., Atkinson R.C., Smith E.E., Bem D.J. Introduction to Psychology. 11th ed. N.Y.: Harcourt Brace Jovanovich College Publishers, 1993.

6. Bordage G., Grant J., Marsden P. Quantitative assessment of diagnostic ability. Med Educ. 1999; Vol. 24: 413-25.

7. Brown S., Race P., Smith B. 500 Tips on Assessment. London: Kogan Page, 1996.

8. CanMEDS. Extract from the CanMEDS 2000 Project Societal Needs Working Group Report. Med Teach. 2000; Vol. 22 (6): 549-54.

9. Carraccio C., Englander R. The Objective Structured Clinical Examination: A Step in the Direction of Competency-Based Evaluation. Arch Pediatr Adolesc Med. 2000; Vol. 154: 736-41.

10. Case S. Developments in Written Assessment. Oral presentation given at the 9th International Ottawa Conference on Medical Education. Cape Town, South Africa, 28th February — 3rd March 2000. URL: http:// www.educ.unimaas.nl/ottawa/

11. Collins J.P., Harden R.M. AMEE Education Guide No. 13: The Use of Real Patients, Simulated Patients and Simulators in Clinical Examinations. Med Teach. 1998; Vol. 20 (6): 508-21.

12. Cushing A. Developments in Attitude and Professional Behaviour Assessment. Oral presentation given at the 9th International Ottawa Conference on Medical Education. Cape Town, South Africa, 28th February - 3rd March 2000. URL: http://www.educ.unimaas.nl/ ottawa/

13. Cushing A. Assessment of Non-Cognitive Factors In: G.R. Norman (ed.). International Handbook of Research in Medical Education. Ch. 22. Dordrecht: Kluwer Academic Publishers, 2002.

14. Davis M.H., Friedman Ben-David M., Harden R.M., Howie P., et al. Portfolio assessment in medical student's final examinations. Med Teach. 2001; Vol. 23: 357-66.

15. Fowell S.L., Maudsley G., Maguire P., Leinster S.J., et al. Report of Findings: Student Assessment in Undergraduate Medical Education in the United Kingdom 1998. Med Educ. 2000; Vol. 34 (Suppl. 1): 1-78.

16. Friedman Ben-David M. AMEE Guide No 14: Outcome-based education, part 3: Assessment in outcome-based education. Med Teach. 1999; Vol. 21 (1): 23-5.

17. Friedman Ben-David M., Hunter I., Harden R.M. Introduction of a progress test as a tool for defining core undergraduate curriculum. Educacion Medica XV Congreso de la Sociedad Nacional de Educacion Medica. 2001a; Vol. 4 (3): 97-9.

18. Friedman Ben-David M., Davis M.H., Harden R.M., Howie W., et al. AMEE Education Guide No. 24: Portfolios as a method of student assessment. Med Teach. 2001b; Vol. 23 (6): 535-52.

19. General Medical Council. Tomorrow's Doctors: Recommendations on Undergraduate Medical Education. London, UK: GMC, 1993.

20. General Medical Council. Recommendations on Undergraduate Medical Education. London, UK: GMC, 2002.

21. Goetz E.T., Alexander P.A., Ash M.J. Educational Psychology: A Classroom Perspective. N.Y.: Maxwell Macmillan International, 1992.

22. Gorter S.L., Rethans J.J., Scherpbier A.J.J.A., Van Der Linden S., et al. How to introduce incognito standardized patients into outpatient clinics of specialists in rheumatology. Med Teach. 2001; Vol. 23 (2): 138—44.

23. Gray J. Global rating scales in residency education. Acad Med. 1996; Vol. 71: S55—63.

24. Hambleton R.K. Advances in assessment models, methods, and practices. In: D.C. Berliner, R.C. Calfee (eds). Handbook of Educational Psychology. N.Y.: Simon & Schuster MacMillan, 1996: 899-925.

25. Harden R.M., Crosby J.R., Davis M.H. An introduction to outcome-based education. Med Teach. 1999a; Vol. 21 (2): 7-14.

26. Harden R.M., Crosby J.R., Davis M.H., Friedman M. From competency to meta-competency: a model for the specification of learning outcomes. Med Teach. 1999b; Vol. 21, N 6. P. 546-52.

27. Harden R.M., Crosby J.R. AMEE Education Guide No. 20: The good teacher is more than a lecturer — the twelve roles of the teacher. Med Teach. 2000; Vol. 22 (4): 334-47.

28. Harden R.M., Gleeson F.A. Assessment of clinical competence using an objective structured clinical examination (OSCE). ASME Medical Education Booklet No. 8. Med Educ. 1979; Vol. 13: 41-54.

29. Harden R.M. Developments in outcome-based education. Med Teach. 2002; Vol. 24 (2): 117-20.

30. IIME Core Committee. Global minimum essential requirements in medical education. Med Teach. 2002; Vol. 24, N 2: 130-5.

31. Issenberg B., Gordon M.S., Gordon D.L., Safford R.E., et al. Simulation and new learning technologies. Med Teach. 2001; Vol. 23 (1): 16-23.

32. Kassebaum D.G., Eaglen R.H., Cutler E.R. The objectives of medical education: reflections in the accreditation looking glass. Acad Med. 1997; Vol. 72 (7): 648-56.

33. LCME. Liaison Committee on Medical Education, 2003. URL: http://www.lcme.org

34. MacQueen K.M., McLellan E., Kay K., Milstein B. Codebook Development for Team-Based Qualitative Analysis. Centers for Disease Control. Atlanta, GA, 1998.

35. Miller G.E. The assessment of clinical skills/ competence/performance. Acad Med. 1990; Vol. 65 (Suppl): S63-7.

36. Murphy E., Dingwall R., Greatbatch D., Parker S., et al. Qualitative research methods in health technology assessment: A Review of the Literature. Health Technol Assess. 1998; Vol. 2 (16): 1-274.

37. Norman G. Research in medical education: three decades of progress. Br Med J. 2002; Vol. 324: 1560-62.

38. Pressley M., McCormick C.B. Advanced Educational Psychology for Educators, Researchers, and Policymakers. N.Y.: HarperCollins College Publishers, 1995.

39. Probert C.S., Cahill D.J., McCann G.L., Ben-Shlomo Y. Traditional finals and OSCEs in predicting consultant and self-reported clinical skills of PRHOs: a pilot study. Med Educ. 2003; Vol. 37: 597-602.

40. Rubin P., Franchi-Christopher D. New edition of tomorrow's doctors. Med Teach. 2002; Vol. 24 (4): 368-9.

41. Scottish Deans Medical Curriculum Group. The Scottish Doctor - Undergraduate Learning outcomes and their assessment: a foundation for competent and reflective practitioners, 2002. URL: http://www.scottishdoctor.org

42. Simpson J.G., Furnace J., Crosby J., Cumming A.D., et al. The Scottish doctor - learning outcomes for the medical undergraduate in Scotland: a foundation for competent and reflective practitioners. Med Teach. 2002; Vol. 24 (2): 136-43.

43. Smith S.R., Dollase R. Planning, implementing and evaluating a competency-based curriculum. Med Teach. 1999; Vol. 21 (1): 15-22.

44. Smith S.R. An Educational Blueprint for the Brown University School of Medicine. Brown University institutional publication, 1999.

45. Snadden D. AMEE Education Guide No. 11 (revised): Portfolio-based learning and assessment in medical education. Med Teach. 1999; Vol. 4: 370-86.

46. Tamblyn R.M., Klass D.J., Schnabl G.K., Kopelow M.L. Sources of unreliability and bias in standardized-patient rating. Teach Learn Med. 1991; Vol. 3 (2): 74-85.

47. Van der Vleuten C.P.M., Swanson D. Assessment of clinical skills with standardized patients: State of the art. Teach Learn Med. 1990; Vol. 2: 58-76.

48. Van der Vleuten C.P.M. The assessment of professional competence: developments, research and practical implications. Adv Health Sci Educ. 1996; Vol. 1 (1): 41-67.

49. Van der Vleuten C.P.M. A paradigm shift in education: How to proceed with Assessment. Oral presentation given at the 9th International Ottawa Conference on Medical Education. Cape Town, South Africa, 28th February - 3rd March 2000. URL: http://www.educ.unimaas.nl/ottawa/

50. Vu N.V., Marcy M.M., Colliver J.A., Verhulst S.J., et al. Standardized (simulated) patients' accuracy in recording clinical performance checklist items. Med Educ. 1992; Vol. 16: 99-104.

51. Winckel C.P., Reznick R., Cohen R., Taylor B. Reliability and construct validity of a structured technical skills assessment form. Am J Surg. 1994; Vol. 167: 423-27.

52. Wong J.G.W.S., Cheung E.P.T. Ethics assessment in medical students. Med Teach. 2003; Vol. 25 (1): 5-8.