CC BY
129
ДЛЯ КОРРЕСПОНДЕНЦИИ
Dr. Kamran Khan
Department of Anaesthetic, Mafraq Hospital,
Mafraq, Abu Dhabi, UAE
E-mail: [email protected]
К.З. Кан1, С. Рамачандран2, К. Гонт2, П. Пушкар3
Объективный структурированный клинический экзамен (ОСКЭ): Руководство АМЕЕ № 81. Часть 1: Историческая и теоретическая перспективы
K.Z. Khan1, S. Ramachandran2, K. Gaunt2, P. Pushkar3
The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: An historical and theoretical perspective
The Objective Structured Clinical Examination (OSCE) was first described by Harden in 1975 as an alternative to the existing methods of assessing clinical performance (Harden et al. 1975). The OSCE was designed to improve the validity and reliability of assessment of performance, which was previously assessed using the long case and short case examinations. Since then the use of the OSCE has become widespread within both undergraduate and postgraduate clinical education. We recognise that the introduction of the OSCE into an existing assessment programme is a challenging process requiring a considerable amount of theoretical and practical knowledge. The two parts of this Guide are designed to assist all those who intend implementing the OSCE into their assessment systems. Part I addresses the theoretical aspects of the OSCE, exploring its historical development, its place within the range of assessment tools and its core applications. Part II offers more practical information on the process of implementing an OSCE, including guidance on developing OSCE stations, choosing scoring rubrics, training examiners and standardised patients and managing quality assurance processes. Together we hope these two parts will act as a useful resource both for those choosing to implement the OSCE for the first time and also those wishing to quality assure their existing OSCE programme.
1 Медицинская школа Манчестера, Великобритания;
2 Клиническая учебная база Национальной службы здравоохранения в Ланкашире, Великобритания;
3 Группа клиник университета Эйнтри, Великобритания
1 Manchester Medical School, UK
2 Lancashire Teaching Hospitals NHS Trust, UK
3 Aintree University Hospitals Trust, UK
Объективный структурированный клинический экзамен (ОСКЭ) был впервые описан R.M. Harden в 1975 г. как альтернатива существовавшим методам оценки, основанным на решении клинических задач [21]. ОСКЭ был разработан с целью повышения значимости и надежности оценки решения клинических задач, которую до этого проводили путем сокращенного и полного описания клинического случая. С тех пор ОСКЭ приобрел широкое распространение в рамках клинического обучения как студентов, так и интернов. Мы понимаем, что внедрение ОСКЭ в существующие программы оценки является сложным процессом, требующим глубоких теоретических и практических знаний. Данное руководство создано для помощи тем, кто внедряет ОСКЭ в систему оценки. В первой части описываются теоретические аспекты ОСКЭ, история его разработки, место в ряду инструментов оценки знаний, а также ключевые точки применения. Во второй части дается практическая информация по внедрению ОСКЭ, включая руководство по созданию станций ОСКЭ, выбору шкал оценки, подготовке экзаменаторов и стандартизированных пациентов, а также управлению процессом обеспечения качества. Мы надеемся, что руководство станет полезным источником информации как для тех, кто впервые внедряет ОСКЭ, так и для тех, кто хочет обеспечить качество имеющейся программы ОСКЭ.
Проведение объективного структурированного клинического экзамена (ОСКЭ) в первый раз является сложной задачей, отнимающей много времени. Оно требует хорошего понимания основополагающих образовательных принципов ОСКЭ и создания учебных и административных структур для поддержки и проведения экзамена. Эти структуры или организации могут иметь форму рабочих групп или комитетов, что подробно описано во второй части данного руководства. В учреждениях, где ОСКЭ уже используется как инструмент оценки, важными аспектами являются обеспечение его качества и непрерывное улучшение для поддержания стандартов обучения и психометрической строгости экзамена.
Несмотря на то, что в рецензируемых журналах опубликовано большое количество исследований различных аспектов ОСКЭ, в существующей литературе отсутствует подробное и всестороннее руководство, помогающее организациям в практических аспектах внедрения ОСКЭ.
Данное руководство состоит из 2 частей; первая часть сконцентрирована на исторических предпосылках и образовательных принципах ОСКЭ. Знание и понимание этих принципов абсолютно необходимо для любого дальнейшего продвижения к разработке и проведению ОСКЭ. Мы надеемся, что содержание первой части послужит полезным и информативным введением, которое поможет лучше понять и внедрить идеи и практические советы, приведенные во второй части, в которой описываются организация и проведение ОСКЭ.
Практические моменты
• До внедрения ОСКЭ выполнение задач оценивали путем сокращенного и полного описания клинического случая.
• ОСКЭ — это средство оценки, основанное на принципах объективности и стандартизации, которое позволяет обученным экзаменаторам оценить знания экзаменуемого по стандартизованным шкалам оценки.
• ОСКЭ оценивает выполнение задач в моделированных условиях, на уровне «покажи, как» пирамиды оценки Миллера.
• ОСКЭ правильнее всего проводить вместе с другими методами оценки в рамках структурированной программы оценки.
• Хорошо спланированный ОСКЭ может стимулировать обучение и положительно влияет на процесс образования.
Оценка выполнения задачи, развитие ОСКЭ
Оценка выполнения задач экзаменуемыми как элемент медицинского образования зависит от выбора средств измерения, соответствующих оцениваемым показателям. По мнению J.F. Stokes, такие средства предназначены для определения того, может ли человек что-то делать, а не просто запоминать, говорить и писать об этом [50]. Никакой инструмент по отдельности не может оценить всю комбинацию знаний, умений и поведения, которые влияют на выполнение различных аспектов медицинской помощи. R.M. Epstein рекомендует использовать комбинацию средств для оценки целого спектра аспектов обучения; такой подход можно назвать батареей тестов [11, 17]. ОСКЭ играет важ-
ную роль в этой батарее тестов как средство оценки выполнения задач в смоделированных условиях [29, 40].
Оценка экзаменуемых в медицинском образовании постоянно совершенствовалась — от оценки знаний в период до 1960-х гг. до оценки выполнения задач, начиная с 1970-х гг. [11, 22]. Впоследствии для оценки выполнения задач был разработан целый ряд инструментов, включая ОСКЭ с привлечением стандартизованных пациентов, оценку действий на рабочем месте и оценку с помощью компьютерного моделирования ситуаций [38].
До разработки R.M. Harden ОСКЭ в 1970-х гг. для оценки выполнения задач пытались использовать комбинацию сокращенного и полного описания клинического случая [21]. Часто оценка включала также устный экзамен или собеседование [49]. Эти инструменты продолжают широко использоваться в разных странах мира и требуют некоторого обсуждения прежде, чем двигаться дальше к ОСКЭ.
Экзамен с применением сокращенного описания клинического случая
При сокращенном экзаменационном описании клинического случая, экзаменуемого просят провести краткое и прицельное обследование 5—6 пациентов с определенными клиническими явлениями. Обычно дается 15—20 мин на 1 пациента, после чего обнаруженные явления и диагноз обсуждаются с парой экзаменаторов, которые независимо выставляют оценку. Однако такая оценка часто бывает неструктурированной, и одни и те же экзаменаторы оценивают экзаменуемого в течение всего экзамена [41].
Несмотря на то, что у пациентов имеются реальные симптомы заболеваний, разные экзаменуемые обычно обследуют различных пациентов, что влияет на стандартизацию экзамена [37, 64]. Такой формат экзамена имеет то преимущество, что экзаменуемый коротко общается с несколькими реальными пациентами, что сходно с реальными условиями амбулаторной практики, и поэтому считается очень хорошим инструментом оценки навыков клинического обследования [41]. Однако на воспроизводимость и надежность такой оценки влияет отсутствие структурированности вопросов экзаменаторов, различия пациентов, которых осматривают разные экзаменуемые, а также отсутствие возможности оценить сбор анамнеза [62].
Экзамен- собеседование
При типичном экзамене-собеседовании экзаменуемому выдают клинический материал, например, историю болезни, гистологической образец или результат исследований. После определенного времени для анализа этой информации 2 экзаменатора опрашивают экзаменуемого в течение 10—15 мин. Такой опрос позволяет оценить глубину и воспроизведение знаний, решение гипотетических задач, суждения, клиническую аргументацию и аналитические способности [27]. В то время как типичный неструктурированный опрос ведет к низкой надежности и расхождению оценки между экзаменаторами, есть возможность стандартизовать вопросы для сведения расхождений к минимуму [21, 41]. Поскольку клиническая деятельность экзаменуемого при этом прямо не контролируется, данный экзамен позволяет оценивать этот показатель лишь опосредованно.
Экзамен с полным описанием клинического случая
При полном экзаменационном описании клинического случая экзаменуемого просят собрать анамнез и провести полный врачебный осмотр реального пациента, которого часто выбирают из имеющихся госпитализированных или амбулаторных больных. Разным экзаменуемым могут достаться различные пациенты с разными заболеваниями и различными клиническими признаками. Экзаменуемых просят собрать анамнез и провести полный врачебный осмотр реального пациента. На это дается 30—45 мин, и деятельность экзаменуемого при этом зачастую не контролируется [41]. За этим обычно следует неструктурированный опрос экзаменуемого, обычно сконцентрированный на обнаруженных клинических явлениях, диагнозе и плане лечения. Общение экзаменуемого с пациентом, в том числе сбор анамнеза, общая манера общения и клинические навыки общения, не всегда контролируются. Чаще всего, обсуждение концентрируется на теоретических аспектах рассматриваемого заболевания и изучении глубины его понимания экзаменуемым, т.е. знаниях и плане лечения [49, 63—65].
Описан ряд недостатков такой формы экзамена, например, оценка выставляется на основании неструктурированного опроса, а не на основании проверочного листа или стандартизованной шкалы оценки [39]. Поскольку обследуемые пациенты в разных случаях различные, оценка колеблется в зависимости от пациента [37, 64]. Наконец, обследование одного пациента не позволяет оценить деятельность экзаменуемого при широком спектре клинических состояний и является ограниченным примером более общей оценки. Специфи-
ческий характер такого экзамена делает почти невозможным обобщение оценки знаний и умений, полученной данным методом [37, 65].
Несмотря на вышеуказанные недостатки, экзамен с полным описанием клинического случая имеет высокую личностную надежность, так как при этом происходит реальное общение между экзаменуемым и пациентом и оценивается общее взаимодействие между ними, близкое к тому, что происходит в повседневной практике [64]. Достоинства и недостатки полного описания клинического случая суммированы в табл. 1.
Для преодоления вышеуказанных недостатков были предложены различные модификации экзамена с полным описанием клинического случая, в основном сконцентрированные на контроле деятельности экзаменуемого в ходе экзамена. Например, в литературе описаны экзамены с полным описанием клинического случая с наблюдением, Лестерский пакет оценки, Объективная структурированная полная регистрация клинического случая (OSLER), Оценка клинической компетентности путем стандартизованного полного описания клинического случая и Непосредственное наблюдение за клиническим осмотром (DOCEE) [12, 13, 16, 35, 55].
Из описанных выше методик только OSLER завоевал некоторую популярность. Надежность и валидность экзамена OSLER выше, чем у простого полного описания клинического случая, что достигается использованием разных групп показателей для оценки выполнения задач экзаменуемым в каждом случае (табл. 2) [13].
Для достижения описанного в литературе высокого уровня надежности (индекс альфа Кронбаха — 0,8) экзамен с полным
Таблица 1. Достоинства и недостатки экзамена с полным описанием клинического случая
Преимущества Недостатки
Привлечение реальных пациентов позволяет достичь высокого уровня реализма Вариабельность пациентов или невоспроизводимость описания студентами [65]
Вариабельность в зависимости от пациентов или специфичность случаев [65]
Способность оценить компетенции при редких или сложных проблемах при наличии у пациента четких клиниче- Обследование только одного больного ограничивает возможность оценки широкого спектра навыков
ских признаков или симптомов [48] Ненужная доброжелательность или строгость экзаменаторов в зависимости от характеристик экзаменуемых и пациентов [31]
Возможность выбора пациентов с разными заболеваниями [48] Низкая надежность и расхождение оценок в пределах деятельности одного экзаменатора и между разными экзаменаторами [37, 67]
Высокая зависимость от специфичности пациентов [39]
Полное обследование состояния пациента - отсутствие Отсутствие стандартизованной шкалы оценки [31]
выделения отдельных аспектов Отсутствие предварительной подготовки, что приводит к случайному выбору пациентов для обследования
Таблица 2. Домены оценки OSLER [13]
Домены Показатели
Анамнез Скорость и четкость сбора
Навыки общения
Системный подход
Установление фактов
Врачебный осмотр Системный подход
Метод осмотра
Установление правильных врачебных фактов
Проведение соответствующих обследований в логичной последовательности
Соответствующее лечение
Клиническое мышление (способность выявлять и решать проблемы)
описанием клинического случая с наблюдением не должен превышать 3,5 ч, что в некоторых организациях может быть непрактично [63]. Вопросы надежности и ва-лидности подробнее обсуждаются ниже.
Отсутствие структурированности и стандартизации являются основными критикуемыми аспектами традиционных методов оценки выполнения клинических задач. Разработка ОСКЭ R.M. Harden была направлена
на решение этих проблем и повышение качества оценки выполнения задач [21]. В момент создания ОСКЭ описывался как инструмент для оценки умений, но позже умения стали рассматриваться как аспект выполнения клинических задач, поэтому ОСКЭ считается инструментом для оценки выполнения задач в смоделированных условиях; эта концепция обсуждается подробнее в дальнейших разделах данного руководства [29].
Первый опыт проведения ОСКЭ
До разработки ОСКЭ на оценку экзаменуемого могло влиять поведение пациента, систематическая ошибка, связанная с экзаменаторами, нестандартизованная схема оценки и собственно действия экзаменуемого. ОСКЭ был первоначально разработан с целью стандартизации и уменьшения количества факторов, которые могли влиять на оценку выполнения задач. В хорошо спланированном ОСКЭ на оценку экзаменуемого влияет в основном сама его деятельность, при этом остальные источники неопределенности оказывают минимальное влияние. Кроме того, ОСКЭ был разработан как новый инструмент оценки, позволяющий в одном экзамене оценить клинические навыки, склонности, способность к решению проблем и применение знаний экзаменуемым [21].
Первый ОСКЭ был проведен R.M. Harden в 1972 г. в г. Данди и описан в литературе в 1975 г. [21]. С тех пор появилось большое количество публикаций, поддерживающих и научно обосновывающих использование методики ОСКЭ исходя из ключевых принципов образования [4, 7, 15, 25, 56, 65, 68].
В оригинальном варианте, описанном R.M. Harden, студенты перемещались между 18 станциями ОСКЭ и 2 пунктами отдыха в пределах больничного отделения. На прохождение каждой станции отводилось 4,5 мин, на перемещение между ними — 30 с. Общая продолжительность экзамена составляла 100 мин. На каждой станции тестировалось одно практическое умение, например, выполнение процедуры, сбор анамнеза или клиническое обследование пациента. Исходные описанные R.M. Harden 18 станций и последовательность их
прохождения показаны на рис. 1 [18]. Стандартизованная шкала оценки, использованная на 3-й станции данного экзамена, воспроизведена для примера на рис. 2.
Определение ОСКЭ
С момента появления исходного ОСКЭ было предложено много определений этого метода оценки; Harden определял его как «подход к оценке клинических умений, при котором умения оцениваются планово или структурированно с особым вниманием к объективности экзамена» [19].
По D. Newble, «ОСКЭ — это метод, отличающийся от написания сочинения или выбора ответа на вопрос из нескольких вариантов [34]. Это, прежде всего, организационная сеть, состоящая из множества станций, между которыми студенты перемещаются, и на которых оценивается выполнение ими конкретных заданий». R.V. Hodder, а также C.P.M. van der Vleuten и D.B. Swanson, поддерживают мнение о том, что в формат ОСКЭ можно включить множество разных типов и методов оценки знаний и умений [23, 57].
Исходя из разных описаний ОСКЭ в литературе, мы предлагаем консолидированное определение ОСКЭ: «методика оценки, основанная на принципах объективности и стандартизации, при применении которой экзаменуемые последовательно перемещаются по серии станций с ограниченным временем пребывания с целью оценки их профессиональной деятельности в смоделированных условиях. На каждой станции обученные методике экзаменаторы оценивают экзаменуемых по стандартизированным шкалам оценки».
Станция 1
Обследование шеи
Станция 2
Вопросы по пункту 1
Станция 3
Сбор анамнеза у пациента с болью в животе
Станция 4
Вопросы по пункту 3
Станция 5
Неврологическое обследование ног
Станция 6
Вопросы по пункту 5
Станция 7
Обследование грудной клетки
Станция 8
Вопросы по пункту 7
Станция 9
Изучение фотографий пациентов и ответы на вопросы
' Станция 10
Прочесть резюме истории болезни и результатов рентгенографии грудной клетки и ответить на вопросы
Станция 11
Просмотреть назначение лекарств в отделении и ответить на вопросы
Станция 12
Изучить историю болезни и график баланса жидкости и ответить на вопросы
Станция 13
Сбор анамнеза
больного с гематурией
Станция 17
Обследование молочной железы
Станция 14
Вопросы по пункту 13
Станция 18
Вопросы по пункту 17
Станция 15
Сбор анамнеза больного с острым приступом
Станция 16
Вопросы по пункту 15
Рис. 1. Исходные 18 станций объективного структурированного клинического экзамена, описанные R.M. Harden [18]. На станциях, выделенных серым, присутствовали экзаменаторы
В некоторых модификациях ОСКЭ, описанных в табл. 3, для оценки разных показателей используется исходный принцип перемещения между экзаменационными станциями.
Что оценивает ОСКЭ?
Перед тем как подробно обсуждать, что можно оценивать с помощью ОСКЭ, важно понять связь между компетентностью и выполнением задач. Ранее в литературе ОСКЭ описывался как инструмент для оценки умений. Это не совсем верно, так как, согласно S. Dreyfus и H. Dreyfus, умения —
это только один аспект выполнения задач [10]. Любой инструмент оценки выполнения задач должен содержать задачи разного уровня сложности — для обучающихся, обученных обучающихся, для завершивших обучение и для профессионалов/экспертов. Ключевое различие между ОСКЭ и оценкой на рабочем месте (^РВА) заключается в условиях, в которых проводится оценка, а не в том, что первый экзамен оценивает умения, а второй — выполнение задач, как часто считается [5]. Тем не менее, различие между ними очень существенно, так как выполнение одних и тех же задач одним и тем же человеком может существенно различаться в зависимости от контекста оцен-
ки [52]. Поэтому для всех практических целей ОСКЭ следует рассматривать как инструмент для оценки выполнения задач в смоделированных условиях. Умения — это сочетание знаний, навыков и психологической готовности, в то время как компетентность — это характеристика человека. Оценка уровня умений, например, способности
общаться с пациентом или обследовать дыхательную систему, позволяет экзаменатору определить разные уровни компетентности экзаменуемого. Детальное обсуждение этого вопроса выходит за рамки данного руководства, авторы касались его в статье об умениях, компетентности и выполнении задач [29].
Фамилия и инициалы студента..
Инструкция для студента:
Данный пациент был госпитализирован для обследования по поводу болей в животе. Соберите анамнез.
А. Общая информация о пациенте и ключевые пункты анамнеза: Отметьте соответствующую ячейку. При отсутствии отметки предполагается, что студент не пытался выяснить информацию
Род занятий Боль: тип Место Иррадиация Ослабляющие факторы Усиливающие факторы Периодичность Длительность Аппетит Тошнота, рвота Потеря веса Дефекация Наличие крови в кале Семейный анамнез Прием лекарств Курение
Отношение к алкоголю
Предыдущие заболевания, например, рвота с кровью
В. Методика сбора анамнеза
Оцените по 10-балльной шкале методику сбора анамнеза студентом, учитывая:
установление дат;
правильность формулировки вопросов; внимание к ответам;
соответствие ответов и последующих вопросов; систематический подход; эффективность использования времени.
8-10 - отлично 7 - очень хорошо 6 - удовлетворительно 5 - едва справился 4 - не справился
3 и менее - неудовлетворительно
С. Отношение студента к пациенту
Оцените по 10-балльной шкале отношение студента
с пациентом, учитывая:
• отсутствие ненужного дискомфорта для пациента;
• чувства пациента;
• попытку установить доверительные отношения с пациентом.
8-10 - отлично 7 - очень хорошо 6 - удовлетворительно 5 - едва справился 4 - не справился
3 и менее - неудовлетворительно
Рис. 2. Шкала оценки, использованная на 3-й станции [18]
з
С
А
Таблица 3. Модификации объективного структурированного клинического экзамена
Модификация Краткое описание
Объективный структурированный практический экзамен (ОБРЕ) [20] Оценка практических умений, знаний и (или) интерпретации данных вне клинических условий.
Объективная структурированная оценка технических навыков (ОБАТБ) [3, 59] Разработана для объективной оценки навыков, включает шкалу общей оценки и опросный лист, специфичный для конкретных процедур. В основном используется для получения обратной связи и оценки прогресса при обучении по хирургическим специальностям.
Объективный структурированный видеоэкзамен (ОЭУЕ) [26, 60] Студентам показывают видео общения врача с пациентом и задают вопросы по этому видео. Письменные ответы оценивают стандартизованным способом.
Групповой объективный структурированный клинический экзамен (ТОБСЕ) [46] Метод промежуточной оценки, моделирующий обычные консультации в условиях поликлиники. Группа студентов приходит вместе на каждую станцию экзамена ОСКЭ, где они по очереди выполняют задания. Оценивается и дается обратная связь о выполнении задания каждым экзаменуемым. Групповой подход повышает эффективность и способствует обучению от товарищей по группе.
Выполнение задач
I Выполнение Л [задач при наблюдении
Выполнение задач при наблюдении
в смоделированных 1 условиях
' Инструменты: ОСКЭ и его модификации Оценка частичного выполнения задачи, Оценка в условиях, прибли-, женных к реальным, и т.д.
Выполнение | задач при наблюдении на рабочем месте
Инструменты: DOPS, Mini-Cex, Видеоанализ выполнения задач
Инструменты: Контрольные пациенты +CBD
Рис. 3. Модель оценки выполнения задач, основанная на умениях, и примеры существующих инструментов оценки. Воспроизведено по [29]
Описанные выше ОСКЭ и его модификации — только часть перечня существующих инструментов для оценки выполнения задач. На рис. 3 приведена схема оценки на рабочем месте и использования тайного пациента в качестве дополнительных методов оценки выполнения задач, основанной на умениях в различных условиях [42].
^ Делает ^
Показывает как
(в смоделированных условиях)
^ Знает как ^ ^ Знает ^
Рис. 4. Отношение объективного структурированного клинического экзамена к пирамиде Миллера
Оценка на станциях ОСКЭ дает «снимок» способности экзаменуемого выполнять задачи в определенной области в смоделированных условиях. По отношению к пирамиде оценки G.E. Miller, ОСКЭ оценивает способность экзаменуемого показать как он будет действовать в смоделированных условиях (рис. 4) [32]. Это отличает его от других методов, например, с применением тайного пациента, которые позволяют оценить реальное выполнение задач экзаменуемым на рабочем месте на уровне «делает» пирамиды Миллера.
Смоделированные условия сами по себе могут влиять на выполнение задач экзаменуемыми, поэтому выполнение задач в ходе ОСКЭ может быть не таким же, как на рабочем месте [29]. Это важно иметь в виду при интерпретации результатов. Кроме того, на выполнение задач в клинических условиях может влиять ряд других факторов, показанных на рис. 5.
С Отношения Л f Обстановка (смо-(предвзятость, про- делированные условия
фессионализм и т.д.)
' Неклинические навыки (принятие решений, работа в команде, планиро-вание и т.д.
Знания и способ ность их применять (когнитивные навыки)
Особенности личности (осторожность, экстравертность)
Рис. 5. Факторы, влияющие на выполнение задач. Адаптировано по [29]
Таблица 4. Аффективный, когнитивный и психомоторный компоненты обучения от базового до продвинутого уровня
Уровень сложности Аффективный Когнитивный Психомоторный
Базовый Получение Знание Ощущение
Реагирование Понимание Определение характера
Оценка Применение Приспособление
Организация Анализ Выделение
Характеристика Синтез Улучшение
Продвинутый Оценка Составление
В реальной жизни очень важную роль в определении общей способности к выполнению задач играют неклинические навыки, в том числе работа в команде, управление ресурсами, готовность к различным ситуациям, лидерские качества и т.д. Их не просто оценить в формате ОСКЭ. Оценка ОСКЭ в основном сконцентрирована на когнитивных и психомоторных навыках, и аффективной готовности, которые считаются основными компонентами обучения.
Эти способности, каждая с разным уровнем сложности, были описаны как аффективный, когнитивный и психомоторный компоненты обучения соответственно D.R. Krathwohl, B.S. Bloom, A.E. Jewett [2, 28, 30]. Уровни сложности для каждого из 3 компонентов обучения приведены в табл. 4.
ОСКЭ может оценивать все 3 компонента обучения, но следует иметь в виду, что для оценки некоторых умений могут существовать более подходящие инструменты. Например, теоретическое применение знаний лучше тестируется с помощью вопросника с выбором ответов из нескольких вариантов, а анализ знаний можно оценить путем критического рассмотрения научной статьи. Как указывалось ранее, идеальная программа итоговой оценки должна быть основана на комбинации средств оценки в батарее тестов, что
позволяет оценить знания, навыки и психологическую готовность по целому ряду показателей обучения. Также важно учитывать, что ОСКЭ не может оценивать все уровни сложности одного из компонентов обучения, например, будет очень сложно спланировать станцию ОСКЭ, на котором тестируется только способность экзаменуемого анализировать знания.
Мы полагаем, что ОСКЭ следует планировать для оценки определенных знаний и умений, которые невозможно оценить путем письменного или компьютерного экзамена. Типичными примерами таких умений являются способность экзаменуемого собирать анамнез или выполнять медицинские манипуляции. Однако высказывалась критика в связи с тем, что при проведении ОСКЭ существует риск выделения (изолированного выполнения) отдельных практических умений с целью их оценки [33]. Это приводит к потере способности метода всесторонне оценивать выполнение задач экзаменуемым. По этой причине важно, чтобы практические умения, необходимые для выполнения задач, тестировались не изолированно, а в сочетании с другими умениями, например, применения знаний или составления плана лечения, что позволяет оценить выполнение задач более глобально.
В то же время станции ОСКЭ не нужны, например, для оценки способности экзаменуемого интерпретировать рентгеновский снимок или распознать повышенный уровень мочевины и назвать его возможные причины. Методы письменного экзамена способны достаточно надежно оценивать эти когнитивные навыки, и они требуют привлечения меньших ресурсов. Если планировать станцию ОСКЭ для оценки способности экзаменуемого брать РАР-мазок, то в такой ситуации существует риск изолированного выполнения отдельного практического умения, тогда как в реальности экзаменуемым придется одновременно общаться с пациентом и применять знания о процедуре в процессе ее выполнения. Плохая организация ОСКЭ может привести к тому, что экзаменуемые будут учиться проходить тест, а не улучшать свое реальное выполнение клинических задач. В то же время важно не допустить перегрузки экзаменуемых оценкой, пытаясь оценить слишком много компонентов выполнения задач на одной экзаменационной станции. Примером такой перегрузки является задание экзаменуемому собрать анамнез и обследовать пациента с кровохарканьем, интерпретировать рентгеновский снимок и пояснить возможный диагноз. Хотя это может отражать «реальную жизнь» за счет помещения оцениваемых умений в определенный контекст, маловероятно, что можно адекватно оценить все эти умения на одной станции с учетом ограниченного времени пребывания.
Образовательные принципы ОСКЭ
Два основополагающих принципа ОСКЭ — это объективность и структурированность. Объективность в основном
определяется стандартизованными шкалами оценки и тем, что один и тот же обученный экзаменатор задает одни и те же вопросы всем экзаменуемым. В то же время хорошо структурированная станция ОСКЭ имеет стандартизованную схему прохождения, которая позволяет оценить определенное клиническое умение с учетом полученного экзаменуемым курса обучения. Хорошо спланированный ОСКЭ имеет высокий уровень пригодности; проще говоря, это значит, что ОСКЭ оценивает то, что он должен оценивать [8]. В то же время хорошо спланированный ОСКЭ имеет высокую степень надежности, т.е. результаты экзамена воспроизводятся повторно с очень малой погрешностью [4]. Концепции пригодности, надежности, выполнимости и влияния на обучение подробнее рассматриваются ниже.
Пригодность (валидность)
Раньше разные формы пригодности, в том числе пригодность формы, пригодность содержания и пригодность конструкции рассматривались как отдельные элементы. Сейчас пригодность или валид-ность рассматривается как обобщающий термин, объединяющий все типы пригодности [9]. В рамках этого определения надежность, которая раньше рассматривалась как отдельный элемент, теперь тоже рассматривается как элемент в структуре пригодности. Более подробное рассмотрение данного вопроса выходит за рамки данного руководства, но, в целом, пригодность зависит от 5 факторов [1]:
1) содержание теста отражает то, что нужно оценить в курсе обучения, задания реалистичны, оцениваются правильные компоненты обучения;
2) ответы на вопросы теста точно регистрируются, обрабатываются, хранятся и анализируются;
3) тест имеет высокую надежность;
4) результаты теста коррелируют с результатами других тестов, в которых оцениваются аналогичные компоненты, и плохо коррелируют с результатами тестов, в которых оцениваются другие компоненты (конвергенция и дивергенция результатов);
5) имеются значимые последствия оценки, т.е. положительное влияние на обучение, штраф за неудачу обоснован, а последствия прохождения экзамена социально и профессионально приемлемы.
Вышеуказанные принципы применимы к ОСКЭ и обсуждаются во второй части данного руководства.
одним и тем же критериям, что уменьшает разброс оценок между разными экзаменаторами и экзаменуемыми [47].
3) Привлечение обученных экзаменаторов
Имеются некоторые данные, позволяющие предположить, что подготовка или обучение экзаменаторов снижает разброс оценок между разными экзаменаторами и повышает единообразие поведения экзаменаторов [36, 58]. Кроме того, наличие разных экзаменаторов на разных станциях может уменьшить системную погрешность, связанную с экзаменаторами [14].
4) Стандартизованное поведение пациентов
Плохо стандартизованные пациенты, поведение которых с разными экзаменуемыми различается, могут снижать надежность экзамена [47].
Надежность
На надежность любого метода оценки влияет много факторов, их понимание имеет ключевое значение при разработке новой программы оценки. Основные факторы, влияющие на надежность ОСКЭ, кратко перечислены ниже; каждый из них довольно подробно обсуждается в соответствующем разделе второй части данного руководства.
1) Количество станций ОСКЭ
Проведение экзамена с использованием большой выборки клинических случаев максимально повышает надежность, а наибольшее значение для обеспечения надежной оценки общего выполнения задач экзаменуемым имеет правильная продолжительность экзамена [44, 51].
2) Стандартизированные шкалы оценки
Они обеспечивают выставление оценки
экзаменаторами разным экзаменуемым по
Выполнимость
Выполнимость можно определить как степень практичности метода оценки. По сравнению с другими методами, ОСКЭ рассматривается как требующий большего количества ресурсов и времени для организации и проведения. Поэтому важно обеспечить наилучшее использование ОСКЭ, разрабатывая только станции, действительно требующие формата ОСКЭ, т.е. оценки не знаний, а выполнения задач.
Влияние на обучение
ОСКЭ может оказывать положительное влияние на процесс образования, так как он стимулирует обучение [4]. Это положительное влияние зависит от реалистичности воспроизведения сценариев оценки на станциях ОСКЭ. Если экзаменуемым труд-
но отличить тестовое задание от реальной практики, ОСКЭ может стимулировать получение навыков на всю жизнь. Если задачи на станциях ОСКЭ изолированы друг от друга и определяются только проверочным листом, экзаменуемый учится только проходить экзамен, и это снижает образовательную ценность ОСКЭ [32, 45].
Применение ОСКЭ
В последние 3 десятилетия наблюдается стабильный экспоненциальный рост использования ОСКЭ для проведения экзаменов у студентов и ординаторов во всем мире. ОСКЭ также используется для экзаменов при повышении квалификации и в качестве средства получения обратной связи для коррекции процесса обучения. Обычные применения ОСКЭ перечислены ниже:
1) в качестве основанного на выполнении задач средства оценки достижения минимального приемлемого стандарта для студентов или стажеров при переводном или выпускном экзамене студентов в большинстве медицинских школ США, Великобритании и Канады;
2) в качестве средства оценки интернов при назначении на более высокие должности в Королевских коллегиях врачей разных специальностей в Великобритании; например, в Королевской коллегии терапевтов проводится экзамен PACES (Практическая оценка навыков клинического обследования) в качестве компонента экзамена членов этой коллегии [61];
3) в качестве средства формативной оценки для коррекции обучения студентов-медиков [54];
4) в качестве средства оценки выпускников, претендующих на лицензию для заня-
тия высокой должности и на сертификат для практической деятельности [24]. На модели ОСКЭ основаны часть 2 экзамена PLAB (Панель профессиональной лингвистики и оценки) в Великобритании, Квалификационный экзамен-11 Медицинского совета Канады, и раздел оценки клинических умений экзамена для получения медицинской лицензии в США (USMLE) [43, 53, 66];
5) в качестве средства обучения для немедленного получения обратной связи [6, 23].
Заключение
В первой части данного руководства дается представление о концепции ОСКЭ как средстве оценки выполнения задач в модельных условиях. В этой части также описывается, почему был разработан ОСКЭ, и как он может удовлетворить потребность в большей структурированности и объективности при оценке выполнения задач. По всему руководству мы подчеркиваем, что ОСКЭ следует использовать в тех случаях, когда другие методы не могут оценить рассматриваемый компонент компетентности, либо в сочетании с другими методами оценки выполнения задач. Он не заменяет средств оценки знаний и не является панацеей для удовлетворения всех потребностей в оценке в рамках программ обучения. Сложности, связанные с научными и практическими аспектами внедрения ОСКЭ, особенно если данный формат является новым для организации, рассматриваются во второй части данного руководства. Читателям, вооруженным информацией из данной части руководства, будет легко понять описанные во второй части сложные процессы, необходимые для внедрения программ ОСКЭ.
Заявление о финансовом интересе
Авторы сообщают об отсутствии конфликта интересов. Только авторы ответственны за содержание и написание данной статьи.
Информация об авторах
Д-р Камран Хан, МВВ8, FRCA, FAcadMEd, MScMedEd, на момент написания данной статьи являлся старшим преподавателем Медицинской школы Манчестера и консультантом-анестезиологом клинической учебной базы Национальной службы здравоохранения в Ланкашире (Престон, Великобритания). В процессе своей карьеры д-р Хан проявил особый интерес к вопросам медицинского образования и прошел специализацию в этой области наряду со своей основной специальностью — анестезиологией. Он занимал научно-клинические должности сначала в Оксфордском университете, затем в Университете Манчестера. Он являлся ассоциированным руководителем группы экзаменаторов медицинской школы Манчестера. В настоящее время он работает консультантом-анестезиологом в Объединенных Арабских Эмиратах. Он широко публиковался и представлял доклады в области своих научных интересов на национальном и международном уровнях.
Д-р Санкаранараянан Рамачандран, MBBS, PgCert (MedEd), FHEA - научный сотрудник в области медицинского образования и моделирования в клинической учебной базе Национальной службы здравоохранения в Ланкашире (Престон, Великобритания). Он прошел специализацию в Индии и последипломное обучение по терапии. В течение всей своей карьеры он занимался обучением и тренировкой студентов-медиков и интернов. Он получил свидетельство последипломного
образования и на момент написания данного руководства получал степень магистра в области медицинского образования в Университете Манчестера. Он проявляет особый интерес к оценке, обучению на основе решения проблем и исследованиям в области медицинского образования.
Д-р Катрин Гонт, MBChB, MRCP, PGD(MedEd), на момент написания данного манускрипта являлась научным сотрудником в области медицинского образования и симуляции в клинической учебной базе Национальной службы здравоохранения в Ланкашире (Престон, Великобритания). Она окончила медицинскую школу университета Манчестера (Великобритания) в 2002 г. Она получила статус зарегистрированного специалиста по паллиативной медицине и имеет особый интерес к вопросам медицинского образования. В настоящее время она проходит повышение квалификации в этой области. Недавно она взяла академический отпуск, чтобы поработать в качестве научного сотрудника в области медицинского образования и моделирования в клинической учебной базе Национальной службы здравоохранения в Ланкашире. Там она читала лекции, принимала экзамены ОСКЭ и участвовала в исследованиях в данной области. Сейчас она вернулась к обучению в области паллиативной медицины.
Д-р Пиюш Пушкар, MBChB, работает в отделении критических состояний Группы клиник университета Эйнтри (Ливерпуль, Великобритания). Пиюш окончил университет Эдинбурга и впоследствии работал и преподавал в области анестезии и лечения критических состояний в Ланкашире и Мерсисайде, а также работал в службе санитарной авиации в Квинсленде (Австралия). Он также работает врачом-добровольцем в организации «Свобода от пыток» в Манчестере.
Литература
1. American Educational Research Association. Standards for Educational and Psychological Testing. — Washington, DC: American Educational Research Association, 1999.
2. Bloom B.S. Taxonomy of Educational Objectives: The Classification of Educational Goals; Handbook 1: Cognitive Domain [S. 1.]. — New York: Longmans, 1974.
3. Bodle J.F., Kaufmann S.J., Bisson D. et al. Value and face validity of objective structured assessment of technical skills (OSATS) for work based assessment of surgical skills in obstetrics and gynaecology // Med. Teach. — 2008. — Vol. 30. - P. 212-216.
4. BoursicotK. Structured assessments of clinical competence // Br. J. Hosp. Med. — 2010. — Vol. 71. — P. 342-344.
5. Boursicot K., Etheridge L., SetnaZ. et al. Performance in assessment: Consensus statement and recommendations from the Ottawa conference // Med. Teach. — 2011. — Vol. 33. — P. 370—383.
6. Brazeau C., Boyd L., Crosson J. Changing an Existing OSCE to a Teaching Tool: The Making of a Teaching OSCE // Acad. Med. — 2002. — Vol. 77. — P. 932.
7. Carraccio C., Englander R. The Objective Structured Clinical Examination. A step in the direction of competency-based evaluation // Arch. Pediatr. Adolesc. Med. — 2000. — Vol. 154. — P. 736—741.
8. Downing M.S. Validity: On the meaningful interpretation of assessment data // Med. Educ. — 2003. — Vol. 37. — P. 830—837.
9. Downing S.M. Validity: Establishing meaning for assessment data through scientific evidence. St George's Advanced Assessment Course. — London, 2010.
10. Dreyfus S., Dreyfus H. A Five stage model of the mental activities involved in directed skill acquisition. Research Paper. Department of Philosophy, University of California. — Berkeley, 1980.
11. Epstein R.M. Assessment in medical education // N. Engl. J. Med. — 2007. — Vol. 356. — P. 387—396.
12. Fraser R.C., Mckinley R.K., Mulholland H. Consultation competence in general practice: Establishing the face validity of pritoritised ciriteria in the Leicester assessment package // Br. J. Gen. Pract. — 1994. — Vol. 44. — P. 109—113.
13. Gleeson F. Assessment of Clinical Competence using the Objective Structured Long Examination Record (OSLER), AMEE Medical Education Guide No. 9 // Med. Teach. — 1997. — Vol. 19. — P. 7—14.
14. Gormley G. Summative OSCEs in undergraduate medical education // Ulster Med. J. — 2011. — Vol. 80. — P. 127—132.
15. Gupta P., Dewan P., Singh T. Objective Structured Clinical Examination (OSCE) Revisited // Indian Pediatr. — 2010. — Vol. 47. — P. 911—920.
16. Hamdy H., PrasadK., Williams R., Salih F.A. Reliability and validity of the direct observation clinical encounter examination (DOCEE) // Med. Educ. — 2003. — Vol. 37. — P. 205—212.
17. Hamdy H., Telmesani A.W., Wardy N.A. et al. Undergraduate medical education in the Gulf Cooperation Council: A multi-countries study (Part 2) // Med. Teach. — 2010. — Vol. 32. — P. 290—295.
18. Harden R.M. How to Assess Clinical Competence — An overview // Med. Teach. — 1979. — Vol. 1. — P. 289—296.
19. Harden R.M. What is an OSCE? // Med. Teach. — 1988. — Vol. 10. — P. 19—23.
20. Harden R.M., Cairncross R.G. Assessment of Practical Skills: The Objective Structured Practical Examination (OSPE) // Studies High Educ. — 1980. — Vol. 5. — P. 187—196.
21. Harden R.M., Stevenson M., Downie W.W., Wilson G.M. Assessment of Clinical Competence using Objective Structured Examination // BMJ. — 1975. — Vol. 1. — P. 447—451.
22. Hays R. Assessment in medical education: Roles for clinical teachers // Clin. Teach. — 2008. — Vol. 5. — P. 23—27.
23. Hodder R.V., Rivington R.N., Calcutt L.E., Hart I.R. The effectiveness of immediate feedback during the Objective Structured Clinical Examination // Med. Educ. — 1989. — Vol. 23. — P. 184—188.
24. Hodges B. OSCE! Variations on a theme by Harden // Med. Educ. — 2003. — Vol. 37. — P. 1134—1140.
25. Hodges B., Hanson M., Mchaughton N., Regehr G. Creating, monitoring, and improving a psychiatry OSCE // Acad. Psychiatry. — 2002. — Vol. 26, N 3. — P. 134—161.
26. Humphris G.M., Kaney S. The Objective Structured Video Exam for assessment of communication skills // Med. Educ. — 2000. — Vol. 34. — P. 939—945.
27. Jayawickramarajah P.T. Oral examinations in medical education // Med. Educ. — 1985. — Vol. 19. — P. 290—293.
28. Jewett A.E., Jones S.L., Luneke S.M., Robinson S.M. Educational change through a taxonomy for writing physical education objectives // Quest. — 1971. — Vol. 15. — P. 32—38.
29. Khan K., Ramachandran S. Conceptual framework for performance assessment: competency, competence and performance in the context of assessments in healthcare — deciphering the terminology // Med. Teach. — 2012. — Vol. 34. - P. 920-928.
30. Krathwohl D.R. Taxonomy of Educational Objectives: The Classification of Educational Goals; Handbook 2: Affective Domain [S.l.]. — New York: Longmans, 1956.
31. Mcmanus I.C., Thompson M., Mollon J. Assessment of examiner leniency and stringency ("hawk-dove effect") in the MRCP(UK) clinical examination (PACES) using multi-facet Rasch modelling // BMC Med. Educ. — 2006. - Vol. 6. - P. 42.
32. Miller G.E. The assessment of clinical skills/competence/performance // Acad. Med. — 1990. — Vol. 65. — P. S63—S67.
33. Nestel D., Kneebone R., Nolan C. et al. Formative Assessment of Procedural Skills: Students' Responses to the Objective Structured Clinical Examination and the Integrated Performance Procedural Instrument // Assess. Eval. Higher Educ. — 2011. — Vol. 36. — P. 171 — 183.
34. Newble D. Techniques for measuring clinical competence: Objective structured clinical examinations // Med. Educ. — 2004. — Vol. 38. — P. 199—203.
35. Newble D.I. The observed long-case in clinical assessment // Med. Educ. — 1991. — Vol. 25. — P. 369—373.
36. NewbleD.I., Hoare J., Sheldrake P.F. The selection and training of examiners for clinical examinations // Med. Educ. — 1980. — Vol. 14. — P. 345—349.
37. Norcini J.J. Death of a long case // BMJ. — 2002. — Vol. 324. — P. 408—409.
38. Norcini J.J., Mckinley D.W. Assessment methods in medical education // Teaching Teach. Educ. — 2007. — Vol. 23. — P. 239—250.
39. Norman G. The long case versus objective structured clinical examinations // BMJ. — 2002. — Vol. 324. — P. 748—749.
40. PMETB. Developing and maintaining an assessment system — a PMETB guide to good practice [Online]. London, 2007: PMETB. [Accessed10 June 2012] Available from http://www.gmc-uk.org/assessment_good_ practice_v0207.pdf_31385949.pdf
41. Ponnamperuma G.G., Karunathilake I.M., Mcaleer S., Davis M.H. The long case and its modifications: A literature review // Med. Educ. — 2009. — Vol. 43. — P. 936—941.
42. Rethans J.-J., Gorter S., Bokken L., Morrison L. Unannounced standardized patients in real practice: A systematic literature review // Med. Educ. — 2007. — Vol. 41. — P. 537—549.
43. Reznick R., Smee S, Rothman A. et al. An objective structured clinical examination for the licentiate: Report of the pilot project of the Medical Council of Canada // Acad. Med. — 1992. — Vol. 67. — P. 487—494.
44. Roberts C., Newble D., Jolly B. et al. Assuring the quality of high-stakes undergraduate assessments of clinical competence // Med. Teach. — 2006. — Vol. 28. — P. 535—543.
45. Shumway J.M., Harden R.M. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician // Med. Teach. — 2003. — Vol. 25. — P. 569—584.
46. Singleton A., Smith F., Harris T. et al. An evaluation of the Team Objective Structured Clinical Examination (TOSCE) // Med. Educ. —1999. — Vol. 33. — P. 34—41.
47. Smee S. ABC of learning and teaching in medicine "Skill based assessment" // BMJ. — 2003. — Vol. 326. — P. 703—706.
48. Smith L.J., Price D.A., Houston I.B. Objective structured clinical examination compared with other forms of student assessment // Arch. Dis. Child. — 1984. — Vol. 59. — P. 1173—1176.
49. Sood R. Long Case Examination — Can it be Improved // Indian Acad. Clin. Med. — 2001. — Vol. 2. — P. 251—255.
50. Stokes J.F. Take a Clinical Examination // BMJ. — 1979. — Vol. 1. — P. 98—99.
51. Swanson D.B., Norman G.R., Linn R.L. Performance-Based Assessment: Lessons From the Health Professions // Educ. Res. — 1995. — Vol. 24. — P. 5—11.
52. Ten Cate T.J.O., Snell L., Carraccio C. Medical competence: The interplay between individual ability and the health care environment // Med. Teach. — 2010. — Vol. 32. — P. 669—675.
53. Tombleson P., FoxR.A., Dacre J.A. Defining the content for the OSCE component of the PLABoard examination development of a blueprint // Med. Educ. — 2000. — Vol. 34. — P. 566—572.
54. Townsend A.H., Mcllvenny S., Miller C.J., Dunn E.V. The use of anobjective structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance // Med. Educ. — 2001. — Vol. 35. — P. 841—846.
55. Troncon L.A., Dantas R.O., Figueiredo J.F.C. et al. A standardized structured long case examination of clinical competence of senior medical students // Med. Teach. — 2000. — Vol. 22. — P. 380—385.
56. Turner J.L., Dankoski M.E. Objective Structured Clinical Exams: A Critical Review // Fam. Med. - 2008. -Vol. 40. - P. 574-578.
57. Van Der Vleuten C.P.M., Swanson D.B. Assessment of clinical skills with standardized patients: State of the art // Teach. Learn. Med. - 1990. - Vol. 2. - P. 58-76.
58. Van Der Vleuten C.P.M., Van Luyk S.J., Van Ballegooijen A.M.J., Swansons D.B. Training and experience of examiners // Med. Educ. - 1989. - Vol. 23. - P. 290-296.
59. Van Hove P.D., Tuijthof G.J.M., Verdaasdonk E.G.G. et al. Objective assessment of technical surgical skills // Br. J. Surg. - 2010. - Vol. 97. - P. 972-987.
60. VlantisA.C., Lee W.C., Van Hasselt C.A. The objective structured video examination of medical students // Med. Educ. - 2004. - Vol. 38. - P. 1181-1182.
61. Wallace J. Simulated patients and objective structured clinical examinations: Review of their use in medical education // Adv. Psychiatr. Treat. - 2002. - Vol. 8. - P. 342-348.
62. Walsh K. OSCE. BMJ Learning, 2006. Available from group.bmj.com/products/learning/medical-presentations-2/OSCEs.ppt [Accessed 13August 2013].
63. Wass V., Jones R., Van Der Vleuten C. Standardized or real patients to test clinical competence? The long case revisited // Med. Educ. - 2001a. - Vol. 35. - P. 321-325.
64. Wass V., Van Der Vleuten C. The long case // Med. Educ. - 2004. - Vol. 38. - P. 1176-1180.
65. Wass V., Van Der Vleuten C., Shatzer J., Jones R. Assessment of clinical competence // Lancet. - 2001b. -Vol. 357. - P. 945-949.
66. Whelan G.P. Educational commission for Foreign Medical Graduates -clinical skills assessment prototype // Med. Teach. - 1999. - Vol. 21. - P. 156-160.
67. Wilson G.M. Examination of clinical examiners // Lancet. - 1969. - Vol. 4. - P. 37-40.
68. Zayyan M. Objective Structured Clinical Examination: The Assessment of Choice // Oman Med. J. - 2001. -Vol. 26, N 4. - P. 219-222.
