Руководство АМЕЕ № 31. Оценка на рабочем месте как образовательный инструмент Текст научной статьи по специальности «Науки о здоровье»

ДЛЯ КОРРЕСПОНДЕНЦИИ

Foundation for Advancement of International Medical Education and Research (FAIMER) 4th Floor, 3624 Market St. Philadelphia, PA 19104, USA Tel.: +1 215 823 2170 Fax: +1 215 386 2321 E-mail: [email protected]

Дж. Норчини1, В. Бурх2

Руководство АМЕЕ № 31. Оценка на рабочем месте как образовательный инструмент

J. Norcini1, V. Burch2 AMEE Guide N 31. Workplace-based assessment as an educational tool

1 Foundation for Advancement of International Medical Education and Research (FAIMER)

2 University of Cape Town, South Africa

There has been concern that trainees are seldom observed, assessed, and given feedback during their workplace-based education. This has led to an increasing interest in a variety of formative assessment methods that require observation and offer the opportunity for feedback. The research literature on formative assessment and feedback suggests that it is a powerful means for changing the behaviour of trainees. Several methods for assessing it have been developed and there is preliminary evidence of their reliability and validity. A variety of factors enhance the efficacy of workplace-based assessment including the provision of feedback that is consistent with the needs of the learner and focused on important aspects of the performance. Faculty plays a critical role and successful implementation requires that they receive training. The objective of this Guide is to review the literature on work-based assessment and the efficacy and prevalence of formative feedback. It describes the common formative assessment methods, characterises the nature of feedback, examines the effect of faculty development on its quality, and summarises the challenges still faced.

1 Фонд развития международного медицинского образования и исследований (FAIMER)

2 Университет Кейптауна, Южная Африка

Определенную обеспокоенность вызывает тот факт, что обучающиеся редко находятся под наблюдением, их деятельность редко оценивается, и они редко получают обратную связь в процессе обучения на рабочем месте. Вследствие этого возрос интерес к различным методам формирующего оценивания, которые предполагают наблюдение за обучающимися и возможность предоставления им обратной связи. Результаты опубликованных исследований по анализу применения методов формирующего оценивания и предоставления обратной связи позволяют предположить, что это мощное средство изменения поведения обучающихся. Для оценки этого разработано несколько методов, и уже имеются предварительные данные, свидетельствующие об их надежности и валидности. Повышение эффективности оценки на рабочем месте зависит от целого ряда факторов, в том числе предоставления обратной связи в соответствии с потребностями обучающегося и с ориентацией на важные аспекты его деятельности. Преподаватели играют в этом процессе крайне важную роль, поэтому им необходимо проходить соответствующую подготовку для успешного применения описанных ниже методов. Цель настоящего руководства -обзор литературы, посвященной оценке на рабочем месте, а также эффективности и распространенности методов формирующей обратной связи. В нем описаны распространенные методы формирующего оценивания, даны характеристика природы обратной связи, оценка влияния процесса повышения квалификации преподавателей на качество обратной связи и приведены краткие обобщающие сведения о проблемах, которые по-прежнему сохраняются в этой сфере.

Блок 1. Ключевые положения

• Результаты опубликованных исследований по анализу применения методов формирующего оценивания и предоставления обратной связи позволяют предположить, что это мощное средство изменения поведения обучающихся.

• Для аттестации на рабочем месте разработано несколько методов формирующего оценивания, и уже имеются предварительные данные, свидетельствующие об их надежности и валидности.

• Эффективность обратной связи повышается при обеспечении ее соответствия потребностям обучаемого, ее ориентации на важные аспекты успеваемости и определении критериев, например, своевременность и точность.

• Для повышения качества и эффективности формирующего оценивания крайне важно обучение преподавателей.

• Для успешного применения методов формирующего оценивания необходимо разработать стратегии поощрения участия преподавателей.

Всего два десятилетия назад ведущие педагоги-теоретики, в том числе специалисты в области медицинского образования, стали говорить о наличии тесной связи между обучением и оцениванием. В настоящее время в образовательной среде все чаще звучат мнения о том, что главной целью оценивания является обучение [23, 61, 68]. При этом на фоне того, как в литературе, посвященной проблемам образования, все чаще подчеркивалась важность этой связи, количество вопросов в связи с обучением врачей на рабочем

месте возрастало. В рамках проведенного в США исследования [13] было выявлено, что подавляющее большинство обучающихся первого года со специализацией в области терапии во время сбора анамнеза или проведения объективного обследования в рамках консультации пациентов находились под наблюдением преподавателя не более одного раза. Без такого наблюдения оценить базовые клинические навыки и, что более важно, предоставить обратную связь с целью повышения эффективности их деятельности невозможно.

Как одну из мер поощрения наблюдения за эффективностью деятельности обучающихся со стороны преподавателей Американский совет по сертификации врачей-терапевтов предложил применять так называемые мини-упражнения для оценки клинических навыков (mini-Clinical Evaluation Exercise, mini-CEX) [51], предусматривающие наблюдение со стороны преподавателя за процессом взаимодействия обучающегося с пациентом при решении конкретной клинической задачи. После выполнения этого упражнения преподаватель оценивает эффективность работы обучающегося и предоставляет ему обратную связь. Предполагалось, что на протяжении года обучения обучающийся будет подвергаться такого рода оценкам несколько раз, при этом в качестве экзаменаторов будут выступать разные преподаватели, а для упражнений будут использоваться различные клинические ситуации.

Преимущество метода mini-CEX и других методов оценки обучающегося непосредственно на рабочем месте, заключается в их соответствии 3 базовым требованиям к методикам аттестации с точки зрения содействия процессу обучения [12, 19, 61, 65]: 1) согласованность содержания тренинго-вой программы, ожидаемых в результате

ее изучения компетенций и практической методики оценивания; 2) предоставление обучающемуся обратной связи во время и после оценивания; 3) стратегическое использование ситуаций оценивания для направления процесса обучения к достижению желаемых результатов. На протяжении последних нескольких лет не перестает расти интерес к аттестации на рабочем месте, и в сферу клинической подготовки были внедрены и возвращены некоторые дополнительные методы [48].

В более ранних публикациях достоинства и недостатки методов аттестации на рабочем месте рассматривались исключительно с точки зрения процесса оценивания [53]. При таком подходе наилучшими считаются методы, напоминающие аудиторные проверки, и если рассматривать их только с этой позиции, они достаточно эффективны. Однако обеспечить эквивалентность подобных оценок между разными учреждениями непросто, и наблюдения преподавателей могут различаться в зависимости от степени важности испытания и взаимоотношений преподавателей с обучающимися. Следовательно, применение таких методов сопровождается теми же трудностями, что и применение методов оценивания, характерных для итоговых тестирований на национальном уровне.

Вероятно, более важную роль в рамках аттестации на рабочем месте может сыграть создание инструментов предоставления обратной связи обучающимся с целью повышения эффективности их деятельности и направления процесса обучения к достижению желаемых результатов.

Настоящее руководство посвящено проблеме применения с этой целью различных методов и включает 5 разделов. В первом разделе представлен краткий обзор литературы по вопросу эффективно-

сти и распространенности формирующего подхода к оцениванию и предоставления обратной связи. В следующем разделе описаны некоторые наиболее распространенные методы аттестации на рабочем месте. Третий раздел посвящен проблеме обратной связи и ее анализу с точки зрения обучаемого, ее направленности и характеристикам, способствующим повышению ее эффективности в ситуации формирующего оценивания, а в четвертом разделе описаны стратегии поощрения участия преподавателей и их подготовки с целью повышения эффективности их работы. В заключительном разделе руководства мы обращаем внимание читателей на некоторые нерешенные проблемы, с которыми могут столкнуться специалисты в области медицинского образования при реализации стратегий формирующего оценивания в рамках повседневной практики клинического обучения.

Эффективность и распространенность методов формирующего оценивания и предоставления обратной связи

Цель формирующего оценивания и обратной связи

Метод формирующего оценивания применяется не столько с целью оценки успеваемости обучаемого на определенных этапах учебного процесса, сколько с целью поддержки и повышения качества обучения, а также обеспечения непрерывности образовательного процесса [61]. Очевидно, что обратная связь — это ключевой компонент формирующей оценки [60], центральный элемент процесса обучения и «сердце» медицинского образования [8]. В действительности целесообразно рассматривать

обратную связь в качестве элемента непрерывной программы аттестации и обучения, а не отдельной образовательной единицы [29].

Выделяют 3 причины, по которым обратная связь способствует процессу обучения студентов [22, 61]:

• информирование обучающихся об их достижениях или отсутствии таковых;

• предоставление обучающимся рекомендаций о наблюдаемых образовательных потребностях и имеющихся ресурсах для содействия процессу их обучения;

• мотивация обучающихся к участию в соответствующих образовательных мероприятиях.

Эффективность обратной связи

Учитывая указанные предполагаемые преимущества, логично спросить о наличии соответствующих исследований, результаты которых подтверждали бы эффективность обратной связи с точки зрения изменения поведения обучающихся. Наиболее убедительные доводы были приведены Хатти в систематическом обзоре исследований по аудиторному обучению [28] на основании более 500 метаанализов, включающих 1800 исследований при участии приблизительно 25 млн студентов. Автор обзора доказал, что средняя величина эффекта (Б8) обучения с точки зрения общего уровня подготовки студентов составляет около 0,40 (т. е. этот показатель повышает средний балл при оценке уровня подготовки на стандартное отклонение, составляющее 0,4). Взяв этот показатель за средний результат или «золотой стандарт» для рассмотрения различных факторов, влияющих на успеваемость, Хатти [28]

обобщил результаты 12 метаанализов, в которых особо рассматривался фактор влияния обратной связи. Величина эффекта обратной связи составила 0,79, что, определенно, свидетельствует о ее значительной роли и помещает ее в число четырех основных факторов, влияющих на успеваемость. Хатти [28] также установил наличие выраженной изменчивости показателя в зависимости от вида обратной связи, при этом максимальная величина эффекта отмечалась при предоставлении информации по какой-либо конкретной задаче.

В сфере медицинского образования данные по эффективности обратной связи значительно более ограничены, однако ее влияние на эффективность клинической работы оценивалось в рамках выполненного недавно метаанализа [69]. Критериям включения отвечали 41 исследование, результаты 74% из них доказывали положительное влияние обратной связи без применения других методов. В сочетании с другими образовательными вмешательствами обратная связь демонстрировала положительное влияние в 106 из 132 (77%) проанализированных исследований.

В недавно опубликованной работе Бурх и соавт. рассматривают влияние стратегии формирующего оценивания, реализуемой в рамках клинической практики на четвертом году обучения субординаторов [9]. Согласно приведенным в ней данным, студенты, которые на протяжении 14-недель-ной практики приняли участие в среднем в 6 консультациях пациентов под непосредственным наблюдением, сообщали, что они чаще принимали пациентов в слепом режиме [47], т. е. без обращения к документации пациента перед сбором у него анамнеза и обследованием. До внедрения программы формирующего оценивания студенты, как правило, опрашивали и ос-

матривали пациентов только после изучения их документации. Кроме того, они сообщали, что чаще изучали перечень тем, имеющих отношение к консультируемым практикантами пациентам в отделении. Несмотря на то что в данной работе представлены результаты самостоятельной оценки обучающимися изменений в их поведении, уже на основании этой информации можно предположить, что формирующее оценивание может оказать стратегическое влияние на процесс обучения студентов посредством закрепления желаемого учебного поведения [20].

Результаты, полученные Бурх и соавт., подтверждаются данными, приведенными в другой недавно опубликованной работе [15]. В рамках этого исследования в качестве образовательного инструмента в программу обучения юридическим навыкам было включено портфолио учебных заданий, которое содержало учебные материалы, характеризующиеся низким вниманием со стороны студентов и ненадлежащим выполнением необходимой подготовительной работы. Задания из портфолио, например, составление юридического соглашения или создание законодательного проекта, перед использованием в качестве материала для последующей отработки навыков оценивали другие студенты и преподаватель. Такое образовательное вмешательство привело к двукратному увеличению времени, потраченного обучающимися на подготовку к занятиям по отработке навыков.

Распространенность фактов предоставления обратной связи

Приведенные выше данные позволяют с уверенностью утверждать, что фор-

мирующее оценивание и обратная связь оказывают мощное влияние на успеваемость обучающихся. Однако между тем, как должно быть, и реальной практикой существует значительный разрыв. Одним из наиболее серьезных недостатков в действующей системе медицинского образования является недостаточность оценивания и обратной связи на основании результатов наблюдения за эффективностью деятельности на рабочем месте [33, 34, 37]. Действительно, непосредственное наблюдение за эффективностью деятельности обучаемого, по-видимому, скорее исключение, а не правило.

Результаты опроса, проведенного в 97 медицинских учебных заведениях Соединенных Штатов Америки, аккредитованных с 1993 по 1998 г., показали, что структурированное оценивание клинических способностей студентов с наблюдением за их деятельностью при прохождении ими клинической практики проводилось только у 7,4—23,1% студентов [37]. При этом по результатам более позднего опроса выпускников медицинских учебных заведений было установлено, что в течение любой конкретной медицинской практики от 17 до 39% студентов при проведении клинического обследования не находились под наблюдением [3]. Аналогичные данные были получены исследователями Коганом и Хауэром, установившими, что только 28% программ практики студентов-терапевтов предусматривали применение в рамках курса стратегии формирующего оценивания, включающей наблюдение за эффективностью работы студентов на рабочем месте [40]. За пределами США, по данным исследования Дел-манса и соавт. [14], на протяжении более чем 6 мес наблюдение за эффективностью работы обучающихся осуществлялось ме-

нее чем в 35% образовательных мероприятий, предусматривающих возможность для наблюдения и предоставления обратной связи.

К сожалению, с программами постдипломного образования ситуация складывается не лучше. В рамках одного исследования в первый год обучения 82% ординаторов сообщали об участии только в одном эпизоде клинической консультации под непосредственным наблюдением, об участии более чем в одной консультации сообщило значительно меньше опрошенных — 32% [13]. Другой опрос выявил, что 80% слушателей программы постдипломного образования никогда не получали обратной связи по итогам непосредственного наблюдения за их деятельностью или получали ее очень редко [35].

Повседневная образовательная практика характеризуется не только низкой частотой оценивания непосредственно наблюдаемой деятельности, но и, в случае предоставления обратной связи, нередко ее низким качеством. Холмбо и со-авт. оценивали различные виды обратной связи, предоставляемой ординаторам после консультаций в рамках выполнения упражнения штьСЕХ, и обнаружили следующее: несмотря на то что в 61% случаев предоставление обратной связи сопровождалось ответом обучаемого на обратную связь, только в 34% случаев предусматривалось заполнение обучающимся какой-либо формы самооценки. Особое беспокойство вызвал тот факт, что только в 8% консультаций в рамках выполнения упражнения штьСЕХ был составлен план действий [33, 34]. Данные, опубликованные в работе Холмбо и со-авт., позволяют предположить, что недостаточная эффективность обратной связи, предоставляемой обучающимся специ-

алистами в области клинического образования, обусловлена рядом серьезных причин (см. Блок 2).

Помимо данных о низкой частоте наблюдения за обучающимися и предоставлении им обратной связи, которая зачастую имеет ограниченную ценность, также отмечалось, что оценка эффективности работы обучающихся со стороны преподавателей может быть не совсем точной. В работе Ноэля и соавт. сообщалось, что при просмотре видеозаписи, представляющей примеры слушателей программы постдипломного образования с низкой компетенцией, преподавателям не удалось выявить 68% ошибок [50]. При использовании преподавателями чек-листов для отслеживания конкретных навыков уровень выявления ошибок повысился с 32 до 64%. При этом, однако, отмечалось, что точность экзаменаторов не повысилась. Приблизительно 2/3 преподавателей по-прежнему оценивали общую успеваемость слабых слушателей программы постдипломного образования как удовлетворительную и даже высокую. Аналогичные данные получены в рамках других исследований, они также подтверждают низкую точность сделанных преподавателями наблюдений [31, 36].

Исходя из низкой частоты наблюдения за обучающимися и недостаточного качества предоставляемой им обратной связи уместно задаться вопросом о том, не устарела ли методика наблюдения за деятельностью обучающихся применительно к сфере медицинского образования и аттестации. Необходимо ответить на вопрос: по-прежнему ли навыки сбора клинического анамнеза и обследования важны для клинической практики в такой степени, что преподавателям необходимо пройти подготовку по методикам надлежащего

наблюдения за деятельностью обучающихся и предоставления эффективной обратной связи.

Блок 2. Ключевые причины недостаточной эффективности обратной связи, предоставляемой обучающимся специалистами в области клинического образования

• Действующие стратегии аттестации в условиях in vivo, например mini-CEX, в большей степени могут быть ориентированы на оценку эффективности деятельности в ущерб предоставлению адекватной обратной связи.

• Протоколы оценки, применяемые в настоящее время при проведении аттестационных мероприятий в условиях in vivo, имеют ограниченное поле для записи комментариев, что приводит к сужению предоставляемой обратной связи.

• Преподаватели-клиницисты не в полной мере оценивают роль обратной связи как фундаментального инструмента клинического обучения.

• Преподаватели-клиницисты могут не иметь достаточного опыта по предоставлению высококачественной обратной связи.

Обратная связь на сбор анамнеза и объективное обследование

Несмотря на серьезные технологические достижения, способность компетентно собрать анамнез и обследовать пациентов по-прежнему остается одним из основополагающих элементов клинической практики [33, 34]. Накопленные за последние 30 лет данные свидетельству-

ют о крайне важной роли указанных навыков. В 1975 г. Хэмптон и соавт. доказали, что качественный сбор анамнеза у 82% из 80 опрошенных и обследованных пациентов привел к постановке окончательного клинического диагноза. Не по данным анамнеза и объективного обследования, а по результатам лабораторных исследований окончательный диагноз был поставлен только в 1 из 80 случаев [24].

Технологические достижения последних двух десятилетий не снизили значимости наблюдений, сделанных в вышеуказанном исследовании. В 1992 г. Петерсон и соавт. показали, что среди 80 пациентов, в первый раз обратившихся в пункт оказания первичной медицинской помощи, правильный окончательный диагноз только по данным анамнеза был поставлен в 76% случаев [56]. Даже результаты патологоанатомического исследования, полученные позднее, в 400 случаях показали, что данные анамнеза в сочетании с результатами объективного обследования позволяют поставить правильный диагноз в 70% случаев. Диагностические визуализационные исследования позволяли поставить правильный диагноз только в 35% случаев [38].

Помимо диагностической точности ключевым компонентом здравоохранения является обмен информацией между врачом и пациентом. Обзор литературы [6] показал, что как для вербального (например, эмпатии, утешения и поддержки), так и для невербального поведения (например, кивков головой, наклона корпуса вперед) отмечается положительная корреляция с исходами лечения у пациентов. Аналогичные данные были получены в рамках исследования Литла и соавт. [42]: пациенты тех врачей, которые придерживаются ориентированного на пациентов подхода,

демонстрировали более высокую степень удовлетворенности, включенности, у них отмечалось более выраженное ослабление симптомов, и они реже получали направление к врачам-специалистам.

Таким образом, краеугольным камнем клинической практики по-прежнему остается способность компетентно собрать у пациента анамнез и выполнить объективное обследование. А одним из наиболее важных аспектов медицинского обучения является способность преподавателей осуществлять точное наблюдение за процессом выполнения обучающимися указанных задач и предоставлять им эффективную обратную связь. Несмотря на то что такие методы, как метод обследования стандартизированных пациентов, без сомнения, позволяют получить дополнительную информацию для оценивания и обратной связи, они не могут заменить такой важный элемент, как наблюдение преподавателей за обучающимися.

Методы текущей оценки

За последнее десятилетие было разработано или возвращено в практику множество методов оценки, позволяющих предоставлять обратную связь на основании наблюдения за эффективностью работы обучаемого на рабочем месте. В данном разделе кратко описаны наиболее важные характеристики некоторых из таких методов, включая:

• мини-упражнение для оценки навыков клинического обследования (mini-clinical evaluation exercise, mini-CEX);

• карты регистрации наблюдений за ходом клинической консультации (clinical encounter cards, CEC);

• выборка данных по клиническим консультациям (clinical work sampling, CWS);

• консультации пациентов в «слепом режиме» (blinded patient encounters, BPE);

• непосредственное наблюдение применения процедурных навыков (direct observation of procedural skills, DOPS);

• обсуждение клинического случая (case-based discussion, CbD);

• обратная связь из нескольких источников (multisource feedback, MSF).

Мини-упражнение для оценки навыков клинического обследования (mini-CEX)

Как было сказано выше, mini-CEX (рис. 1) - это разработанный в США метод оценки, применяемый в настоящее время в ряде стран. Он предполагает участие обучающихся в реальных консультациях пациентов на рабочем месте под наблюдением преподавателей [51]. Обучающиеся выполняют клинические задачи, например, целенаправленный сбор анамнеза или выполнение необходимых элементов объективного обследования, после чего составляют краткий отчет о консультации пациента с указанием последующих действий (например, постановка клинического диагноза и составление плана ведения пациента).

Такие консультации могут протекать в самых разных рабочих условиях, в том числе в отделениях стационарной, амбулаторной и экстренной помощи. Для участия в консультациях в рамках выполнения упражнения mini-CEX подходят как впервые обратившиеся, так и пришедшие на контрольный визит пациенты. Данный метод подходит для рассмотрения широкого круга клинических проблем, в том числе: 1) таких жалоб, как боль в грудной

Г

Рекомендации по заполнению данной формы и подробное описание компетенций для уровня F1 представлены

на сайте www.hcat.nhs.uk

Мини-упражнение для оценки навыков клинического обследования (М1п1-ОЕХ) - Р1

И

Ответить на вопросы, отметив нужный ответ крестиком

1 Форму заполнять черной ручкой ПЕЧАТНЫМИ БУКВАМИ

Фамилия врача

Имя

Номер, присвоенный Генеральным медицинским советом (GMC):

НОМЕР GMC УКАЗЫВАЕТСЯ В ОБЯЗАТЕЛЬНОМ ПОРЯДКЕ

Клинические условия

Скорая медицинская

помощь □

Поликлиника □

Стационар □

Экстренная

госпитализация □

Клиника врача

общей практики □

Дыхательные Сердечно-сосуди- Психические/

Категория пути/дыхание стая система/ Желудок Неврология Боль поведенческие

клинической кровообращение проблемы

пр°блемы: □ □ □ □ □ □ Другое

Первое обращение Первое Контрольное

или контрольное обращение посещение посещение I_I I_I

Направленность

клинической

консультации:

Сбор

анамнеза □

Постановка

диагноза □

Ведение

пациента □

Разъяснение

назначений □

Количество выполненных о 1-4 5-9 >10 Степень

обучающимся обследований i—i i—i i—i i—i сложности

пациента до данной консультации '—'_У_У_'—' | случая:

Должность Консультант GP SpR (врач- SASG (specialty SHO

экзаменатора: (врач общей ординатор) and associated (senior house

практики) specialty grade) officer)

Низкая □

Средняя □

Высокая □

Количество упражнений ггнт-СЕХ, наблюдаемых данным экзаменатором у кого-либо из обучающихся 0 □ i □ 2 □ 3 □ 4 □ 5-9 □ >9 □

Просьба охарактеризовать следующие аспекты с помощью приведенной ниже шкалы Ниже уровня, ожидаемого для завершения ступени F2 Минимальный уровень для завершения ступени F2 На уровне, ожидаемом для завершения ступени F2 Выше уровня, ожидаемого для завершения ступени F2 U/C*

1. Сбор анамнеза □ □ □ □ □ □ □

2. Навыки ведения объективного обследования □ □ □ □ □ □ □

3. Коммуникативные навыки □ □ □ □ □ □ □

4. Клиническое мышление □ □ □ □ □ □ □

5. Профессионализм □ □ □ □ □ □ □

6. Организованность/продуктивность □ □ □ □ □ □ □

7. Общий уровень клинической помощи □ □ □ □ □ □ □

и/С* просьба отметить этот вариант, если вы не наблюдали соответствующего поведения и поэтому не можете его прокомментировать

Есть ли аспекты, которые особенно удались?

Рекомендации по повышению квалификации

Согласованные действия:

Проходили ли вы подготовку по использованию данного

инструмента оценки?_

Подпись экзаменатора:

Фамилия экзаменатора

Ц В индивидуальном Д Ознакомились □ Ознакомились с информацией порядке с руководствами на веб-сайте/Сй-носителе

Продолжительность наблюдения: Дата (мм/гг) (в минутах)

M M Y Y

Продолжительность предоставления обратной связи: (в минутах)

Регистрационный номер экзаменатора III III 1 III 1111

Просьба обратить внимание: возврат всех заполненных форм вашему администратору - на вашей ответственности.) ■ Благодарность: Использовано с разрешения Американского совета по сертификации врачей-терапевтов

J

Источник: www.hcat.nhs.uk

Рис. 1. Форма для выполнения мини-упражнения для оценки навыков клинического обследования

/

клетке, одышка, боль в области живота, кашель, головокружение, боль в пояснице; или 2) таких клинических проблем, как артрит, хроническая непроходимость дыхательных путей, стенокардия, гипертензия и сахарный диабет [52].

Оригинальная версия методики предусматривала оценку преподавателем каждого аспекта клинической консультации по 9-балльной шкале, где 1—3 балла — это неудовлетворительный результат, 4—6 баллов — удовлетворительный результат и 7—9 баллов — высокий результат. Оцениваются такие параметры, как навык сбора анамнеза, объективное обследование, профессионализм, клиническое заключение, консультирование, организованность и эффективность, а также общая компетентность. Успешно применяются другие шкалы оценки и другие параметры (например, разработанные Национальной службой здравоохранения).

Основная цель применения данного метода оценки — предоставление структурированной обратной связи на основе наблюдений за работой обучаемого. Каждая консультация пациента длится около 15 мин, после чего в течение 5—10 мин предоставляется обратная связь. Предполагается, что на протяжении периода обучения обучающиеся должны подвергаться такой оценке несколько раз с привлечением разных пациентов и под наблюдением разных преподавателей (например, Программа Фонда предусматривает проведение 6 таких оценок в год).

Доказано, что данный аттестационный инструмент представляет собой надежный способ оценки эффективности работы обучающихся в рамках постдипломного образования при наличии достаточной выборки. Для обеспечения 95% доверительного

интервала менее 1 (по 9-балльной шкале) достаточно примерно 4 консультаций, и для получения коэффициента надежности 0,8 требуется приблизительно 12—14 консультаций [33, 34, 51, 52].

Помимо системы постдипломного образования методика штьСЕХ успешно применяется в рамках программ субординатуры [30, 39, 40]. В этих условиях продолжительность периода наблюдения и предоставления обратной связи часто больше - варьирует от 30 до 45 мин [30, 39].

Объем данных, подтверждающих ва-лидность метода штьСЕХ, увеличивается. В исследованиях Когана и соавт. [39, 40] была выявлена корреляция между результатами оценивания с помощью метода штьСЕХ и результатами оценивания с помощью других методов в условиях субординатуры. Выставленные преподавателями с помощью формы штьСЕХ оценки с использованием видеозаписей консультаций с использованием стандартизированных пациентов коррелировали с оценками, выставленными с помощью контрольных списков критериев, и оценками коммуникативных навыков по методу стандартизированных пациентов [7]. В рамках программ постдипломного образования результаты оценивания по методу штьСЕХ коррелировали с результатами письменного практического эксзамена и текущими оценками преподавателей [16]. Холмбо и соавт. [33, 34] установили, что с помощью формы шть СЕХ они могут различать видеоролики, представляющие различные уровни овладения навыками. Наконец Хатала и со-авт. [26] обнаружили корреляцию между результатами оценивания по методу шть СЕХ и результатами устного экзамена в Королевском колледже.

Карты регистрации наблюдений

за ходом клинической консультации (clinical encounter cards, CEC)

С методом mini-CEX сходна система CEC, разработанная в Университете Мак-мастер в Канаде [27] и впоследствии получившая применение в других центрах [55]. Основной целью этого метода оценки также является оценка эффективности работы обучающихся на основе непосредственного наблюдения за консультацией пациента. Система соответствующих карт предполагает регистрацию наблюдений по следующим критериям оценки практической клинической ситуации: сбор анамнеза, объективное обследование, профессиональное поведение, технический навык, представление информации о клиническом случае, формулировка проблемы (постановка диагноза) и решение проблемы (назначение терапии). Каждый критерий оценивается по 6-балльной шкале, количество баллов указывает на эффективность работы: 1) неудовлетворительная, 2) ниже уровня, ожидаемого от студента, 3) на ожидаемом от студента уровне, 4) выше уровня, ожидаемого от студента; 5) высокая эффективность работы студента; 6) эффективность работы на уровне выпускника медицинского учебного заведения.

Помимо полей для оценки качества работы, на картах регистрации размером 10x15 см имеется поле для комментариев экзаменаторов с целью предоставления обучаемому обратной связи по окончании консультации. Доказано, что данная система представляет собой практически применимый, валидный и надежный инструмент измерения клинической компетентности при условии сбора данных по достаточному количеству консультаций, например, для получения коэффи-

циента надежности 0,8 и более необходимо собрать наблюдения приблизительно по 8 консультациям [27]. Кроме того, после внедрения системы отмечалось повышение степени удовлетворенности пациентов от процесса предоставления обратной связи [55] и отмечались умеренные корреляции между результатами ее применения и результатами оценивания с помощью других методов [59].

Выборка данных по клиническим консультациям (clinical work sampling, CWS)

Данный метод оценивания, разработанный в Канаде, также основан на принципе непосредственного наблюдения за клинической работой на рабочем месте [67]. Данный метод предполагает сбор данных на основе конкретных консультаций пациентов по целому ряду различных групп навыков либо в момент госпитализации (форма оценки на момент госпитализации), либо во время пребывания пациента в отделении (форма оценки во время пребывания в стационаре). Обе эти формы заполняются преподавателями, непосредственно наблюдающими за работой обучающегося. Преподаватели оценивают такие компетенции, как коммуникативные навыки, проведение объективного обследования, дифференциальная диагностика, консультирование пациентов, ведение пациентов, межличностное поведение, навыки непрерывного обучения и навыки в области охраны здоровья. Не обязательно в каждом случае оценивать все указанные компетенции.

Работу обучающихся также оценивает средний медицинский персонал отделения (с помощью формы регистрации результа-

тов оценки, выполненной многопрофильной группой специалистов) и пациенты (с помощью формы регистрации результатов оценки, выполненной пациентами), получающие медицинскую помощь с участием обучающихся. Указанные формы, которые также заполняются на основании результатов непосредственного наблюдения за поведением обучаемого, позволяют поставить общую оценку и оценить работу обучающихся по следующим компетенциям: терапевтические стратегии, коммуникативные навыки, консультации с другими медицинскими работниками, управление ресурсами, планирование выписки, межличностные отношения, навыки сотрудничества, а также навыки в области организации здравоохранения и профессионализм.

Все формы предусматривают выставление балла по 5-балльной шкале — от неудовлетворительного до превосходного результата. Для данного метода оценивания также доказаны валидность и надежность при условии наблюдения за достаточным количеством консультаций (например, для получения коэффициента надежности 0,7 необходимо собрать данные приблизительно по 7 консультациям) [67].

Согласно результатам проведенного недавно исследования, стратегия С^Б может быть применена для оценки работы ординаторов-радиологов с помощью портативного компьютера [18]. Степень соблюдения принципа добровольного участия оказалась ниже ожидаемой, однако данный формат оценивания предусматривал возможность обсуждения результатов работы обучающихся в момент ввода данных, а не в конце практики. Исследователи, несмотря на небольшой размер выборки (п=14), установили, что данный метод в меньшей степени подходит для итогового оценивания.

Консультации пациентов в «слепом режиме» (blinded patient encounters, BPE)

Данный метод оценки основан на том же принципе, что описанные выше методы. Его отличие заключается в возможности применения в рамках программ постдипломного образования при обучении студентов у постели пациентов [9]. Студенты группами из 5—6 человек участвуют в занятии «у постели больного». Оно начинается с непосредственного наблюдения, когда один из студентов группы под наблюдением преподавателя выполняет целенаправленный сбор анамнеза или объективное обследование в соответствии с указаниями преподавателя-клинициста, проводящего данного обучающую сессию. После этого от студента на основе клинических наблюдений ожидают постановки диагноза, в том числе дифференциального.

Пациент студенту не знаком, поэтому консультация происходит в так называемом «слепом режиме» [47]. Преимущество такого типа консультаций — возможность для обучаемого безопасно отработать на практике навык сбора информации, формирования гипотезы и решения проблемы без доступа к результатам обследования пациента, выполненного врачами с более длительным стажем работы.

После представления случая сессия фокусируется на демонстрации важных клинических характеристик случая, а также на обсуждении различных вопросов, например, назначения необходимых исследований и лечения в зависимости от клинической проблемы обратившегося пациента. В конце сессии предоставляется обратная связь, в рамках которой студент лично получает индивидуальные рекомендации по повышению эффективности своей деятельности.

Обратная связь предоставляется по 9-балльной шкале оценки навыков сбора клинического анамнеза и обследования, а также навыков клинического мышления. Согласно шкале оценки 1—3 балла соответствуют низкой эффективности работы, 4—6 баллов — надлежащей эффективности работы и 7—9 баллов — хорошей эффективности работы. На листе регистрации оценки имеется поля для дополнительных письменных комментариев. Листы регистрации оценок, которые используются исключительно в целях обратной связи, студенты хранят у себя.

Метод непосредственного наблюдения за применением процедурных навыков (Direct observation of procedural skills, DOPS)

Данный метод (рис. 2), разработанный в Великобритании, ориентирован на оценку применения обучающимися процедурных навыков посредством наблюдения за их деятельностью на рабочем месте [74]. Как и при применении системы CWS и метода оценки с помощью CEC, эффективность работы обучающихся оценивается по 6-балльной шкале, где 1—2 балла соответствует компетентности ниже ожидаемого уровня, 3 балла — промежуточному уровню компетентности, 4 балла — ожидаемому уровню компетентности и 5—6 баллов — компетентности выше ожидаемого уровня. Процедура оценки, как правило, предполагает наблюдение за обучающимся в течение 15 мин и предоставление обратной связи в течение 5 мин.

Обучающимся выдают перечень часто выполняемых процедур, владение которыми они, как ожидается, должны продемон-

стрировать, например, эндотрахеальная интубация, постановка назогастрального зонда, внутривенное введение лекарственного препарата, венепункция, канюляция периферической вены и забор образцов артериальной крови. На протяжении периода обучения степень овладения процедурными навыками оценивают несколько врачей-клиницистов в рамках нескольких эпизодов оценки.

Применение данного метода оценки степени овладения процедурными навыками не ограничивается программами постдипломного образования. Покерт и соавт. включили базовые хирургические навыки в систему оценки студентов последнего года обучения с помощью CEC [55].

Несмотря на сходство между методом DOPS и методом регистрации наблюдений в журналах с информацией о процедурных навыках, назначение и принцип указанных методов значительно различаются. Общее — это необходимость регистрации процедур, однако журналы, как правило, составляются просто для регистрации факта выполнения обучающимися того минимального количества процедур, которое считается достаточным для признания обучаемого компетентным. Предоставление структурированной обратной связи на основании результатов наблюдения за работой обучаемого не является обязательным этапом заполнения таких журналов. Более того, процедура не всегда выполняется под непосредственным наблюдением, и объем обратной связи, если таковая предоставляется, зачастую очень незначителен. Напротив, метод DOPS позволяет обучающимся получить конкретную обратную связь на основании результатов непосредственного наблюдения, чтобы улучшить свои процедурные навыки.

Г Рекомендации по заполнению данной формы и подробное описание компетенций для ступени F1, представлены |

на сайте www.hcat.nhs.uk

Мини-упражнение для оценки навыков клинического обследования навыков клинической оценки (Мт1-СЕХ) - Р1

Фамили Ответить на вопросы, отметив нужный ответ крестиком [X] Форму заполнять черной ручкой ПЕЧАТНЫМИ БУКВАМИ

я врача

Имя

Номер, присвоенный Генеральным медицинским

НОМЕР ОМС УКАЗЫВАЕТСЯ В ОБЯЗАТЕЛЬНОМ ПОРЯДКЕ

Скорая медицинская Поликлиника Стационар Экстренная Клиника врача

Клинические помощь госпитализация общей практики

условия и □ □ □ □

Номер процедуры Другое

Должность экзаменатора:

ОР

Консультант (врач общей практики)

БАБО (специ- АНР (Вспомогательный БрР (врач- альность персонал немедицин-

ординатор) и этап обучения) ской специальности)Медсестра Сестра-специалист

□

□

□

Другое (укажите)

□

□

□

□

□

Число предыдущих йОРБ, наблюдаемых экзаменатором у кого-либо из обучающихся 0 □ 1 □ 2 □ 3 □ 4 □ 5-9 □ >9 □

Количество процедур, ^ ^ выполненных обучающимся 5-9 >10 □ □ Степень сложности Низкая случая: Средняя □ Высокая □

Просьба охарактеризовать следующие аспекты с помощью приведенной ниже шкалы Ниже уровня, ожидаемого для завершения ступени F2 Минимальный уровень для завершения ступени F2 На уровне, ожидаемом для завершения ступени F2 Выше уровня, ожидаемого для завершения ступени F2 и/С*

1. Демонстрация понимания показаний, натомичес-ких особенностей, техники выполнения процедуры □ □ □ □ □ □ □

2. Получение информированного согласия □ □ □ □ □ □ □

3. Демонстрация надлежащей подготовки к проведению процедуры □ □ □ □ □ □ □

4. Соответствующее обезболивание или безопасная седация □ □ □ □ □ □ □

5. Технические навыки □ □ □ □ □ □ □

6. Соблюдение требований асептики □ □ □ □ □ □ □

7. Обращение за помощью при необходимости □ □ □ □ □ □ □

8. Ведение пациента после проведения процедуры □ □ □ □ □ □ □

9. Коммуникативные навыки □ □ □ □ □ □ □

10. Внимательность по отношению к пациенту/профессионализм □ □ □ □ □ □ □

11. Общая способность к выполнению процедуры □ □ □ □ □ □ □

и/С* просьба отметить этот вариант, если вы не наблюдали соответствующего поведения и поэтому не можете его прокомментировать

Пожалуйста, используйте это поле, чтобы отметить положительные стороны или любые предложения для развития.

Проходили ли вы подготовку по использованию данного инструмента оценки?

Подпись экзаменатора:

□ В индивидуальном Ц Ознакомились Ц Ознакомились с информацией п°рядке с руководствами на веб-сайте/Сй-носителе

Продолжительность наблюдения: Дата (мм/гг) (в минутах)

ММ Г Г

Фамилия экзаменатора

Продолжительность предоставления обратной связи: (в минутах)

Регистрационный номер экзаменатора

| Прос1

Просьба обратить внимание: возврат всех заполненных форм вашему администратору - вопрос вашей ответстственности ||| |||| 11||| |||| 11||| 11| ||| ||

Источник: www.hcat.nhs.uk

Рис. 2. Форма регистрации непосредственного наблюдения за применением процедурных навыков

/

Обсуждение клинического случая (Case-based discussion, CbD)

Данный метод оценивания представляет собой версию экзамена по клиническим случаям (Chart-Stimulated Recall, CSR), разработанного для применения Американским советом по сертификации специалистов в области экстренной медицины [45]. В настоящее время он применяется в рамках разработанной фондом программы постдипломного образования, применяемой в Национальной службе здравоохранения Великобритании (рис. 3). Метод CbD предполагает выбор обучающимся двух историй болезни с выполнением необходимых пометок в них и предоставлением их после этого экзаменатору. Экзаменатор выбирает один из двух случаев для обсуждения и оценивает один или несколько аспектов случая, в том числе клиническую оценку пациента, исследование и направление его к специалисту, лечение, последующее наблюдение, а также будущие планы и профессионализм (рис. 3). Наличие истории болезни на момент оценивания дает возможность экзаменатору также оценить качество ведения медицинской документации.

Данный метод ориентирован на оценку клинического мышления обучающихся, их способности понимать обоснованность решений, применяемых в реальной клинической практике. Как и при использовании других описанных методов оценки, каждая консультация, предположительно, длится не более 20 мин, включая 5 мин на предоставление обратной связи. Предполагается, что на протяжении периода обучения обучающиеся неоднократно участвуют в консультациях с привлечением нескольких разных экзаменаторов.

Валидность этого метода подтверждают результаты нескольких исследований. Мач

и соавт. [45] собрали несколько результатов оценивания группы практикующих врачей, отвечающих критериям повторной сертификации в области экстренной медицинской помощи. Была установлена корреляция между результатами оценивания методом CbD и результатами оценивания с применением целого ряда других методов, в том числе проверки анкет. Распределение баллов и зачетов соответствовало баллам, поставленным при первоначальной сертификации за 10 лет до этого. Не менее важен тот факт, что сами участники исследования — практикующие врачи — признали метод CbD наиболее валидным средством оценки.

Норман и соавт. [54] провели исследование по сравнительной оценке двух групп врачей. Метод CbD продемонстрировал высокую корреляцию с результатами обследования стандартизированного пациента и результатами устного экзамена. Этот метод, что более важно, позволил разграничить группу добровольцев от группы врачей, проходивших испытание по направлению. Аналогичные результаты были получены в рамках другого исследования [63] при анализе результатов нескольких разных процедур оценки практикующих врачей, отвечающих критериям повторной сертификации. Результаты, полученные с помощью метода CbD, коррелировали с результатами устного экзамена, а также с результатами письменного и устного экзаменов, проведенных 10 годами раньше.

Обратная связь из нескольких источников (Multisource feedback, MSF)

Данный метод, который часто еще называют методом оценки по принципу 360°, основан на систематическом сборе дан-

Г

Подробное описание компетенций для ступени F2 представлены в учебном плане на сайте www.mmc.nhs.uk Обсуждение клинического случая (ОЬР) - версия для ступени Р2

И

| Ответить на вопросы, отметив нужный ответ крестиком [X] Форму заполнять черной ручкой ПЕЧАТНЫМИ БУКВАМИ

Фамилия врача Имя Номер, присвоенный Генеральным медицинским советом (йМС)

НОМЕР ЭМО УКАЗЫВАЕТСЯ В ОБЯЗАТЕЛЬНОМ ПОРЯДКЕ

Скорая

Клинические условия медицинская помощь Поликлиника □ □

Стационар □

Экстренная

госпитализация □

Клиника врача

общей практики □

Сердечно-сосу- Психические/ Дыхательные дистая система/ поведенческие Категория клинической Боль пути/дыхание кровообращение проблемы Неврология Желудок

проблемы: Направленность клинической консультации:

□

□

□

□

□

Ведение медицинской документации Клиническая оценка □ □

□ Другое

Профессионализм □

□

Степень сложности Низкая Средняя Высокая случая □ □ □ БрВ йР (врач Должность Консультант (врач-ординатор) общей практики) экзаменатора

Просьба охарактеризовать следующие аспекты с помощью приведенной ниже шкалы Ниже уровня, ожидаемого для завершения ступени F2 Минимальный уровень для завершения ступени F2 На уровне, ожидаемом для завершения ступени F2 Выше уровня, ожидаемого для завершения ступени F2 и/С*

1. Ведение медицинской документации 1 2 □ □ З □ 4 □ 56 □ □ □

2. Клиническая оценка □ □ □ □ □ □ □

З. Исследования и направления к специалистам □ □ □ □ □ □ □

4. Лечение □ □ □ □ □ □ □

5. Последующее наблюдение и будущие планы □ □ □ □ □ □ □

6. Профессионализм □ □ □ □ □ □ □

7. Общий уровень клинического мышления □ □ □ □ □ □ □

*Просьба отметить этот вариант, если вы не наблюдали соответствующего поведения и поэтому не можете его прокомментировать

Есть ли аспекты, которые особенно удались?

Рекомендации по повышению квалификации

Согласованные действия

Высокая

Абсолютно нет

Степень удовлетворенности обучаемого 1 д 2□ ЗЦ 4Ц 5Ц 6Ц 7Ц результатами СЬй

Степень удовлетворенности экзаменатора^ □ 2□ ЗЦ 4Ц 5□ 6Ц 7Ц результатами СЬй

Каким образом Вы проходили подготовку □ Ознакомились □ В индивидуальном порядке Продолжительность наблюдения

по использованию данного инструмента п с руководствами

оценивания? Ознакомились с информацией на веб-сайте/Сй-носителе

8 СИ 8 НИ

(в минутах)

оценка 9П 10П

9П 10 □

Подпись экзаменатора

Дата

Продолжительность предоставления обратной связи (в минутах)

Фамилия экзаменатора

| Ног

Номер йМС экзаменатора

Просьба обратить внимание:

возврат всех заполненных форм вашему администратору - вопрос вашей

2466400642

ответственности

J

Рис. 3. Форма оценки на основе отдельного клинического случая

/

/

ных о деятельности отдельного обучаемого и предоставлении ему обратной связи с помощью структурированных анкет, которые заполняются целым рядом привлеченных экспертов. Все оценки основаны на результатах непосредственного наблюдения за поведением обучаемого [74], но при этом они отличаются от описанных выше методов, поскольку отражают не столько деятельность обучаемого во время конкретной консультации пациента, сколько его повседневную работу.

Несмотря на то что данная форма оценки может быть проведена множеством различных способов, показательным примером этого подхода служит метод мини-оценки со стороны коллег (mini-peer assessment tool, mini-PAT), который был выбран для применения в рамках разработанной фондом программы в Великобритании. Обучающимся назначается 8 экзаменаторов из числа старших консультантов, молодых специалистов, среднего медперсонала и представителей смежных профессий. Каждый назначенный экзаменатор получает структурированную анкету (рис. 4), которая после заполнения возвращается в центр на обработку. Обучающиеся с помощью тех же анкет выполняют самооценку и тоже предоставляют заполненные анкеты на обработку. Категории оценки включают следующие области: надлежащий клинический уход, соблюдение принципов надлежащей клинической практики, обучение и подготовка, отношения с пациентами, работа с коллегами и общая оценка.

Анкеты анализируются, после чего обучающимся предоставляется обратная связь. Данные предоставляются в графическом виде с обозначением средней оценки экзаменатором и средним баллом на национальном уровне. Все комментарии приводятся дословно, но при условии сохранения

анонимности. Обучающиеся получают обратную связь от руководителя и совместно с ним разрабатывают план действий. Данная процедура проводится дважды в год на протяжении всего периода обучения.

Данный метод широко применяется в промышленности и бизнесе, установлена его эффективность и в сфере медицинского образования. Применительно к практикующим врачам данный метод позволил разграничить сертифицированных и не-сертифицированных терапевтов, результаты оценивания с помощью данного метода коррелировали с результатами оценки деятельности врачей в ходе устного экзамена [57, 71]. В рамках расширенного исследования были определены две подшкалы: одна была ориентирована на оценку технических/ когнитивных навыков, а вторая — на оценку профессионализма [58]. Результаты оценки деятельности в ходе устного экзамена коррелировали с результатами оценки по первой подшкале, но не по второй.

Метод предоставления обратной связи из нескольких источников применяется в отношении обучающихся в рамках программ постдипломного образования, а также к практикующим специалистам. С помощью представленной на рис. 4 полномасштабной версии анкеты mini-PAT — Шеффилдской анкеты для оценки деятельности со стороны коллег (Sheffield Peer Review Assessment Tool) — была проведена оценка врачей-педиатров, в ходе которой была доказана ее практическая применимость и надежность [2]. Данный метод также позволил разграничить врачей по уровню их подготовки и, как правило, демонстрировал низкую чувствительность к потенциальным факторам возникновения систематической ошибки, например, длительности рабочих отношений. Приемлемые результаты также были получены

Г

Подробное описание компетенций для ступеней F1 и F2 представлены в учебном плане на сайте www.mmc.nhs.uk Мини-опросник для взаимной оценки (т1п1-РДТ) - версия для ступени Р1

И

Ответить на вопросы, отметив нужный ответ крестиком

Форму заполнять черной ручкой ПЕЧАТНЫМИ БУКВАМИ

Фамилия врача Имя

Номер, присвоенный Генеральным медицинским советом (йМС Б

Оцените деятельность данной врача по следующим аспектам Ниже уровня, ожидаемого для завершения ступени F1 Минимальный уровень для завершения ступени F1 На уровне, ожидаемом для завершения ступени F1 Выше уровня, ожидаемого для завершения ступени F1 Ц/С*

12 3 4 56

Качественное клиническое обслуживание

1. Способность диагностировать проблемы пациента □ □ □ □ □ □ □

2. Способность составить соответствующие планы ведения пациента □ □ □ □ □ □ □

3. Осведомленность об ограниченности собственной компетенции □ □ □ □ □ □ □

4. Способность реагировать на психологические аспекты заболевания □ □ □ □ □ □ □

5. Надлежащее использование ресурсов, исследований □ □ □ □ □ □ □

Соблюдение принципов надлежащей клинической практики

6. Способность эффективно распределять время/решать задачи в зависимости от степени их приоритетности 7. Технические навыки (в соответствии с текущей практической деятельностью) □ □ □ □ □ □ □ □ □ □ □ □ □ □

Обучение и профессиональная подготовка, оценка и аттестация

8. Готовность к обучению/подготовке кол- □ □ □ □ □ □ □ лег и эффективность этой подготовки

Общение с пациентами

9. Взаимоотношения с пациентами □ □ □ □ □ □ □

10. Общение с лицами, осуществляющими уход, и (или) родственниками □ □ □ □ □ □ □

11. Уважение к пациентам и соблюдение конфиденциальности □ □ □ □ □ □ □

12. Вербальное взаимодействие с коллегами □ □ □ □ □ □ □

13. Письменное взаимодействие с коллегами □ □ □ □ □ □ □

14. Способность признавать и ценить вклад других □ □ □ □ □ □ □

15. Доступность/надежность □ □ □ □ □ □ □

16. В целом, как бы вы оценили степень готовности данного врача относительно требований к завершению ступени F1? □ □ □ □ □ □ □

Есть ли у вас какие-либо сомнения относительно порядочности или здоровья данного врача? Ц Да Ц Нет Укажите эти соображения

| Ц/С* просьба отметить этот вариант, если вы не наблюдали соответствующего поведения и поэтому не можете его прокомментировать 6927534062

Рис. 4. Мини-опросник для взаимной оценки

Г

Есть ли аспекты, которые особенно удались?

Просьба описать поведение, которое вызвало вашу обеспокоенность либо требует особого внимания при последующем повышении квалификации:

При необходимости, продолжить комментирование на отдельном листе

Ваш пол:

□ Мужчина

□ Женщина

Ваша этническая принадлежность: □ Британец □ Ирландец

г"| Представитель другой белокожей этнической группы

□ Житель Карибских островов

□ Житель Африки

г"| Представитель другой чернокожей этнической группы

□ Житель Индии

□ Житель Пакистана

□ Житель Бангладеш

□ Представитель другой азиатской этнической группы

□ Белокожий и чернокожий житель Карибских островов

□ Белокожий и чернокожий житель Африки

□ Белокожий житель Азии

НИ Представитель любой другой смешанной этнической группы

□ Китаец

НИ Представитель любой другой этнической группы

В каких условиях вы впервые наблюдали работу врача?

(Просьба выбрать только один вариант)

□ Стационар

□ Поликлиника

□ Интенсивная терапия

□ Операционный зал

г"| Как в стационарных, так и в амбулаторных гп Общая практика условиях

□ Скорая медицинская помощь/ госпитализации

□ Уход в домашних условиях

□ Лаборатория/исследовательская работа

□ Другое (указать)

Ваша должность:

Как давно вы получили квалификацию (для медицинских сестер и представителей смежных профессий)?

П Консультант П SASG (specialty П SpR □ Фонд/PRHO (pre-registered

and associated (врач-ординатор) house officer) specialty grade)

□ Медицинская □ SHO (seni°r) □ Представитель профессии, сестра house officer) смежной с медицинскими

□ GP (врач общей практики)

□ Другое (указать)

Продолжительность сотрудничества:

Какую подготовку вы проходили по исполь- гп В индивидуаль- г-1 Ознакомились зованию данного инструмента оценивания? ном порядке с руководствами

Продолжительность заполнения данной формы (в мин)

|—| Ознакомились с информацией на веб-сайте/ОР-носителе

Ваша подпись

Ваша фамилия

Ваш номер GMC (только для врачей)

Дата

Благодарность: опросник mini-PAT составлен на основе опросника SPRAT (Sheffield Peer Review Assessment Tool) 5563534067

Источник: www.mmc.nhs.uk

Рис. 4 (окончание). Мини-опросник для взаимной оценки

при оценке методом предоставления обучающимся обратной связи из нескольких источников в рамках программ постдипломного образования [72].

Наконец, имеются данные об успешном применении данного метода для оцен-

ки студентов медицинских вузов [1, 62]. Положительные и отрицательные отзывы со стороны коллег повлияли на академическую деятельность студентов.

В целом, для достижения обоснованно надежных результатов с помощью данного

месяцев

лет

/ /

метода оценивания может потребоваться привлечение от 8 до 12 экспертов.

Природа обратной связи

В данном обсуждении под обратной связью будем понимать «предоставляемую уполномоченным на это лицом (преподавателем, коллегой, самим обучающимся и т. п.) информацию, касающуюся аспектов чьей-либо деятельности или понимания» [29]. Эта информация может быть использована обучающимся для «подтверждения, дополнения, замещения, редактирования или реструктурирования информации в памяти, будь то знания в предметной области, метакогнитивные знания, убеждения о своей деятельности и задачах или когнитивные тактики и стратегии» [73]. Таким образом, основная цель предоставления обратной связи — это сокращение расхождений между существующей практикой или пониманием и желаемой практикой или пониманием [29].

Точка зрения обучаемого

Для обеспечения соответствия обратной связи указанной цели обучаемому необходимо решить для себя три фундаментальных вопроса:

В каком направлении я двигаюсь?

Каким образом я двигаюсь?

Каковы будут следующие действия?

Для решения первого вопроса необходимо четко определить цели обучения. При отсутствии четко сформулированных целей «расхождение между существующей и желаемой практикой обучения, вероятно, будет недостаточно очевидным для студентов, чтобы они могли выявить необходи-

мость в его сокращении» [29]. Цели могут быть самыми разными, но без них вероятность привлечения студентов к участию в мероприятии надлежащей направленности, демонстрации студентами настойчивости при решении трудных задач и возобновления решения задач при возникновении препятствий достаточно низка [5]. При наличии целей студенты с более высокой вероятностью ищут и получают обратную связь, особенно если они имеют общее стремление к достижению этих целей [43]. Таким образом, обучающиеся в медицинской сфере нуждаются в четком понимании желаемого практического навыка или компетенции для поиска обратной связи и сохранения концентрации на достижении определенного уровня компетентности в интересующей их предметной области.

Второй вопрос касается предоставления конкретной информации на основании оценки деятельности в связи с поставленной задачей или целью. Для того чтобы эффективно справиться с этим, необходимо определить критерии, содержащие четкие указания надлежащего выполнения задачи. Ответ на этот вопрос предполагает предоставление обратной связи в ее традиционном узком понимании. Тем не менее эффективная обратная связь имеет большое значение. Как ни странно, именно этот аспект обратной связи, как правило, слабо проработан. Преподаватели-клиницисты часто избегают честной обратной связи, особенно если сталкиваются с низким качеством работы.

Наличие набора четко определенных критериев в некоторой степени упрощает процесс предоставления рекомендаций строго на основании результатов наблюдения за деятельностью обучаемого, а не на основании интерпретации его намерений.

Последний важный с позиции обучающегося вопрос касается действий, которые необходимо предпринять для устранения расхождений между фактической и желаемой деятельностью. Обучающимся требуется план действия — конкретная информация о том, как поступать, чтобы достичь желаемых результатов в рамках обучения. Как уже было сказано выше, без получения честной обратной связи о фактическом характере деятельности вероятность обращения обучающихся за рекомендациями относительно действий, необходимых для устранения пробелов в обучении, снижается.

При попытке решения последнего вопроса становится очевидна взаимосвязь между этими вопросами. И действительно, без четко определенных результатов обучения, в том числе критериев, обеспечивающих ясность достигаемых целей обучения, и предоставления честной обратной связи относительно наблюдаемой деятельности, планирование действий, направленных на совершенствование деятельности, не будет выполнено. Устранение расхождений между фактической ситуацией, в которой находятся обучающиеся, и желаемой, в которой им необходимо находиться, — это не только цель обратной связи, но и источник ее влияния [60].

Направленность обратной связи

Степень соответствия предоставляемой обучающимся обратной связи параметрам, обозначенным этими тремя вопросами, зависит отчасти от аспектов оцениваемой деятельности. Если говорить конкретно, выделяют 4 вида направленности обратной связи [29]:

• обратная связь в отношении задачи;

• обратная связь в отношении процесса, лежащего в основе задачи;

• обратная связь в отношении саморегуляции;

• обратная связь в отношения себя как личности.

Базовым элементом обратной связи является ее направленность на качество выполняемой задачи. С помощью четко определенных критериев обучающимся предоставляется конкретная информация о том, удалось ли им достигнуть необходимого качества деятельности. Обратную связь такого вида предоставить проще всего, поэтому это самый распространенный вид обратной связи. Наиболее эффективной она оказывается при ориентации не на знания, необходимые для выполнения задачи, а на связанную с этим деятельность. Оптимальным способом работы с первым аспектом является предоставление прямых инструкций, которые не считаются обратной связью [29].

Одним из ограничений применения обратной связи, ориентированной только на задачу, является ее обязательная зависимость от ситуации или задачи. Следовательно, ее нельзя с легкостью применить к другим задачам [66]. В то же время более ценной может оказаться обратная связь с направленностью на процесс, поскольку она предполагает более глубокое рассмотрение деятельности. Это влечет за собой предоставление обратной связи, улучшающей понимание взаимоотношений (т. е. конструирование смысла), когнитивных процессов и перехода к другим или новым ситуациям [46]. Такая направленность обратной связи с большей долей вероятности способствует вдумчивому обучению [4].

Основной компонент этого вида обратной связи — предоставление стратегий

выявления и устранения ошибок, другими словами, развитие у обучаемого способности к самостоятельному предоставлению обратной связи [29]. Обратная связь в отношении процесса, лежащего в основе задачи, также может выступать в качестве механизма информирования о более эффективных стратегиях поиска информации. Предоставление такого рода информации наиболее целесообразно, когда она помогает обучающимся выявить ложную гипотезу и задает направление для последующих поисков и разработки стратегий [25].

Обратная связь, направленная на саморегуляцию, затрагивает вопрос взаимодействия таких факторов, как стремление, контроль и уверенность. В центре внимания оказывается то, как обучающиеся отслеживают, направляют и регулируют свои действия относительно цели обучения. Такая обратная связь предполагает измерение степени автономности, самоконтроля, самостоятельного определения направления движения и самодисциплины [29]. Для успешных учащихся генерирование внутренней обратной связи когнитивных процессов во время выполнения задачи — обычная практика [10].

Студенты, способные к самостоятельной оценке своей деятельности и саморегуляции, способны также искать и получать обратную связь со стороны других лиц. В то же время учащиеся, по минимуму применяющие стратегии саморегуляции, в большей степени зависят от воздействия внешних факторов, например, преподавателей, в аспекте получения обратной связи. Для таких учащихся эффективность обратной связи повышается при возврате фокуса внимания к задаче и усилении у них веры в собственные силы с тем, чтобы обучающиеся с большей долей вероятности трати-

ли больше времени на совершенствование навыков выполнения задачи и демонстрировали более выраженную ориентированность на это [41].

Атрибуция успеха или неуспеха обучающихся может оказывать на них более выраженное влияние, чем фактическая успешность или неуспешность. Вера в собственные силы может сказаться негативным образом в том случае, если студенты неспособны соотнести обратную связь с причиной низкой эффективности своей деятельности. Другими словами, обратная связь, которая не основана на реальных причинах успеха или неуспеха студентов, с высокой долей вероятности спровоцирует возникновение у обучаемого неуверенность в собственных силах и в конечном итоге приведет к еще большему понижению эффективности деятельности [66]. Однако обратная связь, описывающая деятельность через усилие или способность, с высокой долей вероятности повысит вовлеченность обучаемого в процесс выполнения задачи и улучшит качество его деятельности в связи с этой задачей [11]. Таким образом, при предоставлении обратной связи экзаменатору необходимо четко определить направленность обратной связи на наблюдаемую деятельность с учетом влияния, которое обратная связь оказывает на веру обучаемого в собственные силы.

Последний тип направленности обратной связи рассматривается не столько из-за его образовательной ценности, сколько из-за неблагоприятных последствий, которые она зачастую имеет. Такая обратная связь, как правило, ориентируется на личные качества обучающегося и редко содержит информацию, связанную с выполняемой задачей, стратегии повышения ориентированности на задачу или углубленное понимание обучающимся

себя и поставленной перед ним задачи [29]. Этот вид обратной связи в большинстве случаев оказывается неэффективным — его влияние непредсказуемо, и он может негативным образом сказаться на процессе обучения. Это особенно верно в отношении отрицательной обратной связи, предоставляемой на уровне личности.

Характеристики эффективной обратной связи в контексте формирующей оценки

Стратегии формирующей текущей оценки считаются наилучшим средством оперативного изменения поведения обучающихся при условии использования их в качестве неотъемлемого элемента процесса обучения, четкого формулирования критериев оценки эффективности деятельности, предоставления обратной связи сразу после оценивания и привлечение обучающихся к участию в нескольких ситуациях оценивания [12, 21]. В дополнение к указанным характеристикам Энд предложил конкретные условия, благодаря которым обратная связь может в большей степени способствовать процессу обучения [17], эти условия представлены в Блоке 3.

Блок 3. Конкретные условия, благодаря которым обратная связь может способствовать процессу обучения [17]

• Выделение определенного времени и места для предоставления обратной связи.

• Предоставление обратной связи по конкретным элементам поведения, а не в целом по деятельности.

• Предоставление обратной связи по решениям и действиям, а не о интерпретации мотивов или намерений обучаемого.

• Предоставление обратной связи небольшими, усваиваемыми порциями.

• Использование безоценочных и непредвзятых выражений.

Помимо стратегий, предложенных Эндом, существуют также предложения о возможном повышении эффективности обратной связи посредством продвижения принципа «личной ответственности» обучающихся за получение обратной связи [33, 34]. Для достижения этого предлагаются следующие стратегии:

Поощрение участия обучающихся в процессе самостоятельной оценки своей деятельности до получения обратной связи от стороннего наблюдателя.

Создание условий, позволяющих обучающимся ответить на обратную связь.

Обеспечение перевода обратной связи в план действий для обучающегося.

На основании результатов масштабного качественного исследования с привлечением 83 научных сотрудников, занятых в сфере образования, Хьюсон и Литл [32] валидировали многие из указанных рекомендаций, основанных на опубликованных данных. Они разработали практичный список противоположных по смыслу дескрипторов, характеризующих методики предоставления обратной связи, разделив их на те, которые необходимо применять, и те, которых необходимо избегать (Блок 4).

Как уже отмечалось, важным фактором успеха текущей оценки является составление плана действий после предоставления обратной связи. Если план устранения недостатков не составлен, «петля обучения» не будет закрыта, и выявленные проблемы

Блок 4. Методики предоставления обратной связи, которые необходимо применять

и которые необходимо избегать

Методики предоставления обратной связи,

которые необходимо избегать

• Создавать неуважительную, недружелюбную, закрытую, угрожающую атмосферу.

• Не формулировать мысли или чувства перед предоставлением обратной связи.

• Быть предвзятым.

• Концентрироваться на личных качествах.

• Основывать обратную связь на слухах.

• Основывать обратную связь на общих утверждениях.

• Предоставлять слишком развернутую/ слишком лаконичную обратную связь.

• Не предлагать идей по улучшению ситуации.

• Основывать обратную связь на неизвестных, неопределенных заранее целях.

Методики предоставления обратной связи,

которые необходимо применять

• Создавать уважительную, открытую безопасную атмосферу.

• Формулировать мысли и чувства перед предоставлением обратной связи.

• Не быть предвзятым.

• Концентрироваться на действиях.

• Основывать обратную связь на наблюдаемых фактах.

• Основывать обратную связь на конкретных положениях.

• Предоставлять обратную связь нужного объема.

• Предлагать идеи по улучшению ситуации.

• Основывать обратную связь на четкой определенных заранее целях.

Источник: [32]

не будут исправлены [33, 34]. В действительности составление плана действий — это, возможно, наиболее важный этап предоставления обратной связи.

Все чаще высказываются мнения о том, что эффективность обратной связи повышает непрерывный коучинг или менторство. Это особенно верно применительно к стратегиям предоставления обратной связи по методу 360° [44]. В публикуемой в настоящее время бизнес-литературе сообщается, что роль руководителей на рабочем месте переосмыслена: теперь они чаще воспринимаются как координаторы обучения, креативности и инновационности, а не как директора и контролеры. Кроме того, руководители и организаторы обучения должны способствовать налаживанию взаимодействия между людьми и система-

ми с целью создания сетей коллективного обучения [70]. Несмотря на то что это исследование не было воспроизведено в медицинских учреждениях, растущий успех этих стратегий в бизнес-среде позволяет предположить, что изложенные методы заслуживают дальнейшего рассмотрения в условиях клинического обучения.

Повышение квалификации преподавателей

Привлечение преподавателей

На основании сказанного выше можно сделать вывод о необходимости повышения частоты наблюдений за деятельностью обучающихся для предоставления им об-

ратной связи с целью повышения качества их последующей клинической практики. Для этого в последнее время осуществляется целый ряд стратегий, однако количество исследований по оценке их эффективности ограничено, и их результаты свидетельствуют о переменном успехе этих стратегий.

Холмбо и соавт. исследовали влияние использования чек-листа, специально составленного для напоминания преподавателям параметров обратной связи и ее главного назначения — предоставления обучающимся информации относительно их деятельности с целью ее совершенствования [33, 34]. По условиям этого исследования, контрольная группа преподавателей не получала никаких инструкций о применении оценочного листа, тогда как исследуемая группа в течение 20 мин в начале клинического периода обучения была ознакомлена с соответствующей инструкцией. В рамках этой информационной сессии были обозначены характеристики эффективной обратной связи и подчеркнута важность непосредственного наблюдения за обучающимися для оценки их клинической компетентности. Согласно полученным результатам, несмотря на то что частота предоставления обратной связи в исследуемой группе не повысилась, обучающиеся демонстрировали более высокую степень удовлетворенности качеством предоставляемой им обратной связи.

Аналогичные результаты были получены в рамках двух проведенных в Нидерландах исследований. Одно из них предполагало реструктуризацию программы хирургической практики у субординаторов в попытке повысить частоту наблюдения старшими преподавателями за деятельностью обучающихся и предоставления им обратной связи. Реструктуризация про-

граммы клинической практики предусматривала введение журналов регистрации, формы регистрации наблюдений за применением навыков и индивидуальную оценку со стороны старших специалистов. Преподавателей проинформировали об изменениях, однако им не было дано официальных инструкций по ведению наблюдения за обучающимися и способам предоставления им обратной связи. Полученные результаты свидетельствуют об отсутствии статистически значимого повышения частоты наблюдения за обучающимися или предоставления им обратной связи. Авторы предполагают, что недостаточное влияние этого вмешательства может быть связано с ограниченностью вводных данных, предоставленных участвующим в исследовании преподавателям, особенно с ограничением их участия в процессе реструктуризации программы клинической практики.

В рамках другого исследования [14] промежуточное оценивание было включено в программу медицинской практики субординаторов. Клинические специалисты старшего звена были проинформированы об этом на собрании, состоявшемся в начале периода клинической практики. Они также получили письмо с кратким описанием программы промежуточного оценивания. Полученные результаты свидетельствуют о том, что, несмотря на внедрение этой программы, частота наблюдения за студентами во время сбора клинического анамнеза и проведения обследований на рабочем месте не повысилась. При обсуждении результатов высказано предположение о том, что соблюдение стратегии наблюдения за деятельностью студентов и предоставления им обратной связи может повыситься при более частом напоминании преподавателям

о программе, например, для разъяснения преподавателям важности и потенциальной образовательной ценности программы могут быть использованы ежедневно проводимые собрания.

В отличие от указанных исследований, в исследовании Тернбулла и соавт. [67] описывается стратегия, основанная на выборке данных клинических консультаций, которая предусматривает получение студентами обратной связи на основании результатов непосредственного наблюдения в среднем за 8 консультациями пациентов на протяжении 4-недельной клинической практики. В рамках данного исследования преподаватели, осуществляющие наблюдение за студентами на рабочем месте, посещали 2-часовой семинар по применению стратегии оценки и предоставления обратной связи. Кроме того, они ежемесячно получали информационные рассылки с напоминанием о проекте. Студентов также ориентировали на проект до его начала, еженедельно на протяжении клинического периода обучения для них организовывались встречи с научными сотрудниками. Согласно полученным данным, непрерывный сбор информации о деятельности практически осуществим.

В рамках другого исследования с применением системы карт для регистрации наблюдений за ходом клинических консультаций студенты в среднем 35 раз на протяжении 12-недельной хирургической клинической практики участвовали в аттестационных мероприятиях с непосредственным наблюдением за их деятельностью [55]. Как и в другом исследовании, экзаменаторам, участвующим в проекте, кратко описали проект в рамках ряда коротких 15-минутных встреч с обозначением цели и важности реализуемого вмешательства. Такие информационные сессии

проходили в рамках других встреч, регулярно проводимых в отделении, например, собрания по проблемам заболеваемости и смертности. На каждой из таких информационных сессий преподавателей просили озвучивать все вопросы и проблемы, которые возникают у них в связи с проектом. Перед реализацией данной системы оценивания и предоставления обратной связи они также получили письмо с ее разъяснением. По окончании клинического периода обучения студенты, получавшие обратную связь, демонстрировали более высокую степень удовлетворенности.

На основании результатов этих исследований можно с уверенностью утверждать, что для успешной реализации процедуры оценивания, предусматривающей предоставление обучающимся обратной связи на основании непосредственных наблюдений за их деятельностью на рабочем месте, необходимо применять целый ряд стратегий. Во-первых, очевидно, что привлечение преподавателей к планированию стратегии текущей оценки в рамках курса с высокой долей вероятности повысит их вовлеченность в процесс. Во-вторых, преподавателям необходимо четко обозначить цель и порядок реализации выбранной стратегии наблюдения и предоставления обратной связи. В-третьих, студенты должны быть надлежащим образом проинформированы относительно цели и формата применяемого метода оценивания. В частности необходимо подчеркнуть не столько аспекты оценивания в рамках применяемых методик, сколько потенциальную пользу системы для процесса обучения. И последнее: преподавателям и студентам необходимо регулярно напоминать о преимуществах формирующего подхода к текущей оценке и важности соблюдения стратегии оценивания на рабочем месте.

Подготовка преподавателей

Несмотря на то что внедрение стратегий формирующей текущей оценки на рабочем уже является достижением, важно обеспечить точность наблюдений со стороны преподавателей и эффективность предоставляемой студентам обратной связи. Как уже было сказано ранее, преподаватели, осуществляющие наблюдение за деятельностью студентов, могут недостаточно точно выявлять их ошибки. Несмотря на данные, свидетельствующие в пользу улучшения способности экзаменаторов выявлять ошибки в деятельности обучающихся при использовании чек-листов [50], повышения общей точности экзаменаторов не отмечалось. Этот вопрос нуждается в дополнительном изучении. Также необходимо четко определить эффективные стратегии решения этой проблемы.

Несмотря на необходимость продолжения работы над решением проблемы обеспечения точности экзаменаторов, ясно, что строгость экзаменаторов можно повысить с помощью специальной подготовки. Опубликованная недавно работа Буле и со-авт. содержит результаты анализа степени строгости экзаменаторов, применяющих для оценивания непосредственно наблюдаемой деятельности обучающихся метод шМ-СЕХ [7]. Исследователи сообщили о выраженной изменчивости показателей среди экзаменаторов даже при наблюдении одного и того же случая. Холмбо и соавт. доказали, что устранению этой проблемы способствует подготовка экзаменаторов. Участники их исследования были приглашены на однодневную тренинговую сессию с использованием видеоматериалов, направленную на снижение расхождений между преподавателями при оценивании и предоставлении обратной связи в отноше-

нии наблюдаемой деятельности. Участники прошли тренинг по измерению эффективности деятельности и тренинг по построению системы критериев для оценки деятельности [33, 34]. Первый тренинг заключался в привлечении преподавателей к обсуждению и определению ключевых компонентов компетенции по конкретным клиническим навыкам и разработке критериев удовлетворительной деятельности. Второй тренинг проводился посредством предоставления отдельным преподавателям возможности оценить в режиме реального времени деятельность обучающихся с помощью стандартизированных пациентов и стандартизированных обучающихся. Один из преподавателей непосредственно оценивал деятельность обучаемого и предоставлял обратную связь, а другие оценивали деятельность обучаемого, просматривая записи опроса и обследования пациента по видеомонитору. В конце консультации состоялось групповое обсуждение оценок, поставленных каждым членом группы в отношении деятельности обучающихся, причин подобного распределения баллов. После этого фасилитатор пояснил, какой тип деятельности обучаемого был представлен в видеоролике.

Через 8 мес после проведения данного мероприятия по повышению квалификации преподавателей были повторно использованы видеозаписи консультаций пациентов для сравнения эффективности деятельности подготовленных преподавателей по сравнению с когортой преподавателей, не проходивших соответствующей подготовки. Подготовленные преподаватели более строго подходили к процессу оценивания, чем их неподготовленные коллеги, и они также сообщали о том, что при предоставлении обучающимся обратной связи чувствовали себя более ком-

фортно. Это одно из первых исследований, доказывающих благоприятное влияние подготовки преподавателей на их понимание целей оценивающей деятельности и возникновение у них намерения предоставлять обучающимся обратную связь.

Нерешенные проблемы

В заключительном разделе настоящего руководства мы бы хотели обозначить области, в которых остаются нерешенными некоторые ключевые вопросы, касающиеся проблемы формирующей текущей оценки на рабочем месте и предоставления обратной связи. В первую очередь нам необходимо разработать стратегии, обеспечивающие успешное и устойчивое внедрение методов оценки на рабочем месте. Большинство проектов, реализованных к настоящему моменту, носят исследовательский и кратковременный характер. Нам необходимы исследования по выявлению аспектов, определяющих успешность и устойчивость стратегий оценки и предоставления обратной связи, с тем чтобы мы имели возможность лучше понять факторы, способствующие повсеместному предоставлению обучающимся обратной связи в рамках программ обучения, а не только в исключительных случаях. При длительном применении существующих методов может потребоваться их дальнейшая модификация и упрощение с целью повышения их практической применимости в условиях клинических учреждений с высокой нагрузкой, когда главной приоритетной задачей становится оказание помощи пациенту, а оценка обучающихся отходит на второй план.

Согласно публикуемым в настоящее время данным, очевидно, что наиболее значительным ограничивающих факто-

ром является, по всей вероятности, низкая вовлеченность преподавателей в процесс реализации стратегий формирующего оценивания и обратной связи. Для улучшения ситуации необходимо глубже понять причины, по которым преподаватели обычно не участвуют в оценивании обучающихся и предоставлении им обратной связи. Одна из стратегий, которая может оказаться успешной, заключается в разработке структуры вознаграждения клиницистов с высокой нагрузкой для соответствующего признания их образовательного вклада и (или) предоставление выделенного времени для участия в образовательных мероприятиях. Другая стратегия заключается в выявлении основной группы преподавателей, образовательная задача которых заключается только в формирующей оценке и предоставлении соответствующей обратной связи. Необходимо также четко определить другие стратегии. В любом случае эти задачи необходимо решить прежде, чем внедрять метод формирующей оценки в повсеместную практику в рамках обучающих программ на рабочем месте.

Во-вторых, нам необходимо повысить качество оценки и предоставляемой обучающимся обратной связи путем реализации согласованных мероприятий по повышению квалификации преподавателей. Нынешняя ситуация характеризуется тем, что обратная связь редко сопровождается составлением плана действий — критически важного компонента эффективной обратной связи и только в некоторых случаях предполагает самостоятельную оценку обучающимися их деятельности. Необходимо решить вопросы о необходимости возложения задачи предоставления обратной связи на обучающегося и составления плана корректирующих действий для улучшения его деятельности. Кроме того, не-

обходимо повысить точность и строгость обратной связи. Следует разработать инновационные стратегии для устранения проблем, связанных с этим важным аспектом формирующего подхода к оцениванию.

Наконец необходимо определить влияние обратной связи на поведение и эффективность деятельности обучающихся. К настоящему времени собрано недостаточное количество информации о стратегии применения методов формирующей оценки на рабочем месте с целью поощрения обучения медицинских специалистов. Необходимость сбора таких данных очевидна. При этом следует не только определить влияние обратной связи на поведение обучающихся, но и понять, почему применение успешных стратегий формирующей оценки, предположительно, может повысить эффективность деятельности обучающихся на рабочем месте.

Заключение

В сфере обучения врачей на рабочем месте определенное опасение вызывал тот факт, что преподаватели очень редко наблюдают за работой обучающихся, редко оценивают их деятельность и предоставляют обратную связь. Вследствие этого возрос интерес к различным методам формирующей оценки, которые предполагают наблюдение за обучающимися и предо-

ставление им обратной связи. К числу таких методов относится короткое упражнение для оценки клинических навыков клинического (mini-clinical evaluation exercise), карты регистрации наблюдений за клинической консультацией (clinical encounter cards), выборка данных по клиническим консультациям (clinical work sampling), консультации пациентов в «слепом режиме» (blinded patient encounters), непосредственное наблюдение за применением процедурных навыков (direct observation of procedural skills), обсуждение клинических случаев (case-based discussion) и обратная связь из нескольких источников (multisource feedback). Согласно результатам опубликованных исследований по анализу формирующей оценки и обратной связи можно предположить, что это мощное средство изменения поведения студентов и обучающихся.

С целью повышения эффективности методов аттестации на рабочем месте необходимо обеспечить соответствие предоставляемой обратной связи потребностям обучаемого, ее ориентацию на важные аспекты успеваемости (при условии недопущения личного предвзятого отношения) и определение ряда характеристик, максимально повышающих ее эффективность. Поскольку преподаватели играют ключевую роль в успешном применении метода формирующей оценки, необходимо разработать стратегии их обучения и поощрения их участия.

Сведения об авторах

Джон Дж. Норчини (John J. Norcini) — президент и главный исполнительный директор Фонда развития международного медицинского образования и исследований (FAIMER). Миссия фонда — совершенствование международного медицинского образования. FAIMER ведет базу данных о признанных медицинских учебных заведениях по всему миру, реализует программу исследований в сфере международного медицинского обра-

зования и по проблеме миграции врачей, а также стипендиальные программы для преподавателей медицинских учебных заведений в развивающихся странах.

Прежде чем присоединиться к фонду, доктор Норчини на протяжении 25 лет занимал ряд руководящих должностей в Американском совете по сертификации врачей-терапевтов США. Область его основных научных интересов — это оценивание эффективности деятельности врачей. Доктор Норчини активно публикуется, читает лекции и преподает во многих странах мира, а также является членом редакторских советов в 7 рецензируемых журналах, посвященных проблемам измерения образовательного эффекта и вопросам медицинского образования.

Ванесса К. Бурх (Vanessa Burch) — бакалавр медицины и хирургии, доцент в Кейптаунском университете, Южная Африка. Руководитель программы субординатуры на факультете охраны здоровья и активный участник программы постдипломного образования на этом же факультете. Основная область ее академических интересов — оценивание клинической компетентности и инновационные методы в сфере медицинского образования в характерной для развивающихся стран ситуации обучения в условиях ограниченности ресурсов.

^HTepaTypa/Reierenees

1. Arnold L., Willoughby L., Calkins V., Eberhart G. Use ofpeer evaluation in the assessment ofmedical students. Med Educ. 1981; Vol. 56: 35-41.

2. Archer J.C., Norcini J.J., Davies H.A. Peer review of paediatricians in training using SPRAT. BMJ. 2005; Vol. 330: 1251-53.

3. Association of American Medical Colleges. (2004) Medical school graduation questionnaire: all schools report. URL: http://www.aamc.org/data/gq/allschoolsreport/2004.pdf (accessed on 11 April 2007).

4. Balzer W.K., Doherty M.E., O'Connor R. Jr. Effects of cognitive feedback on performance. Psychol Bull. 1989; Vol. 106: 410-33.

5. Bargh J.A., Gollwitzer P.M., Lee-Chai A., Barndollar K., et al. The automated will: Nonconscious activation and pursuit of behavioural goals. J Pers Soc Psychol. 2001; Vol. 81: 1014-27.

6. Beck R.S., Daughtridge R., Sloane P.D. Physician-patient communication in the primary care office: a systematic review. J Am Board Fam Pract. 2002; Vol. 15: 25-38.

7. Boulet J.R., Mckinley D.W., Norcini J.J., Whelan G.P. Assessing the comparability of standardized patient and physician evaluations of clinical skills. Adv Health Sci Educ. 2002; Vol. 7: 85-97.

8. Branch W.T., Paranjape A. Feedback and reflection: teaching methods for clinical settings. Acad Med. 2002; Vol. 77: 1185-88.

9. Burch V.C., Seggie J.L., Gary N.E. Formative assessment promotes learning in undergraduate clinical clerkships. S Afr Med J. 2006; Vol. 96: 430-3.

10. Butler D.L., Winnie P.H. Feedback and elf-regulated learning: a theoretical synthesis. Rev Educ Res. 1995; Vol. 65: 245-74.

11. Craven R.G., Marsh H.W., Debus R.L. Effects of internally focused feedback and attributional feedback on enhancement of academic self-concept. J Educ Psychol. 1991; Vol. 83: 17-27.

12. Crooks T.J. The impact of classroom evaluation practices on students. Rev Educ Res. 1988; Vol. 58: 438-81.

13. Day S.C., Grosso L.G., Norcini J.J., Blank L.L., et al. Residents' perceptions of evaluation procedures used by their training program. J Gen Intern Med. 1990; Vol. 5: 421-6.

14. Daelmans H.E., Hoogenboom R.J., Donker A.J., Scherpbier A.J., et al. Effectiveness of clinical rotations as a learning environment for achieving competences. Med Teach. 2004; Vol. 26 (4): 305-12.

15. Driessen E., Van Der Vleuten C. Matching student assessment to problem-based learning: lessons from experience in a law faculty. Stud Contin Educ. 2000; Vol. 22: 235-48.

16. Durning S.J., Cation L.J., Markert R.J., Pangaro L.N. Assessing the reliability and validity of the mini-clinical evaluation exercise for internal medicine residency training. Acad Med. 2002; Vol. 77: 900-4.

17. Ende J. Feedback in medical education. JAMA. 1983; Vol. 250: 777-81.

18. Finlay K., Norman G.R., Stolberg H., Weaver B., et al. In-training evaluation using hand-held computerized clinical work sampling strategies in radiology residency. J Can Assoc Radiol. 2006; Vol. 57: 232-7.

19. Frederiksen N. The real test bias. Influences on testing and teaching and learning. Am Psychol. 1984; Vol. 39: 193-202.

20. Gibbs G. Using assessment strategically to change the way students learn In: S. Brown (ed.). Assessment Matters in Higher Education. Choosing and using Diverse Approaches. Buckingham: Society for Research into Higher Education and Open University Press, 1999.

21. Gibbs G., Simpson C. Conditions under which assessment supports student learning. Learning and Teaching in Higher Education. 2004-2005; Issue 1: 3-31.

22. Gipps C. Socio-cultural aspect of assessment. Rev Educ Res. 1999; Vol. 24: 355-92.

23. Grondlund N.E. Assessment of Student Achievement. 6th ed. Needham Heights, MA : Allyn and Bacon, 1998.

24. Hampton J.R., Harrison M.J.G., Mitchell J.R.A., Prichard J.S., et al. Relative contributions of history-taking, physical examination, and laboratory investigation to diagnosis and management of medical outpatients. BMJ. 1975; Vol. 2: 486-9.

25. Harackiewicz J.M. The effect of reward contingency and performance feedback on intrinsic motivation. J Pers Soc Psychol. 1979; Vol. 37: 1352-63.

26. Hatala R., Ainslie M., Kassen B.O., Mackie I., et al. Assessing the mini-clinical evaluation exercise in comparison to a national specialty examination. Med Educ. 2006; Vol. 40: 950-6.

27. Hatala R., Norman G.R. In-training evaluation during an Internal Medicine clerkship. Acad Med. 1999; Vol. 74: S118-20.

28. Hattie J.A. Influences on student learning. Inaugural professorial address. New Zealand : University ofAuckland, 1999. URL: http://www.arts.aucWand.ac.nz/staflyindex.cfm?P=8650 (accessed on 4 April 2007).

29. Hattie J., Timperley H. The power of feedback. Rev Educ Res. 2007; Vol. 77: 81-112.

30. Hauer K.E. Enhancing feedback to students using the mini-CEX (clinical evaluation exercise). Acad Med. 2000; Vol. 75: 524.

31. Herbers J.E., Noel G.L., Cooper G.S., Harvey J., et al. How accurate are faculty evaluations of clinical competence? J Gen Intern Med. 1992; Vol. 4: 202-8.

32. Hewson M.G., Little M.L. Giving feedback in medical education. Verification of recommended techniques. J Gen Intern Med. 1998; Vol. 13: 111-6.

33. Holmboe E.S., Yepes M., Williams F., Huot S.J. Feedback and the mini-clinical evaluation exercise. J Gen Intern Med. 2004; Vol. 19: 558-61.

34. Holmboe E.S., Hawkins R.E., Huot S.J. Direct observation of competence training: a randomized controlled trial. Ann Intern Med. 2004; Vol. 140: 874-81.

35. Isaacson J.H., Posk L.K., Litaker D.G., Halperin A.K. Residents' perceptions of the evaluation process. J Gen Intern Med. 1995; Vol. 10 (suppl): 89.

36. Kalet A., Earp J.A., Kowlowitz V. How well do faculty evaluate the interviewing skills of medical students? J Gen Intern Med. 1992; Vol. 7: 499-505.

37. Kassebaum D.G., Eaglen R.H. Shortcoming in the evaluation of students' clinical skills and behaviours in medical school. Acad Med. 1999; Vol. 74: 841-9.

38. Kirch W., Schafii C. Misdiagnosis at a university hospital in 4 medical eras. Medicine (Baltimore). 1996; Vol. 75: 29-40.

39. Kogan J.R., Bellin L.M., Shea J.A. Implementation of the mini-CEX to evaluate medical students' clinical skills. Acad Med. 2002; Vol. 77: 1156-57.

40. Kogan J.R., Hauer K.E. Brief report: use of the mini-clinical evaluation exercise in internal medicine core clerkships. J Gen Intern Med. 2006; Vol. 21: 501-2.

41. Kluger A.N., Denisi A. The effects of feedback interventions on performance: a historical review, a metaanalysis, and a preliminary feedback intervention theory. Psychol Bull 1996; Vol. 119: 254-284.

42. Little P., Everitt H., Williamson I., Warner G., et al. Observational study of effect of patient centredness and positive approach on outcomes of general practice consultations. BMJ. 2001; Vol. 323: 908-11.

43. Locke E.A., Latham G.P. A Theory of Goal Setting and Task Performance. Englewood Cliffs, NJ : Prentice Hall, 1990.

44. Luthans F., Peterson S.J. 360-degree feedback with systematic coaching: empirical analysis suggests a winning combination. Hum Resources Manag. 2004; Vol. 42: 243-56.

45. Maatsch J.L., Huang R., Downing S., Barker B. Predictive validity of medical specialist examinations. Final report for Grant HS 02038-04, National Center of Health Services Research. Office of Medical Education Research and Development. East Lansing, MI : Michigan State University, 1983.

46. Marton F., Dall'Alba G., Beaty E. Conceptions of learning. Int J Educ Res. 1993; Vol. 19: 277-300.

47. McLeod P.J., Meagher T.W. Educational benefits ofblinding students to information acquired and management plans generated by other physicians. Med. Teach. 2001; Vol. 23: 83-5.

48. National Health Service. Modernising Medical Careers: Foundation Programmes. URL: http//:www.mmc. nhs.uk/pages/foundation (accessed on 7 April 2007).

49. Newble D.I., Jaeger K. The effect of assessments and examinations on the learning of medical students. Med Educ. 1983; Vol. 17: 165-71.

50. Noel G.L., Herbers J.E., Caplow M.P., Cooper G.S., et al. How well do Internal Medicine faculty members evaluate the clinical skills of residents? J Gen Intern Med. 1992; Vol. 117: 757-65.

51. Norcini J.J., Blank L.L., Arnold G.K., Kimball H.R. The mini-CEX (clinical evaluation exercise): A preliminary investigation. Ann Intern Med. 1995; Vol. 123: 795-9.

52. Norcini J.J., Blank L.L., Duffy F.D., Fortna G. The mini-CEX: A method for assessing clinical skills. Ann Intern Med. 2003; Vol. 138: 476-81.

53. Norcini J.J. Workplace-based assessment in clinical training In: T. Swanwick (ed.). Understanding Medical Education. Edinburgh, UK : Association for the Study of Medical Education, 2007.

54. Norman G.R., Davis D., Painvin A., Lindsay E. et al. Comprehensive assessment ofclinical competence offamily/ general physicians using multiple measures // Research in medical education: 1989 Proceedings of the twenty-eighth annual conference in conjunction with the 100th annual meeting of the Association of American Medical Colleges; 1989 Oct 27-Nov 2; Washington, DC: Association ofAmerican Medical Colleges; 1989. P. 75-79.

55. Paukert J.L., Richards M.L., Olney C. An encounter card system for increasing feedback to students. Am J Surg. 2002; Vol. 183: 300-4.

56. Peterson M.C., Holbrook J.H., Hales D.V., Smith N.L., et al. Contributions ofthe history, physical examination and laboratory investigation in making medical diagnoses. West J Med. 1992; Vol. 156: 163-5.

57. Ramsey P., Carline J.D., Inui T.S., Larson E.B., et al. Predictive validity of certification by the American Board of Internal Medicine. Ann Intern Med. 1989; Vol. 110: 719-26.

58. Ramsey P., Wenrich M.D., Carline J.D., Inui T.S., et al. Use of peer ratings to evaluate physician performance. JAMA. 1993; Vol. 269: 1655-60.

59. Richards M.L., Paukert J.L., Downing S.M., Bordage G. Reliability and usefulness of clinical encounter cards for a third-year surgical clerkship. J Surg Res. 2007; Vol. 140: 139-48.

60. Sadler R. Formative assessment and the design of instructional systems. Instr Sci. 1989; Vol. 18: 119-44.

61. Shepard L.A. The role of assessment in a learning culture. Educ Res. 2000; Vol. 29: 4-14.

62. Small P.A., Stevens B., Duerson M.C. Issues in medical education: basic problems and potential solutions. Acad Med. 1993; Vol. 68: S89-98.

63. Solomon D.J., Reinhart M.A., Bridgham R.G., Munger B.S., et al. An assessment of an oral examination format for evaluating clinical competence in emergency medicine. Acad Med. 1990; Vol. 65 (suppl.): S43-4.

64. Stillman P.L., Haley H.-L., Regan M.B., Philbin M.M. Positive effects of a clinical performance assessment programme. Acad Med. 1991; Vol. 66: 481-3.

65. Swanson D.B., Norman G.R., Linn R.L. Performance-based assessment: lessons from the health professions. Educ Res. 1995; Vol. 24: 5-11.

66. Thompson T. Metamemory accuracy: effects of feedback and the stability of individual differences. Am J Psychol. 1998; Vol. 111: 33-42.

67. Turnbull J., Macfayden J., Van Barneveld C., Norman G. Clinical works sampling. A new approach to the problem of in-training evaluation. J Gen Intern Med. 2000; Vol. 15: 556-61.

68. Van der Vleuten C.P.M. The assessment of professional competence: developments, research and practical implications. Adv Health Sci Educ. 1996; Vol. 1: 41-61.

69. Veloski J., Boex J.R., Grasberger J., Evans A., et al. Systematic review of the literature on assessment, feedback, and physicians' clinical performance: BEME Guide No 7. Med Teach. 2006; Vol. 28: 117-28.

70. Walker J. The managerial mentor-leading productive learning in the workplace: an integral view. University of Technology Sydney Research Centre Vocational Education & Training. Productive Learning Seminar Series. 2001 Nov: 3. URL: http://www.oval.uts.edu.au/working_papers/2002WP/0209walker.pdf (accessed on 4 April 2007).

71. Wenrich M.D., Carline J.D., Giles L.M., Ramsey P.G. Ratings of the performance of practicing internists by hospital-based registered nurses. Acad Med. 1993; Vol. 68: 680-7.

72. Whitehouse A., Waltzman M., Wall D. Pilot study of 3600 assessment of personal skills to inform record of intraining assessments for senior house officers. Hosp Med. 2002; Vol. 63: 172-5.

73. Winnie P.H., Butler D.L. Student cognition in learning from teaching In: T. Husen, T. Postlewaite (eds). International Encyclopedia of Education. Oxford, UK : Pergamon, 1994: 5738-45.

74. Wragg A., Wade W., Fuller G., Cowan G., et al. Assessing the performance of specialist registrars. Clin Med. 2003; Vol. 3: 131-4.