Руководство AMEE № 45: портфолио для оценки и обучения (пер. С англ. Под ред. И. В. Маева) Текст научной статьи по специальности «Науки об образовании»

ДЛЯ КОРРЕСПОНДЕНЦИИ

Dr Jan van Tartwijk,

ICLON — Leiden University Graduate School

of Teaching, Leiden University,

PO Box 905, 2300 AX Leiden, the Netherlands

Tel: +31 71 527 3845

e-mail: [email protected]

Ж. ван Тартвийк1, Э.В. Дриззен2

Руководство AMEE № 45: портфолио для оценки и обучения (пер. с англ. под ред. И.В. Маева*)

#

J. van Tartwijk1, E. W. Driessen2 AMEE Guide № 45: Portfolios for assessment and learning (Russian version edited by I.V. Maev)

In 1990, Miller wrote that no tools were available for assessment of what a learner does when functioning independently at the clinical workplace (Miller, 1990). Since then portfolios have filled this gap and found their way into medical education, not only as tools for assessment of performance in the workplace, but also as tools to stimulate learning from experience. We give an overview of the content and structure of various types of portfolios, describe the potential of electronic portfolios, present techniques and strategies for using portfolios as tools for stimulating learning and for assessment, and discuss factors that influence the success of the introduction. We conclude that portfolios have a lot of potential but that their introduction also often leads to disappointment, because they require a new perspective on education from mentors and learners and a significant investment of time and energy.

1 ICLON Школа постдипломного обучения университета Лейдена, Нидерланды

2 Медицинская школа Маастрихтского университета, Нидерланды

1 ICLON Leiden University Graduate School of Teaching, the Netherlands

2 Department of Educational Development and research, University of Maastricht, the Netherlands

В 1990 г. Миллер писал о том, что отсутствуют методики для оценки деятельности студента, начинающего самостоятельную работу в клинике (Miller, 1990). Несколько позже на основании ряда исследований был сделан вывод о том, что этот пробел способно восполнить использование такого инструмента, как портфолио. Таким образом, портфолио нашло применение в области медицинского образования не только как инструмент для оценки способностей человека, проявляемых в работе, но и как способ стимулировать образование автора портфолио на основе собственного опыта. В данном руководстве приведены содержание и структура портфолио различных типов; описаны преимущества электронных портфолио; представлены методика и стратегические аспекты использования порт-фолио в качестве стимула к обучению и инструмента для оценки знаний и навыков; обсуждены факторы, влияющие на успешность применения портфолио. Авторы пришли к выводу, что портфолио имеет большой потенциал, однако его реализация в полной мере на практике требует новых педагогических и образовательных подходов, а также значительных затрат сил и времени как от преподавателей, так и от обучающихся.

* Перевод С.В.Демичева

Ключевые положения

Введение

При работе с портфолио должны быть четко определены цели. Использовать портфолио наряду с другими инструментами для углубленного процесса обучения, а также для вынесения итоговых оценок очень легко. Итоговая оценка нужна для того, чтобы убедиться, подтверждает ли портфолио для обучения свой статус наряду с другими объектами оценки. Эффективность обучения повышается, когда в составлении портфолио помогает преподаватель. Помощь преподавателя требует определенных затрат времени, но она чрезвычайно важна для того, чтобы портфолио можно было с успехом использовать в дальнейшем. Достоверность оценки знаний повышается при одновременном учете порт-фолио, результатов письменного тестирования и собеседования. При составлении портфолио рекомендуется использовать гибкий формат оформления с акцентом на личность обучающегося. Ригидная структура, в которой каждый пункт заранее жестко прописан, воспринимается негативно теми, кто знакомится с портфолио. Слишком сложная структура портфолио — скорее его недостаток, чем достоинство. Для того чтобы надлежащим образом отразить этапы совершенствования и глубину своих знаний, обучающийся должен располагать четкими инструкциями.

Создание портфолио отнимает много времени как у обучающегося, так и у преподавателя, причем данное положение в большей степени относится к постдипломному и непрерывному медицинскому образованию, чем к основному образовательному курсу.

Сегодня врачи, все чаще сталкиваясь с пациентами, которые становятся более просвещенными и уверенными в своих медицинских «знаниях», одновременно испытывают потребность в использовании в своей повседневной практике новых медицинских технологий, а также во взаимодействии с другими специалистами-медиками в составе мультидисциплинарных команд. Для решения этих вопросов врачу необходимо естественное стремление к повышению эффективности профессионального общения, организации собственной работы, работы в команде и повышению профессионализма. Такие базовые характеристики называют врачебными личностными качествами (soft skills), в отличие от профессиональных клинических навыков (hard clinical skills). В последние годы среди политиков и широкой общественности вопросы обучения, преподавания и оценки их эффективности приобрели особую актуальность. Средства массовой информации широко освещают случаи ненадлежащего выполнения врачами своих обязанностей, информацию о высоких показателях заболеваемости в целом, а также смертности в некоторых стационарах, что выводит проблему компетенции врача на первый план. В связи с этим профессиональные ассоциации и правительственные структуры, обращаясь к проблеме образования и оценки знаний, все настойчивее призывают использовать такой критерий, как компетенции врача (General Medical Council, 2000). В то же время, в соответствии с общей тенденцией в педагогике ориентироваться на конечный результат, акценты в медицин -ском образовании сместились с учебного процесса как такового на определение того, что умеют врачи в конце курса обучения,

#

и на основные этапы в процессе обучения (Norcini et al., 2008). Перечни, определяющие компетенции врачей, представленные профессиональными организациями, в том числе канадской Королевской коллегией врачей терапевтического и хирургического профиля (Royal College of Physicians and Surgeons of Canada, 1996), во многих странах стали основой для создания соответствующих оценочных критериев и, соответственно, медицинских образовательных программ.

Однако практика показала, что стимулирование развития компетенций и оценка навыков и знаний врачей — весьма сложные задачи.

Понятие «компетенция» (от лат. competere — соответствовать, подходить) используется и обсуждается чрезвычайно широко (Stoof et al., 2002; Dreyfus, 2004). Компетенция определяется как сумма знаний, умений, практического опыта и профессиональных взглядов, позволяющих человеку осуществлять профессиональную деятельность в конкретных условиях. На схеме Миллера (рис. 1) это соответствует уровню «Делает».

Еще в 1990 г. Миллер определил главные трудности, возникающие при оценке клинических знаний и навыков. Принципиальную схему такой оценки он представил в виде пирамиды (см. рис. 1). Секции пирамиды отражают все возрастающую сложность соответствующих уровней профессионального развития. При этом нижние уровни создают основу для уровней более высокого порядка (Miller, 1990).

В основание пирамиды заложены знания, необходимые для получения практических умений, которые студент должен освоить для своей последующей профес-

Рис. 1. Пирамида Миллера

сиональной деятельности. Качество таких знаний лучше всего оценивать с помощью письменных тестов. Следующий уровень отражает этап применения знаний, приобретенных на уровне 1. Обучающийся должен знать, как в процессе реализации своих умений применять полученные знания. Например, на этом уровне предполагается, что студент уже знает, как обследовать больного и как интерпретировать полученные результаты. Оценку на уровне «знает как» можно также проводить с помощью письменных тестов. На следующем этапе (уровень 3) акцент делается на том, что студент может демонстрировать способность применить свои знания и предпринимать соответствующие действия, работая с манекеном или симулятором. На этом уровне объединяются знания и действия (т.е. когнитивная функция и поведение). Студент должен не только знать, как обследовать пациента, чтобы установить диагноз, но и уметь предпринять конкретные правильные действия, например продемонстрировать на манекене, как проводят физикальный осмотр («показывает как»).

И наконец, вершина пирамиды предполагает выполнение студентом действий без вмешательства наставника в условиях реальной клинической практики. Данный этап требует интеграции знаний, умений и навыков, соответствующих подходов и личностных качеств. Правильные действия на вершине пирамиды говорят о том, что обучающийся способен осуществлять независимую профессиональную деятельность. Как правило, хорошая работа на этом уровне требует от врача исполнения нескольких ролей: не только роли специалиста-медика, но и роли специалиста по психологическому консультированию, участника взаимодействия «врач — пациент», управляющей роли по отношению к среднему медицинскому персоналу и т.п. Высокие показатели в работе на высшем уровне пирамиды Миллера позволяют говорить об освоении данной компетенции в полном объеме.

В 1990 г. Миллер отмечал, что на тот момент отсутствовали методики, позволяющие оценивать компетенции врача на уровне вершины пирамиды (Miller, 1990). В то же время с данной проблемой пришлось столкнуться при оценке обучения и эффективности самих преподавателей (Bird, 1990). При этом ключевым был вопрос: как оценивать деятельность человека в реальных условиях. В 1998 г. Шульман (Shulman, 1998) представил проект оценки работы преподавателя, целями которого были поиск и разработка новых подходов к оценке работы преподавателя начальной и средней школы. Он доказывал, что нежелательно оценивать компетенции учителя только на основе оценок, проводимых специализированными организациями (assessment centres), поскольку, согласно исследованиям, для выявления компетентных и высококвалифицированных учителей информации рейтинговых центров

совершенно не достаточно. Необходимо было определить, удается ли учителю максимально реализовать возможности обучения своих учеников именно в тех условиях, в которых ему приходится работать, так как условия работы учителей могут очень сильно различаться. Например, если один учитель работает в городе или сельской местности с ограниченными ресурсами и множеством социальных проблем, а другой — в школе в пригороде, где проживает средний класс, то для учеников будут созданы разные условия. С целью получения достоверных результатов при анализе работы преподавателя в различных условиях из сферы искусства и архитектуры заимствована концепция портфолио.

В портфолио, которые используются в сфере образования, обычно помещают материалы с информацией о том, как обучающийся решает поставленные перед ним задачи и какого прогресса он достиг в своем развитии. Документ представляют в цифровом или бумажном виде. Содержание в нем может быть строго регламентировано либо представлено в свободном виде. Несмотря на разнообразие содержания и форматов, портфолио в основном содержит информацию о проделанной работе, рекомендациях, продвижении по службе, планах относительно дальнейшего повышения квалификации и т.п. (Driessen et al., 2007).

С момента начала использования порт-фолио в сфере медицинского образования (канадская Королевская коллегия врачей терапевтического и хирургического профиля, 1993 г.) его значение как инструмента оценки качества и стимула профессионального роста чрезвычайно возросло (Snadden et al., 1999; Friedman Ben David et al., 2001).

#

Однако, согласно имеющимся в настоящее время данным, можно утверждать, что введение портфолио в арсенал средств, используемых для этих целей, происходило с переменным успехом (Driessen et al., 2007; Tochel et al., 2009, Buckley et al., 2009). Несмотря на то что портфолио потенциально было весьма эффективным инструментом оценки, оказалось, что его применение в сфере образования имеет некоторые недостатки.

Задача данного руководства в том, чтобы помочь преподавателям, работающим в сфере здравоохранения, в полной мере реализовать возможности, предоставляемые портфолио, и предотвратить возможные трудности. С учетом знаний о том, каких результатов позволяет достичь портфолио, нами поставлена цель раскрыть ключевые моменты практики его использования, относящиеся к дизайну, составлению и применению портфолио в сфере медицинского образования.

• Во-первых, мы покажем, как содержание и структура портфолио соотносятся с целями, для которых его составляют.

• Во-вторых, мы сделаем акцент на использовании портфолио в качестве стимула к профессиональном росту, что достигается посредством побуждения к приобретению знаний на основе практического опыта, и подробно расскажем об использовании портфо-лио в качестве инструмента оценки. Достижение каждой из перечисленных целей предъявляет специфические требования к содержанию и организации портфолио.

• В-третьих, мы определим факторы, важные для успешного внедрения порт-фолио в сферу медицинского образования.

Цели создания портфолио, его содержание и организация

Портфолио как многофункциональный инструмент ► Портфолио как инструмент оценки знаний

Когда портфолио в качестве инструмента для проведения достоверной оценки знаний и умений человека впервые попробовали применить в сфере образования, оно было очень схоже с портфолио архитекторов и художников, которое Лайонс (Lyons, 1998) описал как папку для хранения чертежей, рисунков или фотографий. Выстроенные по принципу триангуляции (Denzin, 1978; Denzin, Lincoln, 2000) любые виды данных могут быть объединены в портофолио, в итоге это дает возможность сделать достоверное заключение относительно компетенции.

В литературе комбинирование данных из разных источников в целях повышения качества заключений по ним обычно называют триангуляцией. Назначение триангуляции состоит в устранении условий для возникновения погрешностей и затруднений, например, таких, которые влияют на надежность и истинность данных, если они получены из одного источника.

Аналогичный подход используется в процедурах с получением обратной связи из многих источников или обратной связи в 360 градусов. Согласно ему предполагается, что студент должен собирать отзывы о своей деятельности из различных источников. Локьер и Климан (Lockyer, Clyman, 2008) описали обследование с помощью вопросника. Для сбора данных о конкретных навыках обучающихся опрос проводили среди коллег-врачей, медсестер, пациентов и членов семей пациентов. Такие же вопросники заполняли сами обучающиеся. Анализ всех полученных результатов позволил повысить достоверность опроса.

Тем не менее в одном из первых исследований портфолио, созданных для оценки компетентности преподавателей, Берд (Bird, 1990) писал, что «...оценка с помощью портфолио легко может превратиться в «жонглирование красивыми бумажками». Он предложил организовывать материалы портфолио в соответствии с компетенциями, которые человек, составляющий его, желает продемонстрировать. Такая организация портфолио удобна (выгодна) как для того, кто составляет портфолио, так и для того, кто его оценивает. Инструкции, начинающиеся со слов «Покажите, как вы...», поясняют владельцу портфолио, какую информацию о его способностях от него хотят получить. Портфолио, организованное в соответствии с выполняемыми обязанностями или компетенциями, удобно для оценивающего, поскольку в нем обозначено, какие именно материалы предназначены для демонстрации в первую очередь. На основании своих экспериментов с организацией портфолио Коллинз (Collins, 1991) пришел к выводу, что к сведениям, нашедшим отражение в портфолио, должны прикладываться пояснительные записки.:

«Пояснительные записки — один из существенных компонентов портфолио. Пояснительная записка представляет собой прикрепляемый к каждому документу небольшой листок бумаги с указанием, что это за документ... и в чем его ценность. ...Доказано, что пояснительные записки — это важная составная часть процесса создания портфолио. Документы без пояснений для оценивающего лица часто оказываются лишены смысла».

► Портфолио для обучения

Вскоре после того как медицинское образование соприкоснулось с портфо-

лио, Снадден и Томас в 1998 г. ввели понятие портфолио для обучения (Snadden, Thomas, 1998).

«Портфолио для обучения — это методологический подход, направленный на стимулирование взрослых людей к обучению и рефлективное обучение профессионалов. Портфолио пришло в медицину из области изящных искусств (архитекрутры, живописи). Под портфолио понимается создание подборки свидетельств того, чему учился и что в конечном итоге умеет учащийся».

В отношении портфолио и обучения авторы подчеркивают важность надзора наставника и критической оценки его содержания.

«Система хорошо работает, когда она опирается на взаимодействие обучающегося и наставника с использованием материала, способного влиять на дальнейший прогресс в обучении. Важно, чтобы портфолио не становилось простым сборником информации о событиях, произошедших и испытанных на собственном опыте, оно должно наполняться критическим осмыслением событий и разумными выводами из произошедшего».

Кроме всего прочего, правильно составленное портфолио может способствовать анализу пройденного пути, так как тщательный отбор свидетельств выполненной работы, определение их значимости, а также других материалов, отражающих достигнутые успехи, заставляют студента лишний раз ретроспективно проанализировать, что уже завершено и что еще должно быть сделано.

Портфолио почти всегда собирают в течение долгих лет, поэтому его можно использовать, планируя и выстраивая свою карьеру. Один из способов реализовать это направление состоит (наряду с документальными свидетельствами соответствующих учебных мероприятий и достижений)

#

в отражении в портфолио целей обучения (Mathers et al., 1999; Oermann, 2002).

По причине этого во многих портфо-лио существенное место заняли осмысление и общий анализ развития собственных профессиональных качеств. Портфолио, которое изначально планировалось для использования в качестве инструмента оценки деятельности человека, в последующем должно формироваться с акцентом на любые материалы, так или иначе подтверждающие его компетенции. В портфолио, используемом раньше для мониторинга и планирования развития обучающегося, центральное место должны занять общие оценки. Центром портфолио, которое создавалось для стимулирования обучения путем осмысления и обсуждения собственного опыта, станет практическая рефлексия учащихся. Таким образом, портфолио должно быть организовано на основании осмысления обучающимся своего опыта.

► Портфолио как многофункциональный

инструмент1

Упомянутые усовершенствования явно расширили сферу применения портфолио, сделали его инструментом для решения ряда задач. Иногда портфолио совершенно справедливо и броско называют индивидуальным планом развития или ретроспективным обзором. Поскольку портфолио отличаются чрезвычайно широким разнообразием вариантов, прежде чем выносить решение о применимости конкретного вида портфолио в данных конкретных условиях, весьма желательно тщательно и критически проанализировать его сильные и слабые стороны.

Обязательно следует ответить на вопрос, соответствует ли данное портфолио целям, для которых его составляли? Как чужие туфли вряд ли окажутся впору, так и портфолио, созданное в условиях индивидуального конкретного обучения, может не подойти при обучении в других условиях (Spandel, 1997). От плохо составленного портфолио рано или поздно придется отказаться. Схема, представленная на рис. 2, поможет определить суть портфолио; она будет полезна, если нужно понять, отвечает ли портфолио заявленным целям. Для этого следует понимать, в какой именно зоне треугольника должно находиться портфолио, т.е. для чего именно оно создается.

Совершенно очевидно, что с помощью портфолио можно решить не одну, а ряд поставленных задач. Если портфолио должно выполнять несколько целей, в треугольнике его положение сместится к центру, поскольку в этом случае оно должно охватить фактический материал, обзор деятельности и выкладки размышлений более равномерно. Как показывает практика, большинство портфолио не приходится ни на один из углов треугольника (Buckley et al., в печати). В литературе идут споры о «портфолио для обучения». Они касаются вопроса: приемлемо ли иметь одно и то же портфолио как для оценки испытуемого, так и для простого отражения информации о нем (Snyder et al., 1998). Аргумент против этого состоит в том, что в случае акцента внимания на критическом анализе портфолио может снизиться качество отражения фактического материала. За счет этого портфолио потеряет в эффективности, хотя и выиграет немного

1 Отдельные части данного раздела опубликованы в журнале «Качество высшего образования» (Jan van Tartwijk et al. // Quality in Higher Education. - 2007).

Общий обзор Мониторинг и планирование

Оценка

Наглядный материал в портфолио

Тренировка

Осмысление

Рис. 2. Цели создания и наполнение портфолио (van Tartwijk et al., 2007)

в пользу контрольных функций. Обучающиеся, скорее всего, не захотят выставлять напоказ свои менее успешные попытки в выполнении определенных задач и демонстрировать слабые стороны, если они посчитают, что их якобы просчеты, в случае оценки портфолио, обернутся против них. С другой стороны, портфолио, в котором нет оценки деятельности его составителя, не стоит потраченных времени и усилий. (Иным образом, портфолио, которым никто не собирается интересоваться, обучающемуся ничего не даст, несмотря на потраченные время и усилия.) В результате обучающиеся наверняка будут относиться и к портфолио, и к учебному процессу менее серьезно. Последний обзор, опубликованный BEME, показывает, что большинство портфолио использовалось для итоговой оценки учащихся (Buckley et al., 2009).

Эффективное портфолио имеет четкую, но гибкую структуру, предоставляет каждому студенту возможность отобразить

свой прогресс в приобретении знаний без потери своей индивидуальности (Pearson et al., Heywood, 2004; Driessen et al., 2005; Grant et al., 2007). Четкие инструкции, безусловно, важны, однако если содержание портфолио структурировано в мельчайших деталях, документ становится слишком забюрократизированным (Davis et al., 2001; O'Sullivan et al., 2004; Pearson et Heywood, 2004; Kjaer et al., 2006). При составлении портфолио человек должен иметь выбор, что отражать в своем «произведении», и проявлять определенную степень свободы (Snadden, Thomas, 1998; Driessen et al., 2005).

Электронное портфолио

Недостаток бумажного портфолио — его объем. Что будет ощущать человек, если ему нужно изучить 15 бумажных порт-фолио?! Кроме того, бумажное портфолио обычно существует в единственном экземпляре. Всякий раз, когда студент передает

#

свое портфолио преподавателю или кому-либо другому, его собственность уходит из его рук. Мало того что бумажные портфо-лио иногда теряются, могут возникнуть сложности с тем, чтобы подготовиться к разговору с преподавателем или, например, с будущим руководителем.

Так, в медицинских учебных заведениях портфолио на бумажном носителе все больше вытесняются электронными портфолио (е-портфолио) (Fung Kee Fung et al., 2000; Lawson et al., 2004; Woodward et Nanlohy, 2004; van Tartwijk et al., 2007; Driessen et al., 2007). Их значимое достоинство — возможность вставки соответствующих гиперссылок (для перехода к различным частям портфолио) Это в значительной степени облегчает работу, например, когда человек хочет представить выводы на основании материалов, сохраненных в разных местах портфо-лио, или проиллюстрировать поэтапный обзор собственного прогресса, формируя гиперссылки на материалы и свои выводы. Кроме того, гиперссылки могут быть полезными при создании в портфолио оглавлений и списков. Например, можно ввести список пояснительных подписей и расставить соответствующие им гиперссылки. Человек, анализирующий портфолио, может раскрыть ссылки по перечню заголовков и быстро получить представление обо всех данных портфо-лио одним нажатием на клавишу мыши, расположив указатель на нужном разделе. Преимущество е-портфолио перед бумажным состоит также в простоте обновления.

Безусловно, у е-портфолио есть и недостатки:

• необходимость распечатки всего документа, если человеку не нравится читать текст на экране монитора.

Большинство вариантов е-портфолио не позволяет делать заметки непосредственно в тексте (впрочем, записи на бумагах, принадлежащих другому человеку, обычно тоже нежелательны);

• использовать е-портфолио могут только обучающиеся и преподаватели, в достаточной мере владеющие соответствующим программным обеспечением и обладающие компьютерной грамотностью;

• е-портфолио требует стабильной и технологически качественной информационной инфраструктуры, которой может не быть в распоряжении учебного заведения.

В настоящее время на рынке представлено большое количество специализированных, удобных для пользователя программ для оформления портфолио (Dornan et al., 2002; www.eportfolioservice.nl). Подобные программы рассчитаны на выполнение определенных специальных функций, свойственных различным вариантам использования портфолио. Так, есть опции для включения в портфолио проверки всего, что касается работы, например, обратная связь со многими источниками данных или возможность тестирования знаний в клиническом тренинге (mini-CEX — mini clinical evaluation exercises). Другие опции позволяют приглашать специалистов для экспертизы портфолио, целиком или какой-либо его части, перекрывая при этом доступ посторонним лицам.

Кроме специализированных систем обучающиеся могут создать е-портфолио, использовав обычный текстовый редактор, в зависимости от того, с какими программами они и их преподаватели лучше знакомы (Gibson, Barrett, 2003). Выбор специализированных программ для создания портфолио определяется не только

их стоимостью. Для достижения многих целей обучающимся вполне достаточно стабильно работающих гиперссылок на популярные многофункциональные программы. Кроме того, многофункциональное программное обеспечение позволяет придавать портфолио индивидуальный вид. Это может еще больше привлечь к работе с такой программой. Другой аспект состоит в том, что многие специализированные программы для создания портфолио функционально ограничены, потому что их создали в расчете на работу с портфолио всего одного или двух типов. И наконец, портфолио, созданное с помощью специального программного обеспечения, должно быть совместимо с многофункциональными программами, для того чтобы обновлять и демонстрировать информацию, содержащуюся в портфолио, в будущем, когда обучающийся покинет учреждение, в котором портфолио было создано, или когда разработчик программного обеспечения по той или иной причине прекратит свою деятельность.

Таким образом, недостаток специализированных программ — это возможность в перспективе потери доступа к портфолио через Интернет или доступа к инструментам, позволяющим оценить информацию о достижениях в работе, однако, как правило, они обычно позволяют воспользоваться всеми необходимыми для пользователя опциями, обеспечивающими высокую функциональность портфолио и его идеальный вид.

В одном из исследований, в котором проводили сравнение портфолио, размещенных в сети Интернет, с бумажными портфолио фпекзеп й а1., 2007), установлено, что не только ученики добавляли большее количество собственных

комментариев к содержанию, табличным формам и уделяли больше времени оформлению портфолио, но и наставники единодушны в своих предпочтениях, потому, что размещенным в сети портфолио пользоваться легче, чем его бумажным вариантом.

Среди преимуществ портфолио, размещенных в сети, чаще всего указывают следующие:

• информацию легко локализовать;

• для того чтобы попасть на искомое место в тексте, не нужно перелистывать страницы;

• доступ к портфолио, размещенному в сети Интернет, возможен практически из любой точки.

Некоторые авторы (Fung Kee Fung et al., 2000; Lawson et al., 2004) особо отмечают такие достоинства электронных портфолио, как простоту доступа и уменьшение количества бумаг. Однако эти же авторы сообщают и о ситуациях, когда размещенные в сети портфолио оказывались менее удобными, чем бумажные, например, при ограниченной доступности к компьютеру на рабочем месте в клинике.

Портфолио и обучение на основе опыта

Научные данные показывают, что успех использования портфолио, отражающего обучение на основе опыта, во многом определяется участием преподавателя (Finlay et al., 1998; Snadden, Thomas, 1998; Mathers et al., 1999; Pearson, Heywood, 2004; Driessen et al., 2005; Grant et al., 2007). В данном разделе мы акцентируем внимание на методике, с помощью которой наставник может способствовать процессу обучения на основе опыта с использованием портфолио.

#

Теоретические основы

Современный взгляд на обучение, основанный на теории конструктивизма, состоит в том, что человек «конструирует» новое знание и собственное понимание на базе уже имеющихся знаний и представлений (Bransford et al., 2000). Накопленные ранее знания и представления можно воспринимать как когнитивные структуры, определяющие восприятие реальности. Совершенно ясно, что восприятие окружающего мира через когнитивные структуры человека не может считаться объективным, оно по определению представляет собой сугубо индивидуальное видение. Непосредственные действия человека обусловлены именно этим личным восприятием реальности.

Рефлексия в данном контексте приобретает важное концептуальное значение и оказывается связанной с изменяющимися когнитивными структурами. Исследования показали, что метакогнитивные навыки, такие как рефлексия, повышают уровень, на который студенты переносят то, что они узнали до возникновения новых условий и событий (Bransford et al., 2000). Несмотря на то, что точного определения термина «рефлексия» нет и с этим термином связана значительная путаница (Hatton, Smith, 1995; Mann et al., 2007), все авторы, пишущие о мыслительном процессе, разделяют конструктивистский взгляд, который заключается в том, что поведение человека подчиняется ментальным структурам. Эти структуры не статичны, напротив, они гибки, способны эволюционировать и изменяться под влиянием опыта. Рефлексию, согласно общепринятой точке зрения, можно охарактеризовать как ментальный процесс самоорганизации или реорганизации когнитивных структур, которые представляют существующие зна-

ния и взгляды и управляют восприятием опыта, ситуации и возникающих проблем (Korthagen et al., 2001). Проще говоря, рефлексия — это исследование и восприятие человеком собственного опыта (Eva, Regehr, 2008). На основании работ ван Манена (van Manen, 1977), Хаттона и Смита (Hatton,t Smith, 1995) можно выделить три типа, или уровня, рефлексии:

• первый касается средств достижения определенных конечных результатов;

• второй учитывает не только средства, но и цели, т.е. речь идет о гипотезах, от которых зависят средства и цели, а также итоговые выводы;

• третий авторы назвали критическим осознанием. Здесь к рассмотрению добавляются моральные и этические критерии. Суждения выносятся в отношении того, является ли профессиональная деятельность приемлемой для человека, законной и заслуживающей уважения или нет.

Авторы подчеркивают, что эти три типа рефлексии не должны рассматриваться как зависимые друг от друга согласно степеням градации (т.е. как иерархические). Различные (образование) контексты и ситуации могут относиться к одному типу осмысления больше, чем к другому.

Осмысление и профессиональное развитие

Для преподавателей, работающих в сфере здравоохранения, которые хотят помочь обучающимся получить знания на основе практического опыта, ключевой вопрос: «Как я могу стимулировать моих студентов осмысливать полученный опыт и учиться исходя из опыта?» В данном руководстве AMEE поставлен дополнительный вопрос: «...и как портфолио может помочь повысить качество осмысления?»

Кортаген писал, что талантливые студенты, сталкиваясь с ситуацией, не поддающейся решению обычными способами, проходят процесс, который разворачивается по спирали. Он разработал модель ALACT (Action, Looking back, Awareness, Creating alternative methods, Trial) (действие, взгляд назад, учет наиболее существенного, создание альтернативных методов, испытание на практике) (Korthagen et al., 2001) (рис. 3). Такая модель напоминает модель с тремя ступенями, описанную Снадденом и Томасом (Snadden, Thomas, 1998). Акцент сделан на оценке, осмыслении и формулировании учебного плана. Ниже приведены описание модели ALACT, объяснение потенциальных действий с портфолио на каждой из стадий и предложения по методике проведения занятий (Driessen et al., 2008).

ALACT

A — Action — Действие. Цикл начинается с первого действия, предпринимаемого для достижения определенной цели (например, развить тот или иной навык). Студенту желательно оказать помощь. Ему предстоит научиться делать лучше то, что он делает постоянно, одновременно приобретая новые знания и навыки, заранее предопределенные для освоения. Примерным объектом может послужить группа больных с разной, но относительно легко диагностируемой патологией. Согласно результатам исследования, проведенного Эрикссо-ном, мастерство приобретается благодаря как практическому опыту, так и специально разработанным (или отобранным из известных стандартных) тренировочным действиям, нацеленным на повышение квалификации (Ericsson, 2006).

Создание альтерналивных подходов в работе

Учет наиболее существенных моментов

Испытание

Действие

Самооценка на основе прошлого опыта

Рис. 3. Модель ALACT, демонстрирующая этапы спиралевидного процесса профессионального развития (Korthagen et al., 2001)

#

L — Looking back on action — Оглядываясь на действие. Самооценка. Эта стадия включает формирование самооценки на основе прошлого опыта посредством сбора информации, в том числе отзывов о себе. Обучающийся оглядывается назад, на предыдущее действие. Обычно эта стадия наступает, если действие не получается или происходит что-то непредвиденное. Подразумевается, что обращение к предыдущей деятельности сопровождается ретроспективным анализом ситуации, определением, достигнуты ли цели и каково участие студента в этом. В большинстве случаев это можно назвать самооценкой. Ева и Регер (Eva, Regehr, 2008) пишут, что почти всегда самооценка по своей сути соответствует модели «догадайся, каков твой уровень». Такая модель, в общем-то, плоха (Davis et al., 2006). В качестве альтернативы ученые предлагают оценку самого себя, сформированную самим обучающимся посредством сбора информации, имеющей отношение к этому. Описывается процесс, посредством которого студент сам лично «оглядывается по сторонам», тщательно выискивая во внешних источниках все, что обеспечивает обратную связь, и другую оценочную информацию. Это необходимо, для того чтобы направлять движение к совершенству в нужное русло, к улучшению достигнутого, что непременно придаст самооценке весомости.

Значение портфолио. Поиск и отбор фактического материала (документов, отзывов, оценок по работе и т.п.) для внесения в портфолио можно считать оценкой собственной деятельности посредством поиска соответствующей информации. Для повышения качества этого процесса важен сбор пакета свидетельств из различных источников. Достоверность результатов при такой само-оценке будет максимальной,

если представления проходящего обучение человека о себе согласуются со всеми свидетельствами, которые удалось собрать для портфолио.

Методика обучения. Проведенные исследования показали, что в успешности применения портфолио для образовательных целей решающую роль может сыграть преподаватель (Driessen е! а1., 2007). Как минимум, обучающиеся имеют право предположить, что наставник уделит весьма серьезное внимание их портфолио по той причине, что они сами потратили массу времени и сил на его создание. Однако необходимо помнить, что тщательный анализ собственных действий может внести разногласия в среде обучающихся. В этом аспекте роль хорошего наставника приобретает большое значение. Ниже приведен ряд методических подходов, актуальных на этой стадии, которые будут полезны преподавателям, работающим в сфере медицины (Korthagen е! а1., 2002).

Стратегии стимуляции самостоятельной оценки собственной деятельности посредством поиска информации, имеющей к этому отношение

• Исключите появление возможной напряженности, проводя четкую границу между личностными качествами обучающихся и тем, что касается их деятельности.

• Акцентируйте внимание на описательной части.

• Направляйте обучающихся, чтобы они были конкретнее в своих сообщениях. Когда они в отношении ситуации и собственной деятельности приводят

лишь общие оценки, задайте следующие вопросы:

— Что прошло хорошо?

— Что прошло плохо?

— Как вы вышли из положения?

— Какой это имело эффект? Добейтесь, чтобы студенты тщательно прорабатывали любую информацию, заносимую в портфолио. Обучающегося можно попросить пересмотреть факты и ответить на следующие вопросы:

— Какая часть информации в портфолио подтверждает ваши ответы/оценки?

— Какая часть информации в порт-фолио противоречит вашим ответам/ оценкам?

Сделайте так, чтобы обучающиеся думали и о других заинтересованных лицах.

Задайте следующие вопросы:

В чем состояло ваше желание? Что, по

вашему мнению, было нужно больному/

вашему коллеге/медсестре?

Над чем вы размышляли? О чем думали

остальные?

Что вы делали? Чем занимались другие?

Какие эмоции это у вас вызвало? Что одновременно чувствовали другие лица, столкнувшиеся с тем же самым?

A — Awareness of essential aspects. Reflection. — Учет наиболее существенного. Рефлексия. После того как уже определены качество работы обучающегося и особенности ситуации, наступает следующий этап модели ALACT — воспитание в курсантах и студентах умения обращать

внимание на самое важное. На этой стадии студенты пытаются развивать в себе новое и более прогрессивное понимание происходящего, т.е. они размышляют над собственной деятельностью.

В первую очередь они фиксируют внимание на средствах, используемых для достижения цели, и пытаются понять, почему их стратегия была успешной либо нет. Они могут решить, приемлема ли выбранная цель именно для данной ситуации. И наконец, возможна постановка такого вопроса: «Что я хочу получить от ситуации в моральном и этическом плане?»

Значение портфолио. Речь необходима для мышления, стимулировать рефлексию возможно при помощи письменной речи, т.е. делая записи (Korthagen et al., 2001). Раньше письменные размышления в портфолио не входили, как, например, в портфолио, в которые художники помещали подборки своих работ. Однако с введением портфолио в образовательный процесс письменные выкладки почти сразу стали неотъемлемой его частью (Paulson et al., 1991). Портфолио с письменными умозаключениями содержит самооценку, достоверность которой подкрепляется собранными свидетельствами. Это одна из форм самоанализа (Conlon, 2003). Обучающийся может также использовать фактический материал портфолио, чтобы проиллюстрировать свои мысли конкретными примерами.

Методика обучения. Для того чтобы заставить студентов размышлять и учиться на собственном опыте, наставникам не всегда нужно получать правильные ответы. Самое главное, что требуется от них, — это задавать правильные вопросы. Некоторые из таких вопросов приведены ниже.

#

Вопросы, призванные стимулировать рефлексию

Средства

Какие методические подходы Вы использовали? Почему Вы выбрали именно эту методику? Каковы преимущества и недостатки у выбранной Вами методики? В какой части Ваша методика оказалась эффективной, а в какой неэффективной? Была ли Ваша методика более/менее эффективной в той или иной ситуации? Цели, размышления, выводы Каких результатов Вы собирались достичь? В чем Вы были успешны? Что, как Вы считаете, было успешным? Почему данная конкретная цель важна? / Почему Вы преследуете эту цель? Критическое осмысление Считаете ли Вы, что больные/семьи боль-ных/коллеги-медики/медсестры/руково-дители удовлетворены такими результатами? В чем их главный интерес?

Моменты, вызывающие разногласия Я прочитал в Вашем портфолио, что результаты Вас полностью устраивают, но когда мы обсуждали их, выражение Вашего лица говорило об обратном. Здесь Вы пишете, чего хотели бы достичь, но почему-то результаты работы Вас устроили, несмотря на то, что они не соответствуют поставленным целям.

Фактически, Вы не сделали того, что, как говорите, намеревались сделать. Обобщение приобретенного опыта

Какие различия и схожие черты вы обнаружили, сравнивая происходящее сейчас с тем, что описано в ситуациях, нашедших отражение в вашем порт-фолио?

Когда все это происходило? Заметили ли вы какие-то закономерности?

С — Creating or identifying alternative methods of action. Change. — Создание или поиск альтернативных подходов в работе. Изменение. Анализ того, что делалось раньше, иногда заставляет начать поиск альтернативной тактики или отказаться от первоначальных целей. Очень важно стараться увидеть новые цели и альтернативные подходы. В одном из последних обзоров показано, что постановка цели стимулирует процесс изучения, а преподаватель в данной ситуации играет очень важную роль (Shute, 2008). Если студенты работают с преподавателем и ставят перед собой более конкретные задачи, они достигают большего прогресса, чем не имеющие наставника (Smither et al., 2003). Очень часто результаты обсуждения того, что должно делаться по-другому и каких целей предстоит достичь, письменно заносят в документ под названием индивидуальный план развития (ИПР).

Значение портфолио. Во многих случаях при составлении портфолио главная цель состоит в отражении динамики развития студента. В таких портфолио ИПР может занимать важное место. Например, Снад-ден и Томас (Snadden, Thomas, 1998) предложили при использовании портфолио для профессионального развития и отражения прогресса в профессии прилагать к документу своего рода учебный план.

Методика обучения. В процессе составления ИПР наставникам и обучающимся нужно сформулировать двухстороннее соглашение, которое следует обсудить на ближайшем общем собрании. Пункты в ИПР обычно прописаны весьма неопределенно. Важно, чтобы преподаватели призывали своих подопечных быть предельно конкретными. Не помешает, если цели обучения в индивидуальном плане будут сформулированы в соответствии с принципами SMART:

SMART

Specific = Конкретность Однозначность формулировок, отсутствие двусмысленности

Measurable = Измеримость Ясность в вопросе, при каких условиях цели могут быть достигнуты

Acceptable = Приемлемость Цели должны быть приемлемыми для всех заинтересованных лиц

Realistic = Реалистичность Обучающийся должен быть способен достичь поставленных целей

Time-bound = Привязка ко времени Должно быть ясно, когда цель будет достигнута

T — Trial. — Испытание на практике. Последний шаг в цикле ALACT. Однако, согласно рассматриваемой модели, это еще и начало следующего витка в спирали профессионального развития.

Использование портфолио в качестве инструмента оценки

В разделе «Введение» приведена цитата Шульмана (Shulman, 1998), который писал, что поводом предложить использовать портфолио в сфере образования в качестве оценочного инструмента стал тот факт, что именно в портфолио можно собрать воедино информацию об исполнении человеком своих обязанностей, истории развития его умений в конкретных сложных производственных условиях. Если рассматривать функцию оценки, необходимо отметить, что в силе портфолио одновременно заключена и его слабость.

Свидетельство о факте, заключенном в портфолио, почти всегда не стандартизировано, поэтому его восприятие, как правило, во многом зависит от контекста, из которого данный факт взят.

Оценка нестандартно организованного портфолио требует другого ракурса, отличного от количественного подхода, который более всего приемлем для анализа с использованием балльной системы количественных тестов или для сравнения со стандартизированными наблюдениями. Такие авторы, как Снадден (Snadden, 1999) и Вебб (Webb, 2003), выступают

против тенденции подгонять портфолио, составленные оригинальным образом, к стандартизованным психометрическим критериям. Они подчеркивают, что оценка портфолио в первую очередь сводится к интерпретации той или иной качественной информации, и указывают, что процедура оценки должна стать более совершенной и базироваться на методах, используемых в научных исследованиях, ориентированных на выявление качественных параметров.

Этот раздел посвящен интерпретации фактов, освещаемых в литературе, которая касается оценки портфолио. Информация разделена в соответствии с 5 вопросами, которые, по Хардену (Harden, 1979), преподаватель-медик всегда должен задавать применительно к проблеме оценки портфолио и ответить на них:

• Что оценивается?

• Почему это оценивается?

• Как производится оценка?

• Кто оценивает?

• Когда это оценивается?

► Что оценивается?

Несмотря на то что портфолио, кроме прочего, используются в условиях базового медицинского образования для определения коммуникативных навыков и способности студентов думать (Driessen et al., 2003), данный подход особенно уместен для оценки непосредственно в работе. Другими словами, если вспомнить пирамиду Миллера (Miller, 1990), авторы повысили значение уровня «Делает».

#

Программы медицинских учебных заведений в большинстве случаев ориентируются на критерии оценки компетенций врача, разработанные такими организациями, как General Medical Council (GMC), American Council of Graduate Medical Education (ACGME), Royal College of Physicians and Surgeons of Canada (RCPSC). Для того чтобы привести критерии, определяющие умения человека, в соответствие с требованиями процедуры оценки специалиста, возникает необходимость в дополнительных уточнениях. Если приводить описание компетенций в соответствие с методикой оценки, целесообразно соблюсти разумный баланс между важными моментами. С одной стороны, компетенции содержат конкретные, но очень детализированные и длинные перечни («может то-то и то-то...»), c другой — слишком глобальные обобщения, которые часто прослеживаются в обзорах с чрезвычайно малым количеством информации в обосновании оценки. Крайние полюса данного контекста представляют аналитический подход и глобальный подход. Оба варианта имеют свои плюсы и минусы.

Оценка: аналитическая и глобальная

При аналитической оценке характеристику различных аспектов, касающихся знаний и навыков, дают по отдельности. Чтобы все привести к общему знаменателю, существует специальная формула, которая объединяет оценки, относящиеся к различным частям документа.

Поскольку критерии оценки хорошо известны, и каждый отдельный навык четко анализируется, для преподавателя результат совершенно прозрачен и обычно более надежен и информативен. Критерии, как правило, объединяются общим вводным словосочетанием: «Кандидат обладает следующими знаниями и навыками.».

В ряде ситуаций могут возникнуть определенные сложности:

• студенты иногда начинают подгонять свое усвоение предмета под критерии, заведомо помеченные в списке галочкой. Это может быть следствием порочной практики на рабочем месте, где происходит обучение.

• Аналитическая оценка стоит большого труда — она сродни бюрократической деятельности.

• Для анализирующего человека иногда сложно дать характеристику по каждому критерию в отдельности («эффект ореола»).

• Проверяющий ограничен в свободе выбора: рассматривать навыки выборочно или ориентироваться только на очень хорошие (или плохие) показатели. Если что-то не увязывается с критерием, это что-то не оценивают. Порой свободу человека, дающего оценку, ограничивает особенность самого критерия.

При глобальной оценке специалист, выносящий экспертное заключение, изучает портфолио целиком и выдает резюме, основываясь на общем впечатлении. Глобальная оценка по сравнению с аналитической не сопряжена со слишком уж большими трудовыми затратами. Кроме того, она позволяет специалисту учитывать особые качества курсанта или студента. Недостатки глобальной оценки:

• Для обучающихся менее понятно, на каких критериях основывается экспертная оценка. Итоговые выводы порой оказываются ненадежными. В связи с этим такую оценку студенты принимают с меньшей готовностью.

• Некоторые специалисты, изучая порт-фолио, не слишком уверены в своих выводах. Из-за этого они прорабатыва-

ют материал снова и снова, что отнимает больше времени, чем тратится на аналитическую оценку. • Такой вид оценки относительно небезупречен, поскольку более подвержен субъективным предпочтениям и влиянию очередности (контрастное впечатление по сравнению с предыдущим кандидатом из числа рецензируемых).

Один из способов оценки объединил все самое лучшее из того, что есть в обоих подходах. Речь идет о балльно-рейтинговой системе оценки знаний обучающихся. Система представляет глобальный инструмент (универсальную

характеристику) для описания деятельности человека, в котором перечислены критерии, соответствующие конкретному умению, и одновременно дано ограниченное число градаций качества для каждого критерия. Градация, например, такая: «неудовлетворительно», «удовлетворительно», «хорошо» и «превосходно». Балльно-рейтинговую систему можно представить в виде таблицы с критериями в строках и оценками в столбцах. В каждой ячейке такой таблицы описывается качество выполнения какого-либо действия на данном конкретном уровне владения мастерством. Пример размещен в таблице.

Балльно-рейтинговая система оценки навыков студентов-медиков на последнем году обучения (источник - Маастрихтский университет)

#

Критерий

Работа в клинике

Ниже ожидаемого уровня Ожидаемые показатели

Выше ожидаемого уровня

мер, оценка на основе отзывов полного цикла обратной связи)

Медленно собирает анамнез и проводит физи-кальное обследование. Обращает внимание на факты, не имеющие отношения к делу С достаточной скоростью собирает анамнез и проводит физикальное обследование. Рассматривает все имеющие значение факты Правильно и быстро собирает анамнез и проводит физикальное обследование

Задерживается с установ- Своевременно, быстро Диагноз устанавливает лением диагноза. Не спо- устанавливает диагноз. правильно и своевременно собен делать правильные Важные выводы находят выводы отражение в формулировке диагноза

Часто не может сформулировать план лечения больного и требует почти постоянного контроля Во время клинических разборов у постели больного правильно формулирует план лечения Во время клинических разборов у постели больного правильно формулирует план лечения

Нуждается в небольшом Нуждается в незначитель-контроле ном контроле

Достигает перечисленных показателей во второй половине срока прохождения ординатуры Достигает перечисленных показателей на первом году прохождения ординатуры

Безответственный подход Ответственный подход Ответственный подход к работе, отсутствие заин- к работе, имеется заинте- к работе, имеется заинте-тересованности ресованность ресованность

Порой не может обратиться к наставнику, когда в этом есть необходимость В случае необходимости спрашивает совета у наставника В случае необходимости спрашивает совета у наставника

Ф

ТЕХНОЛОГИИ ОБУЧЕНИЯ

#

Отзывы о своей работе Нуждается в помощи при воспринимает неадекватно разрешении проблем

и рассмотрении альтернативных подходов, адекватно реагирует на отзывы о своей работе

Не способен справляться В стрессовой ситуации

со стрессовыми ситуа- иногда нуждается в

циями помощи

Критический анализ характеристик курсанта и формулирование соответствующих учебных целей. Подтверждение этого анализом сильных и слабых сторон; рассмотрение плана профессионального развития

Не обращает внимания на свой внешний вид. Часто демонстрирует неуважительное поведение по отношению к окружающим или ведет себя дерзко

Отсутствуют учебные цели, учебные цели не соответствуют анализу или слишком неконкретны

Опрятный внешний вид. Уважительное отношение к окружающим

Некоторые из учебных целей недостаточно конкретизированы

Способен критически мыслить. На отзывы о своей работе реагирует правильно, готов признавать ошибки

Всегда способен справиться со стрессовой ситуацией

Аккуратный внешний вид и уважительное отношение к окружающим

Описание выше ожидаемого уровня (правильно сформулированное, узнаваемое, с исчерпывающими объяснениями). Хороший анализ сильных и слабых сторон; отражен внутренний мир человека; даны ссылки на свидетельства, размещенные в портфолио

Логическое, детальное (основанное на анализе) описание и достижимые учебные цели

Неполное ограниченное или одностороннее описание сильных и слабых сторон деятельности курсанта (например, отражены только сильные или только слабые стороны, характеристика ограничивается только одним навыком). Отсутствуют пояснения, есть только перечень фактов и ситуаций

В части случаев сильные и слабые стороны ничем не объяснены или объяснения ограничены в силу определенных факторов (например, обучение у постели больного в неудачное время)

#

Как для обучающихся, так и для их наставников балльно-рейтинговая система оценки знаний может стать «дорожной картой» в развитии компетенций. Она поможет определить истинный уровень владения студентами знаниями, навыками и указать путь для дальнейшего развития. При анализе балльно-рейтинговую систему следует использовать не как простую схему для быстрого выставления баллов, а как основание полученной оценки и для ее комментариев. Балльно-рейтинговая система приемлема также для организации материалов в портфолио. В нем обучающиеся могут разместить материалы так, чтобы на основании разделов, соответствующих приобретаемым знаниям и навыкам, при использовании пояснительных надписей

можно было легко выставить оценку. Пояснения укажут, какие свидетельства характеризуют конкретные компетенции.

► Почему это оценивается?

Оценку компетенций проводят для:

— подбора кадров;

— определения уровня подготовки;

— сертификации.

Подбор кадров. Определяется, готов ли человек к работе в той или иной должности. Оценку с данной целью иногда проводят до зачисления на образовательный курс, но в ней также может возникнуть необходимость, например, перед тем как принять человека на новую работу.

Определение уровня подготовки (диагностическая оценка). Во время прохож-

Медицинское образование и профессиональное развитие №1 (11) 2013

дения учебной программы контролируют динамику совершенствования знаний и навыков студентом в целях обеспечения обратной связи студентами и помощи им в постановке новых учебных задач. Иногда к оценке такого рода прибегают, для того чтобы определить, стоит ли студенту продолжать занятия.

Сертификация. Цель оценки в конце образовательной и тренировочной программ состоит в том, чтобы определить, приобрел ли обучающийся необходимые для сертификации умения. Очевидно, что оценки в любой ситуации очень важны. Низкое качество оценки при подборе кадров может повредить, например, интересам перспективных студентов и загубить в человеке талант. Точно так же низкое качество оценки с определением уровня подготовки может стать источником стрессадля студента и ухудшить учебный процесс. Тем не менее итоговая оценка на момент окончания курса и проведения сертификации имеет решающее значение. Так, обучающиеся, которые прошли курс, но не смогли выполнить учебный план, станут (или продолжат быть) сертифицированными докторами, и это составит угрозу благополучию людей.

► Как проводится оценка?

Надежность оценки умений человека сильно зависит от используемой процедуры. Во вводной части этой главы мы уже писали, что, обычные психометрические методики, которые используются в исследованиях с определением квалификационных тестов в стандартизированных исследованиях, не совсем подходят для анализа портфолио с их нестандартным содержимым. Применительно к медицинскому образованию Вебб и соавт. (Webb et al., 2003) показали, что оценка портфолио в первую очередь касается качественной информации,

и высказали идею использовать рутинные приемы, являющиеся атрибутом научных исследований, направленных на определение подобных качественных показателей. Стратегические подходы, позволяющие достигать подлинности и надежности оценки, разработаны Джубой и Линколн-соном (Guba, Lincolns, 1989). Эти подходы можно перенести на анализ портфолио (Webb et al., 2003; Tigelaar et al., 2005). Ниже показано, как данная методика применяется на практике.

Механизм оценки портфолио, выработанный на основе методологии научных исследований, направленных на определение качественных показателей

• Для того, чтобы окончательные выводы наставника не стали неприятным сюрпризом для студента, к контролю процесса создания портфолио со стороны наставника попробуйте применить варианты оценки, предусматривающие обратную связь (отзывы). Данный подход относится к методам обеспечения объективности научных исследований, в которых изучают качественные показатели. Речь идет о методах пролонгированного участия (prolonged engagement) и валидации респондента (member checking).

• Установите четкий баланс между функциями, которые выполняет преподаватель, будучи и наставником, и оценивающим лицом одновременно. Смысл в этом очевиден: человек, который знает ученика лучше всех, предоставит наиболее точную информацию, одновременно сведя к минимуму неприятный эффект, оказываемый на взаимоотношения учитель — ученик, когда к оценке приступает какая-либо

#

проверяющая портфолио комиссия. Для этого используют методику пролонгированного участия. Данный подход применяют в стремлении добиться объективности в исследованиях, предметом которых являются качественные показатели.

Привлеките обучающего к процессу принятия решения об оценке. Это позволит учесть еще одну точку зрения (самого ученика), возможно, отличную от точки зрения преподавателя. Данный подход относится к методам обеспечения объективности — метод валидации респондента. Придерживайтесь принципа последовательного принятия решений, который в случае возникновения противоречий подразумевает сбор дополнительной информации. Это гарантирует эффективное использование ресурсов при ограниченном доступе к дополнительным источникам в случае, когда необходимо прийти к надежному заключению. Такой подход также имеет отношение к методам обеспечения объективности — триангуляции. Проводя оценку, документируйте каждый шаг: формальный план оценки, утвержденный экзаменационной комиссией; портфолио и изучение инструкций; обзоры результатов по фазам; письменные оценочные формы на каждого студента и т.п. (т.е. следование принципу регистрации событий).

Основная сложность состоит в том, что любые подходы к изучению качества и сама оценка портфолио отнимают очень много времени. В связи с этим в Маастрихтском университете разработана методика оценки портфолио, в которой за-

действовано многое из перечисленного, в то время как основная цель состоит в том, чтобы достичь оптимальной эффективности (Driessen et al., 2005). Эта процедура будет описана ниже.

► Кто оценивает?

Проблема, которая в литературе о портфолио вызывает множество споров, касается выполнимости и приемлемости сочетания ролей наставника и оценщика в одном лице. Чтобы выяснить точку зрения на использование портфолио в образовании, Тигелар с сотрудниками опросил девять экспертов, занимающихся проблемой портфолио (Tigelaar et al., 2004). Несмотря на то что одни эксперты согласились, что наставник — наиболее приемлемое лицо, чтобы рекомендовать и ввести его в состав оценочной комиссии, другие возражали, так как считали неэтичным вменять наставнику роль человека, выносящего оценку. Они считали, что оцениваемые кандидаты, отражая свое профессиональное развитие, как и их наставники, не должны испытывать стеснения, потому что преподаватель никому не передаст лишнюю информацию. В связи с этим большинство экспертов сошлось во мнении, что наставников привлекать к проведению итоговой оценки не следует и они не должны давать никаких рекомендаций оценочной комиссии. Однако не обошлось и без меньшинства, согласившегося с Снайде-ром и его коллегами: преподаватель всегда будет балансировать между желанием поддержать экзаменуемого и пониманием того, что итоговая оценка должна быть объективной. И сейчас любой наставник учителей в этой стране изо дня в день решает именно эту проблему» (Snyder et al., 1998).

Методика оценки портфолио фпв88вп е! а1., 2005)

Студент подает портфолио своему преподавателю. Преподаватель изучает порт-фолио и письменно излагает свое мнение относительно рейтинга портфолио. С этим отзывом знакомится экзаменационная комиссия.

По окончании академического года студент и преподаватель на собрании обсуждают данные преподавателем рекомендации. Если оба соглашаются с оценкой, студент подписывает отзыв. В случае несогласия студент свою подпись не ставит.

Далее портфолио передают экзаменационной комиссии, которая состоит из всего коллектива преподавателей. Члены комиссии воздерживаются от оценки портфолио тех студентов, которых они сами вели. Когда мнения наставника и студента совпадают, портфолио относят одному из членов комиссии, который, как правило, не изучает материал пристально, но просматривает работу студента и преподавателя, проверяет, корректно ли проведены все процедуры. Если человек, выставляющий оценку, и непосредственный преподаватель приходят к согласию, рекомендованная оценка получает статус итогового решения.

с

Представлен ли портфолио?

>

Оценка портфолио наставником

<

Работа заведомо недопустимого качества

С

Студент согласен с наставником?

Член комиссии 1

N=226 г

^ Нет; N=7

С

Член комиссии 1

Первый член комиссии согласен с наставником и студентом??

Нет;

N=24

N=7

Член комиссии 2

С

Нет; N=9

N=31

Просмотр

работы комиссией

Член комиссии 1 согласен с членом комиссии 2?

Да; N=22

Итоговое решение

N=9

Рис. 4. Механизм оценки портфолио

#

Правильный баланс между желанием подбодрить и судейством — это вызов профессиональным качествам оценивающего лица-наставника, с которым студент обсуждает свое портфолио. При рассмотрении методики возможны несколько сценариев (об этом см. ниже). Какой из них наиболее приемлем, зависит, кроме прочего, от нюансов образовательного процесса и опыта обучающихся.

► Когда это оценивается?

Ответ на вопрос: «Когда производят оценку?» зависит от ответа и на другие вопросы в данном разделе.

Решения, касающиеся отбора, принимают до начала реализации учебной программы и практических занятий или после первого испытательного периода. В этот период к студенту присматриваются, и он может проявить себя. Важные вопросы: отвечает ли студент критериям отбора и есть ли у него потенциал закончить обучение или весь курс тренинга.

В процессе обучения или в период тренинга определение уровня подготовки (так называемую диагностическую оценку) можно проводить часто. Фактически каждую встречу преподавателя с обучающимся, когда она касается прогресса в обучении и включает просмотр информации из портфолио, целесообразно рассматривать как «диагностическую» оценку. В данном случае преподавателю было бы очень удобно иметь легкий доступ к портфолио, например, онлайн.

К вопросам, касающимся сертификации, приступают, когда знания и навыки обучающегося приходят в соответствие со всеми установленными критериями, или когда выделенное на реализацию учебной программы время истекло. В тех случаях, когда ориентируются именно на конечные

результаты, обучающийся и его наставник должны прийти к заключению, что навыки курсанта или студента соответствуют всем критериям оценки для сертификации. Логически из этого должно вытекать следующее: если на момент включения в образовательную или тренинговую программу человек отвечает критериям, которые определяют уровень достаточной компетенции, он должен быть освобожден от тренинга и получить сертификат немедленно.

Кто оценивает портфолио?

Варианты

Объединение роли наставника и экзаменатора часто оказывается проблематичным. С одной стороны, наставник, бесспорно, как никто другой хорошо знает способности своего подопечного. Следовательно, проигнорировать его мнение при оценке портфолио означает упустить шанс повысить достоверность итоговой оценки. С другой стороны, сочетание функций и оценщика, и наставника в лице одного человека, вероятно, внесет напряженность в отношения между преподавателем и обучающимся, потому что проявится тенденция воздерживаться от обсуждения острых тем, с которыми неизбежно приходилось сталкиваться в процессе учебы. Ниже используются метафоры, называющие наставника «учителем», «профессором-куратором», «инструктором по вождению» и «спортивным тренером». Цель состоит в том, чтобы разделить 4 различные (но, между прочим, не исключающие друг друга) роли. Когда наставник — это учитель, его роль как человека, выставляющего оценки, наиболее видна. Если наставник — тренер, он вообще никаких оценок не ставит.

Учитель. Это наиболее типичный вариант оценивателя в сфере обучения. Точно так же, как учитель в начальной, средней и высшей школе, наставник обсуждает способности обучающихся, их прогресс, оценивает уровень их знаний и умений в конце курса.

Научный руководитель. В некоторых случаях роль наставника при оценке портфо-лио правомерно сравнить с ролью научного руководителя у аспиранта. По правилам, принятым во многих странах, формальную оценку и тезисов диссертаций, и портфолио относят к компетенции специальной комиссии. Куратор приглашает рецензентов. Все они участвуют в заседании комиссии, но сами ее членами не являются. Негативная оценка, вынесенная в отношении тезисов или портфолио, может повредить репутации куратора в глазах рецензентов. По этой причине кураторы крайне неохотно приглашают рецензентов на заседания комиссии, если они абсолютно не уверены, что портфолио вполне соответствует принятым критериям. Таким образом, наставники и студенты преследуют одни и те же цели: их задача состоит в том, чтобы представить тезисы или портфолио, которые наверняка заслужат положительный отзыв.

Инструктор по вождению. В этой модели роли наставника и экзаменатора четко разделены. Наставник, как инструктор по вождению, занимается с курсантом, знакомит его со всеми навыками, относящимися к основной компетенции (например, умению управлять автомобилем). Эта компетенция находит отражение в портфолио. Если наставник решает, что студент успел получить все необходимые знания и навы-

ки, он приглашает экзаменатора — официального представителя из профессиональной организации (например, агентства, ответственного за выдачу водительских удостоверений), чтобы провести итоговую оценку квалификации студента. Наряду с этим обучающийся имеет возможность самостоятельно обратиться в соответствующее агентство.

Спортивный тренер. В данной модели инициативу на себя берет сам обучающийся, т.е. спортсмен. С просьбой довести мастерство до нужного уровня спортсмен может обратиться, например, к более опытным коллегам. Такого рода развитие событий возможно, например, когда у профессионала появляется желание приобрести какую-либо дополнительную квалификацию. Оценивать мастерство будет представитель сторонней организации.

Факторы, влияющие на успех внедрения портфолио1

В предыдущих разделах показано, насколько важно составлять портфолио, преследуя конкретные цели, и представлять его только в ситуациях, в которых оно действительно может оказать хорошую услугу. Однако перечисленные условия для гарантированного успеха недостаточны. В литературе, посвященной теме достижения совершенства в сфере образования, к ключевым факторам, действительно способным повысить уровень знаний, относят необходимость завоевать сердца и умы всех заинтересованных лиц — и учителей, и учеников, а также повысить качество руководства2 (Martin et al., 2003; Hargreaves, Fink, 2004).

1 Отдельные отрывки данной главы ранее были опубликованы в «Quality in Higher Education» (van Tartwijk, et al., 2007).

2 Русского эквивалента понятиям «Academic leadership» и «educational leaders» (см. далее) нет; под словосочетаниями подразумеваются деятельность и сами люди, занимающиеся разработкой новых подходов, менеджментом, агитацией и руководством в сфере медицинского образования (в данном случае) — Прим. пер.

Научные лидеры образовательной области

Рис. 5. Соотношение факторов, влияющих на успешность портфолио для обучения (van Tartwijk et al., 2007)

#

На рис. 5 представлена схема портфолио как части образовательной среды. В схеме приведены 3условия, способные повлиять на успешность портфолио в образовательном процессе:

• человеческий фактор (наставники и те, кто у них учится);

• руководство;

• инфраструктура.

Важность всех трех составляющих обсуждается ниже.

Люди

В тех случаях, когда происходит обсуждение новаций в сфере образования и поднимается вопрос о подключении такого инструмента, как портфолио, обычно подразумевается переход от обучения через преподавателя (с акцентом на изложение учебного материала) к обучению, в котором главный акцент перемещается на развитие умений непосредственно на рабочем месте.

Как правило, считается, что преподаватели должны уделять заведомо больше времени и усилий отработке практических умений и оценке степени совершенства в овладении ими, чем раньше. Изменения ролей и рутинных функций будут почти неизбежно наталкиваться на недопонимание и противодействие (Нашшегпе88 й а1., 2005). Это означает, что преподавателям придется не только переосмыслить ключевые принципы, методики и приемы в работе, но и многим из них повысить свою квалификацию, приобрести новые компетенции в сфере практического обучения и выставлении оценок.

В аспекте обсуждения новых идей возникают два важных вопроса:

1) Какие образовательные проблемы нужно решить?

2) Каков наиболее эффективный способ добиться в этом успеха?

Характерно, что очень часто дискуссии возникают именно по вопросу использо-

вания портфолио, причем портфолио становится главным предметом разногласий в отношении введения новаций в образовательном процессе. В результате противодействия оппонентов этим новациям удар в первую очередь обрушивается именно на портфолио, а многие важные проблемы при этом остаются в тени.

Преподаватели более склонны поддерживать реформы сферы образования и использовать для этого свои силы и время в том случае, если новации им нравятся, они понимают ценность нового учебного подхода и его поддерживают. Желание принять новацию намного больше, когда преподавателю ясно, как новое поможет ему справиться с конкретными трудностями, с которыми ежедневно приходится иметь дело (На^геауе8 й а1., 1998). В дискуссиях о новом в сфере образования риск упустить важные моменты будет намного меньше, если уже на ранней стадии к процессу принятия решений привлечь непосредственно преподавателей. Они скорее увлекутся работой с портфо-лио, если решение использовать этот инструмент будет их личным, основанным на полном понимании вопроса и принятии образовательных нововведений. В данной ситуации необходимо предусмотреть вариант отказа от использования портфолио, но только в том случае, если ему удастся найти более удачную замену. Преподаватели, которые уже сказали «да» портфолио, безусловно, будут чувствовать большую приверженность ему и скорее начнут искать пути решения возможных проблем. Очевидно, вероятность того, что преподаватели отложат этот инструмент в сторону при первом же столкновении с неизбежными недоработками и проблемами при работе с портфолио, значительно меньше.

В литературе, касающейся изменений в сфере образования, всегда подчеркивают значение преподавателей как тех исполнителей, которые призваны реализовывать все новое (Darling-Hammond et al., 2005), но при этом не менее важна и роль обучающихся. Наряду с этим успешное внедрение портфолио в образовательную практику во многом зависит от того, сколько времени и сил студенты готовы потратить на создание собственных портфолио. Как правило, обучающиеся готовы работать с портфолио, если их усилия тем или иным способом вознаградятся. Самое очевидное поощрение — соответствующая оценка. В образовании существует очень четкая взаимосвязь между комплексной оценкой и обучением: оценка движет процессом обучения (Frederiksen, 1984; Driessen, van der Vleuten, 2000; van der Vleuten et al., 2000).

Несмотря на то что оценка обязательно повлияет на то, примет ли обучающийся идею портфолио и будет ли этим заниматься, одной лишь оценки недостаточно. От студента составление портфолио потребует много труда, прежде чем они увидят конечный результат и свои достижения. В связи с этим человек будет крайне расстроен, если обнаружит, что на плод его великих усилий никто не обратил внимания. Удалось показать, что преподаватели, сохранившие интерес к своим подопечным, в том числе и к их произведениям — портфолио, решающим образом повлияли на желание обучающихся приступить к созданию подборки своих достижений — портфолио (Pearson, Heywood, 2004; Tigelaar et al., 2006).

Последнее условие для успешного внедрения портфолио в практику, имеющее отношение как к обучающимся, так и к наставникам, состоит в понимании смысла использования портфолио и пользы от

#

работы с ним. Как показывает опыт, несмотря на то что теоретически портфолио в сфере образования имеет четкие функции, практическое воплощение идеи портфо-лио часто сопровождается определенным недопониманием, а за недопониманием тотчас следует разочарование (Anderson, DeMeulle, 1998; Pearson, Heywood, 2004; Kjaer et al., 2006; Davis et al., 2009).

Почти все студенты, проходя учебную программу, привыкли к тому, что учебным процессом управляет преподаватель. Желание повысить самооценку, поиск обратной связи, потребность в осмыслении знаний и опыта, организация самообразования — это условия для того, чтобы портфолио было востребованно в сфере образования (Snadden, Thomas, 1998; Driessen et al., 2008). Однако студентами, для которых процесс обучения представляет лишь лекции и экзамены, все перечисленное воспринимается странно, а иногда даже агрессивно. В связи с этим необходимы инструкции, не только объясняющие, как работать с портфолио, но и помогающие студентам и их преподавателям понять, что такое портфолио в принципе и почему его стоит использовать в образовании. Исследование, проведенное Дукве с коллегами (Duque et al., 2006), продемонстрировало, что внедрение порт-фолио с соответствующими краткими пояснениями относительно целей и методики его использования в изложении специально подготовленных сотрудников положительно сказывается на общем впечатлении о портфолио и удовлетворении от работы с ним. Авторы данного Руководства в своем исследовании проводили аналогию между портфолио и резюме (CV). Цель такого исследования состояла в том, чтобы помочь студентам и курсантам лучше понять, что такое портфолио и как с ним работать (van Tartwijk et al., 2008).

Руководство в сфере образования

Одно из жизненно важных условий успешности внедрения портфолио в практическую деятельность — заинтересованность в этой идее руководства образовательной сферы. В одном из исследований, касавшихся восприятия лидерства в науке, Мартин и его коллеги (Martin et al., 2003) выяснили, что на качество обучения студентов влияет то, каким образом руководство управляет академической средой. В исследовании отобрана группа из числа руководящих лиц в сфере образования, которым успешно удавалось убеждать преподавателей включаться в ориентированный на студента стиль обучения. Они внедряли новшества посредством дискуссий и переговоров с преподавателями. Аналогичные данные были сообщены Бленд и ее коллегами (Bland et al., 2000). Исследователи подготовили литератур -ный обзор, поставив себе целью выявить характерные особенности, способствующие успешному внедрению в медицинском образовании новшеств в учебные планы. Авторы указали, что роль руководства, как и прежде, остается важнейшим фактором, определяющим успешность реформирования учебных программ. Согласно литературным данным, успешные и менее успешные руководящие работники в системе медицинского образования используют административный ресурс примерно с одинаковой частотой, но, как выяснилось, успешные лидеры коллективов чаще обращаются к мнению других специалистов. Когда образовательные инновации затрагивают преподавательскую жизнь и повседневную работу, представители этой профессии должны знать, что они могут рассчитывать на свое руководство, которое ценит преданность учебному

заведению и всегда их поддержит (Maiden, 1994; van Veen et al., 2005). И наконец, заинтересованность руководства также сказывается на распределении финансовых ресурсов, направленных на реализацию намеченных изменений.

Инфраструктура

Все более возрастающее число медицинских вузов предпочитает работать с электронными, а не с бумажными портфолио. В разделе по е-портфолио рассмотрены причины такого предпочтения, а также указано, что такой отрицательный момент, как, например, отсутствие доступа к компьютеру на рабочем месте, может свести к нулю все преимущества е-портфолио. Таким образом, приходится констатировать, что при работе с е-портфолио можно столкнуться с определенными трудностями, так как для них требуется соответствующее обеспечение электронными средствами и оргтехникой. Если техническое обеспечение будет функционировать с перебоями, этого уже достаточно, чтобы оппоненты портфолио отвергли идею его использования. Та же участь может постигнуть и другие образовательные нововведения, которые идеологически олицетворяются именно с портфолио.

Заключение

При реализации учебных программ, ставящих во главу угла развитие и оценку компетенций, портфолио может стать весьма ценным инструментом. Оно предоставляет возможность наглядно представить изученный материал на уровне «Дела-

ет» пирамиды Миллера (Miller, 1990). Этот уровень объективно отражает реализацию навыков непосредственно на рабочем месте. Тем не менее портфолио имеет и определенные недостатки:

• применение портфолио в процессе обучения требует осмысления процесса самим обучающимся, а также затрат времени и труда со стороны наставника;

• результат оценки портфолио зависит от потраченного времени на интерпретацию и обсуждение качественных показателей.

Все это требует не только нового взгляда на образование от наставников и обучающихся, многие из которых привыкли к учебе под контролем преподавателя с главным упором на приобретение знаний, но и значительных дополнительных затрат времени и усилий. Согласно литературным данным, для того чтобы успешно внедрить портфолио в жизнь, нужно выполнить множество условий (Driessen et al., 2007), и даже в этом случае портфолио не сможет стать избавлением от всех проблем.

В завершение стоит еще раз обратиться к работе Спендела (Spandel, 1997), в которой он писал: «...внедрение портфолио в практику — как приобретение обуви в магазине: нет пары лучше, чем та, что соответствует сезону и удобно носится».

Со своей стороны добавим: портфолио, как дорогие туфли — в процессе привыкания к ним какое-то время обязательно поболит палец... Иначе говоря, для терпеливых людей портфолио может стать одним из самых лучших приобретений.

Список литературы опубликован на сайте www.medobr.ru

Сведения об авторах

Доктор Жан ван Тартвийк работает в ICLON — Лейденовской университетской школе постдипломного обучения. В научной работе и в процессе преподавания своего предмета г-н Жан ван Тартвийк концентрирует внимание на процессах коммуникации преподавателя со студентом и использовании портфолио в обучении медицинских работников и для повышения квалификации преподавателей.

Доктор Эрик Дриззен работает в медицинской школе Маастрихтского университета в отделе развития образования и научных разработок в образовании. Специализируется на оценке и использовании портфолио в медицинском обучении.

#

Оба ученых долгое время занимаются проблемой использования портфолио. Так, Жан ван Тартвийк начал тестировать применение портфолио в обучении и повышении квалификации преподавателей в 1994 г. В 1999 г. к его исследованиям присоединились Эрик Дриззен и Сис ван дер Влютен. Будучи сотрудниками Маастрихтского университета, они использовали портфолио в основной программе высшего образования в медицинской школе Маастрихтского университета. После этого был опубликован ряд их статей и книги об использовании портфолио в высшем образовании. Авторы рекомендовали применять портфолио для обучения и оценки знаний на различных факультетах, в ординатуре и т.п. Их совместная деятельность не ограничивалась темой портфолио.