CC BY
0МЕТОДИЧЕСКОЕ СОПРОВОЖДЕНИЕ ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ
УДК 378.146+616
Л. А. Заровкина, И. В. Телънюк, Ю. К. Родыгина, Г. В.Доминова
МЕТОДИЧЕСКИЙ АНАЛИЗ ПРОЕКТИРОВАНИЯ ТЕСТОВЫХ ЗАДАНИЙ ПО ДИСЦИПЛИНЕ «МЕДИЦИНСКАЯ РЕАБИЛИТАЦИЯ»
Введение. Тестирование в образовании имеет свои достоинства и недостатки, как своих противников, так и сторонников [1—2]. Невозможно игнорировать факт, что тестирование, как метод внедрения инновационных технологий, только расширяет сферу применения в образовании. Не является исключением и применение тестов в профессиональной подготовке студентов медицинского вуза.
Тестовые задания широко вошли в педагогическую практику Первого Санкт-Петербургского государственного медицинского университета имени академика И. П. Павлова Минздрава России и отдельных кафедр. Создание внутренних тестов изначально являлось стратегией кафедры медицинской реабилитации и адаптивной физической культуры [3], так как в применяемых на этапе первичного накопления тестовых заданиях, предлагаемых для использования другими учреждениями, было много самых разнообразных ошибок. Применение современных возможностей информационных технологий позво-
ляет разнообразить виды тестовых заданий. Увеличивается доля не только тестов для аттестации и получения зачета, но и обучающих тестовых заданий, способствующих повышению качества образования. Планомерное обновление банка тестовых заданий связано с «устареванием» тестов, а также с плановыми изменениями в преподавании дисциплины и с внедрением новых методов, применяемых в области физической реабилитации [4].
Хотим подчеркнуть сохраняющуюся актуальность работы над качеством тестов, проанализировать часто встречающиеся ошибки, а также отметить проблемы применения тестов в условиях клинической кафедры и расширение возможностей их использования повседневной практике. Для этого провели аналитическое исследование тестов с целью совершенствования процесса обучения студентов на кафедре медицинской реабилитации и адаптивной физической культуры.
Постановка и описание задачи. На
кафедре медицинской реабилитации
и адаптивной физической культуры преподавание ведется на семи факультетах, в соответствии с учебными планами. Вопросы, освещающие проблемы физической реабилитации пациентов, являются основными темами дисциплин, преподаваемых на кафедре. Имеется банк тестовых заданий по каждой дисциплине для всех факультетов. Преподавателями опубликовано несколько учебных пособий для студентов, в которые включены тесты для студентов в качестве примеров или в полном объеме базы тестовых заданий. Проблемы использования тестов в педагогическом процессе, вопросы актуализации и оформления выполняются согласно локальным нормативным актам ПСПбГМУ им. акад. И. П. Павлова.
Существует достаточно много сложностей, которые приходится учитывать при создании тестов по дисциплинам направлений «медицинская реабилитация и физическая реабилитация». Медицинская реабилитация относится к клиническим разделам медицины и имеет множество тонкостей, которые трудно отразить в каких-то определенных формах-тестах. Главной трудностью является задача отразить в краткой формулировке вопрос клинической направленности. Для клинической дисциплины характерна множественность выборки правильных ответов, неоднозначность ответов с учетом не только диагноза, но возраста, сопутствующих заболеваний и т. д. [5]. Кроме того, характерным для нашего направления деятельности является учет физического состояния пациента как в период болезни, так и общая физическая подготовленность, так называемый «спортивный анамнез», «гиподина-
мия», не являющиеся проявлением собственно заболевания. То есть при лечении пациента учитывается много факторов, которые возможно изучить в процессе клинической беседы, обсуждения и практически невозможно отразить в тестовой форме. Все эти сложности вызывают вопросы, споры и могут завести в тупик, привести к тому, что приходится отказаться от опубликования или отложить для дальнейшей переработки ряд тестовых заданий. То есть часть вопросов, важных для преподавания дисциплины, может «выпадать» из логики повествования ввиду сложности их формулировки. И наоборот, могут высветиться проблемы заболевания, которые не в полной мере отражают важные моменты. Тем не менее, создание преподавателями кафедры собственных тестов, а не их заимствование, отражает наше стремление развивать у студентов старших курсов клиническое мышление и является важным направлением педагогической деятельности сотрудников кафедры. В своей работе мы учитываем, что тестирование относится к личностно-ориен-тированным педагогическим технологиям. И есть возможность использования тестирования для опережающей самостоятельной работы студентов при подготовке к занятиям по дисциплине. Предупреждение о проведении тестирования стимулирует учебно-познавательную деятельность студентов и повышает самодисциплину.
Особенность преподавания дисциплины «Медицинская реабилитация» заключается в том, что данная программа относится к послевузовскому образованию и реализуется в рамках двухгодичной ординатуры. Ограниченное количество часов, отведенных
на цикл занятий по этому предмету, не позволяет глубоко изучить специальные знания студентов, проходящих подготовку по основным направлениям медицинского вуза, таким как «участковый врач-терапевт» или «врач общей практики». Согласно учебному плану лечебных и педиатрических факультетов, на изучение всех тем выделяется всего две недели. К сожалению, преподавание дисциплины начинается еще до того, как студенты освоят клинические предметы, такие как неврология и травматология. Тем не менее, наиболее интересными для будущих специалистов являются темы, касающиеся нарушений в работе опорно-двигательного аппарата и методов их коррекции.
С другой стороны, преподаватели кафедры стараются посвятить обучающихся в конкретику ситуаций современной медицины через обсуждение правильных ответов. Часть вопросов практической направленности даже приближается по смыслу к ситуационным задачам.
Рассматривая ошибки при создании базы тестов, применяемых на кафедре, отмечаем, что планомерная работа сотрудников привела к улучшению их качества. С годами надежность тестов не только расширилось за счёт количества, но отмечалось разнообразие их форм. Имеются тесты для проверки знаний практически для всех видов учебной работы по всем дисциплинам, преподаваемым студентам, а также на последипломном уровне. В арсенале преподавателей появились тесты разной сложности, тестовые задания на сопоставление, открытые тесты ит.д.
С целью улучшения качества тестов в своей работе мы проанализиро-
вали уровень адекватности тестов открытого типа для оценки базовых знаний студентов, что позволит улучшить организацию учебного процесса по дисциплине».
Методика исследования. В создании тестов открытого типа для лечебного факультета принимали участие 5 доцентов и профессоров кафедры; 70 студентов приняли активное участие в апробации тестов, что и составило основу нашего эксперимента. В исследовании применили анализ выполненных тестов, оценку меры согласованности (валидности) и надежности тестов, используемых для контроля полученных знаний по дисциплине «Медицинская реабилитация и спортивная медицина». Для оценки качества разработанных тестовых вопросов использовались такие методы, как сравнение, опрос и анализ тестов, созданных за последнее время. Однозначность и определенность тестов оценивали по количеству правильных ответов на одни и те же вопросы в первичном и в модернизированном виде [6].
На первом этапе эксперимента были разработаны тесты открытого типа, которые соответствовали учебному плану, формируемым компетенциям по ФГОС ВО 2020 г. по программе специалитета (по специальности 31.05.01 — «Лечебное дело»), В основной части эксперимента изучили 60 тестовых заданий. Часть первого этапа отводилась экспертизе тестовых заданий, соответствие их темам дисциплины и адекватности. Констатировали факт наличия в тестовых заданиях специальных терминов, необходимых для получения знаний по дисциплине в соответствии с необходимыми компетенциями. Проверяли
наличие ответов на вопросы в литературных источниках из перечня основной литературы. Проверку качества проводили среди преподавателей путем обсуждения и анализа. Провели среди преподавателей взаимопроверку на безошибочность формулировки теста. Преподаватели отвечали на вопросы, поставленные коллегой. Результаты сравнили с эталонными ответами. В ходе последующей дискуссии оспаривалась эталонность некоторых вопросов, выявили неоднозначность пяти тестовых заданий, из которых два преобразовали, а три элиминировали [7].
Была произведена апробация тестов открытого типа на студентах 4-го курса лечебного факультета (50 человек). На этом этапе проверялась ва-лидность и однозначность подготовленных тестов. Тестовые задания обсуждались со студентами, проверялась определенность и простота тестовых заданий. Опрос студентов в виде тестовых заданий проводили в письменном виде в печатной форме в начале последнего занятия цикла. Вопросы к тесту распечатали на бумажном носителе, разделив их на 6 вариантов по 10 вопросов. Время выполнения теста ограничили 10 минутами — по 1 минуте на 1 вопрос. Студентам этих групп предложили инструкцию по выполнению задания.
Второй этап заключался в повторной апробации модернизированных тестов на студентах 4-го курса лечебного факультета (20 человек) тем же методом.
Второе направление эксперимента выполнялось среди студентов тех же групп в интерактивной форме. Проводили устный опрос студентов о понятиях «тест», «тесты закрытого типа»,
«тесты открытого типа», фиксировалось количество человек, дающих положительные и отрицательные ответы. При ответе на вопросы: «Знаете ли Вы что такое тесты открытого типа»? «Знаете ли Вы что такое тесты закрытого типа»? Выяснилось, что около 60% студентов знает отличие этих форм. Часть студентов не выполняли задания в форме открытого тестирования и не умеют на них отвечать. Всем участникам тестирования было необходимо подробно разъяснить правила заполнения тестов. Например, ответ засчитывался как правильный даже при наличии незначительного различия в окончании слова по сравнению с эталонным вариантом. Написание ответа цифрами, использование распространенных аббревиатур и другие подобные нюансы считались правильными. Однако тестиров-щику приходилось учитывать все эти моменты при формировании эталонного ответа на каждое задание.
Обработка результатов исследования. В ходе исследования нами был проведен анализ ошибок тестов с использованием опыта кафедры и анализа тестов других образовательных учреждений за длительный предшествующий период.
Представляем разбор несколько видов возможных ошибок, с которыми встречались в практике.
1. Тестовое задание не имеет ответа, так как в вопросе нет смысла. Ошибка состояла в том, что когда авторы редактировали вопрос, то не проверили его перед публикацией и составили нелепое предложение. Единственная возможность вообще ответить на такой бессмысленный вопрос — это механически выучить ответ, если этот вопрос представлен в
тренировочных тестах для самостоятельного освоения испытуемыми.
2. На первых порах создания тестов закрытого типа, распространенной ошибкой при их создании было, когда в ответе надо было выбрать вариант «все ответы правильные», «всё перечисленное верно» или «все ответы верные».
3. Когда вопрос был сформулирован по смыслу с отрицанием, указание к такому вопросу звучало: «выберите неправильный ответ» или «всё перечисленное, кроме». Такие вопросы труднее воспринимаются и создают дополнительные сложности для испытуемого, правильный ответ может «затеряться».
4. Не учитывается трудность тестовых заданий и соответствие задачам дисциплины, компетенциям. Даже правильно составленные вопросы, применяемые для контроля узкоспециальных знаний, не допустимо механически переносить в банк тестовых заданий студентов в связи с их сложностью. Оправданием такого подхода может служить только отсутствие опыта составления тестов у преподавателей при требовании сдачи творческого педагогического задания в сжатые сроки.
Опыт разработки тестовых заданий открытого типа показал, что несколько лет назад основной проблемой была недостаточная конкретизация вопросов, не позволяющая дать односложный или короткий чёткий ответ. Вопросы предполагали развернутое изложение в виде одного или нескольких предложений, определений и т. п. Примером таких вопросов были: «Назовите задачи», «Назовите методы» или «Назовите технологии». Очевидно, что на них нельзя было от-
ветить кратко. Разные преподаватели могли иметь разное мнение о правильном ответе на такие вопросы, что могло привести к дискуссии. Стоит отметить, что такая формулировка вопросов делает невозможным применение автоматизированного контроля.
Обсуждение результатов. В результате проведенной работы сформировали базу тестов открытого типа, пригодную для использования в образовательном процессе для преподавания дисциплины «Медицинская реабилитация и спортивная медицина» у студентов 4-го лечебного факультета. Эти тестовые задания обладают хорошими качествами и могут быть внесены в банк тестовых заданий для прохождения государственной аккредитации Университета и размещены доступным образом для изучения студентами.
В результате исследования, проведенного на кафедре, решили, что часть вопросов полностью непригодна для использования для обучения студентов четвертого курса лечебного факультета в связи с неоднозначностью ответа (два из шестидесяти). Часть тестовых заданий, подвергли практически полной стилистической переработке, оставив актуальным смысл вопроса (8 тестовых заданий из шестидесяти). Кроме того, заметили и исправили мелкие погрешности в стилистике, грамматике и т. п. в двадцати тестовых заданиях, которые пришлось исправить. При этом смысл вопроса и правильность ответа сохранили. Учитывая все типы ошибок и неточностей, общий объем исправлений тестовых заданий составил примерно 50%.
Особое внимание обращали на то, чтобы в ответах на вопросы выявлять часто употребляемые синонимы слов, которые могут быть применены сту-
дентами вместо эталонного ответа. Необходимо уделять больше внимания поиску синонимов. Это особенно важно при применении автоматизированной проверки знаний, умений и навыков. Считаем, что при использовании автоматизированного контроля тестовых заданий открытого типа особым условием будет необходимость указывать синонимы и сокращения в эталонных ответах. Заметили, что на втором этапе проверки тестовых заданий не было полностью неправильных формулировок вопросов со стороны преподавателя, но осталась необходимость продолжать подбирать синонимы и аббревиатуры ответов и указывать их в эталонных ответах.
Тесты открытого типа требуют очень высокой корректности, но мно-гоэтапность проверки тестов позволила улучшить их качество. Приходится учитывать, что такая проверка, с использованием опроса и обсуждения тестов со студентами, а также взаимопомощи и взаимоконтроля тестов преподавателями является очень трудоемкой и затратной по времени.
Благодаря проведенному эксперименту определенность тестовых заданий улучшилась. В этом убедились, учитывая уменьшение количества неправильных ответов на втором этапе исследования. При обсуждении предлагаемых текстовых заданий со студентами групп второго этапа было меньше вопросов по сути тестовых заданий, но требовалось уточнение формулировок.
Приходится осознать профессиональную незрелость студентов 4-го курса, которые не считают все дисциплины «одинаково важными» для врача так как «собираюсь стать врачом другой специальности». Это проявляет-
ся в нежелании хорошо и качественно готовиться к занятиям. Понятно, что такие студенты получили низкие баллы за тестовый контроль только из-за плохой подготовки к занятиям, так как составители опирались на традиционные и доступные учебные пособия.
Отдельно хотим обратить внимание на необходимость обучения студентов заполнению тестов открытого типа, так как такие тесты редко применялись другими кафедрами на предыдущих курсах обучения.
Обдумывая тесты нового для нас типа, решили, что необходимо создавать базу обучающих тестов. Считаем, что для дисциплины «Медицинская реабилитация», как клинической дисциплины, вполне могут подойти, например, альтернативные тестовые задания, возможно, для глоссария. Предполагаем, что, как обучающие, можно использовать тестовые задания с заполнением пропущенных слов в предложении из предложенного перечня. Возможно, и другие виды. Этот вопрос требует продумывания.
Таким образом, анализ полученных результатов показал, что тесты открытого типа требуют очень высокой корректности, но многоэтапность проверки тестов позволила улучшить их качество. Преподавателям-тесто-логам требуется учитывать множество трудностей, применять творческие подходы к написанию тестов. Возможно, потребуется решать и другие сложности при дальнейшей эксплуатации тестов и обнаружении «подводных камней», для которых потребуется «проверка временем».
Заключение. Привычными для студентов являются тестовые задания закрытого типа, другие виды тестовых заданий вызывают затруднение при использовании. Необходима адапта-
ция студентов к тестам нового типа. При использовании тестов нового типа необходимо убедиться, что студенты хорошо ознакомлены с правилами их выполнения.
Тестовые задания открытого типа в большей степени обладают обучающей функцией, в том числе могут использоваться для освоения умений и навыков.
Необходимо учитывать особые правила написания тестов открытого типа для автоматизированного контроля. Для повышения качества тестов рекомендуется использовать все этапы их апробации. Проверка тестов по разным параметрам позволяет удалить «некачественные» тестовые задания, избежать двусмысленности в ответе, уточнить формулировки вопросов. Однако, приходится учитывать, что это очень трудоемкий и затратный по времени процесс.
Для повышения качества образования важно использовать разнообразные типы тестов, выходя за рамки традиционных и более простых тестовых заданий закрытого типа. Возможно, что такая работа является частью учебно-методических поручений, выполняемых преподавателями в процессе разработки учебных курсов [8].
Применяя тесты с разными задачами, можно привлечь внимание студентов к более глубокому изучению дисциплины «Медицинская реабилитация», усилить её клиническую направленность. Связь теории с прикладными аспектами медицины позволяет стимулировать будущих врачей разных специальностей к широкому применению знаний, полученных в ходе изучения дисциплины, в своей профессиональной деятельности.
СПИСОК ЛИТЕРАТУРЫ
1. Аванесов В. С. Форма тестовых заданий. Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. 2 изд., переработанное и расширенное. М.: Центр тестирования, 2005. 156 с.
2. Быть или не быть тестам в образовании II Народное образование. 2011. № 8 (1411). С. 62-69.
3. Методические указания к практическим занятиям по физиотерапии для студентов IV курса лечебного факультета / Г. А. Маллабиу, И. М. Мишина, В. П. Правосудов [и др.]. Под ред. В. П. Правосудова. Ленинград: Изд-во I Ленинградский ордена Трудового Красного Знамени медицинский институт им. акад. И. П. Павлова, 1990. 36 с.
4. Сборник ситуационных задач, практических навыков и тестовых зада-
ний по дисциплине «Медицинская реабилитация»: учебно-методическое пособие / Сост. Л. А. Заровкина [и др]. СПб.: РИЦ ПСПбГМУ, 2022. 84 с.
5. Оценка эффективности применения тест-рейтинговой системы в последипломном образовании врачей / Г. А. Ибраева, Б. К. Еркинбекова II Сборники конференций НИЦ Социосфера. 2012. № 8. С. 267-274 II URL: https:// www.elibrary.ru/item. asp?id= 17841428 (дата обращения: 01.09.2024).
6. Ванчакова Н. П. Применение тестовых методов и автоматизированный контроль уровня знаний и освоения компетенций в медицинском вузе: учеб -ное пособие / Н. П. Ванчакова, С. К. Ершова, А. В. Мартынихин. СПб.: РИЦ ПСПбГМУ, 2020. 32 с.
7. Методика формирования тестов в системе оценки качества освоения обу-
чающимися образовательных программ высшего образования / Д. А. Сошнева, А. А. Рогожин // Вестник Воронежского государственного университета. Серия: Проблемы высшего образования. 2021. № 2. С. 82-85.
8. Тельнюк И. В., Худик М. В. Клише-технологии в оптимизации
учебно-методической работы образовательной организации II Вестник Санкт-Петербургского научно-исследовательского института педагогики и психологии высшего образования. 2024. №3(11). С. 34-38.
REFERENCES
1. Avanesov V. S. The form of test tasks. A textbook for teachers of schools, lyceums, teachers of universities and colleges. 2nd ed., revised and expanded. M.: Testing Center, 2005. 156 p. (InRuss.).
2. To be or not to be tests in education //National education. 2011. No. 8 (1411). P. 62-69. (In Russ.).
3. Methodological guidelines for practical exercises in physiotherapy for students of the IV course of the Faculty of Medicine / G. A. Mallabiu, I. M. Mishina, V. P. Justisov [et al.]. Edited by V. P. Justisov. Leningrad: Publishing House of the First Leningrad Order of the Red Banner of Labor Medical Institute named after academician I. P. Pavlov, 1990. 36 p. (In USSR).
4. Collection of situational tasks, practical skills and test tasks in the discipline "Medical rehabilitation": an educational and methodological manual / Compiled by L. A. Zarovkina [et al.]. St. Petersburg: RIC PSPbG-MU, 2022. 84 p. (In Russ.).
5. Evaluation of the effectiveness of the test-rating system in postgraduate education of doctors / G. A. Ibraeva, B. K. Yerkinbekova II Collections of conferences
of SIC Sociosphere. 2012. No. 8. P. 267-274 // URL: https://www.elibrary.ru/item. asp?id=17841428 (date of application: 01.09.2024).
6. Vanchakova N. P. Application of test methods and automated control of the level of knowledge and development of competencies in a medical university: textbook/N. P. Vanchakova, S. K. Ershova, A.V. Martynikhin. SPb.: RIC PSBGMU, 2020. 32 p. (InRuss.).
7. Methods of forming tests in the system of assessing the quality of students' mastering educational programs of higher education / D. A. Soshneva, A. A. Rogozhin // Bulletin of the Voronezh State University. Series: Problems of higher education. 2021. No. 2. P. 82-85. (In Russ.).
8. Telnyuk I. V., Khudik M. V. Cliche technologies in the optimization of educational and methodological work of an educational organization // Bulletin of the St. Petersburg Scientific Research Institute of Pedagogy and Psychology of Higher Education. 2024. No. 3 (11). P. 34-38. (In Russ.).
Поступила вредакцию: 15.10.2024 г.
